김거북의 끄적끄적 메모장

군집분석이란? 변수들이 속한 모집단 또는 범주에 대한 사전정보가 없는 경우에 관측값들 사이의 거리(또는 유사성)를 이용하여 변수들을 자연스럽게 몇 개의 그룹 또는 군집으로 나누는 분석법. 1. 군집분석의 방법 1) 계층적 방법(Hierarchical agglomerative clustering) : 모든 관찰치를 자신만의 군집에서 시작하여 유사한 데이터 두 개를 하나의 군집으로 묶는데 이를 모든 데이터가 하나의 군집으로 묶일때 까지 반복하는 방법으로 한 번 병합된 개체는 다시 분리되지 않는 것이 특징이야. 계층적 군집 분석은 아래와 같은 알고리즘을 사용해. ㄱ. 모든 관찰치를 군집으로 정의해. ㄴ. 모든 군집에 대하여 다른 모든 군집과의 거리를 계산해. 이때 군집 사이의 거리를 정의하는 것에 따라 알고리..

SVM은 원래의 훈련(or 학습) 데이터를 비선형 매핑을 통해 고차원으로 변환하며, 이 새로운 차원에서 초평면(Hyperplane)을 최적으로 분리하는 선형분리를 찾음으로써 최적의 의사결정영역(Decision Boundary)을 찾아. 데이터의 차원을 높이는 이유는 비선형 분리가 되어 있는 두 클래스를 차원을 높여서 적절한 비선형 매칭을 이용해 초평면으로 분리하기 위해서야. 또한 SVM은 복잡한 비선형 의사결정 영역을 모형화할 수 있기 때문에 매우 정확하며, 다른 모델들보다 과적합이 되는 경향이 적어. SVM에서 중요한 요소는 마진(margin), 서포트 벡터(support vector), 커널(kernel)이 있어. 아래에서는 마진과 서포트 벡터, 커널을 언급하려고 해. 1. 마진 마진은 하나의 데이터..

여러 데이터들이 모여 하나의 분포를 이룰 때, 이 분포의 주성분을 분석해주는 방법을 주성분 분석이라고해 1. 차원 축소(Dimension Reduction) 가공되지 않은 데이터를 처리해야 하는 경우에 필요하지 않다고 판단되는 변수를 제거하여 가공해야할 부분을 줄이는 과정을 차원 축소라고해. 차원 축소의 방법으로는 요인분석(FA), 독립성분분석(ICA), 다차원 척도법(MD5), 비선형 차원 축소법 등이 있어 2. 특징 선택(Feature Selection)과 특징 추출(Feature Extraction) 차원 축소는 주어진 데이터 x∈Rd×1를, z∈Rp×1 축소하는 것을 말하며, 데이터의 차원을 축소하기 위한 방법으로는 크게 특징 선택과 특징 추출이 있어. 1) 특징 선택 d 차원의 데이터 x를 구성..