비지도학습

지도학습과 달리 사람 없이 컴퓨터가 스스로 레이블 되어 있지 않은 데이터에 대해 학습하는 것. 즉 y 없이 x만 이용해서 학습하는 것이다. 정답이 없는 문제를 푸는 것이므로 학습이 맞게 됐는지 확인할 길은 없지만, 인터넷에 있는 거의 모든 데이터가 레이블이 없는 형태로 있으므로 앞으로 기계학습이 나아갈 방향으로 설정되어 있기도 하다. 통계학의 군집화와 분포 추정 등의 분야와 밀접한 관련이 있다.

데이터가 쭉 뿌려져 있을 때 레이블이 없다고 해도 데이터 간 거리에 따라 데이터를 몇 개의 군집으로 나눌 수 있다. 이렇게 x만 가지고 군집을 학습하는 것이 군집화이다.

군집화에서 더 나아가서, 데이터들이 쭉 뿌려져 있을 때 얘네들이 어떤 확률 분포에서 나온 샘플들인지 추정하는 문제이다.

차원 축소는 비지도학습의 핵심적인 적용 사례로 고차원 데이터를 보다 낮은 차원으로 변환하여 데이터의 핵심 구조를 유지하면서 분석을 용이하게 만드는 방법이다. ’차원의 저주(Curse of Dimensionality)’를 극복하기 위한 것으로, 데이터의 노이즈를 줄이며 계산 효율성을 높이는 효과를 얻을 수 있다.
PCA(Principal Component Analysis), SVD(Singular Value Decomposition), NMF(Non-negative Matrix Factorization), t-SNE(t-Distributed Stochastic Neighbor Embedding) 등의 기법이 있다.

최근에는 사람이 직접 레이블링하는 대신 컴퓨터가 임의로 직접 레이블을 지정해 학습할 수 있는 문제[1]는 자기지도학습(self-supervised learning)이라는 용어로 따로 분류하고 있다.

자기지도학습의 태스크는 크게 두 가지로 나뉘는데 하나가
Pretext Task, 다른 하나가 Downstream Task이다.

Pretext Task는 시각적 또는 언어적 표현(representation)을 자기지도학습시키기 위해 설계된 보조적인 작업이다. 사람으로 치면 교과서 문제 풀이 같은 것이라, Pretext Task 자체는 학습의 최종 목표라고 할 수는 없다. Pretext Task로 학습을 진행하고 학습된 표현을 전이(transfer)해 성능을 향상시킨 후 진짜로 다루게 되는 것이 downstream task이다. 따라서 자기지도학습의 궁극적인 목적은 downstream task라고 할 수 있다.

Self-Prediction은 데이터 샘플 내의 일부 정보를 기반으로 나머지를 예측하는 방식이다. 문장에서 특정 단어를 마스킹하고 이를 예측하거나 이미지의 일부를 가리고 복원하는 등의 방식이 있다.

데이터 샘플 간의 유사성과 차이를 학습하여, 유사한 샘플은 가깝게, 다른 샘플은 멀게 표현하는 방법. 레이블이 없는 데이터에서도 효과적으로 표현을 학습할 수 있다.

Downstream Task는 사전 학습된(pre-trained) 모델을 활용해 최종적으로 해결하고자 하는 특정한 과업을 의미한다. 즉, 대규모 데이터셋으로 일반적인 특징(feature)을 학습한 모델을 가져와 우리가 실제로 풀고 싶은 과제에 적용하는 것이다.

지금 유통되는 절대 다수의 생성형 인공지능은 이 자기지도학습 메커니즘으로 학습되었으며 생성 외에도 분류, 객체 탐지 등 다양한 downstream task에 적용가능하다.