오토인코더

오토인코더(Autoencoder, AE)는 인공신경망의 한 종류로, 비지도학습 방식으로 사용되는 대표적인 인공지능 모델이다. 주된 목적은 입력 데이터의 저차원 표현(latent representation)을 학습하는 것으로, 차원 축소, 특징 학습, 생성 모델[1], 기계적 해석 가능성[2]등 다양한 분야에서 활용된다.

오토인코더의 가장 기본적인 아이디어는 입력을 압축하여 저차원 벡터로 만들고(인코딩), 이 저차원 벡터로부터 다시 원본 입력을 복원(디코딩)하는 것이다. 이 과정에서 네트워크는 데이터의 중요한 특징을 스스로 학습하게 된다. 즉, 입력 $x$를 받아서 잠재 변수 $z$로 압축하고, 다시 $z$로부터 복원된 $\hat{x}$를 출력하며, 이때 $x$와 $\hat{x}$의 차이(재구성 오류, reconstruction error)를 최소화하도록 학습된다.

오토인코더는 크게 인코더와 잠재 공간, 디코더의 세 부분으로 구성된다.

입력 데이터 $x$를 받아서 저차원의 잠재 변수(Latent Variable) 또는 코드(Code) $z$로 변환하는 역할을 한다. 보통 여러 개의 신경망 레이어로 구성되며, 입력 차원보다 낮은 차원으로 점진적으로 줄여나간다.

인코더에 의해 압축된 저차원 표현 $z$가 존재하는 공간이다. 이 공간의 차원은 보통 입력 데이터의 차원보다 훨씬 작으며 데이터의 핵심적인 특징이 응축되어 있다고 가정한다. 오토인코더의 성능과 학습 능력에 큰 영향을 미치는 부분이다. 이 부분이 가장 차원이 낮기 때문에 병목(bottleneck)이라고도 불린다.

잠재 공간의 변수 $z$를 받아서 다시 원래 입력 데이터의 차원으로 복원하는 역할을 한다. 인코더와 대칭적인 구조를 가지는 경우가 많으며, 저차원 표현으로부터 원본과 유사한 데이터 $\hat{x}$를 생성한다.

오토인코더의 학습 목표는 입력 $x$와 복원된 출력 $\hat{x}$ 사이의 차이를 최소화하는 것이다. 이를 위해 재구성 손실(Reconstruction Loss)을 사용한다.

여기서 $N$은 데이터 샘플 수, $D$는 데이터의 차원이다.

기본적인 오토인코더 구조 외에도 다양한 변형 모델들이 존재한다.

가장 단순한 형태로, 잠재 공간의 차원이 입력 데이터의 차원보다 작은 경우이다. 인코더는 데이터를 압축하고 디코더는 압축을 해제하는 역할을 하며, 데이터의 주요 특징을 학습하도록 강제한다. 주성분 분석(PCA)과 유사한 역할을 하지만, 비선형 변환이 가능하다는 차이점이 있다.

잠재 공간의 차원이 입력 데이터의 차원보다 크더라도, 잠재 변수 $z$의 대부분의 요소가 0에 가깝도록(희소성, Sparsity) 정규화 제약을 추가한 모델이다. 이는 네트워크가 특정 패턴에만 활성화되는 소수의 뉴런을 사용하여 데이터를 표현하도록 유도한다. 재구성 손실에 희소성 페널티 항을 추가하여 학습한다.

여기서 $\lambda$는 희소성 강도 조절 파라미터, $\rho$는 목표 희소성 비율(작은 값, 예: 0.05), $\hat{\rho}_j$는 잠재 변수 $j$번째 뉴런의 평균 활성화 값, $KL$은 쿨백-라이블러 발산이다.

입력 데이터에 의도적으로 약간의 노이즈(잡음)를 추가한 후, 이를 인코더에 입력하고 디코더가 원본의 깨끗한 데이터를 복원하도록 학습하는 모델이다. 이는 입력의 작은 변화에 덜 민감하고 더 강인한(Robust) 특징 표현을 학습하도록 돕는다. 디노이징 오토인코더에서의 학습 과정은 다음과 같다.

DAE와 유사하게 입력의 작은 변화에 둔감한 특징 표현을 학습하는 것을 목표로 한다. 이를 위해 재구성 손실에 인코더의 야코비 행렬(Jacobian Matrix)의 프로베니우스 노름(Frobenius Norm) 제곱에 해당하는 페널티 항을 추가한다. 이는 입력 데이터의 변화에 대해 잠재 변수 $z$가 덜 변하도록(수축, Contractive) 제약하는 효과를 가진다.

여기서 $J_f(x_i)$는 입력 $x_i$에 대한 인코더 함수 $f$의 야코비 행렬이다.

2021년 카이밍 허(Kaiming He) 연구팀[4]이 발표한 자기지도학습 방식의 오토인코더로, 크게 보면 디노이징 오토인코더의 일종이다. 주로 컴퓨터 비전, 특히 Vision Transformer(ViT)의 사전훈련(pre-training)에 사용된다.

핵심 아이디어는 입력 이미지 패치의 대부분을 무작위로 가리고 가려지지 않은 보이는 패치만을 인코더로 처리하는 것이다. 이후 디코더는 이 정보와 마스크 위치 정보를 바탕으로 원본의 가려진 부분을 복원하도록 학습된다.

이 접근법은 인코더가 전체 데이터의 일부만 보기 때문에 계산 효율성이 매우 높고 대규모 모델 학습에 유리하다. 레이블 없는 데이터로부터 효과적인 시각적 표현(representation)을 학습할 수 있어, Vision Transformer와 같은 모델의 주요 자기지도학습 사전훈련 기법 중 하나로 자리 잡았다.

생성 모델로서의 기능이 강화된 오토인코더이다.

기계적 해석 가능성 학계에서 많이 뜨고 있는 방법이다.
Anthropic이 2024년 5월 21일 자사 블로그에 해당 방법을 응용하여 자사 상용모델 claude 3 sonnet 모델의 내부 기전을 해석해낼 수 있었다는 내용의 블로그 글을 게시한 바 있다. 논문 원본을 보고 싶다면 여기로

오토인코더와 그 변형 모델들은 다양한 분야에서 활용된다.