떡밥위키
최근 변경
최근 토론
특수 기능
파일 올리기
작성이 필요한 문서
고립된 문서
고립된 분류
분류가 되지 않은 문서
편집된 지 오래된 문서
내용이 짧은 문서
내용이 긴 문서
차단 내역
RandomPage
라이선스
IP 사용자
216.73.216.7
설정
다크 모드로 전환
로그인
개인정보 처리방침 개정 안내
오토인코더
(r3 문단 편집)
닫기
RAW 편집
미리보기
=== 마스크드 오토인코더 (Masked Autoencoder, MAE) === 2021년 카이밍 허(Kaiming He) 연구팀[* 당시 [[페이스북]] AI Research, 현 [[메타|메타 AI]].]이 발표한 [[자기지도학습]] 방식의 [[오토인코더]]로, 크게 보면 디노이징 오토인코더의 일종이다. 주로 [[컴퓨터 비전]], 특히 Vision Transformer(ViT)의 사전훈련(pre-training)에 사용된다. 핵심 아이디어는 입력 이미지 패치의 대부분을 무작위로 가리고 가려지지 않은 보이는 패치만을 인코더로 처리하는 것이다. 이후 디코더는 이 정보와 마스크 위치 정보를 바탕으로 '''원본의 가려진 부분을 복원'''하도록 학습된다. 이 접근법은 인코더가 전체 데이터의 일부만 보기 때문에 '''계산 효율성'''이 매우 높고 대규모 모델 학습에 유리하다. 레이블 없는 데이터로부터 효과적인 시각적 표현(representation)을 학습할 수 있어, Vision Transformer와 같은 모델의 주요 [[자기지도학습]] 사전훈련 기법 중 하나로 자리 잡았다.
요약
문서 편집을
저장
하면 당신은 기여한 내용을
CC BY-NC-SA 2.0 KR
또는
기타 라이선스 (문서에 명시된 경우)
로 배포하고 기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다. 이
동의는 철회할 수 없습니다.
비로그인 상태로 편집합니다. 로그인하지 않은 상태로 문서 편집을 저장하면, 편집 역사에 본인이 사용하는 IP(216.73.216.7) 주소 전체가 영구히 기록됩니다.
저장
사용자
216.73.216.7
IP 사용자
로그인
회원가입
최근 변경
[불러오는 중...]
최근 토론
[불러오는 중...]