떡밥위키
최근 변경
최근 토론
특수 기능
파일 올리기
작성이 필요한 문서
고립된 문서
고립된 분류
분류가 되지 않은 문서
편집된 지 오래된 문서
내용이 짧은 문서
내용이 긴 문서
차단 내역
RandomPage
라이선스
IP 사용자
216.73.216.7
설정
다크 모드로 전환
로그인
개인정보 처리방침 개정 안내
비지도학습
(r1 문단 편집)
닫기
RAW 편집
미리보기
==== 자기 예측(Self-Prediction) ==== Self-Prediction은 데이터 샘플 내의 일부 정보를 기반으로 나머지를 예측하는 방식이다. 문장에서 특정 단어를 마스킹하고 이를 예측하거나 이미지의 일부를 가리고 복원하는 등의 방식이 있다. * 자기회귀생성(Autoregressive Generation): 이전 정보를 기반으로 다음 정보를 순차적으로 예측하면서 학습하는 방식. 대표적으로 [[GPT]]가 이에 해당한다. GPT는 텍스트를 읽고 바로 다음에 올 단어를 예측하는데, 인터넷에서 수집한 대량의 텍스트로 훈련했더니 특별한 지도학습 없이도 대부분의 일을 수행하고 약간의 지도학습을 곁들이면 모든 분야에서 모든 기존 방식을 앞질렀다. 특히 일반 상식을 묻는 시험에서는 아무런 지도 학습 없이도 다른 기존 방식을 큰 폭으로 제치고 1위를 달성했다. * Masked Generation: 데이터의 일부를 마스킹하고 이를 복원하면서 학습하는 방식. [[BERT]]가 대표적인 예이다. * Innate Relationship Prediction: 데이터 내의 내재된 관계를 예측하며 학습하는 방식 * Hybrid Self-Prediction: 여러 예측 방식을 결합하여 사용하는 반식
요약
문서 편집을
저장
하면 당신은 기여한 내용을
CC BY-NC-SA 2.0 KR
또는
기타 라이선스 (문서에 명시된 경우)
로 배포하고 기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다. 이
동의는 철회할 수 없습니다.
비로그인 상태로 편집합니다. 로그인하지 않은 상태로 문서 편집을 저장하면, 편집 역사에 본인이 사용하는 IP(216.73.216.7) 주소 전체가 영구히 기록됩니다.
저장
사용자
216.73.216.7
IP 사용자
로그인
회원가입
최근 변경
[불러오는 중...]
최근 토론
[불러오는 중...]