떡밥위키
최근 변경
최근 토론
특수 기능
파일 올리기
작성이 필요한 문서
고립된 문서
고립된 분류
분류가 되지 않은 문서
편집된 지 오래된 문서
내용이 짧은 문서
내용이 긴 문서
차단 내역
RandomPage
라이선스
IP 사용자
216.73.216.46
설정
다크 모드로 전환
로그인
개인정보 처리방침 개정 안내
대규모 언어 모델
(r2 문단 편집)
닫기
RAW 편집
미리보기
=== 사전 학습(Pre-training)과 파인튜닝(Fine-tuning) === * '''사전 학습''': 대규모의 레이블 없는 텍스트 데이터(코퍼스)를 이용해 언어 자체의 일반적인 패턴, 문법, 의미 등을 학습한다. 이 단계에서 모델은 광범위한 지식을 습득한다. 주로 자기 지도 학습(Self-supervised learning) 방식[* 다음 단어 예측, 마스크된 단어 예측 같은거]을 사용한다. * '''파인튜닝''': 사전 학습된 모델을 특정 작업[* 번역, 질의응답, 감정 분석 등]에 맞는 소규모의 레이블된 데이터로 추가 학습하여 해당 작업의 성능을 극대화한다. 최근에는 인간의 피드백을 통해 모델을 정렬하는 RLHF(Reinforcement Learning from Human Feedback) 기법도 널리 사용된다.
요약
문서 편집을
저장
하면 당신은 기여한 내용을
CC BY-NC-SA 2.0 KR
또는
기타 라이선스 (문서에 명시된 경우)
로 배포하고 기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다. 이
동의는 철회할 수 없습니다.
비로그인 상태로 편집합니다. 로그인하지 않은 상태로 문서 편집을 저장하면, 편집 역사에 본인이 사용하는 IP(216.73.216.46) 주소 전체가 영구히 기록됩니다.
저장
사용자
216.73.216.46
IP 사용자
로그인
회원가입
최근 변경
[불러오는 중...]
최근 토론
[불러오는 중...]