떡밥위키
최근 변경
최근 토론
특수 기능
파일 올리기
작성이 필요한 문서
고립된 문서
고립된 분류
분류가 되지 않은 문서
편집된 지 오래된 문서
내용이 짧은 문서
내용이 긴 문서
차단 내역
RandomPage
라이선스
IP 사용자
216.73.216.46
설정
다크 모드로 전환
로그인
개인정보 처리방침 개정 안내
대규모 언어 모델
(r2 문단 편집)
닫기
RAW 편집
미리보기
=== 트랜스포머의 등장과 LLM의 확산 === * '''2017년''': 구글 연구팀이 발표한 논문 "Attention Is All You Need"에서 '''트랜스포머''' 아키텍처가 제안되었다. 셀프 어텐션(Self-Attention) 메커니즘을 통해 병렬 처리가 가능해지고 긴 의존성 문제를 해결하면서 LLM 발전의 결정적인 전환점이 되었다. * '''2018년 이후''': * BERT(Bidirectional Encoder Representations from Transformers): 구글에서 개발. 양방향 문맥 이해에 강점을 보이며 다양한 NLP 벤치마크에서 최고 성능을 달성했다. * GPT 시리즈 (OpenAI): GPT-1을 시작으로 GPT-2, GPT-3, GPT-3.5, GPT-4로 이어지며 모델 크기와 성능이 비약적으로 발전했다. 특히 GPT-3는 매우 자연스러운 텍스트 생성 능력으로 충격을 주었으며, ChatGPT는 이를 기반으로 대화형 인터페이스를 제공하여 LLM의 대중화를 이끌었다. * 이 외에도 Meta AI의 LLaMA, Anthropic의 Claude, 구글의 LaMDA, PaLM 등 다양한 LLM들이 경쟁적으로 개발되고 있다. * 국내에서도 네이버 클라우드의 HyperCLOVA, 카카오브레인의 KoGPT 등 한국어 특화 LLM들이 개발되었다.
요약
문서 편집을
저장
하면 당신은 기여한 내용을
CC BY-NC-SA 2.0 KR
또는
기타 라이선스 (문서에 명시된 경우)
로 배포하고 기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다. 이
동의는 철회할 수 없습니다.
비로그인 상태로 편집합니다. 로그인하지 않은 상태로 문서 편집을 저장하면, 편집 역사에 본인이 사용하는 IP(216.73.216.46) 주소 전체가 영구히 기록됩니다.
저장
사용자
216.73.216.46
IP 사용자
로그인
회원가입
최근 변경
[불러오는 중...]
최근 토론
[불러오는 중...]