떡밥위키
최근 변경
최근 토론
특수 기능
파일 올리기
작성이 필요한 문서
고립된 문서
고립된 분류
분류가 되지 않은 문서
편집된 지 오래된 문서
내용이 짧은 문서
내용이 긴 문서
차단 내역
RandomPage
라이선스
IP 사용자
216.73.216.107
설정
다크 모드로 전환
로그인
개인정보 처리방침 개정 안내
트랜스포머(인공신경망)
(r1 문단 편집)
닫기
RAW 편집
미리보기
== 파생 모델 == 트랜스포머 아키텍처는 현대 [[인공지능]], 특히 [[자연어 처리]] 분야에 지대한 영향을 미쳤다. 수많은 후속 모델들이 트랜스포머를 기반으로 개발되었다. * '''[[BERT]](Bidirectional Encoder Representations from Transformers)''': 트랜스포머의 인코더 구조만을 사용하여 양방향 문맥을 학습하는 마스크 언어 모델(Masked Language Model). 다양한 다운스트림 NLP 태스크에서 범용적으로 뛰어난 성능을 보여주었다. * '''[[GPT]](Generative Pre-trained Transformer)''': 트랜스포머의 디코더 구조만을 사용하여 단방향(왼쪽에서 오른쪽)으로 텍스트를 생성하는 모델. [[ChatGPT]]의 기반이 된 [[GPT-3]], [[GPT-4]] 등이 여기에 속한다. * '''T5(Text-to-Text Transfer Transformer)''': 모든 NLP 문제를 텍스트-투-텍스트 형식으로 변환하여 해결하려는 통합적인 접근 방식을 취한 모델. 인코더-디코더 구조를 사용한다. * '''ViT(Vision Transformer)''': 트랜스포머 구조를 [[컴퓨터 비전]] 분야에 적용한 모델. 이미지를 여러 패치(patch)로 나누어 시퀀스처럼 처리하여 이미지 분류 등에서 [[CNN]](Convolutional Neural Network)과 경쟁력 있는 성능을 보여주었다. 위에 기술된 모델 외에도 XLNet, RoBERTa, ALBERT, BART, ELECTRA, Transformer-XL, Reformer, Longformer 등 수많은 변형 및 응용 모델들이 존재한다.
요약
문서 편집을
저장
하면 당신은 기여한 내용을
CC BY-NC-SA 2.0 KR
또는
기타 라이선스 (문서에 명시된 경우)
로 배포하고 기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다. 이
동의는 철회할 수 없습니다.
비로그인 상태로 편집합니다. 로그인하지 않은 상태로 문서 편집을 저장하면, 편집 역사에 본인이 사용하는 IP(216.73.216.107) 주소 전체가 영구히 기록됩니다.
저장
사용자
216.73.216.107
IP 사용자
로그인
회원가입
최근 변경
[불러오는 중...]
최근 토론
[불러오는 중...]