떡밥위키
최근 변경
최근 토론
특수 기능
파일 올리기
작성이 필요한 문서
고립된 문서
고립된 분류
분류가 되지 않은 문서
편집된 지 오래된 문서
내용이 짧은 문서
내용이 긴 문서
차단 내역
RandomPage
라이선스
IP 사용자
216.73.216.107
설정
다크 모드로 전환
로그인
개인정보 처리방침 개정 안내
트랜스포머(인공신경망)
(r1 문단 편집)
닫기
RAW 편집
미리보기
== 개요 == 2017년 구글 브레인(현 [[Google DeepMind]]) 연구진이 논문 [[Attention Is All You Need]]에서 발표한 [[인공신경망]] 구조로, 기존의 [[순환 신경망]](RNN)과 [[합성곱 신경망]](CNN)의 한계를 극복하며 등장했다. 주로 [[자연어 처리]](NLP) 분야에서 혁신을 일으켰으며, 기존의 [[RNN]](Recurrent Neural Network)이나 [[순환 신경망#s-3.5|LSTM]](Long Short-Term Memory) 기반 모델들이 가지고 있던 장거리 의존성 문제와 병렬 처리의 한계를 '''어텐션 메커니즘'''(Attention Mechanism)만으로 해결하고자 설계되었다. 현재는 이후 [[BERT]], [[GPT]], T5 등 수많은 고성능 언어 모델의 기반 구조가 되었으며, 자연어 처리뿐만 아니라 [[컴퓨터 비전]], [[음성 인식]], [[강화학습]] 등 인공지능의 다양한 분야에서 핵심 기술로 널리 활용되고 있다.
요약
문서 편집을
저장
하면 당신은 기여한 내용을
CC BY-NC-SA 2.0 KR
또는
기타 라이선스 (문서에 명시된 경우)
로 배포하고 기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다. 이
동의는 철회할 수 없습니다.
비로그인 상태로 편집합니다. 로그인하지 않은 상태로 문서 편집을 저장하면, 편집 역사에 본인이 사용하는 IP(216.73.216.107) 주소 전체가 영구히 기록됩니다.
저장
사용자
216.73.216.107
IP 사용자
로그인
회원가입
최근 변경
[불러오는 중...]
최근 토론
[불러오는 중...]