떡밥위키
최근 변경
최근 토론
특수 기능
파일 올리기
작성이 필요한 문서
고립된 문서
고립된 분류
분류가 되지 않은 문서
편집된 지 오래된 문서
내용이 짧은 문서
내용이 긴 문서
차단 내역
RandomPage
라이선스
IP 사용자
216.73.216.107
설정
다크 모드로 전환
로그인
개인정보 처리방침 개정 안내
트랜스포머(인공신경망)
(r1 문단 편집)
닫기
RAW 편집
미리보기
== 어텐션 메커니즘 == ||<tablealign=center><tablebordercolor=#333,#D6D6D6><bgcolor=#ffffff,#191919><nopad>[[파일:Screenshot 2024-05-15 9.28.37 PM.png|width=100%]]|| ||<bgcolor=#000000><color=#D6D6D6> '''[[Attention Is All You Need|{{{#d6d6d6 Attention Is All You Need}}}]]^^(2017)^^''' || 트랜스포머의 가장 중요한 개념은 '''어텐션 메커니즘(attention mechanism)'''이다. 이름("Attention Is All You Need")에서 알 수 있듯이, [[순환 신경망|순환적인 구조]]나 [[합성곱 신경망|컨볼루션 연산]] 없이 오직 어텐션 메커니즘만을 사용해 입력과 출력 간의 관계 혹은 입력과 출력 시퀀스 내부 요소들 간의 관계를 파악한다. 어텐션 메커니즘을 중심으로 설계되면서 트랜스포머는 입력 데이터에서 중요한 부분을 강조하여 정보를 효율적으로 처리할 수 있게 되었다. 뿐만 아니라 기존 모델인 [[RNN]]은 입력 데이터를 순차적으로 처리해 병렬화가 어려웠지만, 트랜스포머는 입력 시퀀스를 병렬적으로 처리할 수 있어 [[GPU]]와 같은 고성능 하드웨어를 효율적으로 사용할 수 있게 되었다. 논문 발표 당시 연구진은 트랜스포머를 기계 번역 태스크에 적용하여 우수한 성능을 입증했다. 이후 이 구조는 언어 모델링을 비롯한 수많은 자연어 처리 작업과 이미지, 음성 데이터 처리로 확장되며 인공지능 전반의 발전에 크게 기여했다.
요약
문서 편집을
저장
하면 당신은 기여한 내용을
CC BY-NC-SA 2.0 KR
또는
기타 라이선스 (문서에 명시된 경우)
로 배포하고 기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다. 이
동의는 철회할 수 없습니다.
비로그인 상태로 편집합니다. 로그인하지 않은 상태로 문서 편집을 저장하면, 편집 역사에 본인이 사용하는 IP(216.73.216.107) 주소 전체가 영구히 기록됩니다.
저장
사용자
216.73.216.107
IP 사용자
로그인
회원가입
최근 변경
[불러오는 중...]
최근 토론
[불러오는 중...]