떡밥위키
최근 변경
최근 토론
특수 기능
파일 올리기
작성이 필요한 문서
고립된 문서
고립된 분류
분류가 되지 않은 문서
편집된 지 오래된 문서
내용이 짧은 문서
내용이 긴 문서
차단 내역
RandomPage
라이선스
IP 사용자
216.73.216.107
설정
다크 모드로 전환
로그인
서버 점검 공지
|
개인정보 처리방침 개정 안내
트랜스포머(인공신경망)
(r1 문단 편집)
닫기
RAW 편집
미리보기
=== 포지셔널 인코딩(Positional Encoding) === 트랜스포머는 [[RNN]]과 달리 순환 구조가 없기 때문에 모델 자체적으로는 단어의 순서나 위치 정보를 절대로 알 수 없다. 인간의 언어는 통사적 정보가 중요할 뿐더러, 문법 관계나 어순이 바뀌면 의미가 달라지는 경우도 부지기수이기 때문에 이를 해결하기 위해 입력 임베딩 벡터에 '''포지셔널 인코딩'''이라는 벡터를 더해준다. 이 벡터는 단어의 절대적인 위치 또는 상대적인 위치 정보를 담고 있다. [[Attention Is All You Need]]에서는 사인(sine) 함수와 코사인(cosine) 함수를 이용한 고정된 방식의 포지셔널 인코딩을 사용했다. 각 위치 [math(pos)]와 임베딩 차원 내의 각 인덱스 [math(i)]에 대해 다음과 같이 계산된다. {{{#!wiki style="text-align: center" [br][math(PE_{(pos, 2i)} = sin(pos / 10000^{2i/d_{model}}))] }}} {{{#!wiki style="text-align: center" [math(PE_{(pos, 2i+1)} = cos(pos / 10000^{2i/d_{model}}))] }}} 여기서 [math(d_{model})]은 모델의 임베딩 차원이다. 이렇게 구현하면 모델이 상대적인 위치 정보도 쉽게 학습할 수 있게 되고 학습 데이터보다 긴 시퀀스에 대해서도 외삽(extrapolation)이 가능하다는 장점이 있다. 학습 가능한(learned) 포지셔널 인코딩 방식도 사용될 수 있다.
요약
문서 편집을
저장
하면 당신은 기여한 내용을
CC BY-NC-SA 2.0 KR
또는
기타 라이선스 (문서에 명시된 경우)
로 배포하고 기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다. 이
동의는 철회할 수 없습니다.
비로그인 상태로 편집합니다. 로그인하지 않은 상태로 문서 편집을 저장하면, 편집 역사에 본인이 사용하는 IP(216.73.216.107) 주소 전체가 영구히 기록됩니다.
저장
사용자
216.73.216.107
IP 사용자
로그인
회원가입
최근 변경
[불러오는 중...]
최근 토론
[불러오는 중...]