트랜스포머(인공신경망)_{(r1 문단 편집)}

== 파급력 ==
트랜스포머의 등장은 [[LLM|대규모 언어 모델(Large Language Model, LLM)]] 시대를 열었으며 [[인공지능]] 연구 및 응용의 패러다임을 바꾸는 계기가 되었다. 트랜스포머의 병렬 처리 능력이나 모델 확장성, 장거리 의존성 포착 능력은 타의 추종을 불허하며 [[BERT]]의 성공 이후에는 기존에 시계열 데이터 처리에 쓰이던 [[RNN]]의 입지를 대폭 약화시켜 버렸다. 전통적으로 [[합성곱 신경망|CNN]]의 영역이던 [[컴퓨터 비전]] 영역에도 손을 뻗쳐 현재는 [[자연어 처리]]뿐 아니라 이미지 분석(ViT), 이미지와 영상 생성(DiT), 음성 인식(Whisper)등 다양한 분야에 적용되고 있다.

단백질 구조 예측 인공지능인 [[알파폴드2|알파폴드2(AlphaFold 2)]][* AlphaFold2는 분명히 트랜스포머가 중요한 부분을 차지하고 있지만, 전체 구조를 볼 때 트랜스포머 기반이라고 간단히 표현하기보다는, 트랜스포머와 그래프 신경망(GNN)을 결합한 하이브리드 모델로 보는 것이 정확하다.]는 [[데미스 허사비스]]에게 [[노벨화학상]]을 안겨주었고 U-net을 핵심 컴포넌트로 가지고 있던 기존 [[확산 모델]]들마저 2023년을 기점으로 트랜스포머 백본인 DiT(Diffusion Transformer)로 대체되며[* [[Stable Diffusion|Stable Diffusion3]]와 [[Sora]]가 대표적인 예시이다.] [[인공 신경망]]이 적용되던 거의 전 분야에 걸쳐 기반 아키텍처가 트랜스포머로 갈아치워지고 있는 실정이다.

이렇게 [[기계학습]]과 [[인공지능]] 학계에서 트랜스포머의 영향력이 막대하다보니 요즘은 트랜스포머의 강점이 인공 신경망의 강점이 되고 트랜스포머의 한계가 곧 인공 신경망의 한계로 받아들여질 정도가 되어버렸다. 많은 사람들이 이런 상황에 경각심을 느끼고 트랜스포머를 대신할 아키텍처 개발에 힘쓰고 있지만 이런 대안 모델들은 아직까지 트랜스포머를 대체하는데 실패하고 있다. MAMBA 같은 상태공간모델(State space model) 등이 가능성을 보여주었지만 하이브리드 아키텍처의 형태로 트랜스포머의 약점을 보완하거나 특정 작업에 특화된 성능을 보여주며 공존하는데 그치는 실정이다.

요약

문서 편집을 저장하면 당신은 기여한 내용을 CC BY-NC-SA 2.0 KR 또는 기타 라이선스 (문서에 명시된 경우) 로 배포하고 기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다. 이 동의는 철회할 수 없습니다.

비로그인 상태로 편집합니다. 로그인하지 않은 상태로 문서 편집을 저장하면, 편집 역사에 본인이 사용하는 IP(216.73.216.107) 주소 전체가 영구히 기록됩니다.

트랜스포머(인공신경망)(r1 문단 편집)

트랜스포머(인공신경망)_{(r1 문단 편집)}