어텐션을 중심으로 시퀀스 모형을 구성한 트랜스포머

이야기

바스와니와 공동저자 일곱 명의 논문은 시퀀스 모형의 중심으로 순환이나 합성곱을 쓰지 않는 인코더·디코더 구조에 어텐션, 위치 인코딩, 순방향 층을 결합했다. 실험은 오늘날의 채팅 응용이나 일반지능의 증명이 아니라 기계번역에 집중했다. 어텐션에는 이전 역사가 있었고 후대의 사전학습, 데이터셋, 구조 변화는 추가 발전이었다. 따라서 논문 하나가 모든 인공지능의 기원을 나타내지는 않는다.

날짜와 정밀도

2017년 6월 12일（첫 사전논문 게시） 기록된 날짜

기록된 연·월·일로 배치하며 부족한 정밀도를 추정하지 않습니다.

지도의 대표 장소

마운틴뷰와 구글 연구 협력

마운틴뷰는 구글의 연구 환경을 나타내며 논문이 제시한 정확한 실험 주소는 아니다. 소속에는 구글 브레인과 구글 리서치가 포함된다.

대표 좌표 · 37.422°, -122.084°

표시는 원고 소장처, 실험실, 관측지 같은 한 대표 장소입니다. 작업이 그곳에서만 이루어졌다는 뜻도 공동 발견을 한 국가에 귀속한다는 뜻도 아닙니다.

참고문헌

• 바스와니와 공동저자들｜『Attention Is All You Need（어텐션만 있으면 된다）』 첫 사전논문
• 구글 리서치｜『Attention Is All You Need（어텐션만 있으면 된다）』

참고문헌은 일반 서지 제목으로 표시합니다. 특정 사실이나 맥락을 뒷받침할 수 있지만 모든 해석을 인증하지는 않습니다. 한국어판은 영어판의 독립 참고문헌과 원래 URL을 유지한 번역이며, 한국어 원자료나 한국어 모어 편집자의 역사 검증을 뜻하지 않습니다.