트랜스포머(Transformer) (4) - multi-head attention

4. 어텐션 (Attention)

---

 

 

• 첫번째 인코더 레이어에 입력 값이 들어오고 여러 개의 인코더 레이어 반복해서 거침

 

 

Multi-Head Attention 레이어

 

 

 

 Reference

• https://www.youtube.com/watch?v=AA621UofTUA

이 글은 나동빈님의 'Transformer : Attention Is All You Need' 논문 리뷰 영상을 보고 정리한 글입니다.