4. 어텐션 (Attention)
- 첫번째 인코더 레이어에 입력 값이 들어오고 여러 개의 인코더 레이어 반복해서 거침
Multi-Head Attention 레이어
Reference
이 글은 나동빈님의 'Transformer : Attention Is All You Need' 논문 리뷰 영상을 보고 정리한 글입니다.
'Deep Learning' 카테고리의 다른 글
| 트랜스포머(Transformer) (4) - 인코더와 디코더 (1) | 2022.06.04 |
|---|---|
| 트랜스포머(Transformer) (3) - 구조, 동작원리, 포지셔널 인코딩(Positional Encoding), 어텐션(Attention) (0) | 2022.06.04 |
| 트랜스포머(Transformer) (2) - Attention 으로 seq2seq 문제 해결 (0) | 2022.06.03 |
| 트랜스포머(Transformer) (1) - Seq2Seq 모델의 한계점 (0) | 2022.06.02 |
| 신경망 출력층 설계하기 (분류, 회귀에 맞는 활성화 함수 선정) (0) | 2022.05.31 |
댓글