Fairseq 란?

Spoken Language Processing

햇농nongnong 2022. 5. 27. 18:14

- 기계번역을 위해서 페이스북에서 개발한 모델

- 원래 기계번역 분야에서는 RNN 이 주로 사용되었고, 최근에는 CNN 을 시퀀스 처리에 사용함

- Fairseq 는 CNN 과 Attention 을 사용해 기계번역에서 state-of-the-art 갱신함

- CNN 을 통해 전체 문맥을 한꺼번에 봄 + 단어를 하나씩 처리하는 RNN 보다 더 효율적으로 GPU 를 사용

- 구글의 Neural Machine Translation 과 비교했을 때 더 성능이 높음

- NVidia K40 GPU 에서 9.3 배 빠름, GTX-1080ti 에서 21배 빠름

- 영어-프랑스어, 영어-독일어, 영어-루마니아어에 대한 pre-trained 모델 github 에 공개