uncertainty-matching knowledge distillation1 Multi-domain Knowledge Distillation via Uncertainty-Matching for End-to-End ASR Models - Kim, H. et al. (2021) (2) 앞 게시글에 이어서 Kim, H. et al. (2021) Multi-domain Knowledge Distillation via Uncertainty-Matching for End-to-End ASR Models 논문 리뷰를 이어가겠습니다. 본 논문이 제안하는 방법론인 KD와 uncertainty 중 지식 증류에 대해 먼저 살펴보겠습니다. E2E ASR 에 지식 증류를 적용하기 위해 기존 KD 처럼 두가지 loss function 을 사용합니다. 먼저 첫번째 loss 를 살펴보겠습니다. 먼저 E2E ASR은 시퀀스 라벨링 작업으로서, 입력 토큰 s 를 가지고 negative log likelihood 를 최소화하여 출력 t 를 예측하는데, 여기서 yi 는 대상 텍스트의 i번째 ground truth 이.. 2021. 11. 16. 이전 1 다음
