본문 바로가기
paper review

CNN-RNN-CTC Based End-to-End Mispronunciation Detection and Diagnosis - Leung, W. K., Liu, X., & Meng, H. @ ICASSP 2019

by 햇농nongnong 2022. 6. 6.

CNN-RNN-CTC Based End-to-End Mispronunciation Detection and Diagnosis - Leung, W. K., Liu, X., & Meng, H.  @ ICASSP 2019 논문 리뷰 글입니다.

 

Abstract


main point : CNN-RNN-CTC 구조를 가진 모델을 제안 : E2E 모델이 MDD task 에 처음으로 적용된 논문

  • phonemic, graphemic 정보가 필요 없고, forced alignment 도 필요없기 때문에 유용하게 사용될 것으로 기대됨
  • 다양한 baseline 모델들의 성능과 비교한 결과 - F1 measure 에서 다 이김
Model Relative Increase
Extended Recognition Network (ERN) (S-AM) 44.75%
State-Level Acoustic Model (S-AM) 32.28%
Acoustic-Phonemic Model (APM) 9.57%
Acoustic-Graphemic Model (AGM) 5.04%
Acoustic-Phonemic-Graphemic Model (APGM) 2.77%
  • This paper focuses on using Convolutional Neural Network (CNN), Recurrent Neural Network (RNN) and Connectionist Temporal Classification (CTC) to build an end-to-end speech recognition for mispronunciation detection and diagnosis (MDD) task.
  • Our approach is end-to-end models, while phonemic or graphemic information, or forced alignment between different linguistic units, are not required.
  • We conduct experiments that compare the proposed CNN-RNN-CTC approach with alternative mispronunciation detection and diagnoses (MDD) approaches. 

 

1. Introduction


Key technologies of CAPT : Phone-level MDD

  • 음성인식기 성능을 향상시키는 것보다 MDD 성능 향상시키는 것이 더 어려움
  • 음성인식기는 언어 모델의 보조를 받을 수 있지만, MDD 는 언어모델을 함부로 썼다가 mispronunciation 을 오히려 놓칠 수 있다는 위험성이 있음
  • 따라서 언어모델을 함부로 쓸 수 없어서 성능 향상에 어려움을 겪고 있음
  • 대신에, 언어 모델보다 음향적인 모델링을 어떻게 잘 할지에 대한 고민
  • acoustic modelling = 해당 발음된 음소가 native 인지, non-native 인지 잘 구분할 수 있게끔 모델링
  • Difficult task compared to ASR, because ASR can use the language model
    - outweigh the effect of inaccurate acoustics to output the legitimate character sequence
  • For MDD, the constraints offered by the language model is not helpful
    - lead to missed detection of mispronunciations
  • Hence, strong acoustic modelling is important.
    - to discriminate between native production & the deviant non-native pronunciations.

 

Previous studies

Extended Recognition Network (ERN)

  • 언어 모델의 보조를 받는다고 할 수 있음
  • canonical 한 발음열에 더해서 학습자들이 자주 범하는 오류 패턴들을 언어 모델 그래프에 추가적으로 뚫어주는 방법론
  • 실제로 안정적인 성능을 보여서 application 에 자주 사용되는 방법론
  • 단점 ) 예측되지 않은 학습자의 오류 패턴은 절대 찾아내지 못함
    - 이걸 최대한 잡아내려고 모든 길을 다 뚫으면, 오히려 잘 되고 있는 phoneme recognition 성능도 떨어질 수 있음
  • 해결책 ) free phone recognition - 모든 음소에 대한 경우를 다 모델링할 수 있도록 제안한 모델
  • utilizes phonological rules to derive mispronunciation patterns - formulate ERN
  • applications : Enunciate, mEnunciate
  • drawbacks
    - no gurantee whether all mispronunciation possibilities from all language learners are covered
    - overly busy recognition network = lower performance on AM models
  • solution : free-phone recognition
    - all possible alternative phones are considered ( = all possible mispronunciations are covered )
    - S-AM (State-level Acoustic Model) : 예전에는 text 정보를 함께 넣어줬지만, 이 모델에서는 acoustic feature(spectrogram) 정보를 넣음 - 한 음소 뒤에 뭐가 나올지에 대한 정보를 주지 않은 채로 이 phoneme 이 어떤 phoneme 이야 하고 classification 하도록 만든 모델 - 성능 별로였음
    - 따라서 추가적으로 텍스트 정보를 넣어줌 : APM(acoustic-phonemic model), AGM(acoustic-graphemic model), APGM(acoustic-phonemic-graphemic model)
  • 위 모델들의 단점은 결국에 force-alignment 가 필요하다는 단점

 

Proposal

Model which 1) does not require force-alignment 2) for free-phone recognition in MDD

  • force-alignment 가 없으려면 CTC(connectionist temporal classification) loss 필요
  • CNN-RNN 
    - CNN : 음소인식 과제에서 robust 한 성능을 보인다고 알려져있어서 사용
    - RNN (GRU) : CNN 은 local 한 정보를 뽑는다면, RNN 은 global/temporal 정보를 함께 모델링할 수 있기 때문

 

 

2. CNN-RNN-CTC model for MDD


  • CNN-RNN-CTC model 은 5개 파트로 구성됨
    : Input layer, CNN layers, Bi-directional GRU, MLP layer, CTC output layer

 

Input Layer

  • accepts framewise acoustic features
  • input layer + batch normalization layer + zero padding layer
  • zero padding : to force inputs to have the same length
    - CNN 에 넣어주기 위해서 일단 input 크기가 같아야 하기 때문에 zero padding

 

CNN layers

  • 2 * ( 2 CNN + 1 Max pool layer) + batch normaliation layer
  • captures high level acoustic features (local features)

 

Bi-directional GRU

  • RNN 중에서도 computation 속도가 빠른 GRU 넣어줌
  • captures temporal acoustic features
  • GRU instead of LSTM : faster training process

 

MLP layer

  • MLP 레이어 중에서도 Time Distributed Dense layers 사용
    - applies a layer to every temporal slice
    - CTC needs sequence information as input
  • softmax layer : for classification

 

CTC output layer

  • generate predicted phoneme sequence
  • softmax output layer 을 통해 나온 값과 input length, label length, label sequence 정보를 함께 넣어서 CTC loss 계산

 

 

3. Experiments


3.1. Setup

Speech Corpus

  • TIMIT, CU-CHLOE(Chinese University Chinese Learners of English) 사용
  • 모든 문장들은 다 trained 된 음성학자들이 labelling 진행됨
  • TIMIT 은 training set, CU-CHLOE 는 training, development, test set 으로 사용됨
  • CU-CHLOE 는 speaker independent 하게 구성되어서 사용됨

Model Training

  • Input for model : spectrogram
    - 스펙트로그램을 위해서 FFT 사용
  • Input for CTC loss : softmax output, input length, input labels(annotated label sequence), label length

 

- Input length : output layer 에서 나온 것의 length
- Label length : blank 와 반복되는 것들을 없앤 length

  • each experiment trained with 30 epochs
  • implemented by Keras, Tensorflow
  • Metric : F-measures

 

3.2. Evaluation

 

 

  • Kaldi 돌려서 나오는 결과와 비슷 : reference 와 CNN-RNN-CTC output 인 phoneme sequence 를 강제정렬한 것 바탕으로 - 해당 음소가 잘 발음 되었는지, insertion/deletion/substitution 되었는지에 대한 판단
  • recognized phoneme sequence are aligned with the annotated sequences
    - Needleman-Wunsch Algorithm

  • aligned phone sequences are used to count correctness, insertion, deletion, and substitution

 

Performance of Phone Recognition 

: 모델이 얼만큼 음소를 잘 분류하는가 / 얼마나 음성인식 성능이 좋은가

  • investigation on how hidden unit size affects the performance with same number of layers
    - best recognition result : 87.93%, hidden size : 1024
  • 마지막 hidden unit 의 hidden size 에 대해 - hidden size 가 1024 였을 때 가장 좋은 음성인식 성능 보임

 

 

  • 선행연구들과의 비교 - recognition rate for correct pronunciation
  • 음소인식 성능 : S-AM, ERN(S-AM) 보다 성능 더 좋았지만, APM, AGM, APGM 보다는 성능 더 낮았음
    - 이유 : APM, AGM, APGM 과 달리 proposed 모델은 phonemic, graphemic 정보를 사용하지 않아서

 

 

  • 각 음소마다 더 살펴보면, S-AM 보다는 모든 음소에 대해서 더 좋은 성능을 보임
  • AGPM 보다는 더 낮은 성능을 보였지만, /ah/, /ih/, /d/, /t/, /s/ 에 있어서는 더 좋은 성능을 보임

 

Performance of MDD

  • True Acceptance (TA) : correct pronunciation 을 correct pronunciation 으로 잘 판단했는지
  • True Rejection (TR) : mispronunciation 을 mispronunciation 으로 잘 판단했는지
    - correct diagnosis (CD) : 진짜 그 음소로 잘못 발음했다고 잘 얘기했는지에 대한 척도
    - diagnosis error (DE) : 틀렸다고 말했는데, 엉뚱한 음소로 발음했다고 디코딩한 경우
  • False Acceptance (FA) : mispronunciation 인데 correct pronunciation 이라고 잘못 판단한 경우
  • False Rejection (FR) : correct pronunciation 인데 mispronunciation 이라고 잘못 판단한 경우

 

Mispronunciation diagnosis

  • False Rejection Rate (FRR) : performance on correct pronunciations
    - 잘 발음한 것에 있어서 얼마나 성능이 나오는지
  • False Acceptance Rate (FAR) : performance on mispronunciations
    - 잘못 발음한 것에 있어서 얼마나 성능이 나오는지
  • Diagnosis Error Rate (DER) : performance on mispronunciations (in detail) / related to True Rejection

 

 

  • Precision : mispronunciation 이라고 판단한 것 중 얼마나 정확하게 mispronunciation 이라고 판단하였는지
  • Recall : mispronunciation 음성 중 얼마나 정확하게 mispronunciation 이라고 판단하였는가
  • F-measure : Precision 과 Recall 의 조화평균 (harmonic mean value)
    - 얼마나 mispronunciation 을 잘 판단하였는가

 

 

  • Mispronunciation detection & diagnosis
    - detection accuracy (잘발견했는지)
    - diagnosis accuracy (음소인식기가 얼만큼 성능이 좋았는지)

 

 

Performance with different hidden sizes

 

  • best f-measure : 74.62%
  • hidden unit size : 1024

 

Comparison with previous studies (F-measure)

 

 

 

 

4. Conclusion


  • MDD task 에 end-to-end approach 를 적용한 첫번째 논문
  • 그 덕분에 forced alignment 사용 X, phonemic, graphemic 정보도 필요 없었음 - 이것 없이도 성능 이뤄냄
  • 실험 결과, MDD task 에 있어서 기존 baseline 모델보다 더 좋은 성능을 보였음
  • contribution point : MDD task 에 end-to-end 모델을 사용했다는 점
  • future work : linguistic information 이 하나도 사용되고 있지 않기 때문에 어떻게 적용할까 생각해보겠음

 

 

 

 

 

 Reference

  • 서울대 음성언어처리연습 논문리뷰 여은정님 발표
  • CNN-RNN-CTC Based End-to-End Mispronunciation Detection and Diagnosis - Leung, W. K., Liu, X., & Meng, H.  @ ICASSP 2019

댓글