Self-supervised Learning2 wav2vec 2.0 기초개념 정리 self-supervised learning (자기지도학습) - 라벨이 없는 데이터를 이용하여 자기 자신의 특성(representation)을 배우는 학습 방법 - 라벨링된 데이터가 부족한 분야에서는 딥러닝이 큰 성능 보이지 못하고 있는데, self-supervised learning을 적용한 pre-trained 모델이 있다면 fine tuning 을 이용해 데이터가 적은 분야에서도 성능향상을 가져올 수 있음. - 전통적인 음성인식 모델들은 전사된 annotated speech audio 에 의해 주로 훈련됨 - 좋은 시스템은 많은 양의 annotated 데이터를 필요로하는데, 이 것은 몇몇 언어에서만 가능함 - 자기지도학습이 unannotated data 을 활용하여 좋은 시스템 만드는 방법을 제공함.. 2023. 2. 16. Speech self-supervised learning (음성 자기지도학습) Speech self-supervised learning Learning task-agnostic representation using unlabeled speech data 레이블이 없는 음성 데이터로부터 태스크와 무관한 rerpesentation 을 학습하는 과정 그 이후, fine-tuning with task-specific labeled speech data (ex. ASR, speaker verification...) 화자인식이나 음성인식의 데이터셋(labeled speech data)을 통해 fine-tuning 진행 suppose that learned general representation helps other speech-related tasks 사전학습한 일반적인 음성 represe.. 2023. 2. 16. 이전 1 다음
