ETRI2 GPT 언어모델과 언어모델링에 대해서 이 글은 ETRI 박전규 박사님의 언어교육 성과 특강 강의를 듣고 정리한 글입니다. 언어 모델링 (Language Modeling) - language prediction 한 단어 다음에 어떤 단어가 나올지 예측하는 것이 언어 모델(LM). 역시 중요한 것은 학습 데이터. 학습 데이터에 잘 나타나지 않은 단어들은? balance의 문제 : "the" 라는 단어가 "loom" 같은 특정 단어보다 많이 나옴 이런 balance 의 문제도 잘 다뤄야 함. Different domains, different distributions 4시 15분이 아닌, 4:15 같은 표현. 신조어 의학, 법학 - 도메인별 단어 또 다 다름 따라서 language model 도 그 때 그 때 fine-tuning 이 필요할 수 .. 2023. 3. 21. 음성인식(ASR)의 과정과 기본 구조 이 글은 ETRI 박전규 박사님의 언어교육 성과 특강 강의를 듣고 정리한 글입니다. 음성인식의 기본 구조 위 사진은 음성인식의 가장 기본적인 설계구조 음성인식, 음성합성 모두 acoustic model 이 존재 - 전통적인 방식으로는 HMM 모델 사용 Acoustic model : '소리'를 다루는 것 - speech 음성 자체를 이용해 통계자료로 모델링해서 만든 모델 - 음소, 아 / 에 / 이 / 오 / 우 등을 다루는 것 Language model : '텍스트'를 이용해 모델링 - 형태소, 어절 등의 통계적인 접속 정보 / 어휘의 쓰임새를 모델링 Vocabulary dictionary : 발음사전. 요즘 음성인식 트렌드에서는 발음사전 거의 안씀. - but 여전히 최신 트렌드에서 acoustic, .. 2022. 6. 3. 이전 1 다음
