티스토리

nongdevlog

검색하기

블로그 홈

nongdevlog

nongnongai.tistory.com/m

인공지능 박사과정 스터디 기록들..

구독자: 11

방명록 방문하기

반응형

주요 글 목록

Explainable AI(XAI), Integrated Gradients [2] 이 글은 서울대학교 '최신 인공지능 기술' 강의 중 곽노준 교수님의 'Explainable & Responsible AI' 강의를 듣고 정리한 글입니다. Integrated Gradients (IG; ICML'17)Attribution to a feature is feature value times gradient. Image가 아니더라도, 옛날부터 integrated gradients 종종 사용함. f(x) = wx 라고 하면, w가 아까 y를 x로 미분한 것이니, 위 그림의 빨간 식이라고 할 수 있음. 최종 식에서 x가 feature, 미분 값이 gradient. 즉, linearization 하는 것. linearization 했더니 중요한 것은 y/x 미분 * x 더라.. (위 그림의 빨간 식.. 공감수 1 댓글수 0 2024. 12. 13.
Explainable AI(XAI), CAM & Grad-CAM [1] 이 글은 서울대학교 '최신 인공지능 기술' 강의 중 곽노준 교수님의 'Explainable & Responsible AI' 강의를 듣고 정리한 글입니다. 최근에는 explainable 하면, reliable, responsible 하다 라고 해서 reliable AI, responsible AI 라고도 함.- 근본적으로 DNN이 있으면, nonlinearity로 input이 있으면 output이 나오는 black box 모델. - adversarial attack 이 들어오는지, 다른 방법으로 manipulation 하는지 안하는지, output이 왜 이런 결정을 내렸는지에 대해 알기가 불가능.- Explain을 해보자 하는 관점에서 이런 분야가 생겨남Local explainability- 딥러닝이 나.. 공감수 4 댓글수 3 2024. 12. 12.
LLM - Large Language Models에 대해서 (OpenAI 특강) (1) 연구자들이 가져야 할 자세, 언어모델 구조 기초 이 글은 OpenAI의 정형원 박사님의 ChatGPT Large Language Model 강연을 정리한 글입니다. 먼저, 학자들이 갖춰야 할 자세에 대해 좋은 말씀을 해주셔서 정리해보았습니다. Perspecive of "yet" This idea does not work --> This idea does not work yet we are used to operating in an environment where underlying axioms do not change. 과학 실험에서도 지금 안되는 것 3년 후 30년 후 안되는 것 알고 있을 때가 있다. --> underlying axioms 언어모델에서도 이러한 axioms? = the most capable model now. GPT4가 나왔을 때.. 공감수 1 댓글수 0 2023. 9. 7.
docker 접속, container 이미지 생성하기 Docker 접속 및 컨테이너 이미지 생성 코드 Docker 는 리눅스 컨테이너 관리하게 해주는 도구 각각의 컨테이너는 호스트 시스템과는 다르게 별개의 시스템, 네트워크, 권한 등 다른 환경을 가질 수 있음. docker run : 컨테이너 실행 명령어 새로운 컨테이너 환경을 만듦 docker exec : 특정한 컨테이너를 실행한 환경에서 또 다른 프로세스 실행할 수 있도록 해주는 명령어 이미 실행된 특정 컨테이너의 환경을 디버깅하는 용도 sudo docker images ## 서버에 존재하는 docker image 목록 확인 sudo docker load -i ## 이미지 로드 sudo docker run --gpus -it --name --ipc=host -v :/workspace/data/ --gp.. 공감수 0 댓글수 0 2023. 7. 25.
음성인식 기초개념 이 글은 에 참가하여 정리한 내용입니다. Seq-to-Seq Models for Speech Recognition 1) RNN (Long Short-Term Memory) Converting a fixed length vector to a sequence forget, input, output gate 3개의 gate 사용 input cell의 dimension과 output dimension 같음 : start of sentence 임의의 길이의 sequence input이 들어가도 output으로는 fixed length가 나옴. 2014년 RNN기반 encoder-decoder 모델 나옴 Shared Encoder/Decoder model 인코더 없이 디코더만도 가능 Issues with RNN e.. 공감수 0 댓글수 0 2023. 4. 19.
음성인식을 위한 최신 언어 모델 <2> 이 글은 Kakao AI Report 의 일부 "음성인식을 위한 최신 언어 모델 리뷰"를 보고 정리한 글입니다. End-to-End 음성인식 언어모델(language model; LM) : 일련의 단어열에 대해 확률을 결정하는 기술 즉, 앞서 등장한 단어열을 고려하여 뒤에 이어질 단어의 등장 확률 분포 추정하여, 나왔던 단어열 다음에 어떤 단어가 뒤에 나와야 문장이 더 자연스러운지 확률적으로 추정 음성인식기는 크게 GMM-HMM, E2E 음성인식기 두 가지로 나뉨. End-to-End 음성인식 이전 HMM 기반 하이브리드 음성 인식은 학습을 위해 프레임 별 음소 정보가 필요하다는 한계점. CTC(Connectionist Temporal Classification)나 attention과 같이 기존 GMM-.. 공감수 0 댓글수 0 2023. 4. 10.
음성인식을 위한 최신 언어 모델 <1> 이 글은 Kakao AI Report 의 일부 "음성인식을 위한 최신 언어 모델 리뷰"를 보고 정리한 글입니다. 언어모델이란? 언어모델(language model; LM) : 일련의 단어열에 대해 확률을 결정하는 기술 즉, 앞서 등장한 단어열을 고려하여 뒤에 이어질 단어의 등장 확률 분포 추정하여, 나왔던 단어열 다음에 어떤 단어가 뒤에 나와야 문장이 더 자연스러운지 확률적으로 추정 다음 단어를 추론하고 '생성'하기 때문에 text generation 이라고도 불림. ex) '오 필승' 단어열 관측, 다음 단어 예측하는데 있어 '코리아' 라는 단어 나타날 확률이 높을 것이고, 가장 자연스러운 단어열일 것임 자연스러운 단어열을 찾아야하는 특성 상 2가지 특징 가짐. context-dependent : 이전.. 공감수 1 댓글수 0 2023. 4. 6.
음성특징벡터와 스펙트로그램 이 글은 Kakao AI Report 의 일부 "커스텀 음성 합성 : 한문장 녹음으로 내 목소리 만들기"를 보고 정리한 글입니다. 음성 특징 벡터 음성합성에서의 음성특징벡터 음성 특징벡터 (feature vector) : 텍스트에서 음성으로 변환할 때 곧바로 사람들이 이해하는 음성으로 변환하지 않고, 변환 과정 중 효율적인 음성 정보 표현을 생성. 이를 음성 특징벡터라고 함. 텍스트를 입력받아 음성 특징 벡터를 출력하는 모듈이 음향 모델(acoustic model) 음성 특징 벡터의 역할 음성에 들어있는 정보(발음 종류, 성별, 음색, 높이)는 음성 신호 자체에서 쉽게 얻어낼 수 없고, 수학적인 신호 처리 거쳐서 추출. 이 정보를 추출하기 위해서는 주파수 관점에서 관측해야 함. 주파수 : 신호가 1초에 .. 공감수 1 댓글수 0 2023. 4. 6.
GPT 언어모델과 언어모델링에 대해서 이 글은 ETRI 박전규 박사님의 언어교육 성과 특강 강의를 듣고 정리한 글입니다. 언어 모델링 (Language Modeling) - language prediction 한 단어 다음에 어떤 단어가 나올지 예측하는 것이 언어 모델(LM). 역시 중요한 것은 학습 데이터. 학습 데이터에 잘 나타나지 않은 단어들은? balance의 문제 : "the" 라는 단어가 "loom" 같은 특정 단어보다 많이 나옴 이런 balance 의 문제도 잘 다뤄야 함. Different domains, different distributions 4시 15분이 아닌, 4:15 같은 표현. 신조어 의학, 법학 - 도메인별 단어 또 다 다름 따라서 language model 도 그 때 그 때 fine-tuning 이 필요할 수 .. 공감수 0 댓글수 0 2023. 3. 21.
SINCNET 음성 feature 추출 (1) - FIR필터 FIR필터 filtering (필터링) : 측정된 신호를 처리하고 그 중에서 필요 성분만 추출해내는 것 filter (필터) : 위의 필터링 처리를 하는 장치 또는 소자 디지털 필터 : 특정 성질의 결과를 얻기 위해서 이산 신호를 처리하는 알고리즘 및 장치 필터처리 : 입력신호에서 입력신호에 포함되어 있는 원하는 정보만을 추출하여 출력신호로 내보내는 과정 임펄스 응답 특성에 따라서 크게 FIR / IIR 필터로 분류 FIR (Finite Impulse Infinite Response, 유한충격응답) 필터 신호처리 분야에서 널리 사용되고 있는 필터 비순환형 입력신호의 일정한(유한한, finite) 값들만을 가지고 필터링 수행 따라서 필터의 특성함수인 임펄스 응답을 구해보면 유한한 길이 위상 - 선형 다양한.. 공감수 0 댓글수 0 2023. 2. 28.
wav2vec 2.0 기초개념 정리 self-supervised learning (자기지도학습) - 라벨이 없는 데이터를 이용하여 자기 자신의 특성(representation)을 배우는 학습 방법 - 라벨링된 데이터가 부족한 분야에서는 딥러닝이 큰 성능 보이지 못하고 있는데, self-supervised learning을 적용한 pre-trained 모델이 있다면 fine tuning 을 이용해 데이터가 적은 분야에서도 성능향상을 가져올 수 있음. - 전통적인 음성인식 모델들은 전사된 annotated speech audio 에 의해 주로 훈련됨 - 좋은 시스템은 많은 양의 annotated 데이터를 필요로하는데, 이 것은 몇몇 언어에서만 가능함 - 자기지도학습이 unannotated data 을 활용하여 좋은 시스템 만드는 방법을 제공함.. 공감수 4 댓글수 1 2023. 2. 16.
Speech self-supervised learning (음성 자기지도학습) Speech self-supervised learning Learning task-agnostic representation using unlabeled speech data 레이블이 없는 음성 데이터로부터 태스크와 무관한 rerpesentation 을 학습하는 과정 그 이후, fine-tuning with task-specific labeled speech data (ex. ASR, speaker verification...) 화자인식이나 음성인식의 데이터셋(labeled speech data)을 통해 fine-tuning 진행 suppose that learned general representation helps other speech-related tasks 사전학습한 일반적인 음성 represe.. 공감수 0 댓글수 0 2023. 2. 16.
딥러닝 언어모델과 확률적 앵무새 - 2023 서울대학교 AI 연구원 겨울 콜로퀴움 리뷰 2023 서울대학교 AI 연구원 겨울 콜로퀴움 송상헌 교수님의 "딥러닝 언어모델과 확률적 앵무새" 강연을 듣고 리뷰를 남깁니다. 확률적 앵무새 (Stochastic Parrots) 메타인지 인공지능 언어모델은 자연 언어에 대한 실질적인 이해(understanding)를 하고 있는 것이 아니라 단순히 확률에 기반하여 단어의 조합을 결과값으로 반환(return)한다는 점에서 확률적 앵무새. 소통 가능성 (communicability) : 학습 데이터의 문제, 모라베크의 역설, 아스퍼커 증후군(행간의 의미), 맥락 지식(항진 명제) 세계에 대한 지식과 경험을 패턴화 데이터 간섭 현상 사람은 한두번만으로도 대상에 대한 패턴 정보를 얻는 것이 가능 컴퓨터는 충분한 양의 데이터를 통해서 학습을 해야 함. 메타인지 .. 공감수 0 댓글수 0 2023. 2. 3.
비원어민 음성인식 및 발음평가 (한국어 발음 교육) 비원어민 음성인식 및 발음 평가 유창성이 떨어지고 문법/표현 오류가 포함된 비원어민 발성에 강인한 음성인식 기술 결국은 데이터. 최대한 많은 비원어민의 잘못된 음성, fluency 낮은 음성을 가지고 학습해야함. 어휘적 문제, 음향적 문제 포함된 다양한 측면의 데이터를 최대한 많이 수집해서 모델링해야함. 이게 비원어민 음성인식의 목표. human expert와 machine score 간의 correlation 을 최대화하는 발음 유창성 평가 기술 발음 평가 : 기계가 못함. 결국은 사람들이 잘 만들어낸 지식을 활용해야 함. 한국인이 /p/, /f/ 구분 잘 못하는데 이걸 어떻게 잘 구분해서 유창성 떨어지는걸 표시할까를 고민 human rater, 음성학자들이 이러한 지식을 잘 만들어 놓아야 함. 우리는.. 공감수 0 댓글수 0 2023. 1. 15.
docker에서 jupyter notebook 접속하기 Docker 에서 jupyter notebook 접속 불가 에러 수정 docker 에서 주피터 노트북을 실행하기 위해서는 인터넷 연결과 방화벽이 필요합니다. 먼저 docker 의 container 에 들어간 이후, jupyter notebook 을 실행해봅시다. # 도커 컨테이너 접속 sudo docker start hy_fairseq sudo docker attach hy_fairseq # 주피터 노트북 설치 pip install --upgrade pip pip install jupyter # 주피터 노트북 실행 jupyter notebook --no-browser --allow-root --ip=0.0.0.0 --port=8888 # --no-browser 는 별도의 브라우저를 띄우지 않겠다는 의미 .. 공감수 0 댓글수 0 2022. 12. 8.
kaldi 설치하기 Kaldi 란? Kaldi 는 음성인식 및 신호 처리를 위한 오픈 소스 음성 인식 툴킷 Kaldi 설치 방법 Kaldi github 에서 다운로드 받고 환경 설정해주기 git clone https://github.com/kaldi-asr/kaldi.git cd tools/ extras/check_dependencies.sh CXX=g++-4.8 extras/check_dependencies.sh sudo apt autoremove g++ sudo apt-get remove g++-4.8 sudo apt-get install g++ make make CXX=g++-4.8 make CXX=g++ make -j 4 cd src/ ./configure --shared make depend -j 8 make -j.. 공감수 0 댓글수 0 2022. 11. 17.
kaldi CSID (substitution, insertion, deletion) 발음 오류 패턴 분석, wer 계산 2022 AI 학습 데이터 활용 해커톤에 참여하게 되면서 외국인 학습자들의 한국어 발음 분석을 해보았다. 외국인의 한국어 발화 데이터를 활용하여 권역별(국가별) 발음 오류 패턴을 비교 분석하는 과제이고, 최종적으로 Chinese, Spanish, English L1 학습자의 한국어 발음 오류 패턴을 제시하였다. 발음 오류 패턴 분석을 위하여 CSID (correct, substitution, deletion, insertion) 오류를 사용함 위의 CSID 를 구하기 위해 칼디 툴킷을 사용함 ref 와 hyp 파일 만들기 CSID 발음 오류 패턴 분석은 정답 음소열과 음소인식기를 돌린 결과 음소열을 일대일 대응시켜 해당 자리에 정답 음소열이 있는지 비교하는 것임 Substitution 치환, Deleti.. 공감수 0 댓글수 0 2022. 11. 17.
os.listdir - 파이썬 디렉토리 내 파일 확인, 개수 새기, 파일 다루기 파이썬 내 os 라이브러리를 이용해 폴더 내의 파일명을 나열할 수 있다. os.listdir('폴더 경로') ex) import os file_list = os.listdir('/home/haeyoung/nia12/nia_dataset/data_preprocess/fr_data/') wavfile = [] txtfile = [] g2pfile = [] etc = [] for file in file_list : if file.startswith('g2p') and file.endswith('.txt'): g2pfile.append(file) elif file.endswith('.wav'): wavfile.append(file) elif file.endswith('.txt'): txtfile.append(f.. 공감수 0 댓글수 0 2022. 11. 11.
파이썬 문자열 처리 - split, replace, count 파이썬으로 문자열 처리 1) split - 문자열 분리 위와 같이 tab 전의 앞부분만 가져오고 싶을 때 .split('split할 기준')[자른 후 몇번째] 2) replace - 문자열 내의 특정 문자 치환 문자열.replace('바꾸고 싶은 문자열', '바꿀 문자열') 3) count - 문자열 내의 특정 문자 갯수 새기 ex) enter = wrd.count('\n') wrd 변수에 저장된 문자열에서 엔터 개수를 세서 enter 변수에 갯수 저장 예시) file_list = os.listdir('/home/haeyoung/nia12/nia_dataset/data_preprocess/fr_data/') file_path = '/home/haeyoung/nia12/nia_dataset/data_pre.. 공감수 0 댓글수 0 2022. 11. 11.
파이썬 shutil 라이브러리로 쉽게 파일 복사하기 파이썬 shutil 라이브러리로 간단하게 파일을 복사할 수 있다. shutil.copyfile('복사할 파일이 있는 경로 주소', '복사물을 위치할 경로 주소') * 파일명이 아니라 경로 path 주소 * 경로는 절대 경로를 써주는 것이 좋다. 예시) import shutil file_list = os.listdir('/home/haeyoung/nia12/nia_dataset/data_preprocess/fr_data/') for file in file_list : file = file.replace('.wav','.txt') g2pfilename = 'g2p' + file if file in fr_data_g2pincluded : print(file, "is here and moved.") before.. 공감수 0 댓글수 0 2022. 11. 11.
G2P(grapheme to phoneme)란? - 발음열 정보의 중요성 음성인식과 발음 모델(G2P) 전통적인 HMM 기반 모델 HMM 기반 모델 : 음향모델, 발음모델, 언어모델로 나눌 수 있음. 발음 모델 : 단어를 음소로 매핑하는 과정에서 발음 모델 사용. 발음 모델 정의할 때는 타겟 언어에 대한 특별한 지식 필요. G2P (Grapheme to Phoneme) = 발음 모델 - 철자와 발음을 매칭하는 모델 - 발음변이 규칙을 찾고 예외처리를 적용해주는 모델 - 이러한 발음 모델(G2P)을 통해 철자와 단어에 대한 발음 사전을 만들어서 음성 정보와 텍스트 정보를 상호 변환해주는 역할 - 즉, 음소 시퀀스를 단어 시퀀스로 변경하기 위해 참고하는 모델 음향 모델 : 입력 오디오와 HMM 상태 간의 매핑을 모델링 - 위에서 발음 모델(G2P)을 통해 발음 사전이 만들어졌다면.. 공감수 1 댓글수 0 2022. 9. 28.
Huggingface 튜토리얼 (1) 기초 개념 소개 Tokenizer Tokenizer 가 매우 중요 결국 문장(글자, 텍스트)를 어떻게 숫자로 잘 바꿀 수 있을까가 관건 그렇게 하기 위해 가장 먼저 해야 할 것 - tokenizer - "학교에 가서 수업을 들었다." = 학교에 / 가서 / 수업을 / 들었다. 나누는 방법 다양함 - 띄어쓰기 단위 / 문자 단위 / subword 단위 - 각각의 장 단점이 있음 "오늘 저녁은 맛있었다." 띄어쓰기 단위 : [오늘, 저녁은, 맛있었다] - 명료, 적용 쉬움 - "맛있다, 맛있어요, 맛있었다" 가 모두 다르게 인식됨, 단어사전이 매우 커짐 문자 단위 : [오, 늘, 저, 녁, 은, 맛, 있, 었, 다] - 각 token 이 의미를 담지 못함 subword 단위 : [오늘, 저녁, 은, 맛있, 었, 다] - 띄.. 공감수 0 댓글수 0 2022. 9. 15.
Huggingface 로 wav2vec2.0 실습 - 영어 Huggingface Fairseq facebook 에서 처음에는 shell 을 통해 바로 훈련시키는 fairseq 라는 AI 툴킷을 공개함 따라서 이 fairseq 를 통해 pretrained 모델을 가져와 fine-tuning 가능했었음 Huggingface 그 이후 huggingface 에서 python 에서 pretrained 모델을 가져와 fine-tuning 할 수 있도록 만들어줌 Huggingface 는 자연어처리 스타트업에서 개발한 다양한 트랜스포머 모델(transformer.models) 과 학습 스크립트(transformer.Trainer) 를 제공하는 모듈 transformers.models : 트랜스포머 기반의 다양한 모델을 pytorch, tensorflow 로 각각 구현해놓은 모.. 공감수 0 댓글수 0 2022. 8. 18.
wav2vec2.0 pretrained 모델로 디코딩하기 Facebook - wav2vec2.0 개념 설명 Facebook 에서 약 5만 시간의 데이터를 훈련시켜 음성인식 pretrained 모델을 만들었음 - 5만 시간이라는 대량의 데이터로 훈련할 수 있었던 이유는 label 이 없는 데이터이기 때문에 가능했었음 - 즉, 라벨이 없는 데이터를 이용하여 자기 자신의 특성(representation)을 배우는 학습 방법인 self-supervised learning (자기지도학습)을 통해 만든 pretrained 모델 물론 finetuning 할 때 더 큰 데이터일수록 좋지만, 960hrs, 100hrs, 10m 비교했을 때 10m 모델로 fine-tuning 해도 충분히 좋은 결과가 나옴 즉, pre-trained 모델만 잘 만들어두면, 내가 가지고 있는 데이.. 공감수 2 댓글수 0 2022. 8. 17.
End-to-End ASR : Attention vs RNN-T 음성인식(ASR) 이란? 사용자의 발화를 입력으로 받아 음성인식을 거친 후 텍스트로 전사하는 과정 음성인식 - 사용자의 발화(발음적인 신호 자체에 대한 확률들) = acoustic model - 발화 자체가 있을 법한 문장인가 = language model 위의 두가지 확률들을 합쳐서, 사용자가 발화를 했을 때 그것이 어떤 말인지 가장 있을 법한 텍스트를 추론하는 것 End-to-End(E2E) ASR 기존 음성인식 모델링 입력 음성을 음소 단위로 mapping 음소 단위를 다시 텍스트로 전사하기 위해 수 많은 과정을 거쳐야 함 이렇게 매우 복잡하기 때문에 진입장벽이 매우 높은 분야 중 하나였음 End-to-End(E2E) 로의 전환 기존 방식에서는 음성을 phoneme(음소)으로 모델링 했음 E2E 에.. 공감수 0 댓글수 0 2022. 8. 4.
AI 에서의 Interpretability - Explainable AI Why interpretability? AI 에서 왜 interpretability 가 필요할까? It's not JUST about being responsibile. 물론 Interpretability - a tool to improve responsibility + the more we know about what we do, the more we become conscious about what we are doing. Interpretability 는 더 넓은 개념 - fundamental underspecification in the problem ( Humans often don't know exactly what they want ) ex ) safety 자동차 사고를 대비해 모든 사건 c.. 공감수 0 댓글수 0 2022. 8. 4.
Fairseq - Wav2vec 2.0 Pretraining (3) pretraining 시키기 앞 글에 이어 fairseq 의 examples 의 wav2vec2.0 pretraining 글입니다. 2. wav2vec 2.0 모델 학습시키기 Train a wav2vec 2.0 base model fairseq-hydra-train \ task.data=/path/to/data \ --config-dir /path/to/fairseq-py/examples/wav2vec/config/pretraining \ --config-name wav2vec2_base_librispeech 위 configuration은 wav2vec 2.0 논문의 Libispeech 데이터 세트에 대해 훈련된 기본 모델 입력은 16000 Hz 로 샘플링된 단일 채널이어야 함 데이터, 모델 파라미터 설정을 위한 config 정보 .. 공감수 0 댓글수 0 2022. 6. 14.
Fairseq - Wav2vec 2.0 Pretraining (2) Preprocess 전처리하기 CLI 툴킷을 사용해 새 모델 학습시켜보기 2. Preprocess - vocabulary 파일 생성하기 fairseq에 내장된 fairseq-preprocess 명령어 또는 'libri_labels.py' 파이썬 파일을 통해 전처리 할 수 있음 4개의 파일 : 'dict.ltr.txt', 'train.tsv', 'train.wrd', 'train.ltr' fairseq 장점 : 메모리가 넉넉해서 훈련 잘 됨 (huggingface 에서 했을 때 잘 안되었던 것 fairseq 로 잘됨) - huggingface 는 캐시메모리 폴더를 만들고 거기에 저장 - 용량 차지 많이 함 - 따라서 하드 메모리 부족하기도 함 --> cuda out of memory... 에러메세지 많이 뜸 --> huggingface.. 공감수 0 댓글수 1 2022. 6. 14.
CNN-RNN-CTC Based End-to-End Mispronunciation Detection and Diagnosis - Leung, W. K., Liu, X., & Meng, H. @ ICASSP 2019 CNN-RNN-CTC Based End-to-End Mispronunciation Detection and Diagnosis - Leung, W. K., Liu, X., & Meng, H. @ ICASSP 2019 논문 리뷰 글입니다. Abstract main point : CNN-RNN-CTC 구조를 가진 모델을 제안 : E2E 모델이 MDD task 에 처음으로 적용된 논문 phonemic, graphemic 정보가 필요 없고, forced alignment 도 필요없기 때문에 유용하게 사용될 것으로 기대됨 다양한 baseline 모델들의 성능과 비교한 결과 - F1 measure 에서 다 이김 Model Relative Increase Extended Recognition Network (ERN) .. 공감수 0 댓글수 0 2022. 6. 6.
Phoneme mispronunciation detection by jointly learning to align - Binghuai Lin, Liyuan Wang @ ICASSP 2022 Phoneme mispronunciation detection by jointly learning to align - Binghuai Lin, Liyuan Wang @ ICASSP 2022 논문 리뷰 글입니다. Abstract 주제 : phoneme mispronunciation detection 아이디어 : 발음 오류 탐지를 위해 alignment 도 동시에 같이 학습하겠다. multi task learning 을 통해 phoneme alignment 와 mispronunciation detection 을 같이 최적화하겠다. alignment 를 하기 위해 음성과 텍스트 정보가 필요 - 그리고 이로부터 각각 acoustic representations, canonical phoneme represent.. 공감수 0 댓글수 0 2022. 6. 6.

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.