반응형 Xai5 Wav2Vec2.0 임베딩을 활용한 자동 발음 평가, 그리고 임베딩 분석 (논문소개) 지난 글에서는 음성 데이터를 Wav2Vec2.0 모델에 입력했을 때, 음성이 어떤 과정을 거쳐 임베딩 벡터로 바꾸는지를 정리했습니다. 이번 글에서는 그 임베딩 벡터를 활용해서 어떻게 자동발음평가 모델을 만들고, 실제로 점수를 예측할 수 있는지 정리해봅니다.End-to-End 자동 발음 평가 전체 구조 요약 Wav2Vec2.0 모델과 같은 self-supervised 모델은 파인튜닝을 통해 발음 평가 모델로 사용할 수 있다.음성 입력을 모델에 넣으면 점수가 output으로 산출되는 end-to-end 자동 발음 평가 모델 전체 구조는 다음과 같다: 1. 음성 입력 → Wav2Vec2.0 → (T, 1024)의 임베딩 시퀀스 생성2. time step마다 나온 벡터들을 평균 (mean pooling) → (.. 2025. 6. 15. Explainable AI(XAI), SHAP [3] 이 글은 서울대학교 '최신 인공지능 기술' 강의 중 곽노준 교수님의 'Explainable & Responsible AI' 강의를 듣고 정리한 글입니다. SHAP (SHapley Additive exPlanations; NeurlPS'17)성능도 좋고, 사람들이 많이 사용하는 방법. iput이 age, sex, bp, bmi 4개가 있고, output이 0.4일 때..ex) 당뇨라고 하면, 각각의 요소가 중요한 정도가 age는 base 기준, +0.4만큼 contribution 한 것. 당뇨의 경우, 여성의 경우 -0.3.. 여성은 좀 덜 걸린다.. 이런 느낌..이런걸 어떻게 설명?Shapley 라는 노벨 경제학상 받은 분 - SHAP의 A는 "Additive" 니까 서로 cooperativ.. 2024. 12. 13. Explainable AI(XAI), Integrated Gradients [2] 이 글은 서울대학교 '최신 인공지능 기술' 강의 중 곽노준 교수님의 'Explainable & Responsible AI' 강의를 듣고 정리한 글입니다. Integrated Gradients (IG; ICML'17)Attribution to a feature is feature value times gradient. Image가 아니더라도, 옛날부터 integrated gradients 종종 사용함. f(x) = wx 라고 하면, w가 아까 y를 x로 미분한 것이니, 위 그림의 빨간 식이라고 할 수 있음. 최종 식에서 x가 feature, 미분 값이 gradient. 즉, linearization 하는 것. linearization 했더니 중요한 것은 y/x 미분 * x 더라.. (위 그림의 빨간 식.. 2024. 12. 13. Explainable AI(XAI), CAM & Grad-CAM [1] 이 글은 서울대학교 '최신 인공지능 기술' 강의 중 곽노준 교수님의 'Explainable & Responsible AI' 강의를 듣고 정리한 글입니다. 최근에는 explainable 하면, reliable, responsible 하다 라고 해서 reliable AI, responsible AI 라고도 함.- 근본적으로 DNN이 있으면, nonlinearity로 input이 있으면 output이 나오는 black box 모델. - adversarial attack 이 들어오는지, 다른 방법으로 manipulation 하는지 안하는지, output이 왜 이런 결정을 내렸는지에 대해 알기가 불가능.- Explain을 해보자 하는 관점에서 이런 분야가 생겨남Local explainability- 딥러닝이 나.. 2024. 12. 12. AI 에서의 Interpretability - Explainable AI Why interpretability? AI 에서 왜 interpretability 가 필요할까? It's not JUST about being responsibile. 물론 Interpretability - a tool to improve responsibility + the more we know about what we do, the more we become conscious about what we are doing. Interpretability 는 더 넓은 개념 - fundamental underspecification in the problem ( Humans often don't know exactly what they want ) ex ) safety 자동차 사고를 대비해 모든 사건 c.. 2022. 8. 4. 이전 1 다음 반응형
