전체 글88 Intel Korea AI Technical Workshop 2021 리뷰 SGX 를 이용한 인공지능 데이터 보안 솔루션 PPML : privacy preserving machine learning - 프로그램과 데이터를 포함한 개인정보 보호, 어떻게 하면 효율성을 증가시킬까를 목표로 함 - AI, security, Big data federated learning --> 어떻게 데이터가 보호되는지 - 분산 머신러닝과 security 가 접목되었다고 보면 됨 - 데이터를 각 장치들의 내부에 저장하고 모델을 서로 공유하는 방법이 federated learning - A, B 라는 기계가 있고 서로 다른 데이터와 모델을 가지고 있을 때, 이 때 weight 값을 다른 서버 C 로 전달. 서버 C에서는 encrypted 된 정보를 업데이트함. - 모델에 대한 loss 와 gradie.. 2021. 11. 24. 2021 한국음성학회 가을 학술대회 리뷰 (1) 2021.11.19-20 에 진행된 한국음성학회 가을 학술대회 발표를 듣고 리뷰를 남깁니다. 1. 특강 - "언어병리학 음성장애 영역에서의 AI 연구 최신 경향 및 임상 특성" - 김근효님(부산대병원) * 언어병리학 음성장애 영역에서 일반적인 연구 절차 1) 데이터 수집 : 연장 모음 /아/ or 연속 발화 음성샘플 2) 데이터 레이블링 : 음성샘플 길이 및 질환명 확인 3) 데이터 분석 : 섭동/켑스트럼 분석, 청지각적 평가, 음성설문지 4) 통계분석 : ANOVA, Regression analysis, ROC curve 5) 결과해석 : 연구의 의의 * 머신러닝과 딥러닝의 비교 - 인공지능 : 알고리즘을 이용해서 데이터를 분석, 학습하고, 학습한 내용을 기반으로 판단이나 예측 --> 머신러닝 : 데이.. 2021. 11. 19. Multi-domain Knowledge Distillation via Uncertainty-Matching for End-to-End ASR Models - Kim, H. et al. (2021) (3) 앞 게시글에 이어서 Kim, H. et al. (2021) Multi-domain Knowledge Distillation via Uncertainty-Matching for End-to-End ASR Models 논문 리뷰를 이어가겠습니다. 이제 음성인식에 불확실성을 적용해보자면, 음성 인식의 불확실성은 일반적으로 소음 레이블링, 스피커간의 변화, 또는 혼동되는 발음에서 발생합니다. 예를 들어, 그림 1은 ground-truth token 이 주어졌을 때, 왼쪽 토큰 수준 class 확률과 오른쪽aleatoric 불확실성 인식 결과를 보여주는데, - 입력 발음에 모호한 발음이 있을 경우, 인식 결과는 HEAR 과 HOR 사이의 혼동 발음 오류를 보여줍니다. 또 모델은 HEAR 토큰에서 낮은 클래스 확률.. 2021. 11. 16. Multi-domain Knowledge Distillation via Uncertainty-Matching for End-to-End ASR Models - Kim, H. et al. (2021) (2) 앞 게시글에 이어서 Kim, H. et al. (2021) Multi-domain Knowledge Distillation via Uncertainty-Matching for End-to-End ASR Models 논문 리뷰를 이어가겠습니다. 본 논문이 제안하는 방법론인 KD와 uncertainty 중 지식 증류에 대해 먼저 살펴보겠습니다. E2E ASR 에 지식 증류를 적용하기 위해 기존 KD 처럼 두가지 loss function 을 사용합니다. 먼저 첫번째 loss 를 살펴보겠습니다. 먼저 E2E ASR은 시퀀스 라벨링 작업으로서, 입력 토큰 s 를 가지고 negative log likelihood 를 최소화하여 출력 t 를 예측하는데, 여기서 yi 는 대상 텍스트의 i번째 ground truth 이.. 2021. 11. 16. Multi-domain Knowledge Distillation via Uncertainty-Matching for End-to-End ASR Models - Kim, H. et al. (2021) (1) Kim, H. et al. (2021) Multi-domain Knowledge Distillation via Uncertainty-Matching for End-to-End ASR Models 논문 리뷰입니다. Multi-domain Knowledge Distillation via Uncertainty-Matching for End-to-End ASR Models ( End-to-End ASR 모델을 위한 불확실성 매칭을 통한 다중 도메인 지식 증류) 논문에 대해 설명드리기 전에, 먼저 본 논문에서 사용한 방법론에서 핵심인 두 가지 개념에 대해 짚고 넘어가려고 합니다. 본 논문에서는 uncertainty와 knowledge distillation 을 다루고 있는데, 먼저 uncertainty에 대해 간.. 2021. 11. 16. 파이썬 자료형 - (1) 문자열 String (이 글은 '언어와정보처리' 과목에서 '파이썬 기초' 수업 내용을 정리한 글이다.) pytorch 에 대해 들어가기 전, python 기초를 간단하게 리뷰하고 넘어가려한다. 먼저 코딩을 해야 하는 이유부터 생각해보자면, 1. 다양한 분야로의 확장 적용 2. 이론 공부의 구체화 3. 연구 주제의 구체적 증명 이 가능해진다. - 코딩을 한다면, 본인의 분야에서 이론상의 공부로만 끝나는 것이 아니라 코딩을 통해 배웠던 것을 구체화시킬 수 있다. - 연구자로서는, 연구주제가 결정되고 연구를 하게 되었을 때, 이론상/내 생각으로만 설명을 끝내는 것이 아니라 코딩, 즉 수치적으로 증명을 해내는 과정을 통해 내 생각이 맞다. 다르다. 를 객관적으로 증명할 수 있다. (연구쪽에서는 코딩을 이런식으로 사용) - 인공지능.. 2021. 10. 20. Human Pose Estimation 기술 동향 [AI 콜로퀴움] 이경무 교수님의 'Human Pose Estimation 기술의 발전과 미래' 강연을 보고 정리한 글이다. (해당 강연은 www.youtube.com/watch?v=GBpnsFfLt2Q 에서 확인할 수 있다.) * 초창기 접근 방법 : pictorial structure model - 사람의 신체를 신체부위(part)와 관계(spring)로 모델링. 영상에서 해당 부위를 매칭함으로써 포즈 추정. 최초의 휴먼포즈 추정 기법 - Mixture of parts : 더 작은 단위의 신체파트와 이들의 결합으로 표현. 유연성과 정확도 향상. * 이미지 뿐 아니라 거리정보(depth) 기반 포즈 추정 기법 == Kinect (거리측정장비) - Microsoft.. 2021. 5. 7. Learning Compositional Rules via Neural Program Synthesis - Maxwell, I. et al. (2020) 논문 Learning Compositional Rules via Neural Program Synthesis - Maxwell, I. et al. (2020) 리뷰를 해보겠다. arxiv.org/abs/2003.05562 앞의 논문에서 다뤘던 SCAN 문제에 대해 neuro-symbolic approach 로 해결한 방법론에 대해 설명해보겠다. 인간은 적은 예로부터 체계적인 규칙을 배우고, 이 규칙들을 결합하여 compositional rule-based systems (구성적인 규칙 기반 시스템)을 형성한다. 반면, 현재의 neural architecture 은 training 과 체계적으로 .. 2021. 2. 4. Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks - Brenden, L. et al. (2018) 논문 Generalization without systematicity: On the compositional skills of sequence-to-sequence recurrent networks - Brenden, L. et al. (2018) 리뷰를 해보겠다. https://arxiv.org/abs/1711.00350 Compositional generalization 의 benchmark 문제인 SCAN task 에 대한 논문이고, 주로 SCAN 문제에 대해 리뷰해보겠다. Compositional generalization 의 benchmark 문제인 SCAN task SCAN 은 간단한 compositional commands 가 해당 액션 시퀀스와 함께 paired 된 데이터 세트이고 이 논.. 2021. 2. 4. Abstraction & Reasoning in AI systems : (5) Program synthesis + Deep learning NeurIPS 에서의 강연을 보고 그 중에서도 Francois Chollet 의 "why abstraction is the key, and what we're still missing" 에 대해 정리해보겠다. (해당 강연은 https://slideslive.com/38935790/abstraction-reasoning-in-ai-systems-modern-perspectives 이 링크에서 확인할 수 있다.) how we can leverage a hybrid approach to reinforce the strength of each method, but also compensating f.. 2021. 1. 30. 이전 1 ··· 5 6 7 8 9 다음
