딥러닝2 딥러닝 언어모델과 확률적 앵무새 - 2023 서울대학교 AI 연구원 겨울 콜로퀴움 리뷰 2023 서울대학교 AI 연구원 겨울 콜로퀴움 송상헌 교수님의 "딥러닝 언어모델과 확률적 앵무새" 강연을 듣고 리뷰를 남깁니다. 확률적 앵무새 (Stochastic Parrots) 메타인지 인공지능 언어모델은 자연 언어에 대한 실질적인 이해(understanding)를 하고 있는 것이 아니라 단순히 확률에 기반하여 단어의 조합을 결과값으로 반환(return)한다는 점에서 확률적 앵무새. 소통 가능성 (communicability) : 학습 데이터의 문제, 모라베크의 역설, 아스퍼커 증후군(행간의 의미), 맥락 지식(항진 명제) 세계에 대한 지식과 경험을 패턴화 데이터 간섭 현상 사람은 한두번만으로도 대상에 대한 패턴 정보를 얻는 것이 가능 컴퓨터는 충분한 양의 데이터를 통해서 학습을 해야 함. 메타인지 .. 2023. 2. 3. 딥러닝 주요 알고리즘 1 - 딥러닝 기초 이론 (1) 확률적 경사 하강법(Stochastic gradient descent, SGD) 딥러닝이란? - 인공지능의 여러 방법론 중 하나인 기계 학습 (머신러닝) - 머신 러닝의 여러 방법론 중 하나인 인공 신경망 (Artificial Neural Network) - 딥러닝은 인공 신경망의 응용 방법론 딥러닝의 역사 * 딥러닝의 발전 과정 - 1950년대 퍼셉트론 알고리즘 - 1980년대 다층 퍼셉트론, 역전파 알고리즘 - 2012년 이미지 분류 모델 AlexNet 의 압도적인 성능 : 딥러닝에 큰 주목 * 딥러닝의 재부상 배경 - 빅데이터의 등장 - 컴퓨터 하드웨어(특히 GPU)와 소프트웨어의 발전 딥러닝의 기초 이론 - 세상에 여러가지 현상이 있는데, 그 현상에 있는 여러 문제를 해결하기 위해, 혹은 어떤 현상을 표현하는 것 자체를 문제로 정의를 해서, 이 문제를 어떤 방법을 통해서 해결.. 2021. 12. 11. 이전 1 다음
