티스토리

nongdevlog

검색하기

블로그 홈

nongdevlog

nongnongai.tistory.com/m

인공지능 박사과정 스터디 기록들..

구독자: 11

방명록 방문하기

반응형

주요 글 목록

트랜스포머(Transformer) (4) - multi-head attention 4. 어텐션 (Attention) 첫번째 인코더 레이어에 입력 값이 들어오고 여러 개의 인코더 레이어 반복해서 거침 Multi-Head Attention 레이어 Reference https://www.youtube.com/watch?v=AA621UofTUA 이 글은 나동빈님의 'Transformer : Attention Is All You Need' 논문 리뷰 영상을 보고 정리한 글입니다. 공감수 0 댓글수 0 2022. 6. 4.
트랜스포머(Transformer) (4) - 인코더와 디코더 인코더 (Encoder) 트랜스포머는 하나의 인코더 층이 총 두개의 서브 층으로 이루어짐 : 셀프어텐션, 피드포워드 신경망 1) 셀프어텐션 : multi-head self-attention 블록으로 셀프 어텐션을 병렬적으로 사용함 2) 피드포워드 신경망 : position-wise FFNN 블록으로 그냥 일반적인 피드 포워드 신경망임 self-attention : 인코더 파트에서 수행하는 어텐션 - 각각의 단어가 서로 어떤 연관성을 가지고 있는지 구하기 위해 사용 ex) I am a teacher : 문장을 구성하는 각각의 단어 I, am, a, teacher 에 대해서 각각의 단어끼리 attention score 을 구해서 서로 어떤 단어와 높은 연관성을 갖는지에 대한 정보를 학습시킴 어텐션을 통해 전.. 공감수 3 댓글수 1 2022. 6. 4.
트랜스포머(Transformer) (3) - 구조, 동작원리, 포지셔널 인코딩(Positional Encoding), 어텐션(Attention) 트랜스포머의 구조 - Attention Is All You Need 트랜스포머는 어텐션 기법만 쓰기 때문에 RNN, CNN 은 전혀 사용하지 않음 - 그래도 기존의 seq2seq 의 인코더-디코더 구조는 유지 - 인코더에서 입력 시퀀스를 입력받고, 디코더에서 출력 시퀀스를 출력 그렇기 때문에 문장 안에 포함된 각각의 단어들의 순서에 대한 정보를 주기 어려움 문장내 각각 단어의 순서에 대한 정보를 알려주기 위해 positional encoding 사용 이러한 아키텍쳐는 BERT 와 같은 향상된 네트워크에서도 채택됨 어텐션 과정 한번만 사용하는 것이 아니라 여러 레이어를 거쳐서 반복하도록 만듦 인코더와 디코더 N 번 만큼 중첩되어 사용하도록 만듦. - 이전 seq2seq 구조에서는 인코더 / 디코더 하나에서.. 공감수 1 댓글수 0 2022. 6. 4.
트랜스포머(Transformer) (2) - Attention 으로 seq2seq 문제 해결 이 글은 나동빈님의 'Transformer : Attention Is All You Need' 논문 리뷰 영상을 보고 정리한 글입니다. Seq2Seq 의 문제 : 하나의 문맥 벡터가 소스 문장의 모든 정보를 가지고 있어야 하므로 성능이 저하됨 해결 방안 : 그렇다면 매번 소스 문장에서의 출력 전부를 입력으로 받으면 어떨까? ==> 'Attention' 메커니즘 사용해 인코더의 모든 출력 참고 가능 매번 단어가 출력되어서 hidden state 가 나올 때마다 그냥 그 값들을 전부 출력 값으로써 별도의 배열(w)에 다 기록해놓음 각각의 단어를 거치면서 나오는 h1, h2, h3, h4 들을 다 저장. 출력 단어 생성할 때마다 이 소스 단어들(w)을 다 참고하겠다는 아이디어 각 단어들을 다 똑같이 그냥 참고.. 공감수 1 댓글수 0 2022. 6. 3.
트랜스포머(Transformer) (1) - Seq2Seq 모델의 한계점 이 글은 나동빈님의 'Transformer : Attention Is All You Need' 논문 리뷰 영상을 보고 정리한 글입니다. 트랜스포머 (Transformer - Attention Is All You Need) '어텐션' 이라는 메커니즘을 전적으로 활용하는 아키텍쳐 많은 최신 자연어 처리 모델이 활용하고 있는 아키텍쳐 - 트랜스포머 제안 Transformer 의 메인 아이디어는 BERT, GPT 와 같은 최신 아키텍처에 채택되어 Google 번역기, 파파고 등에 활용되고 있음 딥러닝 기반의 기계 번역 발전 과정 2021년 기준 최신 고성능 모델들은 트랜스포머 아키텍쳐를 기반으로 하고 있음 GPT : 트랜스포머의 '디코더(decoder)' 아키텍처 활용 BERT : 트랜스포머의 '인코더(enco.. 공감수 2 댓글수 0 2022. 6. 2.
신경망 출력층 설계하기 (분류, 회귀에 맞는 활성화 함수 선정) 출력층 설계하기 신경망은 분류와 회귀 모두에 이용가능 기계학습 문제는 분류(classification)와 회귀(regression)로 나뉨 분류 : 데이터가 어떤 클래스에 속하느냐의 문제 ex) 사진 속 인물의 성별 분류 문제 회귀 : 입력 데이터에서 (연속적인) 수치를 예측하는 문제 ex) 사진 속 인물의 몸무게(57.4kg?) 를 예측하는 문제 * '회귀' 의 기원 : 19세기 후반ㅡ 영국의 프랜시스 골턴 경이 사람과 완두콩을 대상으로 크기를 측정했는데, 관찰 결과 키가 큰 부모의 자식은 부모보다 작고, 작은 부모의 자식은 부모보다 큰, 즉 평균으로 회귀하는 경향이 있음을 알았음. - 그 사이에는 선형 관계가 있어 부모의 키로부터 자식의 키를 예측할 수 있고, 그 예측 결괏값이 연속적인 수치였음 어떤.. 공감수 0 댓글수 0 2022. 5. 31.
넘파이(numpy)로 신경망 구현하기 최종 코드 넘파이로 신경망 구현 def init_network(): network = {} network['W1'] = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]]) network['b1'] = np.array([0.1, 0.2, 0.3]) network['W2'] = np.array([[0.1, 0.4], [0.2, 0.5], [0.3, 0.6]]) network['b2'] = np.array([0.1, 0.2]) network['W3'] = np.array([0.1, 0.3], [0.2, 0.4]]) network['b3'] = np.array([0.1, 0.2]) return network def forward(network, x): W1, W2, W3 = network['W.. 공감수 0 댓글수 0 2022. 5. 31.
넘파이(numpy)로 신경망 구현하기 신경망에서의 행렬 곱 넘파이 행렬을 사용해 신경망 구현해보기 x1, x2 에서 y1, y2, y3 로 가는 간단한 신경망 구현 (편향과 활성화 함수 생략하고 가중치만 갖는) X, W, Y 형상 주의 (X와 W 의 대응하는 차원의 원소 수 일치해야 함) 간단한 신경망의 행렬 곱 구현 다차원 배열의 스칼라곱을 구해주는 np.dot 함수를 통해 이렇게 간단하게 결과 Y 계산 가능 Y 의 원소가 100개든 1000개든 한 번의 연산으로 계산 가능 만약 np.dot 이 없었으면 for 문 사용해서 계산해야 함 따라서 행렬의 곱으로 한꺼번에 계산해주는 이 기능은 신경망 구현에 있어서 핵심 3층 신경망 구현하기 (순방향 처리 구현) 입력부터 출력까지의 순방향 처리 구현해보기 신경망에서의 계산을 행렬 계산으로 정리할 .. 공감수 0 댓글수 0 2022. 5. 31.
numpy를 이용한 다차원 배열 계산 - 신경망 효율적 구현 다차원 배열 다차원 배열도 일단 '숫자의 집합' 숫자가 한 줄로 있는 것부터 시작해서 직사각형, 3차원, 더 일반화하여 N차원으로 나열하는 모든 배열을 '다차원 배열' 이라고 함 넘파이로 작성한 1차원 배열 np.ndim(A) : 배열의 차원 수 확인 A.shape : 인스턴스 변수 shape 로 배열의 형상 확인하기 - "튜플 반환" 1차원 배열이라도 다차원 배열과의 형태 통일을 위해 튜플 형태인 (4, ) 로 반환 예를 들어 2차원 배열이면 (4, 3), 3차원 배열이면 (4, 3, 2) 형태로 반환됨 이 예시에서는, A 는 1차원 배열이고 원소 4개로 구성되어 있다는 것을 확인 가능 넘파이로 작성한 2차원 배열 B는 '3 x 2 배열' : 처음 차원에는 원소가 3개, 다음 차원에는 원소가 2개있다는.. 공감수 0 댓글수 0 2022. 5. 31.
ReLU 함수 - 신경망에서 자주 사용하는 활성화 함수 ReLU (Rectified Linear Unit) 함수 신경망에서 시그모이드 함수를 오래 전부터 이용해왔으나, 사실 ReLU 를 더 많이 이용 ReLU 는 입력이 0을 넘으면 그 입력을 그대로 출력하고, 0 이하면 0을 출력하는 함수 h(x) = x (x>0) , 0 (x 공감수 0 댓글수 0 2022. 5. 31.
비선형 함수를 사용하는 이유 (신경망, 선형함수 비교) 비선형 함수 계단 함수와 시그모이드 함수의 또 다른 공통점 : 모두 비선형 함수 시그모이드 함수 : 곡선, 계단 함수 : 구부러진 직선 = 모두 비선형 함수로 분류됨 선형함수와 비선형함수 함수란 어떤 값을 입력하면 그에 따른 값을 돌려주는 '변환기' 선형 함수 : 변환기에 무언가 입력했을 때 출력이 입력의 상수배만큼 변하는 함수 f(x) = ax + b ; a와 b는 상수 - 즉, 선형 함수는 곧은 1개의 직선 비선형 함수 : '선형이 아닌' 함수 즉, 직선 1개로는 그릴 수 없는 함수 활성화 함수로 반드시 '비선형 함수' 를 사용해야 함 신경망에서는 활성화 함수로 "비선형 함수" 를 사용해야 함 선형 함수를 사용하면 안됨 - 선형함수를 이용하면 신경망의 층을 깊게 하는 의미가 없어짐 선형 함수는 층을 .. 공감수 0 댓글수 0 2022. 5. 31.
시그모이드 함수 (sigmoid function) 란? (계단 함수와의 비교) 시그모이드 함수 시그모이드 함수 (sigmoid function) = 신경망에서 자주 이용하는 활성화 함수 e 는 자연 상수 2.7182 ... 얼핏 복잡해 보이지만 단순한 '함수' 일 뿐 - 입력을 주면 출력을 돌려주는 변환기 ex) h(1.0) = 0.731, h(2.0) = 0.880 -- 입력을 주면 특정 출력 값 출력 신경망에서는 활성화 함수로 시그모이드 함수를 이용하여 신호를 변환하고, 그 변환된 신호를 다음 뉴런에 전달함 퍼셉트론과 신경망의 주된 차이는 이 활성화 함수 뿐 - 뉴런이 여러 층으로 이어지는 구조와 신호를 전달하는 방법은 퍼셉트론과 같음 def sigmoid(x) : return 1 / (1 + np.exp(-x)) 인수 x 가 넘파이 배열이어도 올바른 결과가 잘 나옴 함수 si.. 공감수 1 댓글수 0 2022. 5. 31.
계단 함수 (step function) 란? 계단 함수 계단 함수(step function) = 임계값을 경계로 출력이 바뀌는 활성화 함수 입력이 0을 넘으면 1을 출력하고, 그 외에는 0을 출력하는 함수 퍼셉트론에서는 활성화 함수로 "계단 함수"를 이용한다. 활성화 함수로 쓸 수 있는 여러 후보 중에서 퍼셉트론은 계단 함수를 채용 활성화 함수를 계단 함수에서 다른 함수로 변경하는 것이 신경망의 key point! def step_function(x) : if x > 0: return 1 else : return 0 위는 인수 x 가 실수(부동소수점)만 받아들임 즉, step_function(3.0) 은 가능하지만, 넘파이 배열을 인수로 넣을 수 없음 - step_function(np.array([1.0, 2.0])) 은 안됨 def step_fu.. 공감수 2 댓글수 0 2022. 5. 29.
신경망과 활성화 함수 (activation function) 퍼셉트론의 장점과 단점 장점 : 퍼셉트론으로 복잡한 함수 표현 가능 ex) 컴퓨터가 수행하는 복잡한 처리도 퍼셉트론으로 이론상 표현할 수 있음 단점 : 가중치를 설정하는 작업 (원하는 결과를 출력하도록 가중치 값을 적절히 정하는 작업) 은 여전히 사람이 수동으로 해주어야 함 ex) AND, OR 게이트를 작성할 때에도 진리표를 보면서 우리 인간이 적절한 가중치 값을 정했었음 이 문제를 해결하기 위해 "신경망" 출현 - 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습하는 능력을 갖춘 신경망 먼저, 신경망이 입력 데이터가 무엇인지 식별하는 처리 과정을 알아보자. 퍼셉트론과 신경망 신경망은 입력층, 은닉층, 출력층으로 구성 은닉층의 뉴런은 입력층이나 출력층과 달리 사람 눈에는 보이지 않아서 '은닉' .. 공감수 0 댓글수 0 2022. 5. 29.
XOR 게이트 (배타적 논리합, 논리회로, 파이썬으로 구현해보기) XOR 게이트 def XOR(x1, x2) : s1 = NAND(x1, x2) s2 = OR(x1, x2) y = AND(s1, s2) return y XOR 게이트는 배타적 논리합 이라는 논리 회로; x1, x2 중 한 쪽이 1일 때만 1을 출력 배타적; 자기 외에는 거부 - 따라서 하나만 자기일 때 1 출력 퍼셉트론(단층)으로는 비선형 영역을 나타내야 하는 XOR 게이트 표현 불가 따라서 층을 쌓은 '다층 퍼셉트론'을 통해 구현 = 단층 퍼셉트론으로는 비선형 영역을 분리할 수 없다. AND, NAND, OR 게이트를 조합하여 구현하기 XOR(0, 0)# 0을 출력 XOR(1, 0)# 1을 출력 XOR(0, 1)# 1을 출력 XOR(1, 1)# 0을 출력 단층 퍼셉트론으로는 표현하지 못한 것을 층을 하.. 공감수 0 댓글수 0 2022. 5. 29.
AND, OR, NAND 게이트 구현 (논리 회로 구현하기) AND 논리 회로 def AND(x1, x2) : w1, w2, theta = 0.5, 0.5, 0.7 tmp = x1*w1 + x2*w2 if tmp theta : return 1 - x1과 x2를 인수로 받는 함수 AND - 매개변수 x1, x2, theta 는 함수 안에서 초기화하고, 가중치를 곱한 입력의 총합이 임계값을 넘으면 1을 반환, 그 외에는 0을 반환 AND(0, 0)# 0을 출력 AND(1, 0)# 0을 출력 AND(0, 1)# 0을 출력 AND(1, 1)# 1을 출력 ** 편향을 이용한 방식으로 구현해보기 def AND(x1, x2) : x = np.array([x1, x2]) w = np.array([0.5, 0.5]) b = -0.7 tmp = np.sum(w*x) + b if tmp 공감수 0 댓글수 0 2022. 5. 29.
딥러닝 주요 알고리즘 1 - 딥러닝 기초 이론 (2) 역전파 알고리즘, 훈련 역전파 알고리즘 (Backpropagation algorithm) - 인공 신경망과 같은 수 많은 함수의 연쇄 꼴로 되어 있는 함수에서 각 변수의 편미분 값을 효율적으로 구할 수 있는 알고리즘 - 미분의 연쇄 법칙 (chain rule of derivatives) 을 활용 - 역전파 알고리즘을 통해 딥러닝 모델의 각 계층 파라미터에 대한 편미분값(기울기)을 효율적으로 구할 수 있음 - 역전파 알고리즘 : 미분 값들을 컴퓨터로 간단하게 계산할 수 있는 방법이다라고 생각하면 됨. - 복잡한 합성함수를 미분하는 것은 어려움 : 두 개의 합성함수도 미분하는 것 복잡한데, 딥러닝은 수천 수만개의 합성함수 --> 따라서 이 것을 미분의 연쇄 법칙을 활용한 '역전파 알고리즘' 을 통해 쉽게 계산 훈련/검증/시험 데이.. 공감수 0 댓글수 0 2021. 12. 13.
딥러닝 주요 알고리즘 1 - 딥러닝 기초 이론 (1) 확률적 경사 하강법(Stochastic gradient descent, SGD) 딥러닝이란? - 인공지능의 여러 방법론 중 하나인 기계 학습 (머신러닝) - 머신 러닝의 여러 방법론 중 하나인 인공 신경망 (Artificial Neural Network) - 딥러닝은 인공 신경망의 응용 방법론 딥러닝의 역사 * 딥러닝의 발전 과정 - 1950년대 퍼셉트론 알고리즘 - 1980년대 다층 퍼셉트론, 역전파 알고리즘 - 2012년 이미지 분류 모델 AlexNet 의 압도적인 성능 : 딥러닝에 큰 주목 * 딥러닝의 재부상 배경 - 빅데이터의 등장 - 컴퓨터 하드웨어(특히 GPU)와 소프트웨어의 발전 딥러닝의 기초 이론 - 세상에 여러가지 현상이 있는데, 그 현상에 있는 여러 문제를 해결하기 위해, 혹은 어떤 현상을 표현하는 것 자체를 문제로 정의를 해서, 이 문제를 어떤 방법을 통해서 해결.. 공감수 1 댓글수 0 2021. 12. 11.
Human Pose Estimation 기술 동향 [AI 콜로퀴움] 이경무 교수님의 'Human Pose Estimation 기술의 발전과 미래' 강연을 보고 정리한 글이다. (해당 강연은 www.youtube.com/watch?v=GBpnsFfLt2Q 에서 확인할 수 있다.) 딥러닝 이전의 휴먼포즈 추정기법 >* 초창기 접근 방법 : pictorial structure model - 사람의 신체를 신체부위(part)와 관계(spring)로 모델링. 영상에서 해당 부위를 매칭함으로써 포즈 추정. 최초의 휴먼포즈 추정 기법- Mixture of parts : 더 작은 단위의 신체파트와 이들의 결합으로 표현. 유연성과 정확도 향상. * 이미지 뿐 아니라 거리정보(depth) 기반 포즈 추정 기법 == Kinect (거리측정장비) - Microsoft 가 개.. 공감수 0 댓글수 0 2021. 5. 7.
Abstraction & Reasoning in AI systems : (5) Program synthesis + Deep learning NeurIPS 에서의 강연을 보고 그 중에서도 Francois Chollet 의 "why abstraction is the key, and what we're still missing" 에 대해 정리해보겠다. (해당 강연은 https://slideslive.com/38935790/abstraction-reasoning-in-ai-systems-modern-perspectives 이 링크에서 확인할 수 있다.) how we can leverage a hybrid approach to reinforce the strength of each method, but also compensating f.. 공감수 1 댓글수 0 2021. 1. 30.
Abstraction & Reasoning in AI systems : (4) discrete program search NeurIPS 에서의 강연을 보고 그 중에서도 Francois Chollet 의 "why abstraction is the key, and what we're still missing" 에 대해 정리해보겠다. (해당 강연은 https://slideslive.com/38935790/abstraction-reasoning-in-ai-systems-modern-perspectives 이 링크에서 확인할 수 있다.) what are the methods that are currently working to generate the form of abstraction that is out of reac.. 공감수 2 댓글수 0 2021. 1. 30.
Abstraction & Reasoning in AI systems : (3) deep learning with regard to abstraction NeurIPS 에서의 강연을 보고 그 중에서도 Francois Chollet 의 "why abstraction is the key, and what we're still missing" 에 대해 정리해보겠다. (해당 강연은 https://slideslive.com/38935790/abstraction-reasoning-in-ai-systems-modern-perspectives 이 링크에서 확인할 수 있다.) what’s the role of deep learning in this picture what forms of abstraction deep learning can generate a.. 공감수 1 댓글수 0 2021. 1. 30.
Abstraction & Reasoning in AI systems : (2) abstraction NeurIPS 에서의 강연을 보고 그 중에서도 Francois Chollet 의 "why abstraction is the key, and what we're still missing" 에 대해 정리해보겠다. (해당 강연은 https://slideslive.com/38935790/abstraction-reasoning-in-ai-systems-modern-perspectives 이 링크에서 확인할 수 있다.) nature of abstraction on the relationship between generalization and abstraction - abstraction is the k.. 공감수 1 댓글수 0 2021. 1. 30.
Abstraction & Reasoning in AI systems : (1-2) generalization 앞서 Abstraction & Reasoning in AI systems : (1-1)generalization 에 이어 generalization 에 대해 더 자세히 설명해보겠다. ** shortcut rule task-specific skill 에서 계속 priors 을 제공받게되면 언젠가 원했던 그 task 를 당연히 해결 가능할 것이다. 계속 optimize 하니까. 그런데 대신 나머지를 다 잃는다. 왜냐? generalization power 은 계속 떨어져가니까(= reduce the need for generalization power) - 위의 skill, priors, generalization 의 관계는 system design 의 원리로 잘 알려진 이 “shortcut rule”에 도.. 공감수 1 댓글수 0 2021. 1. 30.
Abstraction & Reasoning in AI systems : (1-1) generalization NeurIPS 에서의 강연을 보고 그 중에서도 Francois Chollet 의 "why abstraction is the key, and what we're still missing" 에 대해 정리해보겠다. (해당 강연은 https://slideslive.com/38935790/abstraction-reasoning-in-ai-systems-modern-perspectives 이 링크에서 확인할 수 있다.) generalization : what is generalization and why it’s important - to make progress towards AI, we need t.. 공감수 1 댓글수 0 2021. 1. 30.
Neuro-symbolic AI 에 대해서 (2) neural network + symbolic AI 앞의 neuro-symbolic AI (1) 글을 통해 connectionsim 과 symbolism 을 이해했다면, 이 둘 neural network + symbolic AI 를 합친 "neuro-symbolic AI" 에 대해 자세히 알아보자. Neuro-symbolic AI 란? 위의 질문은 사진을 보고 특징을 파악한 후 질문을 이해해서 문제를 해결해야 한다. 이러한 연구들을 MIT, IBM 연구실에서 많이 하고 있다. 위의 질문처럼 사진이 주어지면 사진을 보고 (visual perception), 질문에 맞게 (question understanding), 3이라고 답해야 하는데(logic reasoning) 이렇게 답을 하기 위해서는 일반적인 딥러닝 CNN, RNN 만으로는 어렵다. 이 경우에 s.. 공감수 6 댓글수 1 2021. 1. 25.
Neuro-symbolic AI 에 대해서 (1) symbolism VS Connectionism AI 학회 speech : AAAI-20 Invited Talk : David Cox (https://vimeo.com/389562304) 의 강연을 듣고 스터디한 내용이다. 추가적으로 https://www.youtube.com/watch?v=jYn1qfoty_Y 유튜브 채널의 를 참고했다. Neuro-symbolic AI 란 무엇일까? Logical Inference 를 수행하는 능력은 인간 지능과 딥러닝으로 구현된 AI 를 구분한다. 이러한 격차를 해소하기 위해서 “neuro-symbolic deep learning approach” 에 대한 연구가 수행되었다. 먼저 AI 시초를 살펴보면 Connectionism VS Symbolism 의 대결구도를 볼 수 있다. * Symbolism : Intell.. 공감수 8 댓글수 1 2021. 1. 25.

반응형

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.