Explainable AI(XAI), Integrated Gradients [2]

 

이 글은 서울대학교 '최신 인공지능 기술' 강의 중 곽노준 교수님의 'Explainable & Responsible AI' 강의를 듣고 정리한 글입니다.

 

 

Integrated Gradients (IG; ICML'17)

• Attribution to a feature is feature value times gradient. 
• Image가 아니더라도, 옛날부터 integrated gradients 종종 사용함.

 

Explainable & Responsible AI   - Prof. Nojun Kwak

 

• f(x) = wx 라고 하면, w가 아까 y를 x로 미분한 것이니, 위 그림의 빨간 식이라고 할 수 있음. 최종 식에서 x가 feature, 미분 값이 gradient. 
• 즉, linearization 하는 것. linearization 했더니 중요한 것은 y/x 미분 * x 더라.. (위 그림의 빨간 식 최종식)
• feature value에 gradient를 곱하니, f(x)를 잘 나타내더라.. 
  f(x)가 어떻게 나왔나 보니까, gradient, feature 이 두 개를 곱하면 f(x)가 잘 approximate 됨. 따라서 이 두 개 요소가 중요하다고 얘기하는 것임..
  • 사실 이게 그냥 first-order taylor approximation 임..

 

• taylor approximation : f(x0)에다가 + x에 대해 미분 * (operating points가 x0라면) x-x0가 곱해짐
• 뒤에 더해지는 값인 x에 대해 미분 * (x-x0) 이 중요하다는 것임 (위 그림 네모 상자 부분)
• 이걸 할 때, gradient 만 사용하는 방법, gradient * feature 사용하는 방법이 있음. 
• CAM도 gradient * feature 방법이라고 볼 수 있음.
• SaliencyMaps 딥러닝 뜨기 전 2010년부터 사용하긴 함. 
• 위 그림 예시에서 fireboat 라고 판단한 이유는, 오른쪽 integrated gradients를 보면 배 부분을 보고 (물 흩뿌리는 곳까지 퍼져있는) 판단했다고 볼 수 있음.. 아직 noise 가 많이 껴 있음..

 

Feature * Gradient

• 그럼 integrated gradients 가 뭐냐?
  • feature * gradient 라고 보면 됨.
  • original input을 설명하고 싶은데, 이걸 초반에 보면 gradient 에 noise 가 많이 껴 있음..

• gradients of scaled inputs; 처음 input의 gradient 를 보면 noise 가 많아서 잘 파악하기 힘듦.
• scaled input을 하면; 점점 intensity를 줄인 후 그 input을 집어넣고 gradients를 보면, 더 초점을 잘 맞출 수 있음.
• interesting gradients는 intensity 0과 1 사이 중간 어디에 있다.. 어디인지 모르기 때문에 일단 다 그냥 더하는 것..

• integrated gradients 식을 보면, input 과 base  가 있음.
• base는 image에서 그냥 까만 영상..0 을 얘기함.. 그래서 단순히 input에 곱하는 건데, F라는 것은 network의 output. base가 0 이니까 그냥 input의 scaled version에 대한 gradient를 구해서 다 적분한다는 것임.
• 그래서 fireboat이라고 input image를 판단한 이유를 gradients를 구해보면 오른쪽 그림과 같이 나온다는 것..
• 이런 integrated gradients 방법은 pixel level의 explanation 이 가능..

 

 

Baseline?

 

• baseline은 image 에서 그냥 0(zero).
• IG는 image 뿐만 아니라 다른 곳에서도 다 사용.. attributes이 있으면, x1, x2, x3, .. 쭉 있으면 이것들에 대한 중요도도 판단 가능.. 여기서는 기본 default 값을 baseline으로 둘 수 있음..

 

 

 Reference 

• Explainable & Responsible AI  - Prof. Nojun Kwak, Seoul National University