AI 에서의 Interpretability - Explainable AI

Why interpretability? 

---

AI 에서 왜 interpretability 가 필요할까?

• It's not JUST about being responsibile.
• 물론 Interpretability - a tool to improve responsibility
  + the more we know about what we do, the more we become conscious about what we are doing.
• Interpretability 는 더 넓은 개념 - fundamental underspecification in the problem 
  ( Humans often don't know exactly what they want )

ex ) safety

• 자동차 사고를 대비해 모든 사건 case 에 대해서 어떻게 해야 safe 한건지 명시할 수는 없음
• 예를 들어 운전자 앞에 있는 사람 1명을 위해 차를 꺾으면 차 안의 4명이 희생. 이 때는 어떤 선택을 해야하나? 사람조차 어려움. 

More data or more clever algorithm may not be what you need if your problem is underspecified.

즉, 더 많은 데이터, 더 좋은 알고리즘이 있더라도 이런 underspecifed 된 문제는 해결할 수 없음

 

Good intentions are not enough.

• 그래, 그럼 열심히 한번 interpretability 를 위해 연구해보자! 해보자! 로 안될 수도 있다...
• 그 정도의 intention 으로 해결될 문제가 아님.
• we have to go beyond that.
• we have to think critically about what we are doing in every single step in the way.  

 

Interpretability - What now?

---

그럼 어떻게 해야할까?

Investigating post-training interpretability methods.

• 인풋 새 이미지 - 딥러닝/머신러닝 모델 - prediction <Junco Bird> 가 있을 때, prediction 의 evidence 를 찾기
• 가운데 딥러닝/머신러닝 모델은 그대로 두고, post-training methods 로 찾기
• Given a fixed model, find the evidence of prediction. Why was this a Junco bird? 
  - 방법 ) 그 예측이 얼마나 sensitive 한지 알아보기 위해서 - 인풋 특징(픽셀)을 조금씩 바꿔보기
  - 하나의 픽셀에 변화를 줬을 때 Junco bird probability 가 얼마나 바뀌는지 살펴보기
  - 많이 바뀐다면 중요한 픽셀, 조금 바뀐다면 중요하지 않은 픽셀
• prediction 이 바뀌면, 당연히 explanation 도 바뀌어야 함
  - 실제로 그럴까? no. 
  - 모델 레이어들 중 하나의 레이어에 랜덤 값을 주는 등 바꿔도 결과는 같았음 

 

 

 

 Reference

• https://www.youtube.com/watch?v=mbvVTdPevGc&list=PLSY68sWRmr-PuRq2B8JwIa-PgQL26Hva7&index=1https://www.youtube.com/watch?v=dxtJ8QivMTg

 

 

 

이 글은 서울대 AI 여름학교 Google Brain 김빈 연구원님의 강의를 보고 작성한 글입니다.

In Pursuit of Interpretability - Been Kim