Xai3 Explainable AI(XAI), Integrated Gradients [2] 이 글은 서울대학교 '최신 인공지능 기술' 강의 중 곽노준 교수님의 'Explainable & Responsible AI' 강의를 듣고 정리한 글입니다. Integrated Gradients (IG; ICML'17)Attribution to a feature is feature value times gradient. Image가 아니더라도, 옛날부터 integrated gradients 종종 사용함. f(x) = wx 라고 하면, w가 아까 y를 x로 미분한 것이니, 위 그림의 빨간 식이라고 할 수 있음. 최종 식에서 x가 feature, 미분 값이 gradient. 즉, linearization 하는 것. linearization 했더니 중요한 것은 y/x 미분 * x 더라.. (위 그림의 빨간 식.. 2024. 12. 13. Explainable AI(XAI), CAM & Grad-CAM [1] 이 글은 서울대학교 '최신 인공지능 기술' 강의 중 곽노준 교수님의 'Explainable & Responsible AI' 강의를 듣고 정리한 글입니다. 최근에는 explainable 하면, reliable, responsible 하다 라고 해서 reliable AI, responsible AI 라고도 함.- 근본적으로 DNN이 있으면, nonlinearity로 input이 있으면 output이 나오는 black box 모델. - adversarial attack 이 들어오는지, 다른 방법으로 manipulation 하는지 안하는지, output이 왜 이런 결정을 내렸는지에 대해 알기가 불가능.- Explain을 해보자 하는 관점에서 이런 분야가 생겨남Local explainability- 딥러닝이 나.. 2024. 12. 12. AI 에서의 Interpretability - Explainable AI Why interpretability? AI 에서 왜 interpretability 가 필요할까? It's not JUST about being responsibile. 물론 Interpretability - a tool to improve responsibility + the more we know about what we do, the more we become conscious about what we are doing. Interpretability 는 더 넓은 개념 - fundamental underspecification in the problem ( Humans often don't know exactly what they want ) ex ) safety 자동차 사고를 대비해 모든 사건 c.. 2022. 8. 4. 이전 1 다음
