[XAI] 3강 정리 및 소감

Info) 아래 포스팅은 LGAimers에서 제공하는 AI 전문가 과정 중 서울대학교 문태섭 교수님의 [Explainable AI(XAI)] 강의에 대한 요약과 생각들을 정리한 것입니다. 정리된 내용들은 강의를 토대로 작성되었으나 수강자인 저의 이해도에 따라 일부 틀린 부분이 있을 수 있다는 점 알려드립니다. 잘못된 점이 발견될 시에는 즉각 수정하도록 하겠습니다. 또한, 강의의 모든 내용을 정리하기는 어렵기 때문에 인상깊었던 내용을 중심으로 정리하였습니다. 따라서, 설명의 맥락이 끊길 수도 있다는 점 양해 부탁드립니다. 

0. Introduction

이번 3강에서는 XAI 모델의 성능을 평가할 수 있는 여러 metric들과 XAI의 신뢰성에 대한 연구들을 살펴보았습니다. 지도, 비지도 학습에서 model이 얼마나 정확한지를 확인하기 위해 model의 성능을 측정하는 것이 필수적인 과정이라 할 수 있는데 마찬가지로 XAI 모델 또한 그 성능을 점검하는 것이 반드시 필요하며 이를 위한 다양한 측정 지표와 방법들이 존재합니다. 다만, XAI의 경우 예측 결과의 정확도나 오차보다는 그 예측 결과를 출력하는 과정에 초점이 맞춰져 있기 때문에 다소 다른 측정 방식이 사용됩니다. 

1. Human-based Visual Assessment

첫 번째로 가장 단순하며 원시적인 방법이라 할 수 있는 human-based visul assessment가 있습니다. 인간이 직접 개입하여 성능을 측정하는 방식이라고 할 수 있습니다. Amazon Mechanical Turk라고 불리는 AMT test에서는 사람이 직접 model이 내놓은 설명을 보고 이를 평가하는 test를 진행하게 됩니다. 가령, 사람들에게 모델이 출력한 결과에 대한 설명을 보여주고 문제(ex. 설명을 보고 무엇이 보이는지 선택)를 풀게 합니다. 그리고 문제에 대해 사람이 선택한 정답과 model의 분류 결과를 비교하여 모델의 설명이 잘 되었는지 확인하게 됩니다. 만약, 사람과 model 사이의 오차가 너무 크다면 그것은 결국 model이 설명을 잘 해내지 못했다는 것을 의미하며 모델의 성능을 높일 필요가 있음을 나타냅니다. 이러한 방식은 인간의 노동력을 필요하는 작업이기 때문에 비용이 많이 들게 됩니다. 

출처: 문태섭 교수님 강의자료

2. Human Annotation

두 번째는 human-annotation을 이용하는 방식으로 인간이 이미지에 달아놓은 localization, semantic segmentation 정보를 ground truth로 활용해 모델의 설명을 평가하는 방법입니다. 대표적으로 'pointing game' 과 'weakly supervised semantic segmentation' 방식이 있습니다. 'pointing game'은 bounding box를 활용하는 방법으로 인간이 그려낸(?) bounding box 안에 모델의 설명이 포함되는 지를 측정하는 것입니다. 모델이 설명을 만들어 낼 때 가장 중요하게 생각하는 pixel이 있을 것인데 그 pixel이 인간의 bounding box 범위 안에 있다면 어느 정도 잘 설명을 하는 것이라고 평가할 수 있습니다. 

'weakly supervised semantic segmentation'은 pixel마다 label이 주어져 있는 semantic segmentation 정보(이를 ground-truth로 설정)를 이용해 모델이 하이라이트한 설명과 비교해 정확도를 측정하는 방법입니다. 이때, metric으로 IoU(Intersection over Union)를 사용하게 되는데 이는 단어 뜻 그대로 합집합 대비 교집합의 비율로서 많이 겹쳐 수치가 높을 수록 좋은 모델이라는 것을 보여주게 됩니다. 아래 그림과 같이 두 semantic segmentation 사이에 intersection 부분이 많을 수록 model이 잘 설명을 짚어냈다고 할 수 있습니다. 

출처: 문태섭 교수님 강의자료

'pointing game', 'weakly supervised semantic segment'와 같은 방법들은 human annotation data를 구해야 하기 때문에 상당한 시간과 노력이 또 필요하게 됩니다. 그리고 어렵게 data를 구했다고 하더라도 localization과 segmentation label 정보가 절대적인 기준이 될 수 있는지 그 타당성 또한 불분명하여 적용하기가 어려운 경우도 있습니다. 

3. Pixel Perturbation

세번째로 pixel에 교란을 주어 출력값에 어떤 변화가 있는지 확인 비교하는 방식이 있습니다. 이미지의 특정 부분을 가리게 되었을 때 해당 class로 분류하게 되는 score 점수에 큰 변화가 생긴다면 그 가려진 부분은 모델의 prediction에 가장 핵심적인 역할을 한 부분이라고 판단할 수 있습니다. 한번 아래의 그림을 살펴보겠습니다. castle에 해당하는 부분을 지운 가운데 이미지에 대해서 모델이 castle이라고 분류할 score가 다른 부분을 지운 이미지보다 훨씬 더 크게 떨어지는 것을 확인할 수 있습니다. 어느 부분을 가리느냐에 따라 score값이 변하는 정도는 달라질 것입니다. 위의 경우에는 castle부분을 지운 사진에 대해서 score가 많이 떨어지게 되었고 이는 그만큼 모델이 이 이미지에서 castle에 해당하는 부분을 잘 찾아내고 있다는 것을 의미하게 됩니다. pixel perturbation에서는 'AOPC(Area Over the MoRF Perturbation Curve)', 'Insertion', 'Deletion'과 같은 각종 metric을 사용해 정확하게 비교 측정할 수 있습니다. 

출처: 문태섭 교수님 강의자료