일반 어린아이에게 여러모양의 도형들이 담긴 사진을 제시하여 크고 빨간 서클을 찾으라고 한다면, 보통은 다음과 같은 사고 과정을 거치게됩니다. 첫번째로, 도형들 중 큰 것에 해당하는 것을 찾아냅니다. 그리고 붉은색인것으로 선택지를 좁혀니갑니다. 마지막으로 그 중 원형인것을 고르면서 답을 찾아냅니다. 이처럼 우리는 이성적인 사고를 통해 세상을 해석하는법을 배웁니다. 이런 관점에서 뉴럴 네트워크가 AI 학습에 작용할 수 있는 것입니다.
MIT 링컨 연구소의 Intelligence and Decision Technologies 그룹의 연구원팀이 앞의 예시와 같이 AI가 인간과 같은 추론 단계를 수행하기 위해서 뉴럴신경망을 개발하고 있습니다. 일명 TbD-net (Transparency by Design Network)이라는이 모델은 문제를 해결할때 시각적으로 사고과정을 렌더링을 하는데, 이는 인간 분석가가 의사 결정 프로세스를 해석할 수 있게해줍니다. 이 모델은 오늘날 최고의 시각적 추론 신경 네트워크보다 뛰어나다고도 평가할 수 있습니다. 왜냐하면 AI 연구자에게는 뉴럴 네트워크가 어떤 방식으로 의사결정을 내리는지 이해하는것이 또 하나의 오래된 과제였기때문입니다. 사실 '뉴럴 네트워크'라는 이름에서도 알 수 있듯이 '뉴럴'은 인간의 신경망을 모방하기위한 인공지능 시스템입니다. 이들은 입력 및 출력 레이어 그리고 그 사이에서 인풋을 올바른 아웃 풋으로 산출해주는 중간 레이어로 구성되어 있는데요, 일부 딥 뉴럴네트워크의 경우 너무 복잡하게 되어버려서 프로세스내 변형 과정을 트레킹하는것이 사실상 불가능합니다. 이것이 바로 블랙 박스 시스템이라고 불리는 이유이며, 심지어 블랙 박스 시스템을 제작한 엔지니어에게도 정확한 정황을 파악하는것은 쉽지 않은 일입니다.
그렇기때문에 개발자들은 TbD-net을 사용하여 이러한 내부 프로세스을 투명하게 만드려고 하고있습니다. 투명성으로 인해 인간이 인공 지능의 결과를 해석할 수 있게되며 그 중요성은 이로말할 수가 없습니다. 예를 들어, 자가 운전 차량에 사용되는 뉴럴 네트워크가 일반 보행자와 정지 표지에 어떻게 구별하는지 그리고 뉴럴 네트워크의 추론과정에서 그 둘 사이에 어떤 부분에 차이가 있다고 '생각'하는지를 인간도 알아야합니다. 이러한 통찰을 통해 연구자들은 부정확한 가정(assumptions)을 바로잡고 뉴럴 네트워크를 트레이닝 시킬수 있습니다. 하지만 앞서 언급한바와 같이 TbD-net 개발자들은 오늘날 최고의 뉴럴 네트워크들의 결점은 인간이 AI의 추론 과정을 이해할 수있게하는 효과적인 메커니즘의 부재라고 말합니다. 시각적 추론의 성능 향상은 '해석 가능성(interpretability) 의 희생시킨 댓가로 현재까지 진척되어왔습니다. 링컨 연구소의 연구원들은 TbD-net을 사용하여 '성능'과 '해석 가능성'간의 차이를 좁히고 있습니다. 시스템의 핵심중 하나는 특정 하위 작업을 수행하는 특수화 된 소형 뉴럴 네트워크인 "모듈" 컬렉션입니다. TbD-net이 이미지에 대한 시각적 추론 질문을 받으면 질문을 하위 작업으로 나누고 해당 모듈을 할당하여 해당 부분을 수행합니다. 조립 라인 아래의 근로자처럼, 각 모듈은 궁극적으로 최종 정답을 산출하기 전에 모듈을 구축합니다. 전체적으로, TbD-net은 인간의 언어 문제를 해석하고 이러한 문장을 하위 작업으로 나누는 AI 기술을 사용하고 그 다음에 이미지를 해석하는 여러 컴퓨터 비전 AI 기술이 뒤 따릅니다. 링컨 연구소의 Majumdar 연구원은 다음과 같이 말합니다. "복잡한 추론을 일련의 작은 하위 문제로 나눠서 각각 독립적으로 해결하고 구성 할 수있는 것은 강력하고 직관적인 추론 수단입니다."
각 모듈의 아웃풋은 연구소 내에서 부르는 명칭인 소위 "attention mask"라고 시각적으로 묘사됩니다. Attention mask는 이미지에서 모듈이 해답으로 식별하고있는 객체 위에 히트 맵 모양을 표시합니다. 이러한 시각화는 인간 분석가가 모듈이 이미지를 어떻게 해석 하는지를 볼 수있게해줍니다. 예를 들어, TbD-net에 제기된 "이 이미지에 큰 금속 큐브는 어떤 색입니까?"라는 질문에 답하기 위해 첫 번째 모듈은 큰 개체 만 찾으며 강조 표시된 큰 개체가있는 attention mask를 만듭니다. 다음 모듈은이 아웃풋을 가져 와서 이전 모듈에서 큰 것으로 식별 된 객체 중 어느 것이 금속인지를 확인합니다. 그 모듈의 출력은 다음 모듈로 보내지며,이 모듈은 커다란 금속 객체 중 큐브도 식별합니다. 그 후 이 아웃풋은 객체의 색상을 결정할 수있는 모듈로 전송됩니다. 그리고 마침내 TbD-net의 최종 아웃풋은 질문에 대한 정답인 "빨간색"이라는 최종 결과를 가져다좁니다. 시각적 질문 응답 데이터 세트를 거친결과 TbD-net은 최고의 성능을 갖춘 비주얼 추론 모델을 능가하는 결과를 얻었습니다. 질문 세트에는 70,000 개의 교육 이미지와 700,000 개의 질문과 함께 15,000 개의 이미지와 150,000 개의 질문으로 구성된 테스트 및 유효성 검사 세트가 있습니다. 초기 모델은 데이터 세트에서 98.7 %의 테스트 정확도를 달성했으며, 연구원들에 따르면 다른 신경 모듈 네트워크 기반 접근법보다 훨씬 우수하다고 합니다.여기서 중요한 것은 모델의 핵심인 '투명성' 때문에 이러한 결과를 향상시킬 수 있다는 것입니다. 모듈에 의해 생성된 attention mask를보고, 잘못된 부분이 있다면 이를 바탕으로 모델을 다듬을 수 있는것이죠. 이렇게 현재까지의 최종 결과는 99.1%의 정확도를 자랑하고 있습니다.
"우리 모델은 시각적 추론 프로세스의 모든 단계에서 직접적으로 해석 가능한 아웃풋을 제공합니다."라고 Mascharka는 말합니다. 복잡한 실제 작업을 수행하는 데 도움이 되도록 딥러닝 알고리즘을 인간과 함께 배치하는 경우, 해석 가능성이 특히 중요하기때문입니다. 시스템에 대한 신뢰를 구축하려면 추론 프로세스를 검사하여 모델이 잘못된 예측을하는 이유와 방법을 이해할 수 있어야합니다. 연구 그룹의 리더인 Paul Metzger 씨는 "이 연구는 응용 러닝머신 연구 및 인공 지능 분야의 세계적인 리더가되기위한 링컨 연구소의 노력의 일환 "이라고 말합니다. 이 작업에 대한 자세한 내용은 이번 여름 컴퓨터 비전 및 패턴인식 컨퍼런스(CVPR)에서 발표 된 "디자인별 투명성 : 시각적 추론에서 성능과 해석 가능성 간의 갭을 줄이기"라는 논문에 설명되어 있습니다.