#미국 24개 주 법원은 판결 참고 자료로 재범 위험성 모형을 활용한다. 범죄자의 재범 위험성을 측정하는데 도움이 될 것으로 보이는 여러 가정들을 토대로 컴퓨터 알고리즘(논리연산체계)을 만든 것이다. 재소자들은 “처음으로 경찰에 붙잡혔던 때가 몇 살이었습니까” “친구와 친척에게 전과가 있습니까”와 같은 질문들에 답해야 한다. 소득 수준이 낮아 빈민가에 사는 사람이 많은 흑인들은 이런 질문들에 “예”라고 답할 확률이 높다. 이는 흑인들의 재범 위험성을 높게 측정하는 근거가 된다. 알고리즘은 이때 인간의 편견을 제거한 것이 아니라 기술로 감춘 것에 불과하다.
#2001~2002년 시카고 대학과 MIT의 공동연구진은 구인광고를 낸 1300여개 회사에 5000장의 가짜 이력서를 보냈다. 각각의 이력서에는 인종적 색채를 띠는 내용이 포함됐다. 이력서 절반은 전형적인 백인 이름을 나머지 절반에는 전형적인 흑인 이름을 썼다. 나머지 조건은 모두 같았다. 백인 이름을 사용한 이력서에 대한 반응률은 흑인 이름의 이력서보다 50% 높았다. 미국에서는 이력서를 자동으로 심사하는 시스템이 확산되고 있다. 알고리즘은 이력서들을 처리하면서 기업이 원하는 기술과 경험을 골라내고 각 직무와의 적합도에 따라 점수를 매긴다. 이력서의 72% 정도는 기계로 걸러져 인간의 심사를 받을 기회조차 얻지 못한다.
알고리즘에 의한 ‘자동화된 불평등’에 대한 우려가 커지고 있다. 알고리즘이 내린 판단이 우리를 감옥에 가게 할 수도 취업 시장의 낙오자가 되게 할 수 있다. 언론사를 비롯한 각종 사업자들은 검색 노출이 잘 되도록 검색 엔진이 원하는 대로 웹페이지를 설계해야 한다. 기계를 설득하는 능력은 우리의 생계 활동에 갈수록 깊은 영향을 미치게 됐다. 미국의 수학자이자 데이터 과학자인 캐시 오닐은 저서 <대량살상 수학무기>에서 앞의 두 예를 알고리즘과 빅데이터가 불평등을 확산하고 민주주의를 위협할 수 있다는 주장의 한 근거로 들었다.
우리 일상에서도 점차 인공지능에 의한 자동화된 판단이 확산될 것으로 보인다. 지난 12일 롯데그룹은 올해 상반기 신입사원 공개채용부터 서류전형에 인공지능(AI) 시스템을 활용한 평가를 시범 적용한다고 밝혔다. 서류전형에서 인재상에 대한 부합도, 직무적합도, 표절 여부 등 3가지 방향으로 지원서를 분석해 조직과 직무에 어울리는 우수 인재를 선별하는데 참고한다는 것이다. 국방부는 인공지능에 기반한 지능형 지휘체계를 2025년까지 도입하기로 했다. 의료 분야에서는 이미 IBM의 인공지능 왓슨이 암과 같은 질병을 진단·처방하고 있다.
지금까지 인공지능은 의사결정을 지원할 때 결과만 알려주고 어떤 근거로 이 판단에 이르렀는지 스스로 논리적으로 설명할 수 없는 점이 한계로 지적됐다. 대표적인 인공지능 분야인 딥러닝은 반복되는 대용량 데이터로부터 명시적 지식이 아니라 암시적 지식을 추출해 판단할 수 있도록 한다.
이런 방식을 범죄 위험성 판단이나 인사 평가, 군사작전과 의료 분야 등에 적용할 경우 효율성은 높일 수 있겠지만 공정성과 정확성을 확보했다고 하긴 어렵다. ‘블랙박스’와 같은 알고리즘 안에서 어떤 근거로 결론이 도출되는지 알아야 시스템을 신뢰할 수 있게 된다. 최근 부상한 ‘설명가능 인공지능’(XAI·Explainable AI)은 이런 인공지능의 한계를 보완할 수 있는 방법으로 주목받는다.
설명가능 인공지능은 의료·법률·금융·국방 등 투명성과 사용자의 신뢰가 요구되는 분야에 인공지능이 활용될 수 있도록 의사결정에 대한 이유를 사람이 이해할 수 있는 방식으로 제시하는 인공지능을 말한다. 현재 이 분야 연구에 가장 적극적인 미국 방위고등연구계획국(DARPA)은 약 800억원의 예산을 투입·연구 중이다. MIT와 구글 등 민간에서의 연구도 활발해지고 있다. 이들은 주로 딥러닝에 의한 시각화 과정을 연구하고 있다. 예를 들어 딥러닝이 어떤 사물을 고양이로 인식했을 때 또 다른 인공지능 툴로 무엇을 언제 고양이라고 했고 언제 아니라고 했는지 모니터링하고 분석하는 것이다. 이를 응용하면 암세포나 질병 진단, 전장에서 적군을 판단하는 데도 적용할 수 있다.
국내에서도 정부의 ‘인공지능 국가전략프로젝트’의 일환으로 지난해 9월25일 울산과학기술원에 ‘설명가능 인공지능 연구센터’가 문을 열었다. 추론·판단 근거를 논리적으로 설명할 수 있는 인공지능을 개발하는 것이 목표다. 이 연구센터의 센터장을 맡은 최재식 울산과학기술원 교수는 “세 가지 방향에서 연구를 하고 있다”며 “왜 이게 고양이라고 했는지 혹은 적이라고 판단했는지 설명해주는 것, 또 하나는 (금융·의료·경제 분석 등) 모델을 만들었을 때 어떻게 분석해 이런 결정을 내렸는지 모델에 대한 설명을 하는 것, 마지막은 출력 부분으로 인공지능이 내린 결정을 설명하기 위해 사람이 만든 것처럼 분석적 의미를 담은 자연어로 된 보고서를 자동으로 작성하는 것”이라고 말했다.
인공지능이 인간의 편견과 잘못된 데이터의 입력으로 자동화된 차별의 수단이 된다면 일상을 파괴할만한 위험이 된다. 이미 인공지능을 이용해 얼굴 사진만으로 성적 취향이나 잠재적 범죄 가능성, 정치적 성향까지 판단하는 시대가 현실이 되고 있다. 지난 9월 미국 스탠퍼드대학 연구진은 얼굴 사진만으로 동성애자를 식별할 수 있는 인공지능을 발표했다. 온라인 데이트 사이트에 올라온 사진을 이용해 남자의 경우 91%, 여자의 경우 83%의 정확도로 동성애자를 구별했다. 중국은 범죄자 포착은 물론 잠재적 범죄자까지 예상할 수 있는 얼굴 인식 소프트웨어를 개발하는 중이다.
인공지능이 잘못된 판단을 내렸을 때 그 이유를 아는 것은 알고리즘을 고치는 한 방법일 수도 있지만 기본권을 침해당한 개인의 권리이기도 하다. 이런 상황에 대응해 유럽연합은 올해 5월25일 시행하는 일반 개인정보 보호법(GDPR) 전문에서 유럽연합 시민은 법적 효력을 초래하거나 이와 유사하게 중대한 영향을 미치는 사항에 대해 프로파일링 등 자동화된 처리의 적용을 받지 않을 권리를 갖는다고 규정하고 있다.
알고리즘을 이용해 ‘나’를 특정 유형으로 판단하는 과정을 ‘프로파일링’이라고 한다. 개인이나 집단에 대한 정보를 모으고 이들을 특정 유형으로 분류하기 위해 직장 내 업무 수행이나 경제적 상황, 개인적 선호, 건강, 관심사, 신용도, 행동 패턴, 위치 또는 이동경로 등을 분석하고 이를 이용해 예측 또는 평가하는 것이다. ‘개인화’라는 이름을 달고 나오는 영화·도서 추천 서비스들과 맞춤형 광고는 이런 프로파일링을 이용한 것이다.
GDPR 22조는 ‘프로파일링을 포함한 자동화된 의사결정’을 다루고 있다. 알고리즘에 의한 자동화된 결정을 반대하고 인간의 개입을 요구할 권리, 알고리즘의 결정에 대한 설명을 요구하고 그에 반대할 권리를 규정하고 있다. 요컨데 유럽연합은 기업이 이용자에게 자동화된 결정이 어떤 영향을 미치는지 그 예견된 결과와 심각성 등에 대한 정보를 제공해야 한다고 보고 있다. 예를 들어 신용 평가와 관련해 데이터 주체는 자신의 정보가 처리되는 논리를 알 수 있어야 하며 그 과정을 거부할 수 있는 권리도 부여받아야 한다.
이런 상황에서 설명가능 인공지능은 불완전하고 불공정할 수 있는 일반적인 알고리즘의 문제를 해결하고 보완할 수 있는 한 수단이 된다. 최 교수는 “설명 가능한 인공지능은 시스템을 안전하게 만들 수 있다”며 “예를 들어 우리가 원치 않았는데 시스템이 동성애자와 아닌 사람을 나누거나 신용평가 알고리즘이 누군가에게 부당하게 대출을 금지할 경우 이런 차별이 들어가지 않도록 설명가능 인공지능을 활용할 수 있다”고 말했다.