[고학수의 미래를 묻다] 인공지능은 차별·편견을 인간에게서 배운다

>

백인만 잘 알아보는 안면 인식 AI
채용, 신용카드 발급 때 성차별도
사회 편견 담긴 데이터·알고리즘
AI가 그대로 학습하는 게 문제 프로기사 이세돌과 세기의 대결을 벌인 알파고와 한돌 만이 아니다. 알게 모르게 인공지능(AI)은 우리 일상생활 깊숙이 들어와 있다. 검색자의 성향과 위치를 파악해 맞춤형 결과를 보여주는 인터넷 검색 뒤에도 인공지능이 숨어 있다. 스팸 메일을 걸러내고, 휴대전화 메시지를 작성할 때 맥락을 알아차려 적당한 단어와 표현을 추천하는 자동완성 기능도 인공지능이다.

산업 현장에서도 활용 범위가 넓어지고 있다. 대출 등과 관련한 금융권의 신용평가와 채용 등에서도 실용화하고 있다. 이런 모습만 보면 인공지능이 구현하는 유토피아가 성큼 다가온 것 같다. 그러나 방심은 금물이다. 정반대로 디스토피아를 우려하지 않을 수 없다. 영화 속에 그려지는, 인공지능에 의한 극단의 감시사회 같은 것에 대한 걱정이다.

인공지능이 잘못된 판단, 편향과 편견이 담긴 판단을 한다는 보도는 이런 불안감을 부추기고 있다. 지난해 말에는 안면 인식 인공지능의 문제를 지적한 보고서가 나왔다. ‘일부 안면 인식 프로그램은 아시아·아프리카계를 잘못 알아볼 확률이 백인 남성을 잘못 알아볼 확률의 100배에 이른다’는 것이었다. 미국 표준기술연구소(NIST)가 200개 가까운 안면 인식 알고리즘을 분석한 결과다. 이런 안면 인식을 실생활에 도입하면 어떤 일이 벌어질까. 미국에 도착한 당신을 인공지능이 위험인물로 착각해 공항에서 경보음이 ‘삐비빅~’ 울릴 수 있다. 유독 아시아·아프리카계에 대해서만 이런 오류가 반복될 것이다. 인종차별이란 의심이 싹트지 않을까.

아마존, 인공지능 채용 폐기

노골적으로 성차별했다는 논란이 불거진 인공지능도 있었다. 아마존이 결국 폐기한 인공지능 채용 프로그램이다. 성별을 따로 적지 않아도 여대를 졸업했다든지 경력에 여성 스포츠동아리 이름 등이 들어가면 채용 추천에서 배제했다. 왜 그랬을까. 그전까지 아마존에 여성 지원자가 별로 없었고, 그중에 성과를 평가받아 임원으로 승진한 여성은 더 드물었기에, 이런 데이터를 보고 배운 인공지능이 남성을 먼저 추천한 것으로 짐작된다. 과거 데이터에서 성차별을 배운 것이다. 흔히 ‘사내들만 득시글거린다(sea of dudes)’라고 표현하는 미국 정보기술(IT) 업계의 현실이 반영된 일면으로 보인다.

신용카드 발급도 비슷하다. 연봉과 금융거래 실적이 비슷한 30대 남녀가 있다고 하자. 인공지능은 어떻게 판단할까. 과거에 여성이 경제 활동을 장기적으로 지속하기 쉽지 않았던 사회였다면, 인공지능은 이를 반영해 여성에게 더 불리한 조건을 매길 수 있다. 지금까지의 경제 활동이 비슷하더라도 10, 20년 후에는 남녀 사이에 격차가 벌어질 것이라는 통계적 경험이 이런 결과를 가져오는 것이다.

실제 지난해 말 미국에서 신용카드 발급을 둘러싸고 차별 주장이 제기됐다. 이른바 ‘애플 카드’ 사건이다. 애플이 골드만삭스와 협력해 내놓은 신용카드인데, 소득·자산 등의 여건이 똑같아도 인공지능은 남성에게 훨씬 큰 카드 사용 한도를 부여한 경우가 있었다. 심지어 애플 공동창업자인 스티브 워즈니악도 방송에 나와 불평했다. “아내와 나는 재산과 금융계좌를 모두 공동 소유한다. 그런데 내 카드 한도가 아내의 10배다.”

해외에서 인공지능은 법 절차에 활용되기도 한다. 가석방 여부를 결정할 때, 출소 후 다시 범죄를 저지를 가능성에 대해 인공지능의 도움을 받아 판단하는 것이 하나의 예다. 여기서도 문제가 드러났다. 인공지능이 재범률을 제대로 예측했는지, 사후에 검증한 탐사보도가 미국에서 있었다. 백인은 인공지능이 예상한 것보다 가석방 후 재범률이 높은 경우가 많았고, 흑인은 그 반대였다.

무엇이 문제였을까. 인공지능이 판단하는 과정을 따라가 보자. 인공지능은 가석방 후 다시 범죄를 저지른 사람과 그렇지 않았던 사람들의 데이터를 학습한다. 두 유형 각각의 특징을 섬세하게 살펴서는, 이를 바탕으로 ‘재범 가능성’이라는 미래 확률을 예측하게 된다.

그런데 이렇게 인공지능이 학습하는 데이터가 부적절하다. 누가 몇 번이나 범죄 행위를 했는지 알려주는 ‘정확한 재범률 데이터’란 것은 어디에도 없기 때문이다. 범죄가 발생해도 정작 범인이 잡힐 때까지는 누가 저지른 것인지 알 수 없다. 화성 연쇄살인 사건을 저지른 이춘재가 좋은 사례다. 처제를 살해해 복역 중이던 이춘재가 자백하기 전에는 그가 얼마나 많은 살인을 행했는지 아무도 모르지 않았나. 자백 전까지 그의 재범률 데이터는 의미 없는 것이었다. 이런 데이터로 재범 가능성을 평가하는 것은 결국 왜곡된 판단을 부를 가능성이 크다.

안면 인식, 가석방, 채용과 대출 결정에 이르기까지 인공지능은 이렇게 종종 잘못된 판단을 한다. 이유가 뭘까. 반쯤은 답이 나왔다. 데이터와 알고리즘이 문제다. 가석방은 부정확한 데이터가 원인이고, 백인만 잘 알아보는 안면 인식 오류는 데이터 자체의 부족이 근본적인 이유였다. 백인 얼굴만 잔뜩 본 인공지능이 다른 인종은 헷갈렸다. 서구인 얼굴 보기가 힘들었던 시절, 우리 눈에 서양인 얼굴이 다 비슷비슷하게 보였던 것과 비슷한 이유다. 흑인 얼굴을 고릴라라고 착각했던 안면 인식 프로그램도 있다. 이 경우도 흑인 데이터 부족이 오류의 근본 원인이었다. 이렇듯 단순히 데이터가 부족한 것만으로도 차별이 생길 수 있다.

더 심각한 점은 편향·차별이 담긴 과거 데이터를 인공지능이 보고 배우는 것이다. 아마존이 폐기한 인공지능 채용이 그런 예다. 이럴 때 우리 사회에서 해결책으로 제일 쉽게 거론하는 게 ‘입력 규제’다. 차별 소지가 생길 데이터를 아예 인공지능에 보여주지 않는 것이다. 블라인드 채용이 대표적이다. 인공지능의 경우 그런다고 문제가 풀릴까.

종전에 특수한 이유로 특정 지역 출신을 많이 뽑았고 승진도 잘 됐던 기업이 있다고 치자. 이 회사가 지연에 기대는 악습을 없애려고 채용 서류에 출신지를 적지 못하게 한 뒤, 인공지능에 선발을 맡긴다면 어떤 일이 벌어질까. 과거 인사 데이터를 보고 “○○ 지역 출신이 승진을 잘했다”고 판단한 인공지능은 면접자의 억양으로부터 출신지를 파악하는 식으로 돌파구를 찾으려 할 가능성이 있다. 출신 지역을 대신할 ‘대체 변수’를 찾아 입력 규제를 무력화하는 것이다.

반면 정작 인공지능에 채용 판단을 맡긴 사람은 ‘특정 학교·지역 선호가 사라졌다’고 착각할 수 있다. 블라인드 채용이어서 학연·지연 등에서의 쏠림을 사람이 확인할 길이 없기 때문이다. 사람이 모르는 사이에 인공지능이 쏠림과 왜곡을 더 심화시킬 수 있다는 얘기다.

편향된 데이터는 편향된 AI 교과서

우리는 좌든 우든 편향된 교과서를 보고 걱정한다. 학생들이 편향된 생각을 갖게 될까 봐서다. 인공지능에도 똑같은 우려가 적용된다. 인공지능에게는 데이터가 교과서다. 데이터 안에는 인간의 행동과 결정이 담겨 있다. 그렇기에 인공지능이 오류나 편견이 담긴 판단을 한다면, 이는 인간이 의식적 또는 무의식적으로 가진 편견을 고스란히 보여주는 것일 가능성이 크다.

결국 인공지능의 문제는 상당수가 사람의 문제다. 이것을 해결해보겠다고 데이터를 가리는 식으로 입력 규제를 강화하는 것은 바보 같은 인공지능을 만드는 쪽으로 가는 길이다. 역설적으로 불공정·차별이 더 악화할 우려도 있다. 현실적인 방법은 인공지능의 판단 결과를 보고, 편향·편견과 차별이 담겼다면 그런 결과가 나오지 않도록 모델을 계속 수정해 나가는 것이다. 인공지능은 이렇게 인간의 손으로 잘 키워야 한다. 그 과정에서 우리가 느끼지 못했던, 사회에 존재하는 각종 차별과 편견을 새삼 발견할 수도 있다. ‘아이는 어른의 거울’이라는 말처럼, 인공지능도 사회를 비추는 거울, ‘사회의 아이’인 셈이다.


고학수 서울대 법학전문대학원 교수


▶ 노후경유차 과태료 35만원 피하려면? 먼지알지!
▶ 중앙일보 '홈페이지' / '페이스북' 친구추가

ⓒ중앙일보(https://joongang.co.kr), 무단 전재 및 재배포 금지