표정으로 감정을 읽는다는 망상 | 나라경제

칼럼

강양구의 과학토크표정으로 감정을 읽는다는 망상

강양구 지식큐레이터 2024년 03월호

강양구의 과학토크.pdf

직장인에게 연봉 협상은 달갑지 않다. ‘부르는 대로 줄게!’ 이런 대접을 받는 극소수의 능력자를 제외하면, 눈에 보이지 않는 힘겨루기와 기 싸움이 진행된다. 더 받으려는 자와 조금이라도 깎으려는 자. 을(노동자)뿐만 아니라 고용된 갑(관리자)도 불편하긴 마찬가지다. 도대체 어느 정도를 줘야 함께 일할 동료(노동자)와 상전(경영진)의 비위를 모두 맞출 것인가.

세상의 모든 문제를 해결할 수 있다고 호언장담하는 과학기술이 이런 상황을 보고만 있을 리 없다. 연봉 협상 과정에서 을의 표정 변화를 감지해서 연봉을 올릴지 내릴지 판단할 수 있지 않을까? 마침, 우리에게는 상당히 신뢰할 만한 수준에 이른 AI에 기반한 안면 인식 기술이 있지 않은가!

SF 소설이나 영화의 한 장면이 아니다. 실제로 이런 연봉 협상 안면 인식 감정 분석기가 개발 중이다. 이런 식이다. 연봉 협상 때 은밀히 숨겨진 카메라가 을을 바라본다. 법적 분쟁에 대비해서 미리 허락받을 수도 있다. 그럼, 그 카메라와 연결된 안면 인식 AI가 실시간으로 표정에 나타난 감정 변화를 분석한다.

AI가 분석해서 을이 갑이 최초로 제시한 연봉 액수에 만족하는 것처럼 보이면(살짝 미소 짓는 얼굴) 곧바로 메시지가 뜬다. “애초 제시한 연봉에서 10% 정도 깎을 것.” 반대로 최초로 제시한 연봉 액수에 을이 아주 심하게 반발하는 것처럼 보이면(굳은 표정의 얼굴) 다른 메시지가 뜬다. “애초 제시한 연봉에서 5% 정도 올릴 것.”

지금의 AI 테크놀로지가 고작 연봉 협상 안면 인식 분석기 같은 데에 쓰이는 일을 어떻게 평가할지를 놓고서는 각자의 철학과 처지에 따라서 반응이 제각각일 테니 독자의 몫으로 남겨놓자. 여기서는 AI에 기반을 둔 안면 인식 기술로 사람의 미묘한 감정
변화를 읽어내는 게 정말로 가능한 일인지부터 살펴보자.

표정 과학의 탄생

과학책 좀 읽은 독자라면 이 대목에서 폴 에크먼의 『표정의 심리학』 같은 책을 떠올릴 수도 있겠다. 에크먼은 감정과 표정 변화 연구를 개척한 공으로 유명한 미국의 심리학자다. 앞에서 언급한 AI 안면 인식 분석기의 과학적 토대도 바로 에크먼의 연구에 기반하고 있다.

1960년대에 에크먼은 인간의 특정한 감정은 얼굴 좌우 각각 42개 근육의 미세한 움직임의 조합, 즉 고유한 표정으로 나타나리라는 ‘아니면 말고’ 식의 가설을 세웠다. 그러고 나서, 연극 배우 몇 명을 섭외해 다양한 표정 사진을 준비했다. 에크먼은 인간에게 여섯 가지 기본 감정이 있다고 ‘가정’하고서 여러 사람에게 판독하게 했다.

예를 들어, 눈을 동그랗게 크게 뜨고 입을 살짝 벌린 남자 사진을 보고서 ‘행복’, ‘공포’, ‘놀라움’, ‘분노’, ‘슬픔’, ‘혐오’ 등의 여섯 가지 기본 감정 가운데 어디에 해당하는지 물었다. 에크먼이 의도했던 답은 무엇일까? 맞다. 대다수 응답자가 ‘놀라움’이라고 답했다. 여러 사람이 그의 의도대로 답하면서 가설은 점점 과학의 지위를 획득하기 시작했다.

처음 과학계가 내놓은 반응은 반신반의였다. 에크먼의 연구가 가진 결정적인 한계는 피험자, 그러니까 응답자의 대다수가 서양의(Western), 교육 받은(Educated), 산업 사회에 사는(Industrialized), 부유하고(Rich), 민주적인(Democratic) 정치체계에 익숙한 이른바 ‘위어드(WEIRD)’라는 사실이었다. (솔직히 말하면, 대다수 응답자가 자기가 가르치는 대학생이었다.)

야심 많은 에크먼은 이런 비판을 극복하고자 당시만 하더라도 위어드와 접촉이 거의 없었던 남태평양 파푸아뉴기니 오지의 원주민 포레족을 찾아간다. 위어드나 서양의 대중매체와 접촉이 거의 없었던 포레족도 에크먼이 제시한 표정 사진을 여섯 가지 기본 감정 상태와 연결할 수 있다면 감정과 표정 가설의 보편성이 증명되리라 본 것이다.

놀랍게도 포레족도 미국 대학생과 비슷하게 응답했다. 일본, 한국 등에서 진행한 후속 연구도 비슷했다. 이런 과정을 거쳐서 감정과 표정의 일대일 관계는 명실공히 과학이 되었다.

표정 과학의 몰락

이 대목에는 숨겨진 뒷얘기가 있다. 1967년 에크먼이 포레족을 처음 찾아가서 수행했던 연구는 오늘날의 엄격한 심리학 연구 기준으로 보면 엉망진창이었다. 그는 포레족의 역사, 언어, 문화, 정치 등에 문외한이었을뿐더러 통역가를 데리고 여섯 가지 기본 감정 표정 사진을 보여주면서도 실수만 연발했다.

에크먼이 한 일은 (그의 고백을 인용하자면) “웃긴 사진을 보여주는 게” 전부였다. 심지어, 그런 웃긴 사진을 보여줘도 상당수 포레족은 기본 감정 가운데 ‘행복’과 연결하지 못했다. 그 와중에 분명히 ‘행복할 때는 이렇게 웃어요’ 같은 설명을 포레족 피험자에게 하는 일도 있었을 것이다. 아무튼, 이 포레족을 대상으로 한 연구 결과는 처음부터 끝까지 허점투성이였다.

에크먼의 감정-표정 연구는 1970년대부터 새로운 테크놀로지와도 결합한다. 얼굴 근육의 미세한 움직임(근육 수축)을 기계로 측정하고 이를 컴퓨터로 분석해서 ‘감정-표정-점수’ 같은 공식을 만들었다. 이런 시도는 오늘날 AI에 기반을 둔 안면 인식 기술이 표정을 읽어서 감정을 해독하는 일로 연결됐다.

에크먼의 감정-표정 연구는 FBI, CIA 등의 ‘과학’ 수사에 영향을 줬을 뿐 아니라, 픽사 같은 애니메이션 제작사가 주인공 캐릭터의 감정을 표정으로 형상화할 때도 중요한 참고사항이 됐다. 2010년대 이후 이모션트(Emotient, 2016년 1월 애플에 인수), 애펙티바(Affectiva) 같은 AI 기반의 스타트업 여러 곳이 에크먼의 가설을 따라 표정으로 감정을 읽을 수 있다면서 창업해 성공했다.

여기서 반전이 있다. 이런 과학계 외부의 환호와는 반대로 에크먼의 가설은 점점 입지가 좁아지고 있다. 표정으로 감정을 읽을 수 있다는 그의 가설이 좀 더 엄격한 후속 연구를 통해서 기각되고 있다. 당장 표정 사진을 놓고서 선택지를 여섯 가지로 강제하지 않는 것만으로도 연구 결과가 달라졌다.

예를 들어, 아프리카 나미비아의 외진 곳에 사는 힘바족에게 ‘웃는’ 사진을 보여주고서 어떤 감정 상태인지 물어보자 ‘행복’이 아니라 그냥 ‘웃음’이라고 쓰는 게 다였다. 심지어 ‘웃음’과 ‘행복’을 연결하는 일조차도 힘바족에게는 낯선 일처럼 보였다. 서구에서는 당연한 듯 보였던 행복하면 웃는 일이 힘바족에게는 아니었다.

사실, 에크먼의 감정-표정 연구의 약점은 우리의 일상생활에서도 쉽게 찾을 수 있다. 사랑하는 사람의 장례식장을 찾아온 오랜만에 보는 조문객에게 상주가 미소를 짓는 일은 종종 볼 수 있는 일이다. 하지만 그가 미소를 짓는다고 해서 그의 감정 상태가 과연 ‘행복’일까? 우리는 슬퍼도 웃을 수 있다. 오죽하면 “내가 웃는 게 웃는 게 아니야” 같은 노래 가사가 있겠는가.

그렇다면, 앞에서 소개한 AI 기반 연봉 협상 안면인식 감정 분석기의 운명은 어떻게 됐을까? 예상대로다. 이 나라 저 나라에서 시험을 했는데 결과가 신통치 않아서 현재로서는 폐기될 가능성이 크단다. 유독 한국인을 상대로 한 시험 결과가 엉망진창이었다. 연봉을 낮춰도 울상이고 올려도 울상이니 AI라고 그 감정 상태를 어떻게 분석할 수 있겠나.

목록보기