세계 토론대회에서 설득력이 뛰여난 사람들보다 AI 대화로보트의 설득 효과가 더 뛰여나다는 대규모 실험 결과가 발표됐다.

20일, 국제학술지 《과학》은 AI와 인간의 설득력을 비교한 최신 실험을 소개했다. 영국 옥스퍼드대학 헤켄버그 연구원팀의 이번 연구결과는 일전 론문 사전공개 사이트 ‘아카이브’에 공개됐다.

빅언어모델 기반 AI 대화로보트가 정치적, 사회적 쟁점에서 사람을 설득하는 능력이 숙달되고 있다. 가짜 계정으로 인터넷 소셜미디어 리용자를 몰래 설득해 사람들의 생각에 영향을 미친 스위스 취리히대학 연구사례처럼 륜리적 문제도 발생하고 있다.

헤켄버그 교수팀은 인간과 AI의 설득력을 비교하기 위한 대규모 실험을 수행했다. 먼저 ‘영국은 식민지 시절 가져온 문화재를 반환해야 한다.’, ‘16세 미만의 소셜미디어 사용을 금지해야 한다.’ 등 영국과 관련된 론쟁적인 정치적, 사회적 주장 10가지가 마련됐다.

실험 참가자 6923명은 각 주장에 얼마나 동의하는지 0~100점으로 응답하고 사람 또는 AI 대화로보트와 대화한 뒤 다시 응답을 기록한다. 설득 효과는 주장에 대한 태도 점수를 얼마나 이동시키는지를 기준으로 평가됐다. 토론은 기본적으로 온라인 실시간 문자 채팅으로 이뤄졌고 참가자들은 상대가 사람인지 AI인지 알지 못한 상태로 대화했다. 주제별 토론시간은 약 14분이다.

영국에 사는 일반인을 대상으로 모집한 참가자 132명이 설득에 나선 경우 ChatGPT─4o 모델을 사용해 일반적인 대화를 한 대조군보다 평균 4.7점 높은 설득 효과를 냈다. 설득에 특화된 AI 대화로보트는 이 사람들보다 8.2점 더 큰 효과를 냈다.

설득을 잘하는 일반인을 모은 경우도 결과는 같았다. 일반인 1154명을 모아 3주 동안 4라운드 설득 탈락제를 진행해 상위 10%인 87명을 출전시키고 상금까지 걸었다. 설득을 잘하는 일반인들은 대조군보다 7.2점 만큼 더 태도를 움직였지만 설득 AI는 이보다 5.6점 만큼 더 변화시켰다.

AI는 토론대회 세계 챔피언 4명과 대륙 챔피언 11명이 포함된 인간 토론 전문가 56명보다도 더 설득력이 있는 것으로 나타났다. 평균 토론 경력은 8.9년이였다. 인간에게 유리하도록 토론 21일 전에 주제를 알려주고 토론가들이 자신들이 가장 잘 설득할 수 있다고 생각하는 주제를 직접 고르게 했다. 실험 결과 토론 전문가들의 설득 점수는 8.3점으로 인간 집단중에서는 최고 수준을 기록했지만 여기서도 AI의 점수가 4.6점 더 높았다.

세번째 실험에 참가했던 토론 전문가 43명을 다시 불러서 자신의 대화를 복기하고 직접 AI와 련습까지 할 수 있는 총 8시간의 추가 토론 훈련을 진행했다. 토론가들은 전보다 메시지를 약 19% 길게 쓰고 대화마다 검증 가능한 사실을 약 54% 더 많이 제시하는 등 유의미한 변화가 일어났다. 훈련받은 토론 전문가들의 설득 점수는 9.7점이였지만 AI를 따라잡지는 못했다.

AI 응답 길이와 속도를 인간 만큼만 가능하도록 제한했을 때에야 설득력이 비슷해지는 것으로 나타났다. AI의 론리력 자체가 인간보다 뛰여나다기보다는 AI가 사람보다 훨씬 빠르게 많은 사실과 근거를 제공하는 것이 결정적인 차이일 수 있다는 것이다.　

 외신