LLM이 토론에서 반대파를 설득할 수 있을까?

AI 도구는 반대 의견을 가진 사람들이 공통점을 찾는 데 도움이 됩니다.

대규모 언어 모델은 인간이 작성한 것보다 더 명확하고 공정한 진술을 생성하여 그룹이 합의에 도달하는 데 도움이 될 수 있습니다.

 

•  

어떤 경우에는 AI가 인간 중재자보다 집단의 집단적 의견을 요약하는 데 더 나은 성과를 보입니다. 출처: Rawpixel Ltd/Getty

인공 지능(AI)으로 구동되는 챗봇과 같은 도구가 서로 다른 견해를 가진 사람들이 합의점을 찾는 데 도움을 줄 수 있다는 사실이 온라인 토론 그룹을 대상으로 실시한 실험에서 드러났습니다.

런던의 Google DeepMind에서 개발한 이 모델은 상충되는 의견을 종합하고 다양한 관점을 고려한 각 그룹의 입장에 대한 요약을 생성할 수 있었습니다. 참가자들은 인간 중재자가 작성한 것보다 AI가 생성한 진술을 선호했으며, 이러한 도구가 복잡한 심의를 지원하는 데 사용될 수 있음을 시사했습니다. 이 연구는 10월 17 일 Science 에 게재되었습니다 .

영국 AI 안전 연구소의 연구 책임자이자 연구 공동 저자인 크리스토퍼 서머필드는 "현재 시민 집회와 심의 투표에서 수행하는 기능의 일부를 수행하기 위해 AI, 특히 대규모 언어 모델을 사용할 수 있다는 개념 증명의 일종으로 볼 수 있습니다."라고 말합니다. "사람들은 공통점을 찾아야 합니다. 집단 행동에는 합의가 필요하기 때문입니다."

타협 기계

시민 집회와 같은 민주적 이니셔티브는 사람들의 그룹이 공공 정책 문제에 대한 의견을 공유하도록 요청하여 정치인들이 다양한 관점을 들을 수 있도록 하는 데 도움이 됩니다. 그러나 이러한 이니셔티브를 확대하는 것은 까다로울 수 있으며, 토론은 일반적으로 모든 목소리가 들리도록 비교적 소규모 그룹으로 제한됩니다.

Summerfield와 그의 동료들은 이런 논의를 뒷받침할 수 있는 대규모 언어 모델(LLM)의 잠재력에 대한 연구에 흥미를 느껴, AI가 반대 관점을 가진 사람들이 타협점에 도달하는 데 도움을 줄 수 있는지 평가하는 연구를 진행했습니다.

그들은 사전 훈련된 DeepMind LLM Chinchilla의 미세 조정된 버전을 사용했고, 합리적 토론이 갈등 해결에 어떻게 도움이 될 수 있는지에 대한 이론을 개발한 철학자 위르겐 하버마스의 이름을 따서 그들의 시스템에 하버마스 머신이라는 이름을 붙였습니다.

연구자들은 모델을 테스트하기 위한 실험 중 하나에서 영국 거주자 439명을 모집하여 6명으로 구성된 소규모 그룹으로 분류했습니다. 그룹 구성원은 영국 공공 정책과 관련된 세 가지 질문을 논의하고 각 주제에 대한 개인적인 의견을 공유했습니다. 그런 다음 이러한 의견을 AI에 입력하여 모든 참가자의 관점을 결합한 포괄적인 진술을 생성했습니다. 참가자는 각 진술을 순위를 매기고 비판을 공유할 수 있었고 AI는 이를 그룹의 집단적 견해에 대한 최종 요약에 통합했습니다.

이 AI 챗봇은 음모론자들에게 자신의 신념에 의문을 품게 했습니다.

Summerfield는 "이 모델은 자신의 의견을 자원하여 밝힌 사람들의 그룹으로부터 최대한의 지지를 얻을 수 있는 진술을 만들어내도록 훈련되었습니다."라고 말합니다. "이 모델은 이러한 진술에 대한 선호도가 무엇인지 학습하기 때문에 모든 사람을 만족시킬 가능성이 가장 높은 진술을 만들어낼 수 있습니다."

AI와 함께 각 그룹의 한 명의 참가자가 중재자로 선정되었고, 각 중재자에게는 모든 그룹 구성원의 견해를 가장 잘 나타내는 요약을 작성하라는 지시도 내렸습니다. 참가자들에게 AI와 중재자의 최종 요약을 모두 보여주고 평가하도록 요청했습니다.

대부분의 참가자는 AI가 작성한 요약을 중재자가 작성한 요약보다 더 나은 것으로 평가했습니다. 56%의 참가자가 AI의 작업을 선호했고, 44%는 인간이 작성한 진술을 선호했습니다. 외부 검토자에게도 요약을 평가해 달라고 요청했고, 공정성, 품질, 명확성 면에서 AI가 작성한 요약에 더 높은 평가를 내렸습니다.

그런 다음 연구팀은 영국 인구를 인구 통계적으로 대표하는 참가자 그룹을 모집하여 가상 시민 집회를 열었습니다. 이 시나리오에서 AI와 상호 작용한 후 여러 가지 논란이 되는 주제에 대한 그룹 합의가 증가했습니다. 이 발견은 AI 도구를 실제 시민 집회에 통합하면 리더가 다양한 관점을 고려한 정책 제안을 더 쉽게 만들 수 있음을 시사합니다.

유타주 프로보에 있는 브리검 영 대학교의 이선 버스비는 "LLM은 심의를 돕고 이전에는 인간 감독자에게만 할당되었던 역할을 수행하는 데 여러 가지 방법으로 사용될 수 있습니다."라고 말합니다. 그는 AI 도구가 사회를 개선할 수 있는 방법을 연구합니다. "저는 이것이 이 분야에서 긴급한 사회적, 정치적 문제를 해결할 수 있는 큰 잠재력을 가진 최첨단 작업이라고 생각합니다." 서머필드는 AI가 갈등 해결 프로세스를 더 빠르고 효율적으로 만드는 데 도움이 될 수도 있다고 덧붙입니다.

연결이 끊어짐

영국 케임브리지 대학교에서 심의 민주주의와 AI와의 교차점을 연구하는 새미 매키니는 "실제로 이러한 기술을 심의 실험과 프로세스에 적용하는 것은 정말 좋은 일입니다."라고 말합니다. 하지만 그는 연구자들이 AI가 토론의 ​​인간적 측면에 미칠 수 있는 잠재적 영향을 신중하게 고려해야 한다고 덧붙입니다. 그는 "시민 심의를 지지하는 주요 이유는 사람들이 서로 관계를 맺을 수 있는 특정 종류의 공간을 만들어내기 때문입니다."라고 말합니다. "더 많은 인간적 접촉과 인간적 촉진을 제거함으로써 우리는 무엇을 잃고 있습니까?"

Summerfield는 Habermas Machine과 같은 AI 기술과 관련된 한계를 인정합니다. 그는 "우리는 심의에 개입하려고 모델을 훈련시키지 않았습니다."라고 말하며, 이는 참가자가 표현한 경우 모델의 진술에 극단주의적 또는 기타 문제가 있는 신념이 포함될 수 있음을 의미합니다. 그는 AI가 사회에 미치는 영향에 대한 엄격한 연구가 그 가치를 이해하는 데 중요하다고 덧붙입니다.

"저는 신중하게 진행하는 것이 중요하다고 생각합니다."라고 Mckinney는 말합니다. "그리고 가능한 경우 그러한 우려를 완화하기 위한 조치를 취하는 것입니다."

출처: https://www.nature.com/articles/d41586-024-03424-z