• 배경
  • 악의적인 '인공지능(AI) 군집'이 민주주의에 심각한 위협을 가할 수 있는 대규모 조직적 허위 정보 유포 캠페인을 벌일 수 있다는 주장이 23일 04시(KST) '사이언스'에 발표됐습니다. 한국(차미영 KAIST 교수 겸 독일 막스플랑크연구회 단장)과 미국, 영국, 노르웨이 공동연구팀의 연구 및 정책 제언입니다.
    • 논문 제목: 'How malicious AI swarms can threaten Democracy' (doi: 10.1126/science.adz1697)
    • (엠바고 23일 04시 KST 해제)
      
  • 이전에도 인간 커뮤니티에는 허위 정보를 유포하려는 시도가 있었습니다. 인간이 수행했던 이런 시도는 주로 인간이 직접 개입하는 노동 집약적인 특성이 있었습니다.
  • 하지만 AI 시스템은 다릅니다. 저렴하고 일관적이며 엄청난 규모로 작동할 수 있습니다. 연구팀은 이런 특성이 허위 정보 유포 활동을 전 세계 민주주의 과정에 심각한 위협을 가하는 지속적이고 적응력 있는 캠페인으로 변화시킬 수 있다고 주장합니다. 
  • 이에 대한 대응으로, 저자들은 다층적이고 실용적인 방어 전략이 필요하다고 주장합니다. 
    • 사용을 완전히 막는 것은 실현 가능성이 매우 낮습니다. 
    • 대신 조작에 드는 비용, 위험, 그리고 가시성을 높이는 데 초점을 맞춰야 한다고 주장합니다. 
  • 아울러, 이러한 노력에는 기업과 정부의 이해관계를 넘어선 전 세계적인 협력이 필요하기 때문에, 독립적인 감독과 조치를 이끌어갈 학술 단체, 비정부 기구, 그리고 기타 시민 단체 네트워크로 구성된 분산형 'AI 영향 관측소'를 설치를 제안합니다.

• 전문가 의견 요청 내용

• 엠바고는 23일 04시 해제됐습니다. 자유롭게 활용 가능합니다.
• 되도록 원문을 그대로 활용해주시길 부탁드립니다.
• SMCK를 꼭 인용할 필요는 없습니다. 만약 인용 출처가 필요한 경우, 아래 형식을 따를 수 있습니다.
  • "ㅇㅇㅇ(전문가)는 한국과학기술미디어센터에 ㅁㅁㅁ라고 말했다."

이 코멘터리는 전통적인 매스미디어 시대에 유행하던 미디어의 ‘강효과(strong effect)’ 이론을 다시 소환하고 있다. 인쇄매체와 방송매체, 그리고 소셜미디어로 이행하면서 콘텐츠 생산의 주체는 미디어 종사자에서 이용자로 이동하였고, 이에 따라 미디어 효과 이론 역시 강효과에서 약효과 이론으로 패러다임 전환이 이루어졌다. 다시 말해, 생산과 게이트키핑의 주체로서 미디어의 영향력은 감소한 반면, 이용자·수용자 집단이 포스팅, 댓글, 좋아요, 공유 등의 행위를 통해 그 역할을 수행하게 되었다.

물론 이 과정에서 미디어는 소셜미디어라는 플랫폼으로 변모하며 유통의 장을 제공하는 동시에, 새로운 형태의 큐레이터, 즉 알고리즘 권력으로 재등장한 것도 사실이다. 이러한 변화는 이용자 집단의 분절화를 초래하였으며, 저자들이 특히 ‘AI swarms’라는 용어로 지칭하는 AI 에이전트들은 바로 이 틈새를 파고들며 정보 확산 과정과 결합하고 있다고 경고한다. 이를 토대로 이 코멘터리는 AI 미디어의 강효과에 대한 비판과 함께 공공 거버넌스를 위한 정책 제언을 시도하고 있다.

기존의 소셜미디어 챗봇과 달리, AI swarms는 정치인, 반체제 인사, 학자, 내부 고발자, 언론인 및 그 네트워크를 대상으로 조율된 합성 괴롭힘을 저비용으로 대규모 실행할 수 있다. 이러한 공격은 겉보기에는 자발적인 비판처럼 보이지만, 실제로는 수천 개의 AI 페르소나가 표적의 반응에 적응하며 조직적으로 작동한다. 감시팀이 이를 유기적 비판과 구분해내는 시점에는 이미 대상자가 공적 영역에서 철수한 이후일 수 있으며, 이는 민주적 담론에서 비판적 목소리를 체계적으로 배제하는 결과로 이어질 수 있다.

이와 같은 현상은 AI 기술 전반에 대한 신뢰를 약화시키는 동시에, 저자들이 지적하듯 이용자들을 명성 있는 고급 채널로 이동시키거나 혹은 침묵하게 만드는 양극단의 K자형 효과를 낳고 있다. 즉, fear, uncertainty, and doubt(FUD)는 이용자들을 폐쇄적 채널로 몰아가거나 공론장에서 이탈시키는 방향으로 작동한다.

물론 이에 대응하는 ‘친사회적(pro-social) swarms’의 가능성도 제기될 수 있다. 그러나 디지털 주목 경제(attention economy)는 분노, 공포, 집단 정체성을 자극하는 콘텐츠에 보상을 집중시키는 경향이 있어, 조작자들의 주요 수단이 오히려 더 확산력을 갖게 된다. 또한 친사회적 행위자들은 기만, 사칭, 인간의 인지 편향을 이용한 감정 조작과 같은 비윤리적 전술을 사용할 수 없기 때문에, 악의적 swarms와 대칭적인 군비 경쟁을 벌이기에는 구조적 한계를 지닌다. 이러한 요인들은 새로운 사회적 역학을 부정적 방향으로 왜곡시킬 가능성이 크다.

흥미로운 점은 저자들이 이러한 문제의 근본 원인을 상업화된 시장 구조에 돌리고 있다는 점이다. 이들은 대규모 조작을 뒷받침하는 상업적 시장을 해체하는 것이 핵심 과제라고 주장하며, 허영 지표(boosting vanity metrics)에서부터 조직적인 영향력 작전에 이르기까지 다양한 서비스가 놀라울 정도로 저비용으로 거래되고 있음을 지적한다. 단순한 탐지(detection)를 넘어, 조작 행위에서 발생하는 수익 자체를 줄이는 상업적 유인 구조에 대한 개입이 필요하다는 것이다.

더 나아가 이들은 사실상 시장 친화적이라고 보기 어려울 정도로 강경한 정책을 주문한다. 예컨대 악성 swarms가 확산시킨 콘텐츠에 대해 수익을 인정하지 않는 정책, 합성 참여(synthetic engagement)를 랭킹과 수익 배분에서 제외하는 조치, 감사된(audited) 봇 트래픽 지표의 공개 등이 제안된다. 또한 이러한 보호 장치는 정당, 선거 캠페인, 공직자뿐 아니라 정당 연계 미디어와 외주 계약자까지 포괄해야 한다고 주장한다.

결론적으로, 인문사회과학자들이 중심이 된 이 코멘터리는 시장 자본주의에 충실한 AI 투자 담론의 관점에서 보면 ‘과학적 충격’이라 할 만한 강경한 규제론을 제시하고 있다. 그러나 동시에 저자들은 결론부에서 강한 영향을 미치는 AI 미디어에 대응하기 위한 이용자 리터러시 교육의 중요성도 함께 강조한다. 더 나아가 AI swarms에 대응하는 정부 및 공공 영역의 규제와 통제 방식 역시 기존의 중앙집중적 통제(central command)에서 유연하고 실시간적인 조정(fluid, real-time coordination)으로 전환되어야 함을 제언한다. 이는 AI 적대 세력이 수천 개의 AI 페르소나를 스케줄링하여 운용할 수 있는 현실에서, 사회 네트워크를 통한 잘못된 정보와 사회적 전염이 민주주의의 다양성을 심각하게 훼손할 수 있기 때문이다.

Science가 이 코멘터리를 게재한 이유는, 기술결정론적 관점이 지배적인 담론 환경 속에서 AI 비판 담론의 공론장을 형성하고자 하는 과학적·사회적 개입으로 해석할 수 있을 것이다.

han.woo.park.korea@yu.ac.kr