AI 시대의 경찰과 강도그리고 신사

[dhleepaul]

안토니오 로톨로

디지털 휴머니스트 | AI 및 NLP 전문가 | 고고학자(PhD) | 전 MIT 연구원 | 전 마리 퀴리 펠로우 콘스탄츠 교@University | TEDx Caohejing (상하이) 연사 | 수영 선수 | 대표이사 @ludwig.guru

2025년 2월 27일 ∙ 9분 소요

일부 저명한 동료 심사 저널의 편집자들은 연구자들이 인공 지능으로 작성된 과학 논문을 제출하기 시작했다는 사실을 뒤늦게 깨달았기 때문에 해당 논문을 철회하고 학계에서 AI를 사용하고 탐지하는 데 일정한 관심을 불러일으켜 상황을 개선하려고 노력했습니다.

AI가 쓴 텍스트와 인간이 쓴 텍스트를 구별하는 것이 쉽다고 생각할 수도 있지만 항상 그런 것은 아닙니다. 언어학 저널의 언어학자와 리뷰어(이론적으로 언어에 대해 한두 가지를 알아야 하는 사람들)를 대상으로 실시한 연구에서 AI가 생성한 텍스트를 올바르게 식별하는 비율은 39%에 불과했으며, 이는 텍스트가 AI가 생성했는지 여부를 결정하기 위해 단순히 동전을 던진 것보다 더 나쁜 성과를 거두었다는 것을 의미합니다. 물론 몇 가지 주의 사항이 있습니다: 리뷰어들은 영어로 작성된 과학 논문의 무균 초록을 평가하고 있었습니다. 이탈리아어로 쓰여진 러브레터, 즉 AI 도구가 일반적으로 덜 능숙한 언어(적어도 영어에 비해)로 쓰여진 텍스트인 인간의 개인화 수준이 더 높은 텍스트를 평가하도록 요청받았다면 결과가 달라졌을 가능성이 있습니다. 아직 그러한 연구는 존재하지 않지만, 우리 인간이 인간이 인간이 작성한 텍스트와 기계가 생성한 텍스트를 특별히 잘 구별하지 못한다는 것을 보여주는 다른 논문이 이미 많이 포함되어 있다는 점은 주목할 가치가 있습니다(예: "사람들은 튜링 테스트에서 GPT-4와 인간을 구별할 수 없습니다" 및 관련 참고 문헌 참조).

인간의 열악한 성능에도 불구하고 기계 생성 텍스트에 더 자주 나타나는 특정 단어나 패턴이 있습니다. "delve"의 경우는 특히 인상적입니다: "깊이 조사하다"라는 비유적인 의미로 "파다"를 의미하는 영어 용어입니다. 이 단어는 필립 샤피라(Philip Shapira)의 "'탐구'에 빠져들기"라는 제목의 논문에서 증상의 예로 받아들여졌는데, 어리석은 말장난을 좋아하는 사람으로서 나는 이 제목이 훌륭하다고 생각합니다. 하지만 제목 외에도 이 논문에서 흥미로운 점은 ChatGPT가 확산되기 전에는 '파헤르다'의 빈도가 극도로 낮았으며, 예를 들어 2018년 PubMed에 색인된 과학 논문의 제목이나 초록의 0.031%에만 나타났다는 사실입니다. 이 빈도는 2023년 ChatGPT가 출시된 후 급증하여 2024년에는 0.79%에 도달했습니다. 이는 2448.39% 증가한 수치로, 이전에는 드물었던 용어가 AI로 인해 거의 닳아버린 것을 보여줍니다.

"파괴적인" 성장(출처: P. Shapira)

AI가 이 전염병을 확산시키는 데 중심적인 역할을 한 것은 의심할 여지 없지만, AI가 생성한 텍스트에서 이 용어가 끊임없이 등장하는 데 영향을 받은 인간이 진정으로 쓴 "에코"가 실제로 "에코"인 경우가 얼마나 많은지 궁금합니다. 아시다시피 언어는 사용에 따라 끊임없이 형성되며 특정 단어의 빈도는 사용량에 따라 증가합니다. 저는 생성 AI가 인간 언어의 진화에 미치는 잠재적 영향에 대한 구체적인 연구를 수행하지 않았지만 탐구할 가치가 있는 분야라고 확신합니다.

"경찰"

일반적으로 좀 더 기술적으로 말하면 기계가 작성한 텍스트와 사람이 작성한 텍스트를 구별하는 데 도움이 될 수 있는 주요 문체 측정 기능은 다음과 같습니다.

1. 폭발성 — 이 용어는 텍스트 내 문장 길이와 복잡성의 가변성을 측정합니다. 폭발성 값이 높을수록 문장 구조의 가변성이 더 크다는 것을 나타내며, 다양한 길이와 복잡성의 문장은 parataxis와 hypotaxis 사이를 번갈아 가며 역동적인 리듬을 생성합니다. 반대로, 버스티니스 값이 낮을수록 문장의 실제 길이에 관계없이 문장 길이가 더 균질하다는 것을 나타냅니다. 예상할 수 있듯이 기계는 인간에 비해 버스트가 낮은 텍스트를 생성하는 경향이 있습니다.

2. 당혹감 — 언어 모델이 일련의 단어를 얼마나 잘 예측할 수 있는지를 나타냅니다. 당혹도 값이 낮으면 모델이 다음 단어(또는 마스킹된 위치에 있는 단어)를 쉽게 예측할 수 있음을 나타냅니다. 기계가 생성한 텍스트는 일반적으로 사람이 작성한 텍스트보다 당혹감이 낮습니다.

3. 어휘 다양성 — 텍스트 내에서 사용되는 어휘의 다양성을 평가합니다. 어휘 다양성이 높은 텍스트는 더 다양한 경향이 있으며 인간의 글쓰기와 더 일반적으로 연관되어 있습니다.

이러한 문체 차이를 관찰한 연구자와 기업들은 LLM이 작성한 텍스트와 인간이 작성한 텍스트를 구별할 수 있는 "AI 탐지기"로 알려진 소프트웨어를 개발하려고 시도했지만 이 역시 매우 어려운 작업임이 입증되었습니다.

기술적인 관점에서 볼 때 이는 본질적으로 주어진 텍스트 입력을 특정 범주("AI" 또는 "인간")에 할당하는 것을 목표로 하는 간단한 분류 작업입니다. 목표는 (d_\theta(X) \rightarrow {1, 0})와 같은 함수(d_\theta)를 학습하는 것입니다.

기술적인 관점에서 볼 때 이는 본질적으로 주어진 텍스트 입력을 특정 범주("AI" 또는 "인간")에 할당하는 것을 목표로 하는 간단한 분류 작업입니다. 목표는 (d_\theta(X) \rightarrow {1, 0})와 같은 함수(d_\theta)를 학습하는 것입니다.

• "(d)"는 분류를 담당하는 함수 또는 모델을 나타냅니다.
• "(\theta)"는 모델 또는 함수(d)의 매개변수를 나타냅니다. 이러한 매개변수는 모델이 학습 프로세스 중에 학습하는 것입니다. 모델의 동작 방식을 정의하는 이러한 매개변수를 조정함으로써 모델은 텍스트를 올바르게 분류하는 능력을 향상시키도록 최적화됩니다.
• 레이블 1은 입력 텍스트가 AI가 생성했음을 나타내고 0은 텍스트가 사람이 작성했음을 의미합니다.

현재 더 이상 사용되지 않는 정적 규칙 기반 감지기(소위 "메트릭 기반" 알고리즘) 외에도 텍스트 분류에 대한 두 가지 주요 접근 방식은 워터마킹과 사후 감지입니다.

워터마킹에는 AI가 생성한 텍스트 내에 감지 가능한 패턴을 삽입하는 작업이 포함됩니다. 그러나 워터마킹은 LLM을 관리하는 조직의 협조가 필요하며, 워터마킹 방법을 알면 워터마크를 쉽게 제거할 수 있다는 점에서 효과가 심각하게 제한됩니다.

사후 감지는 소급하여 적용할 수 있기 때문에 기본 분석 방법입니다. 사후 감지는 사용된 훈련 방법론에 따라 두 가지 주요 접근 방식인 지도 및 제로샷으로 나눌 수 있습니다.

지도 감지기는 주석이 달린 데이터 세트, 즉 사람이 작성하거나 AI가 생성한 것으로 표시된 텍스트 모음을 사용하여 훈련됩니다. 이 훈련의 목표는 모델이 인간의 글쓰기와 AI 생성 글쓰기를 구별하는 독특한 특징을 학습할 수 있도록 하는 것입니다. 이러한 방식으로 레이블이 지정되지 않은 새로운 텍스트에 직면했을 때 감지기는 훈련 중에 얻은 지식을 활용하여 이를 인간 또는 AI 생성으로 분류할 수 있습니다.

이 기술은 인간과 AI가 생성한 텍스트를 구별할 때 모델이 잘 일반화되고 높은 수준의 정확도를 유지할 수 있도록 훈련 데이터 세트의 품질과 다양성에 크게 의존합니다. 지도 감지기는 특별히 훈련된 상황에서 최첨단(SoTA) 성능을 달성하여 최대 99%의 정확도에 도달하지만 여전히 몇 가지 중요한 제한 사항이 있습니다.

이러한 제한 사항 중 첫 번째는 과적합으로, 모델이 훈련되면 훈련 데이터 세트의 특정 기능에 지나치게 집중하게 되어 일반화 능력이 떨어집니다(예: 훈련 데이터에서 다루지 않는 언어나 스타일로 작성된 특수 텍스트를 평가하는 데 어려움을 겪을 수 있음).

이와 밀접한 관련이 있는 것은 새로운 AI 텍스트 생성 기술이나 소스가 출시될 때마다 필요한 재훈련 문제입니다(예를 들어, GPT-3에서 생성된 텍스트를 감지하도록 훈련된 모델이 GPT-4에서 생성된 텍스트와 마주하는 경우 발생할 수 있음).

다양성과 적용 가능성 측면에서 이러한 한계를 극복하기 위해 연구자들은 그 자체로 두 가지 범주로 분류할 수 있는 제로샷 탐지 접근 방식을 채택하려고 시도했습니다.

첫 번째 그룹은 LLM의 확률 분포에서 파생된 단서에 의존하여 인간의 글과 AI 생성 텍스트를 구별하는 방법으로 구성됩니다. LLM은 특정 컨텍스트가 주어졌을 때 훈련 데이터에서 널리 사용되는 토큰(단어 또는 구문)을 선호하는 경향이 있는 반면, 인간의 단어 선택은 훨씬 더 예측할 수 없습니다.

두 번째 그룹에는 사전 훈련된 모델을 직접 사용하여 텍스트를 인식하는 감지기가 포함되며, 특정 작업에 대한 전문 훈련보다는 모델의 일반적인 기능에만 의존합니다.

제로샷 접근 방식은 적응력이 훨씬 뛰어나고 추가 교육이 필요하지 않다는 부인할 수 없는 이점이 있지만 지도 모델보다 정확도가 떨어진다는 대가를 치르게 됩니다.

상황이 아직 충분히 복잡하지 않은 것처럼, 최초의 AI 탐지기와 거의 동시에 최초의 휴머나이저도 등장했다는 점을 기억하는 것이 중요합니다. 이는 AI가 생성한 텍스트를 편집(또는 더 기술적으로 교란)하여 인간적이고 진정성 있는 것처럼 보이도록 변경하여 AI 탐지를 피하도록 설계된 모델입니다.

바이러스와 바이러스 백신 소프트웨어 사이의 영원한 전투와 마찬가지로 이는 탐지기가 AI 생성 텍스트를 포착하려고 시도하고 휴머나이저가 탐지기를 통과하기 위해 노력하는 유쾌한 고양이와 쥐 게임을 촉발시켰습니다.

ChatGPT의 배후에 있는 회사인 OpenAI 자체는 2023년 1월에 AI Detector를 출시했지만, 많은 사람들이 시스템에 대한 표적 적대적 공격을 통해 탐지를 회피하기 위해 즉시 텍스트를 최적화하기 시작했기 때문에 의심스러운 성능으로 인해 빠르게 철회되었습니다.

"강도"

AI 탐지기를 속이기 위해 AI가 생성한 텍스트를 수정하는 공격을 '인간화' 또는 'AI 회피' 공격이라고 하며, 다음 표에 따라 그룹화할 수 있습니다.

출처: 걸림돌: 공격을 받는 기계 생성 텍스트 감지기의 견고성 스트레스 테스트(Wang et al., ACL 2024)

분명히 탐지기는 가중 투표 메커니즘을 사용하여 앙상블 평가를 구현함으로써 이러한 공격으로부터 보다 효과적으로 스스로를 방어할 수 있습니다(이는 바로 우리가 자체 AI 탐지기에서 수행한 것과 정확히 일치합니다. 인간화 공격에 의해 방해받지 않은 텍스트에 대해 99%의 긍정적 식별률을 달성했습니다).

즉, 탐지기가 동시에 적용되는 여러 공격의 조합을 얼마나 잘 처리할 수 있는지, 어느 정도까지 처리할 수 있는지는 아직 알 수 없습니다.

맨 처음에 언급했듯이 이것은 처음에 보이는 것보다 훨씬 덜 간단한 주제입니다.

신사 도둑

처음에 Ludwig.guru는 AI 탐지 서비스와 함께 인간화 서비스도 제공하기로 결정했는데, 이 서비스는 결국 짧은 기간 후에 시장에서 철수하기로 결정했습니다.

쉬운 결정은 아니었지만 회사 내부의 활발한 토론을 통해 나왔습니다. 이러한 특정 문제에 대한 토론으로 시작된 토론은 AI, 알고리즘 및 회사로서의 정체성과 관련된 광범위한 주제를 다루면서 들불처럼 빠르게 확장되었습니다. [1]

 (사람이 쓴 텍스트로 위장한 AI 생성 텍스트, AI 검사기가 의심의 눈초리로 쳐다보고 있다(출처: Robin Hood (1973), Disney)

그러나 이는 간단한 도덕적 선택과는 거리가 멉니다. 실제로 많은 학교, 학술 기관, 과학 저널이 투명성을 명목으로 생성형 AI 사용을 공개적으로 비난하고 있지만, AI 사용을 비난하는 점을 강조하는 것이 중요합니다.

• 생성형 AI를 자신을 더 잘 표현할 수 있는 귀중한 도구로 발견한 사람들에 대한 차별적인 입장입니다. 이는 AI 덕분에 언어적 격차를 해소할 수 있는 자신의 언어가 아닌 언어로 과학 논문을 작성하는 영어가 모국어가 아닌 사람들에게 특히 해당됩니다. 특히 이 점에서 영어가 모국어가 아닌 사람이 쓴 텍스트가 원어민이 쓴 텍스트에 비해 AI 생성으로 잘못 분류되는 경우가 더 많다는 과학 문헌이 있습니다.

• 텍스트를 범주("인간 생성" 또는 "AI 생성")에 할당하는 것은 기계에게도 지뢰밭입니다. 잘못된 분류는 AI 사용 혐의로 허위 기소된 연구원의 경력이나 AI 사용에 대해 잘못 표시되어 과제에 실패할 수 있는 학생에게 심각한 영향을 미칠 수 있습니다. 오탐은 실제로 발생하며, 미국 헌법 자체가 한때 AI 생성으로 분류되었다는 사실은 이 문제가 얼마나 심각할 수 있는지를 완벽하게 보여주는 그럴 만한 이유가 있습니다.

• 또한 주요 기술적 한계가 있습니다: 짧은 텍스트는 분류가 사실상 불가능하며 극도로 예측 가능한 콘텐츠(예: 처음 1,000개의 소수 목록)에도 동일하게 적용됩니다.

이러한 복잡성을 감안할 때 저는 AI 사용에 대한 낙인에 반대하는 것을 개인적으로 선언하는 데 주저하지 않습니다. 다른 기사에서 썼듯이 *"나는 훌륭하고 독창적이며 잘 쓰여진 아이디어를 믿습니다. *

AI는 지식의 민주화를 긍정적으로 지원하고 공공 담론의 다원성을 풍부하게 할 수 있는 도구입니다. 동시에, 나는 그것이 비윤리적이거나 악의적인 행동에 오용될 수도 있다는 사실을 눈감지 못합니다.

그럼에도 불구하고 도구 자체를 비난하는 것은 거리에서 자신의 쓰레기를 줍지 않는 개를 비난하는 것만큼이나 근시안적입니다.

AI 자체와 마찬가지로 AI 탐지기는 매우 유용한 도구이지만 그 역할은 우리가 읽는 텍스트에 대해 더 많은 정보에 입각한 결정을 내리는 데 도움이 되어야 합니다. 차별적 관행을 정당화하는 데 사용되는 도구가 되어서는 안 됩니다. 그런 의미에서 그러한 부당한 시스템을 우회하는 인간화자는 그 자체로 자유의 도구가 될 수 있으며, 어쩌면 '신사 도둑'이 될 수도 있습니다.

1. 이러한 요점 중 일부는 이미 "헛소리의 삼사라"라는 제목의 기사에서 탐구한 반면, 다른 점은 Federico Papa가 자신의 글 중 하나에서 논의했습니다. 영어 버전은 Blogwig를 방문하세요. ↩︎

안토니오 로톨로

디지털 휴머니스트 | AI 및 NLP 전문가 | 고고학자(PhD) | 전 MIT 연구원 | 전 마리 퀴리 펠로우 콘스탄츠 교@University | TEDx Caohejing (상하이) 연사 | 수영 선수 | 대표이사 @ludwig.guru