실제 또는 가짜 텍스트? 우리는 차이점을 발견하는 법을 배울 수 있습니다
날짜:
2023년 2월 27일
원천:
펜실베이니아 대학교 공학 및 응용 과학 학교
요약:
취업과 학교에 대한 우려가 헤드라인을 지배하지만 사실 ChatGPT와 같은 대규모 언어 모델의 영향은 우리 삶의 거의 모든 구석에 영향을 미칠 것입니다. 이러한 새로운 도구는 사회적 편견 강화, 사기 및 신원 도용, 가짜 뉴스 생성, 잘못된 정보 확산 등에서 인공 지능의 역할에 대한 사회 전반의 우려를 불러일으킵니다. 연구팀은 기술 사용자가 이러한 위험을 완화할 수 있도록 지원하고자 합니다. 저자는 사람들이 기계 생성 텍스트와 인간 작성 텍스트의 차이점을 발견하는 방법을 배울 수 있음을 보여줍니다.
전체 이야기
최신 세대의 챗봇은 인공 지능의 정교함과 접근성에 대한 오랜 우려를 표명했습니다.
교육자들이 ChatGPT를 계기로 학습을 다시 생각하게 되면서 창조 경제에서 관리 계급에 이르기까지 직업 시장의 무결성에 대한 두려움이 교실로 퍼졌습니다.
그러나 고용과 학교에 대한 우려가 헤드라인을 지배하고 있지만 사실 ChatGPT와 같은 대규모 언어 모델의 영향은 우리 삶의 거의 모든 구석에 영향을 미칠 것입니다. 이러한 새로운 도구는 사회적 편견 강화, 사기 및 신원 도용, 가짜 뉴스 생성, 잘못된 정보 확산 등에서 인공 지능의 역할에 대한 사회 전반의 우려를 불러일으킵니다.
University of Pennsylvania School of Engineering and Applied Science의 연구팀은 기술 사용자가 이러한 위험을 완화할 수 있도록 지원하고자 합니다. 2023년 2월 인공 지능 발전 협회(Association for the Advancement of Artificial Intelligence) 회의에서 발표된 동료 검토 논문에서 저자는 사람들이 기계 생성 텍스트와 인간 작성 텍스트의 차이를 식별하는 방법을 배울 수 있음을 보여줍니다.
조리법을 선택하거나 기사를 공유하거나 신용 카드 세부 정보를 제공하기 전에 소스의 신뢰성을 식별하기 위해 취할 수 있는 단계가 있음을 아는 것이 중요합니다.
컴퓨터 및 정보 과학(CIS) 부교수인 Chris Callison-Burch가 Liam Dugan 및 Daphne Ippolito 박사와 함께 이 연구를 주도했습니다. CIS 학생들은 AI 생성 텍스트를 감지할 수 있다는 증거를 제공합니다.
"우리는 사람들이 기계 생성 텍스트를 인식하도록 스스로 훈련할 수 있음을 보여주었습니다."라고 Callison-Burch는 말합니다. "사람들은 기계가 어떤 종류의 오류를 범할지에 대한 일련의 가정으로 시작하지만 이러한 가정이 반드시 올바른 것은 아닙니다. 시간이 지남에 따라 충분한 예와 명시적인 지침이 주어지면 오류 유형을 선택하는 방법을 배울 수 있습니다. 기계가 현재 만들고 있습니다."
Dugan은 "오늘날 AI는 매우 유창하고 문법적인 텍스트를 생성하는 데 놀라울 정도로 능숙합니다."라고 덧붙입니다. "그러나 그것은 실수를 합니다. 우리는 기계가 예를 들어 상식 오류, 관련성 오류, 추론 오류 및 논리적 오류와 같은 독특한 유형의 오류를 만들어 우리가 발견하는 방법을 배울 수 있음을 증명합니다."
이 연구는 원본 웹 기반 교육 게임인 Real or Fake Text?를 사용하여 수집된 데이터를 사용합니다.
이 훈련 게임은 탐지 연구를 위한 표준 실험 방법을 사람들이 AI를 사용하여 텍스트를 생성하는 방법을 보다 정확하게 재현한 것으로 유명합니다.
표준 방법에서 참가자는 기계가 주어진 텍스트를 생성했는지 여부를 예 또는 아니오 방식으로 표시하도록 요청받습니다. 이 작업에는 단순히 텍스트를 진짜 또는 가짜로 분류하는 것이 포함되며 응답은 정답 또는 오답으로 점수가 매겨집니다.
Penn 모델은 모두 사람이 작성한 것으로 시작하는 예제를 보여줌으로써 표준 탐지 연구를 효과적인 교육 작업으로 크게 개선합니다. 그런 다음 각 예는 생성된 텍스트로 전환되어 참가자에게 이 전환이 시작되는 위치를 표시하도록 요청합니다. 교육생은 오류를 나타내는 텍스트의 특징을 식별하고 설명하고 점수를 받습니다.
연구 결과는 참가자들이 임의의 기회보다 훨씬 더 나은 점수를 얻었음을 보여주어 AI가 만든 텍스트가 어느 정도 감지 가능하다는 증거를 제공합니다.
Dugan은 "우리의 방법은 작업을 게임화하여 더 매력적으로 만들 뿐만 아니라 교육을 위한 보다 현실적인 컨텍스트를 제공합니다."라고 말합니다. "ChatGPT에서 생성된 것과 같은 생성된 텍스트는 사람이 제공한 프롬프트로 시작됩니다."
이 연구는 오늘날 인공 지능에 대해 이야기할 뿐만 아니라 이 기술과 우리의 관계에 대한 안심하고 흥미진진한 미래를 설명합니다.
Dugan은 "5년 전에는 모델이 주제에 머물거나 유창한 문장을 생성할 수 없었습니다. 지금은 문법 실수를 거의 하지 않습니다. 우리 연구는 AI 챗봇을 특징짓는 오류의 종류를 식별했지만 계속 유지하는 것이 중요합니다. 이러한 오류는 진화했고 계속 진화할 것임을 염두에 두십시오. 우려해야 할 변화는 AI로 작성된 텍스트를 감지할 수 없다는 것이 아니라 사람들이 차이점을 인식하고 감지 소프트웨어를 보완할 수 있도록 계속 스스로 훈련해야 한다는 것입니다. "
Callison-Burch는 "사람들은 타당한 이유로 AI에 대해 우려하고 있습니다."라고 말합니다. "우리의 연구는 이러한 불안을 완화할 수 있는 증거를 제시합니다. 일단 AI 텍스트 생성기에 대한 낙관론을 활용할 수 있게 되면 더 상상력이 풍부하고 흥미로운 텍스트를 작성하는 데 도움이 되는 이러한 도구의 능력에 주의를 기울일 수 있을 것입니다."
Penn 연구의 공동 리더이자 현재 Google의 연구 과학자인 Ippolito는 탐지에 대한 Dugan의 초점을 이러한 도구의 가장 효과적인 사용 사례 탐색에 중점을 두어 보완합니다. 예를 들어, 그녀는 출판 작가와 함께 개발된 AI 창작 도구인 Wordcraft에 기여했습니다. 작가나 연구원 중 누구도 AI가 소설 작가를 대체할 수 있다는 점을 발견하지 못했지만 창작 과정을 지원하는 능력에서 상당한 가치를 발견했습니다.
Callison-Burch는 "현재 내 느낌은 이러한 기술이 창의적인 글쓰기에 가장 적합하다는 것입니다."라고 말합니다. "뉴스 기사, 학기말 문서 또는 법적 조언은 사실성을 보장할 수 없기 때문에 나쁜 사용 사례입니다."
Dugan은 "이 기술을 추진할 수 있는 흥미롭고 긍정적인 방향이 있습니다."라고 말합니다. "사람들은 표절이나 가짜 뉴스와 같은 우려스러운 사례에 집착하지만 이제 우리는 더 나은 독자와 작가가 되기 위해 스스로 훈련할 수 있다는 것을 알고 있습니다."
출처 : https://www.sciencedaily.com/