위대한 AI가 게으른 인간을 낳는 이유

[힘힘]

위대한 AI가 게으른 인간을 낳는 이유

Wharton School의 부교수인 Ethan Mollick은 기계 친구 문제를 해결해야 하는 이유를 설명합니다.

제레미 비숍 / 언스플래쉬 / 빅씽크 / 아나 코바

주요 시사점

• 연구원들은 한 그룹의 컨설턴트가 AI의 도움을 받아 작업하고 다른 그룹은 표준 방식으로 작업하는 실험을 실행했습니다. 
• 결과는 AI 지원 그룹이 거의 모든 성과 측정에서 AI가 없는 그룹보다 우수한 것으로 나타났습니다. 
• 그러나 AI 지원 그룹은 컴퓨터 시스템에 지나치게 의존하는 경향이 있어 업무에 오류가 발생할 가능성도 있었습니다.

에단 몰릭

http://Why%20great%20AI%20produces%20lazy%20humans라는 제목의 기사 링크를 복사하세요.

공유 Facebook에서 훌륭한 AI가 게으른 인간을 만드는 이유

위대한 AI가 트위터에서 게으른 인간을 생산하는 이유를 공유하세요(X)

LinkedIn에서 훌륭한 AI가 게으른 인간을 생산하는 이유를 공유하세요

Ethan Mollick의 Co-Intelligence: Living and Working with AI를 각색했습니다 . 펭귄랜덤하우스의 출판사인 포트폴리오(Portfolio)에서 출판되었습니다. 저작권 2024. 모든 권리 보유.

AI가 일자리에 미치는 영향을 이론적으로 분석하는 것과 이를 테스트하는 것은 또 다른 일이다. 저는 하버드 사회과학자 Fabrizio Dell'Acqua, Edward McFowland III, Karim Lakhani, Warwick Business School의 Hila Lifshitz-Assaf 및 MIT의 Katherine Kellogg를 포함한 연구팀과 함께 이 작업을 수행해 왔습니다. 우리는 연구를 진행한 세계 최고의 경영 컨설팅 기관 중 하나인 보스턴 컨설팅 그룹(BCG)과 실험에 참여한 약 800명의 컨설턴트의 도움을 받았습니다.

추천 동영상

이것은 인간이 서로에게 말하기 가장 어려운 것 중 하나입니다 | 리차드 리브스

컨설턴트는 두 그룹으로 무작위로 배정되었습니다. 하나는 표준 방식으로 작업해야 했고 다른 하나는 169개국의 모든 사람이 액세스할 수 있는 LLM의 상용 바닐라 버전인 GPT-4를 사용해야 했습니다. 그런 다음 그들에게 몇 가지 AI 교육을 제공하고 컨설턴트의 표준 업무처럼 보이도록 BCG에서 설계한 18개 작업에 대해 타이머를 사용하여 풀어 놓았습니다. 창의적인 작업(“서비스가 부족한 시장이나 스포츠를 대상으로 하는 새로운 신발에 대해 최소 10가지 아이디어 제안”), 분석 작업(“사용자를 기반으로 신발 산업 시장 세분화”), 작성 및 마케팅 작업(“보도 자료 마케팅 초안 작성”)이 있었습니다. 귀하의 제품에 대한 카피”) 및 설득력 작업(“귀하의 제품이 경쟁사보다 뛰어난 이유를 자세히 설명하여 직원들에게 영감을 주는 메모를 작성하십시오”). 우리는 이 작업이 현실적인지 확인하기 위해 신발 회사 임원들과도 확인했습니다.

AI로 작업하는 그룹은 그렇지 않은 컨설턴트보다 훨씬 더 나은 성과를 거두었습니다. 우리는 컨설턴트의 기술을 살펴보거나 인간 채점자가 아닌 AI를 사용하여 결과를 평가하는 등 가능한 모든 방법으로 결과를 측정했지만 118가지의 다양한 분석을 통해 효과가 지속되었습니다. AI 기반 컨설턴트는 더 빨랐으며 그들의 작업은 동료보다 더 창의적이고, 더 잘 작성되었으며, 더 분석적인 것으로 간주되었습니다.

그러나 데이터를 좀 더 주의 깊게 살펴보면 더 인상적이면서도 다소 걱정스러운 점이 드러났습니다. 컨설턴트는 AI를 사용하여 업무를 도울 것으로 예상되었지만 AI가 많은 작업을 수행하는 것처럼 보였습니다. 대부분의 실험 참가자들은 질문을 간단히 붙여넣었고 매우 좋은 답변을 얻었습니다. MIT의 경제학자 Shakked Noy와 Whitney Zhang이 수행한 글쓰기 실험에서도 같은 일이 일어났습니다. 대부분의 참가자는 AI의 출력이 일단 생성되면 편집하는 데 신경도 쓰지 않았습니다. 사람들이 AI를 처음 사용할 때 반복적으로 보는 문제는 바로 그들이 묻는 정확한 질문을 붙여넣고 AI가 대답하도록 하는 것입니다. AI와 함께 작업하는 데에는 위험이 있습니다. 물론 우리 자신을 불필요하게 만들 위험도 있지만 AI를 업무에 너무 많이 신뢰하는 위험도 있습니다.

그리고 BCG가 또 하나의 작업을 설계했기 때문에 우리는 스스로 위험을 보았습니다. 이 작업은 AI가 정답을 찾을 수 없도록 신중하게 선택한 작업, 즉 " Jagged Frontier " 외부에 있는 작업이었습니다. AI가 다양한 작업에 탁월하기 때문에 쉽지 않은 일이었지만, 까다로운 통계 문제와 오해의 소지가 있는 데이터가 결합된 작업을 식별했습니다. 인간 컨설턴트는 AI의 도움 없이 84%의 확률로 문제를 해결했지만, 컨설턴트가 AI를 사용한 경우에는 60~70%의 확률로 문제를 해결했습니다. 무슨 일이에요?

강력한 AI 덕분에 컨설턴트가 운전석에서 잠들어 계산할 때 큰 오류를 범할 가능성이 높아졌습니다.

에단 몰릭

다른 논문에서 Fabrizio Dell'Acqua는 AI에 너무 많이 의존하면 역효과를 낼 수 있는 이유를 보여줍니다. 그는 고품질 AI를 사용하는 채용 담당자가 게으르고 부주의하며 자신의 판단에 능숙하지 않다는 것을 발견했습니다. 그들은 뛰어난 지원자를 놓치고 품질이 낮은 AI를 사용하거나 AI를 전혀 사용하지 않는 채용 담당자보다 더 나쁜 결정을 내렸습니다. 그는 181명의 전문 채용 담당자를 고용하고 그들에게 수학 능력을 바탕으로 44개의 입사 지원서를 평가하라는 까다로운 작업을 주었습니다. 데이터는 성인 기술에 대한 국제 테스트에서 나온 것이므로 이력서에서 수학 점수가 명확하지 않았습니다. 채용 담당자에게는 다양한 수준의 AI 지원이 제공되었습니다. 일부는 AI 지원이 좋거나 나빴고 일부는 전혀 지원되지 않았습니다. 그는 그들이 얼마나 정확하고, 얼마나 빠르고, 얼마나 열심히 일하고, 얼마나 자신감이 있는지를 측정했습니다.

높은 품질의 AI를 갖춘 채용 담당자는 낮은 품질의 AI를 갖춘 채용 담당자보다 나빴습니다. 그들은 각 이력서에 더 적은 시간과 노력을 쏟았으며 맹목적으로 AI 추천을 따랐습니다. 또한 시간이 지나도 개선되지 않았습니다. 반면, 품질이 낮은 AI를 사용하는 채용 담당자는 더 경계심이 많고 비판적이며 독립적이었습니다. 그들은 AI와의 상호작용과 자신의 기술을 향상시켰습니다. Dell'Acqua는 AI 품질과 인간 노력 간의 균형을 설명하기 위해 수학적 모델을 개발했습니다. AI가 아주 좋으면 인간이 열심히 일하고 주의를 기울일 이유가 없습니다. 그들은 AI를 도구로 사용하는 대신 AI가 대신하도록 하여 인간의 학습, 기술 개발 및 생산성을 해칠 수 있습니다. 그는 이것을 “운전대에서 잠드는 것”이라고 불렀습니다.

Dell'Acqua의 연구는 BCG 컨설턴트와의 연구에서 어떤 일이 일어났는지 보여줍니다. 강력한 AI 덕분에 컨설턴트가 운전석에서 잠들어 계산할 때 큰 오류를 범할 가능성이 높아졌습니다. 그들은 들쭉날쭉한 프론티어의 모양을 오해했습니다.