|
AI 채팅의 데이터 보호: ChatGPT는 GDPR 표준을 준수합니까?
출처 cointelegraph 소스:EK 이페어케이 플러스
1950년대에 앨런 튜링(Alan Turing)은 컴퓨터가 인간과 상호 작용할 수 있다는 이론을 세웠습니다. 일찍이 1966년에 최초의 채팅 또는 챗봇 소프트웨어인 Eliza는 매사추세츠 공과 대학 컴퓨터 과학자 Joseph Weizenbaum이 발명한 자연어 처리(NLP) 컴퓨터 프로그램으로 등장했습니다.
인공 지능(AI) 채팅은 고객이 NLP 및 AI를 사용하여 메시징, 문자 또는 음성을 통해 참여하여 사람의 개입 없이 고객의 질문과 일반적인 질문을 읽고 이해하고 자동으로 응답할 수 있도록 하는 컴퓨터 프로그램입니다.
수년에 걸쳐 새로운 메시징 응용 프로그램이 등장했으며 기업과 소비자 모두에게 인기가 계속 높아지고 있습니다. 텍스트 기반 챗봇에서 이 기술은 Amazon Alexa 및 Apple의 Siri와 같은 오디오 입력 메시징 애플리케이션으로 발전하여 응답 및 후속 질문을 구체화하는 데 도움이 되는 대화 방법을 제공합니다.
자연어 이해, 머신 러닝 및 딥 러닝을 통해 오늘날의 AI 채팅은 사용자가 달성하려는 것을 확인할 수 있으며, 단순한 규칙 기반 질문 모델에 반응하는 대신 쿼리에 대해 보다 정확하고 관련성 있는 응답을 제공할 수 있습니다.
시간이 지남에 따라 AI 챗봇은 딥 러닝과 머신 러닝을 구현하여 정확하게 상호 작용하는 데 더욱 능숙해집니다. AI 챗봇이 개인이나 주체와 더 많이 상호 작용할수록 응답이 더 정교하고 효과적입니다.
AI 채팅의 최신 돌파구는 Sam Altman의 OpenAI가 개발하고 2022년 <>월에 출시한 ChatGPT(Chat Generative Pre-training Transformer)입니다. 그 인기는 빠르게 상승하여 단 <>일 만에 <>만 명이 넘는 사용자를 기록하여 다양한 스타일, 어조 및 언어로 거의 모든 것에 대해 AI와 대화할 수 있게 되었습니다.
AI 채팅에서 데이터 보호의 중요성
최신 AI 채팅은 더 이상 규칙 기반 모델이 아니라 여러 소스의 대화형 데이터를 사용하는 최신 자연어 및 기계 학습 기술을 사용합니다. 전통적인 규칙 기반 모델은 데이터에서 학습하는 것이 아니라 미리 정의된 규칙 집합을 기반으로 의사 결정을 내리는 AI 모델 유형입니다.
이러한 모델은 개인 데이터를 포함할 수 있는 채팅에서 학습하도록 설계된 챗봇과 상호 작용하는 개인에게 대화를 보다 현실적으로 만들지만 이러한 이유로 보안 위험을 초래할 수 있습니다.
사용자는 대부분 민감한 개인 식별 정보가 어떻게 관리, 사용, 저장 또는 공유되는지 모릅니다. AI 채팅의 온라인 위협 및 취약성은 조직과 시스템이 손상되고 개인 데이터가 유출, 도난 및 악의적인 목적으로 사용되는 경우 중요한 보안 문제입니다.
따라서 통신하는 사용자로부터 얻은 데이터 저장 및 사용 문제는 고객을 보호하기위한 몇 가지 표준의 필요성과 함께 발생합니다.
AI 채팅의 데이터 보호 이해
AI 채팅의 본질은 개인정보를 포함한 대량의 데이터를 가공하고 분석하여 관련성 있는 결과를 도출하는 것입니다. 그러나 빅 데이터의 사용은 개인 정보 보호의 개념에서 벗어난 것 같습니다. 기업은 어떻게 개인 정보를 보호하면서 AI 채팅의 잠재력을 최대한 활용할 수 있습니까?
실제로 AI 채팅 기술의 잠재력을 최대한 발휘하기 전에 특히 소비자와 조직의 서로 다른 기대치와 접근 방식을 고려하여 개인 데이터의 사용 및 저장 방식을 규제하여 데이터 보호 문제를 해결해야 합니다.
개인 정보 보호 및 데이터 보호 원칙을 준수하기 위해 기업은 개인 정보의 수집 및 보유를 제한하고 처음부터 데이터 수집 목적을 명확하게 명시하고 그 목적을 준수해야 합니다.
조직은 고객 데이터를 사용하는 방법, 데이터에 액세스할 수 있는 사람, 데이터 보유 기간 등을 설명해야 합니다. 그들은 개인 정보 보호 권리를 보호하고 개인 정보가 자신도 모르게 이익을 위해 취해지고 사용되지 않도록 하는 규제 프레임워크를 제공하여 소비자의 신뢰를 얻어야 합니다.
AI 채팅을 통해 수집 및 처리되는 데이터 유형
데이터는 AI 채팅 도구로 적절한 대화를 구축하는 데 중요하지만 챗봇은 어떤 유형의 데이터를 수집하고 처리합니까? 기업이 고객에 대해 더 많이 알수록 더 나은 경험을 제공할 수 있습니다.
따라서 AI 챗봇은 전체 법적 이름, 지리적 위치 또는 주소, 계정 정보, 이메일 주소, 전화번호, 개인 선호도 및 서비스에 대한 피드백을 포함한 광범위한 개인 데이터를 수집합니다.
이 데이터는 사용자 경험 개선 및 타겟 광고를 비롯한 여러 가지 이유로 수집 및 처리됩니다. 수집된 데이터는 향후 쿼리에 대비하여 AI 챗봇을 준비하고 사용자의 질문에 적절하게 응답하기 위해 인간의 언어를 이해하기 위한 교육 목적으로도 사용됩니다.
더 나은 비즈니스 결과를 얻는 데 도움이 될 수 있는 보다 정확한 AI 채팅 지원을 제공하려면 좋은 데이터 수집 전략이 필요합니다.
AI 채팅의 데이터 보호와 관련된 잠재적 위험 및 개인 정보 보호 문제
인터넷 연결에 의존하는 AI 채팅은 사용자의 개인 데이터 개인 정보 보호 및 보안을 손상시킬 수 있는 온라인 해킹 및 기타 사이버 공격에 취약합니다. 악성 챗봇은 인간의 행동과 대화를 시뮬레이션하여 사용자를 속여 금융 정보를 포함한 개인 데이터를 공개하도록 유도할 수 있습니다.
AI 채팅은 사용자의 성격과 관심사를 더 잘 이해하도록 설계되었기 때문에 신원 기반 범죄에 취약합니다. 도둑이 사람과 자신의 선호도에 대해 더 많이 알수록 도둑을 사칭하기가 더 쉬워집니다.
데이터 보호에는 데이터 액세스를 제한하는 도구와 정책이 포함되어야 합니다. 회사는 사용자의 개인 정보 보호 요청을 엄격하게 준수하고 개인 사용자 정보를 보호하고 데이터 침해를 방지하기 위한 조치를 취하는 규정을 준수해야 합니다.
데이터 보호 외에도 사용자는 컴퓨터에 바이러스 방지 기능을 설치하고, 방화벽을 사용하고, 길고 복잡한 암호를 사용하는 등 자신을 보호하기 위해 추가 개별 작업을 수행할 수 있습니다. 온라인에서 안전을 유지하기 위한 모범 사례에 대한 최신 정보를 얻는 것이 중요합니다.
AI 채팅 데이터 보호의 주요 개인 정보 보호 문제는 챗봇이 효과적일 수 있도록 광범위한 개인 데이터를 수집하는 것이며, 이는 데이터 최소화 및 목적 제한이라는 유럽 일반 데이터 보호 규정(GDPR) 원칙과 충돌합니다.
GDPR 표준 및 요구 사항
GDPR은 2018년 <>월 유럽 연합에서 승인 및 시작되어 데이터 개인 정보 보호 규정에 대한 공식 표준을 제공하고 다른 국가에 대한 모범적인 모델을 설정했습니다. GDPR은 개인 정보 보호 및 자유에 대한 사람들의 기본 권리를 보호하고 악의적인 사용으로부터 개인 데이터를 보호하기 위해 고안되었습니다. GDPR은 EU에 기반을 둔 회사 또는 EU 시민의 데이터를 처리하는 서비스에서만 시행됩니다.
AI 챗봇은 사용자의 개인 식별 정보 및 개인 정보에 액세스할 수 있으므로 반드시 GDPR 법률의 적용을 받습니다. 따라서 기업은 개인 데이터의 최소 요구 사항만 요청하고 서비스 및 제품에 대한 정보 전송과 같은 명시된 목적을 위해 사용해야 합니다.
GDPR은 AI 챗봇에 어떻게 적용되나요?
다른 기술과 마찬가지로 AI 채팅 도구는 민족, 종교 및 건강과 같은 민감한 개인 데이터를 수집 및 저장하는 것이 금지되어 있으며 데이터를 투명하게 처리해야 합니다.
GDPR은 개인에게 개인 데이터 삭제를 요청할 권리와 개인 데이터 사용에 반대할 수 있는 권리를 부여합니다. 회사는 챗봇 상호 작용에서 개인 데이터를 사용하기 전에 소비자로부터 명시적인 동의를 얻어야 합니다. GDPR에 따라 데이터가 사용되는 방법과 이유를 명확하게 설명해야 합니다.
GDPR 지침에 따라 합의되지 않은 소비자의 개인 데이터를 수집하고 사용하는 것은 위반 회사가 최대 20천만 유로 또는 전 세계 매출의 <>%에 해당하는 막대한 벌금을 부과할 수 있음을 의미할 수 있습니다.
GDPR은 기업이 개인 데이터를 인증하고 안전한 사용을 보장하기 위해 적절한 조치를 취할 것을 요구합니다. 생체 인식 데이터가 의무 사항은 아니지만 개인 정보의 기밀성과 무결성을 보호하기 위해 강력한 인증 프로세스를 구현해야 합니다.
사용자의 사진을 사용하는 것만으로는 인증에 대한 GDPR 표준을 충족하기에 충분하지 않을 수 있습니다. 종단 간 암호화는 AI 채팅의 요구 사항이기도 하며, 이는 데이터 침해 및 사기 시도를 보다 효과적으로 방지하는 데 도움이 될 수 있습니다.
GDPR 미준수로 인한 잠재적 결과
GDPR 및 전 세계 기타 데이터 보호 규정은 기업이 가명 처리 및 개인 데이터 암호화와 같은 사람들의 데이터를 보호하기 위해 적절한 개인 정보 보호 및 보안 조치를 취할 것을 요구합니다.
대부분의 GDPR 벌금은 개인 데이터가 합법적이고 공정하며 투명하게 처리되어야 하며 합법적인 목적으로만 수집되어야 한다는 데이터 처리 원칙 위반과 관련이 있습니다. 또한 개인 데이터는 적절하고 관련성이 있어야 하며 필요한 것으로 제한되어야 하며 필요한 기간 동안만 저장되어야 합니다. 데이터는 사용자가 동의한 경우에만 처리될 수 있습니다.
GDPR을 준수하지 않으면 기업에 심각한 처벌과 벌금이 부과될 수 있습니다. 브렉시트 이후 영국과 EU는 다음과 같은 처벌을 내렸습니다.
GDPR 미준수에 대한 처벌
그러나 모든 GDPR 위반이 데이터 보호 벌금으로 이어지는 것은 아닙니다. 다음과 같은 다양한 다른 조치를 취할 수 있습니다.
경고 및 견책 발행.
데이터 처리에 대한 일시적 또는 영구적 금지를 부과합니다.
데이터의 수정, 제한 또는 삭제를 명령합니다.
제3국으로의 데이터 전송 일시 중단.
즉, 벌금은 취할 수 있는 가능한 조치 중 하나일 뿐입니다. 일반적으로 데이터 처리에 대한 동의를 얻지 못하거나 적절한 보호 장치 없이 민감한 개인 데이터를 처리하는 것과 같이 GDPR을 더 심각하게 위반하는 경우에 대비하여 예약됩니다.
ChatGPT의 GDPR 준수
ChatGPT에 관한 OpenAI 데이터 개인 정보 보호 정책은 캘리포니아 소비자 개인 정보 보호법을 준수하기 위한 회사의 노력을 자세히 설명합니다. 그러나 GDPR을 포함한 국제법에 대한 세부 사항은 매우 희박합니다. 데이터 개인 정보 보호 정책은 개인 데이터 사용, 데이터 보존 정책 및 제3자 액세스에 관한 일반 정보를 제공합니다.
사용자의 개인 데이터 처리와 관련된 특정 요청에 대해 전담 팀과 소통할 수 있는 채널도 제공됩니다. 그러나 ChatGPT에 대한 OpenAI의 데이터 개인 정보 보호 정책이 GDPR을 준수하는 데 어려움을 겪을 수 있는 영역이 있습니다.
이전 섹션에서는 사용자 데이터를 수집하는 주체가 준수해야 하는 GDPR에서 강조하는 데이터 개인 정보 보호 측면을 강조했습니다. 이러한 솔루션을 활용하여 ChatGPT를 통해 고객 데이터를 처리하고 통찰력을 생성하는 조직은 이러한 의미를 고려해야 합니다.
ChatGPT가 사용자의 개인 데이터를 처리, 저장 및 공유할 때 GDPR 표준을 준수하는 데 어려움을 겪을 수 있는 영역입니다.
데이터 최소화
ChatGPT 모델은 인간 상호 작용 및 강화를 통해 모델을 훈련하는 기술인 인간 피드백의 강화 학습을 사용하여 훈련되었습니다. 그러나 감독 교육이 이루어지려면 AI가 웹에서 데이터를 제공받았을 것입니다. 지도 학습에는 레이블이 지정된 데이터를 사용하여 모델을 학습하는 작업이 포함되며, 여기서 모델은 입력을 원하는 출력에 매핑하도록 학습됩니다.
GDPR은 사용자의 개인 데이터를 사용하는 솔루션이 합법적이고 공정하며 투명하게 제공되는 최소한의 정보를 고수해야 한다고 규정하고 있습니다. ChatGPT는 AI 엔진을 훈련하고 개선하기 위해 웹에서 수십억 개의 데이터 포인트가 필요했을 것입니다.
AI 엔진을 훈련하기 위한 이러한 정보 소싱은 GDPR을 위반하는 것입니다. OpenAI 블로그는 특히 사용자의 개인 정보가 AI를 훈련하는 데 사용된 데이터 소스에 대해 명시적이지 않았습니다. 단, ChatGPT를 훈련하는 과정은 OpenAI 블로그에 자세히 설명되어 있습니다.
ChatGPT 훈련 과정
목적 제한
GDPR에 따라 목적 제한은 개인 데이터를 사용하는 솔루션이 지정된 목적 이외의 목적이 아닌 구체적이고 명시적이며 합법적인 목적으로만 사용하는 필수 지침입니다. 그러나 ChatGPT를 사용하면 처리하는 데이터가 기계 학습 목적으로 사용되므로 시간이 지남에 따라 더 정확해집니다.
결과적으로 ChatGPT를 사용하여 사용자의 개인 정보를 처리하면서 인텔리전스를 활용하는 조직은 자신의 데이터가 ChatGPT의 추가 교육에 사용될 것임을 명확하게 명시하고 동의해야 합니다.
설명 가능성
GDPR은 또한 의사 결정에 대한 설명을 제공할 수 있는 자동화된 의사 결정 프로그램의 필요성을 강조합니다. ChatGPT는 다양한 주제에 대한 귀중한 통찰력을 제공할 수 있지만 AI 엔진을 사용하는 조직은 GDPR을 준수하기 위해 ChatGPT의 통찰력을 설명하는 기능을 개발해야 합니다.
데이터 분리
GDPR에 따라 데이터 원본이 병합되지 않도록 기술적 및 조직적 조치를 취해야 합니다. 이는 데이터를 제3자와 공유할 때 특히 중요합니다.
ChatGPT는 데이터 소스 전반에 걸쳐 정보를 집계하여 추론과 통찰력을 제공할 수 있습니다. 조직이 데이터를 기반으로 고객을 결정하기를 원하고 ChatGPT의 제안에 다른 고객의 데이터 속성에서 발생한 정보가 포함되어 있다면 이는 GDPR 위반이 될 수 있습니다. 이 지식을 제3자와 공유하면 GDPR을 준수하지 않을 수도 있습니다.
제3자 데이터 공유
GDPR은 사용자에게 항상 제3자 데이터 공유에 대한 정보를 제공해야 하며, 특히 수익 창출이 될 경우 데이터가 무엇에 사용되는지 정확히 알아야 합니다. 이러한 데이터 공유 관행에 대해 사용자 동의를 구하고 자유롭게 제공해야 합니다. 그러나 OpenAI의 데이터 정책에는 다음과 같이 명시되어 있습니다.
"특정 상황에서 당사는 법률에서 요구하지 않는 한 귀하에게 추가 통지 없이 귀하의 개인 정보를 제3자에게 제공할 수 있습니다."
제3자와의 데이터 공유가 해당 정책의 GDPR 요구 사항에 어떻게 부합하는지에 대한 자세한 내용은 없습니다. 그러나 OpenAI 가 사용자 데이터를 공유할 수 있는 제3자 유형에 대한 세부 정보가 있습니다. 그것들은 다음과 같습니다:
OpenAI의 비즈니스 운영 요구 사항을 지원하는 제3자를 포괄하는 공급업체 및 서비스 제공업체입니다.
OpenAI 가 전략적 거래에 관여하는 비즈니스 전송의 경우 사용자 데이터를 상대방 조직과 공유해야 합니다.
OpenAI가 국가 안보 또는 기타 긴급한 상황을 위해 사용자 데이터를 공유해야 하는 법적 요구 사항.
OpenAI와 공통 통제권을 갖고 OpenAI 데이터 개인 정보 보호 정책을 준수해야 하는 법인인 계열사.
ChatGPT에 의한 데이터 수집 및 처리
ChatGPT는 광범위한 정보를 수집합니다. 다양한 사용자 데이터 속성은 OpenAI 데이터 개인 정보 보호 정책에 설명되어 있습니다. 사용자가 서비스를 사용하기 위해 계정을 만드는 경우 수집되는 데이터입니다.
이름, 연락처 정보, 계정 자격 증명, 결제 카드 정보 및 거래 내역과 같은 계정 정보 속성.
OpenAI가 제공하는 서비스에 대해 사용자가 제공한 파일 업로드 또는 피드백과 같은 사용자 콘텐츠.
이름, 연락처 정보 및 사용자가 OpenAI와 통신하려고 할 때 보내는 메시지 내용과 같은 통신 정보 속성입니다.
사용자가 OpenAI와 공유하기로 선택한 Instagram, Facebook, Medium, Twitter, YouTube 및 LinkedIn 계정과 같은 소셜 미디어 정보입니다.
위의 내용 외에도 ChatGPT와 OpenAI는 서비스를 사용하는 사람들로부터 자동으로 데이터를 수신합니다. 이러한 데이터 특성은 다음과 같습니다.
사용자가 ChatGPT/OpenAI 웹사이트와 상호 작용한 방식에 대한 데이터를 기록합니다. 여기에는 IP 주소, 브라우저 세부 정보, 웹 사이트에 제출 된 특정 요청의 날짜 및 시간에 대한 세부 정보도 포함됩니다.
사용자가 보고 참여하는 콘텐츠 유형, 사용자가 수행하는 작업, 시간대 및 사용된 장치에 대한 사용 현황 데이터입니다.
쿠키는 서비스를 운영하고 제공하는 데 사용됩니다. 그러나 이용자는 쿠키를 수락하거나 거부할 수 있습니다. 쿠키를 거부하면 OpenAI의 기능이 불완전해질 수 있습니다. 쿠키를 사용하여 수집된 데이터는 사용자 경험을 사용자 정의하기 위해 분석 제품을 사용하여 분석됩니다.
이 모든 정보를 수집함에도 불구하고 OpenAI 개인 정보 보호 정책은 사용자에게 개인 데이터 삭제를 요청할 수 있는 권리를 제공합니다. 그럼에도 불구하고 이 요구 사항이 기계 학습 시대에 얼마나 효과적일지는 두고 봐야 합니다.
데이터 보호 조치: ChatGPT 대 BERT
BERT와 ChatGPT는 각각 Google과 OpenAI에서 개발한 인기 있는 AI 언어 모델입니다. 양방향 모델인 BERT(Bidirectional Encoder Representations from transformers)는 표현을 구성하는 동안 단어의 왼쪽 및 오른쪽 컨텍스트를 모두 고려합니다.
마스킹된 언어 모델링 기술을 사용하여 학습됩니다. 모델은 임의의 단어가 고유한 토큰으로 대체된 문장에서 원래 단어를 예측해야 합니다. BERT는 명명된 엔터티 식별, 문장 분류 및 질문 답변을 포함한 작업에 자주 사용됩니다.
반대로 ChatGPT는 비지도 학습 프로세스를 사용하여 생성된 생성 모델입니다. 처음에는 다양한 다운스트림 목적을 위해 연마되기 전에 상당한 양의 텍스트 말뭉치에 대해 훈련됩니다. 고품질 콘텐츠 제작으로 명성이 자자한 ChatGPT는 텍스트 완성, 요약 및 언어 번역과 같은 작업에 유리합니다.
ChatGPT와 BERT는 모두 사용자 데이터를 보호하고 사용자의 보안과 개인 정보를 보장하기 위해 몇 가지 조치를 취합니다. 다음은 ChatGPT와 BERT가 취한 데이터 보호 조치를 비교한 것입니다.
ChatGPT 및 BERT에서 사용하는 특정 데이터 보호 방법은 애플리케이션의 요구 사항과 당면한 사용 사례에 따라 다를 수 있음을 기억하는 것이 중요합니다. 따라서 구현에 따라 다음 단계가 변경될 수 있습니다. ChatGPT와 BERT는 모두 사용자의 데이터 보안 및 개인 정보를 보호하기 위한 조치를 취합니다.
사용자 권리 및 동의
GDPR에 따라 사용자는 자신의 데이터에 액세스, 수정 및 삭제할 수 있는 권리, 데이터 처리를 제한하거나 반대할 수 있는 권리를 포함하여 데이터 보호와 관련된 여러 권리를 갖습니다. 또한 사용자는 자신의 데이터를 다른 데이터 컨트롤러로 전송하고 기계가 읽을 수 있는 형식으로 수신할 권리가 있습니다. 이러한 권리는 사용자에게 자신의 데이터에 대한 더 많은 통제권을 부여하고 공개적이고 합법적으로 처리되도록 보장해야 합니다.
사용자가 자신의 권리를 인지하고 행사할 수 있도록 ChatGPT는 몇 가지 예방 조치를 취합니다. 예를 들어, ChatGPT의 개인 정보 보호 정책은 사용자가 데이터 보호와 관련하여 사용자 권리를 행사할 수 있는 방법을 지정하고 이러한 권리를 자세히 설명합니다. 또한 개인은 ChatGPT에서 개인 데이터에 대한 액세스를 요청할 수 있으며 필요에 따라 변경하거나 제거할 수 있습니다.
ChatGPT는 데이터 수집 및 처리에 대한 사용자 동의를 확인하고 기록하기 위해 많은 기술을 사용할 수 있습니다. 예를 들어, 사용자가 처음으로 모델과 상호 작용할 때 수집될 데이터와 의도된 용도에 대한 간략한 설명을 제공할 수 있습니다. 그런 다음 사용자에게 투명하게 문서화할 수 있는 데이터 수집 및 처리에 대한 명확한 권한을 부여하라는 메시지가 표시될 수 있습니다.
향후 고려 사항
ChatGPT는 잠재적으로 여러 영역에서 GDPR에 영향을 미칠 수 있습니다. 이탈리아에서 소프트웨어 금지는 특히 데이터 보호법이 미국보다 훨씬 더 엄격한 유럽에서 ChatGPT의 미래가 울퉁불퉁할 수 있음을 나타냅니다. 예를 들어, 미국의 데이터 보호법은 주마다 다르며 GDPR과 동일한 수준의 규제를 제공하는 연방 데이터 보호법은 없습니다.
데이터 보호법을 준수하는 데 사용되는 데이터와 관련하여 OpenAI 팀의 투명성을 높여야 합니다. 사용자 데이터를 수집, 저장 및 공유할 때 동일한 투명한 접근 방식을 취해야 합니다. 더 중요한 것은 규제 기관이 ChatGPT 출력의 "설명 가능성"에 열중하고 있다는 것입니다.
도구의 적용이 의료 및 금융 서비스와 같은 중요한 분야로 이동함에 따라 OpenAI 는 규제 기관과 협력하여 소비자를 보호하고 강력한 제어로 개인 데이터를 처리하는 데 필요한 가드레일을 개발해야 합니다.
각본: 에미 라카프라(Emi Lacapra), 아룬쿠마르 크리슈나쿠마르(Arunkumar Krishnakumar), 구니트 카우르(Guneet Kaur)
|