알고리즘이 인도 텔랑가나의 가난한 수천 명에게 식량을 거부한 방법

[이매진]

알고리즘이 인도 텔랑가나의 가난한 수천 명에게 식량을 거부한 방법

https://www.aljazeera.com/economy/2024/1/24/how-an-algorithm-denied-food-to-thousands-of-poor-in-indias-telangana

How an algorithm denied food to thousands of poor in India’s Telangana

부적격자를 걸러내기 위해 복지 제도에 AI를 도입했지만, 합법적인 사람 수천 명을 부당하게 제거했습니다.

Bismillah Bee(사진)는 자동차를 소유하지 않았음에도 불구하고 자동차를 소유했다는 이유로 Telangana의 식량 안보 계획에 대한 접근이 거부되었습니다. [Reportes' Collective 제공]

작성자:  Tapasya  ,  Kumar Sambhav, Divij Joshi 

게시일: 2024년 1월 24일2024년 1월 24일

나중에 읽을 기사를 저장하고 나만의 읽기 목록을 만드세요.

이 이야기는 Pulitzer Center의 AI Accountability Network의 지원을 받아 제작되었습니다.

인도 하이데라바드와 뉴델리 – Bismillah Bee는 자동차를 소유한다는 것을 상상할 수 없습니다. 67세의 미망인과 그녀의 가족 12명은 인도 텔랑가나주의 수도인 하이데라바드의 도시 빈민가에 있는 비좁은 방 3개짜리 집에 살고 있습니다. 인력거꾼인 남편이 2년 전 구강암으로 사망한 이후, Bee는 지역 사업을 위해 마늘 껍질을 벗겨 생계를 유지하고 있습니다.

계속 읽으세요4개 항목 목록4개 중 1개 목록옥스팜은 세계 빈곤이 증가함에 따라 부자들이 부를 축적하고 있다고 말합니다4개 중 2개 목록옥스팜은 다보스 회의가 열리자 2020년 이후 재산이 두 배로 늘어났다고 밝혔다.4개 중 3개 목록사진: 파키스탄의 빈곤과 박해에 맞서는 힌두교 대규모 결혼식4개 중 4개 목록Jelena Begovic: 동서양의 권력 투쟁에서 세르비아의 기술 성장목록 끝

그러나 텔랑가나 정부가 3천만 명 이상의 주민을 디지털 방식으로 프로파일링하기 위해 배포한 알고리즘 시스템은 비의 남편이 아직 살아 있던 2021년에 자동차 소유자로 태그를 지정했습니다. 이로 인해 그녀는 인도 식량 안보법에 따라 정부가 가난한 사람들에게 제공해야 하는 보조금을 받는 식량을 박탈당했습니다.

따라서 인도에서 코로나19(COVID-19) 대유행이 맹위를 떨치고 남편의 암이 최고조에 달했을 때, Bee는 자신이 차를 소유하지 않았으며 자신이 정말 가난하다는 사실을 정부 당국에 설득하기 위해 정부 당국 사이를 오가고 있었습니다.

당국은 그녀를 믿지 않았습니다. 그들은 그들의 알고리즘을 믿었습니다. 정당한 보조금을 받는 식량 공급을 얻기 위한 그녀의 싸움은 인도 대법원까지 이르렀습니다.

Bee의 가족은 인도 인구 조사 기록에 "빈곤선 이하"로 기재되어 있습니다. 이 분류를 통해 그녀와 그녀의 남편은 시장 가격 약 40루피(0.48달러)에 비해 kg당 1루피(0.012달러)로 최대 12kg의 쌀을 포함한 국가 복지 혜택을 받을 수 있었습니다.

인도는 세계 최대 규모의 식량 안보 프로그램 중 하나를 운영하고 있으며, 이 프로그램은 14억 인구의 약 2/3에게 곡물 보조금을 제공할 것을 약속합니다.

역사적으로 정부 관계자는 현장 방문과 서류의 물리적 확인을 통해 복지 신청자의 자격을 확인하고 승인했습니다. 그러나 2016년 Bharat Rashtra Samithi 당이 이끄는 Telangana의 이전 정부는 여러 정부 데이터베이스의 시민 데이터를 통합하여 포괄적인 디지털 프로필 또는 "360도 보기"를 생성하는 알고리즘 시스템인 Samagra Vedika로 공무원을 무장시키기 시작했습니다.

광고

신체 검증은 여전히 ​​필요했지만 새로운 시스템에서는 공무원이 스스로 결정을 내리기 전에 알고리즘 시스템이 신청자의 자격을 승인했는지 여부를 확인해야 했습니다. 그들은 알고리즘의 예측을 따르거나 그에 반대되는 이유와 증거를 제공할 수 있습니다.

공무원들은 알고리즘 결정을 기반으로 식품 보안 카드 신청자의 자격을 확인하도록 요청받았습니다. [기자 집단 제공]

처음에는 주 경찰이 범죄자를 식별하기 위해 배치한 이 시스템은 현재 주 정부에서 복지 청구자의 적격성을 확인하고 복지 사기를 적발하기 위해 널리 사용됩니다.

알자지라에 가입하세요주간 뉴스레터

전 세계의 최신 뉴스. 시기 적절한. 정확한. 공정한.

가입하기

가입하시면 당사의 개인정보 보호정책 에 동의하시는 것입니다.

reCAPTCHA 로 보호됨

그러나 Bee의 경우 Samagra Vedika는 인력거꾼인 고인이 된 남편 Syed Ali를 자동차 소유자인 Syed Hyder Ali로 착각했고 당국은 알고리즘의 말을 받아들였습니다.

이러한 디지털 혼란의 희생자는 비뿐만이 아닙니다. 2014년부터 2019년까지 Telangana는 186만 개 이상의 기존 식품 보안 카드를 취소하고 142,086개의 신규 신청을 사전 통지 없이 거부했습니다.

정부는 처음에 이들이 모두 사기성 보조금 청구자이며 부적격 수혜자를 “제거”할 수 있어 많은 돈을 절약할 수 있었다고 주장했습니다.

그러나 우리의 조사에 따르면 Samagra Vedika의 잘못된 데이터와 잘못된 알고리즘 결정으로 인해 수천 건의 제외가 잘못 수행된 것으로 나타났습니다.

일단 제외되면, 보조금을 받는 식품을 받을 자격이 있음을 정부 기관에 증명할 책임은 제거된 수혜자에게 있습니다.

광고

그렇게 했음에도 불구하고 관리들은 종종 알고리즘의 결정을 선호했습니다.

복지 알고리즘의 등장

2006년 발행된 가족의 오래된 '빈곤선 아래' 카드를 들고 있는 비스밀라 비 [기자 집단 제공]

인도는 보조금 지원 식품, 비료, 요리용 가스, 농작물 보험, 주택, 연금 등 복지 혜택을 제공하는 데 국내총생산(GDP)의 약 13%, 즉 2,560억 달러에 가까운 비용을 지출합니다.

그러나 복지 제도는 역사적으로 “누수”에 대한 불만으로 시달려 왔습니다. 여러 사례에서 정부는 부패한 공무원이 보조금을 부적격 청구자에게 전용했거나 사기 청구자가 자신의 신원이나 혜택 청구 자격을 허위로 표시한 사실을 발견했습니다.

지난 10년 동안 연방 정부와 여러 주 정부는 이러한 유출을 막기 위해 점점 더 기술에 의존해 왔습니다.

첫째, 신원 사기를 방지하기 위해 그들은 이 계획을 모든 인도인에게 제공되는 논란의 여지가 있는 생체 인식 기반 고유 식별 번호인 Aadhaar와 연결했습니다.

그러나 Aadhaar는 청구인의 적격성을 확인하지 않습니다. 따라서 지난 몇 년 동안 여러 주에서는 이러한 자격을 확인하기 위해 대중에게 공개되지 않는 알고리즘을 사용하는 새로운 기술을 채택했습니다.

광고

지난해 알 자지라(Al Jazeera)는 퓰리처 센터(Pulitzer Center)의 인공 지능(AI) 책임 네트워크(Accountability Network)와 협력하여 이러한 복지 알고리즘의 사용과 영향을 조사했습니다. 우리 시리즈의 첫 번째 부분에서는 텔랑가나에 있는 불투명하고 설명할 수 없는 Samagra Vedika의 무분별한 사용으로 인해 수천 명의 가난한 사람들이 수년 동안 정당한 보조금을 받는 식량을 박탈당했으며 도움이 되지 않는 정부 관리들로 인해 상황이 더욱 악화되었음을 보여줍니다.

Samagra Vedika는 과거에 3천만 명의 주 주민의 삶을 추적하면서 대규모 감시에 오용될 가능성이 있고 시민의 개인정보를 위험에 빠뜨릴 수 있다는 비판을 받아왔습니다. 그러나 복지사기 적발에 대한 유효성은 아직까지 조사되지 않았다.

알 자지라가 보낸 자세한 질문에 대해 텔랑가나 정보 기술부 수석 비서인 Jayesh Ranjan은 이전의 직접 확인 시스템은 "공무원의 재량에 기반을 두고 있으며 불투명하고 오용되었으며 부패로 이어졌다"고 말했습니다. . Samagra Vedika는 시민들이 높이 평가하는 수혜자를 식별하는 투명하고 책임 있는 방법을 도입했습니다.”

불투명하고 책임이 없음

사진에 나온 마허 비(Maher Bee) 역시 알고리즘이 가족에게 자동차가 없는데도 자동차를 소유한 것으로 태그했기 때문에 보조금을 받는 곡물에 대한 접근이 거부되었습니다. [기자 집단 제공]

Telangana는 Samagra Vedika를 복지 결정 자동화의 선구적인 기술로 프로젝트합니다.

Samagra Vedika를 개발한 회사인 Posidex Technologies Private Limited는 웹사이트에서 "누출을 식별함으로써 주 정부를 위해 매년 수십억 달러를 절약할 수 있습니다"라고 말합니다. 다른 주에서는 유사한 플랫폼을 개발하기 위해 이를 고용했습니다.

그러나 주 정부나 회사 모두 Samagra Vedika의 소스 코드(컴퓨터 프로그램을 실행하는 서면 지침 세트)나 그들의 주장을 뒷받침할 수 있는 기타 검증 가능한 데이터를 공개 도메인에 공개하지 않았습니다.

광고

전 세계적으로 연구자들은 예측의 정확성을 확인할 수 있도록 정부 알고리즘의 소스 코드를 독립적으로 감사해야 한다고 주장합니다.

주 IT 부서는 정보권법에 따라 Samagra Vedika가 결정을 내리기 위해 사용하는 소스 코드와 데이터 형식을 공유해 달라는 요청을 회사가 “권리”를 갖고 있다고 말하면서 거부했습니다. Posidex Technologies는 인터뷰 요청을 거부했습니다.

주 공무원, 활동가 및 복지 제도에서 제외된 사람들과의 12회 이상의 인터뷰와 입찰 기록을 포함한 다양한 문서의 열람을 통해 우리는 Samagra Vedika가 알고리즘을 사용하여 여러 정부 데이터베이스에서 개인의 신원을 삼각 측량하는 방법을 엿볼 수 있었습니다. 최대 30개 – 모든 정보를 결합하여 개인 프로필을 만듭니다.

Samagra Vedika는 하이데라바드 경찰청이 관심 있는 사람들의 프로필을 생성하기 위해 2016년에 처음 구축되었습니다. 같은 해 식량안보 제도에 시범적으로 도입됐고, 2018년에는 대부분의 국가 복지 제도에 포함됐다.

Telangana 식량 안보 규칙에 따라 식량 안보 카드는 농촌 지역에서는 연간 소득이 150,000 루피($1,823) 미만이고 도시 지역에서는 200,000 루피($2,431) 미만인 가족 중 가장 나이 많은 여성에게 발급됩니다.

광고

정부는 또한 추가적인 자격 기준을 부과합니다. 즉, 가족은 사륜차를 소유해서는 안 되며, 가족 구성원은 정규 정부나 개인 직업을 가지거나 상점, 휘발유 펌프 또는 정미소와 같은 사업을 소유해서는 안 됩니다.

이것이 Samagra Vedika가 작동하는 곳입니다. 쿼리가 발생하면 다른 데이터베이스를 살펴봅니다. 기준 중 하나를 위반할 정도로 일치하는 항목이 발견되면 청구인에게 부적격 태그가 지정됩니다.

오류와 피해

Maher Bee의 남편인 모드 안와르(Mohd Anwar)는 한쪽 다리가 마비되어 자동차를 운전할 수 없지만 알고리즘은 가족이 자동차를 소유한 것으로 태그하여 보조금을 받는 곡물에 대한 접근을 거부했습니다. [제공: The Reporters' Collective]

이름과 주소가 서로 다른 데이터베이스에 기록되는 방식에는 큰 차이가 있기 때문에 Samagra Vedika는 "기계 학습"과 "엔티티 확인 기술"을 사용하여 개인을 고유하게 식별합니다.

정부는 이전에 이 기술이 "고정밀"하다고 밝혔습니다. "올바른 일치를 절대 놓치지 않고" "최소한의 거짓 긍정"을 얻습니다.

또한 차량이나 집에 잘못된 사람을 태그하는 오류는 전체 사례의 5% 미만으로 발생하며 대부분의 오류가 수정되었다고 밝혔습니다.

그러나 대법원이 거부된 푸드카드에 대해 재검증을 실시한 결과, 오류의 한계가 훨씬 더 높은 것으로 나타났습니다.

광고

2022년 4월, 사회 운동가 SQ 마수드(SQ Masood)가 배제된 가족을 대신하여 처음 제기한 소송에서 최고 법원은 정부에 2016년 이후 삭제된 카드 190만 장 모두에 대해 현장 검증을 수행하도록 명령했습니다.

검증을 위해 접수된 491,899건의 신청서 중 주정부는 2022년 7월까지 205,734건을 처리했으며, 이는 공개된 최신 데이터입니다. 그 중 15,471건의 신청이 승인되었는데, 이는 카드의 최소 7.5%가 부당하게 거부되었음을 의미합니다.

법원의 재검증 명령 이후 거부된 식품보안 카드 중 7.5%가 승인되었습니다. [기자협회 제공]

비영리단체인 소외계층 사회경제적 역량 강화 협회(ASEEM)와 협력하는 Masood는 “태그 오류로 인해 [식량 보장 카드] 신청이 거부된 정말 도움이 필요한 가족을 많이 발견했습니다.”라고 말했습니다. “그들은 사륜차를 가지고 있다는 이유로, 재산세를 납부했다는 이유로, 공무원이라는 이유로 잘못 [태그를 달았습니다].”

청원서에는 부당 배제 사례가 10여 건에 달한다. Al Jazeera는 그 중 세 곳을 방문하여 Samagra Vedika가 잘못 태그했음을 확인했습니다.

국제앰네스티 알고리즘 책임 연구소의 수석 조사 연구원인 데이비드 놀란은 복지 제공에 사마그라 베디카(Samagra Vedika)와 같은 시스템을 배포하는 이유는 사기 신청자가 충분히 많기 때문이라고 말했다. 잘못된 일치 수입니다.

시스템이 합법적인 애플리케이션을 사기성 또는 중복성으로 잘못 분류할 때 거짓양성이 발생하고, 시스템이 사기성 또는 중복성 애플리케이션을 합법적인 것으로 분류할 때 거짓음성이 발생합니다. Nolan은 "엔지니어는 이 두 오류 사이에서 균형을 유지해야 합니다. 한 오류가 다른 오류의 증가를 감수하지 않고서는 줄어들 수 없기 때문입니다."라고 말했습니다.

잘못된 긍정의 결과는 개인이나 가족이 필수 지원을 잘못 거부했음을 의미하므로 그 결과가 높습니다.

광고

“정부는 Samagra Vedika 사용 시 이를 최소화한다고 주장하지만 이러한 시스템에는 재정적 비용도 발생하므로 주정부는 충분한 사기성 또는 중복 응용 프로그램을 찾아 비용 대비 가치를 입증해야 합니다. 이는 정부가 자동화 시스템을 사용하여 위음성 수를 줄이는 데 인센티브를 제공하여 위양성률이 증가할 가능성이 높아져 자격을 갖춘 가족이 복지 제공에서 부당하게 제외되는 원인이 됩니다.”라고 Nolan은 덧붙였습니다.

Ranjan은 이러한 우려를 "불안"으로 일축하고 모든 주에서는 "모든 복지 프로그램에서 포함 오류와 제외 오류를 최소화하려고 노력하고 있습니다. Telangana 정부는 동일한 목적을 위해 빅 데이터 등과 같은 최신 기술을 사용하여 Samagra Vedika라는 프로젝트를 구현했습니다"라고 말했습니다.

그는 정부가 공개 입찰을 통해 다른 소프트웨어 프로그램과 마찬가지로 Samagra Vedika를 인수하는 것과 동일한 관행을 따랐으며 Samagra Vedika의 사용은 여러 위치에서 다양한 표본 크기에 대해 여러 부서에서 검증되었으며 "매우 높은" 것으로 나타났습니다. 정확도 수준”. 그는 이것이 여러 부서의 현장 검증을 통해 더욱 강화되었다고 말했습니다.

인간에 대한 알고리즘

2016년 Bee의 식품 보장 카드가 취소된 후 당국은 4년 동안 그녀의 갱신 신청을 보류하다가 2021년에 그녀가 4륜차를 소유하고 있다고 주장하여 마침내 이를 거부했습니다.

“차 살 돈만 있으면 왜 이렇게 살겠어요?” 꿀벌이 묻습니다. “공무원들이 우리 집에 오면 아마 그걸 볼 수도 있겠네요. 그런데 아무도 우리를 방문하지 않았어요.”

광고

그녀는 비영리단체인 ASEEM의 도움으로 남편이 소유한 것으로 추정되는 차량의 등록번호를 알아내고 실제 소유자를 찾았습니다.

Bee가 증거를 제시했을 때 관계자들은 알고리즘 오류가 있다는 데 동의했지만 사실이 아니었음에도 불구하고 그녀의 총 가족 소득이 자격 한도를 초과했기 때문에 그녀의 신청을 고려할 수 없다고 말했습니다.

당국은 Bismillah Bee에게 그녀의 식량 안보 카드가 알고리즘에 의해 거부되었다고 알렸습니다. [기자 집단 제공]

Bee는 또한 미망인, 60세 이상, "가족 지원이 없는" 미혼 여성 또는 "생계 수단이 보장된" 등 기타 기준에 따라 곡물 보조금을 받을 자격이 있었습니다.

대법원 청원서에는 이유를 밝히지 않았거나 자신이 소유하지 않은 사륜차를 소유하는 등 잘못된 이유로 식량 계획의 혜택을 거부당한 최소 6명의 다른 여성의 사례가 나열되어 있습니다.

여기에는 남편 및 5명의 자녀와 함께 하이데라바드의 임대 아파트에 살고 있는 제외된 수혜자 Maher Bee도 포함됩니다. 소아마비로 인해 남편은 왼쪽 다리가 마비되어 차를 운전할 수 없게 되었습니다. 이 가족은 2018년에 식량 안보 카드를 신청했지만 2021년에는 사륜차를 소유하고 있지 않음에도 불구하고 '사륜차를 소유하고 있다'는 이유로 거부당했습니다.

Maher Bee는 “3루피 대신 쌀 1kg당 10루피를 지출합니다.”라고 말했습니다. “우리는 이 계획에 따라 제공된 것과 동일한 쌀을 상인들로부터 사서 더 높은 가격에 판매합니다.”

ASEEM의 Masood는 "이러한 알고리즘 제외에 관해서는 어떠한 책임도 없습니다."라고 말했습니다. “이전에는 불만을 품은 사람들이 지역 공무원에게 가서 답변과 안내를 받을 수 있었지만 지금은 공무원들이 모릅니다… 정부의 초점은 수혜자 목록에서 최대한 많은 사람을 제거하는 것입니다. 적격 수혜자는 음식 없이 방치됩니다.”

광고

지난 11월, Telangana 고등법원은 Maher Bee가 제기한 사건에서 주 정부가 새로운 카드를 발급할 때마다 “청원자는 식품 보안 카드를 받을 자격이 있다”고 밝혔습니다. 한편 7년 넘게 배급을 받지 못한 비스밀라 벌(Bismillah Bee)은 아직도 기다리고 있다.

(내일은 시리즈의 2부 - 알고리즘이 살아있는 사람이 사망했다고 선언하는 경우)

Tapasya는 The Reporters' Collective의 회원입니다. Kumar Sambhav는 Pulitzer Center의 2022년 AI 책임 연구원이자 Princeton University의 Digital Witness Lab의 인도 연구 책임자입니다. Divij Joshi는 University College London 법학부의 박사 연구원입니다.  

출처 : 알자지라

---