Generative AI 도구 Stable Diffusion은 인종, 성별 고정 관념을 증폭시킵니다.
https://nypost.com/2023/06/09/ai-tool-stable-diffusion-amplifies-race-and-gender-stereotypes/
최근 연구에 따르면 텍스트 프롬프트에서 이미지를 생성하는 인기 있는 생성 AI 도구는 사람들을 "고임금" 및 "저임금 직업"으로 렌더링할 때 성별 및 인종적 고정관념으로 가득 차 있습니다.
Bloomberg 의 도구 테스트에 따르면 무료로 사용할 수 있는 AI 모델인 Stable Diffusion은 14개 분야의 직책과 범죄와 관련된 3개의 범주와 관련된 서면 프롬프트에서 5,100개의 이미지를 렌더링하라는 요청을 받았습니다 .
그런 다음 아울렛은 피부과 전문의가 피부의 색소 양을 평가하는 데 사용하는 6점 척도인 Fitzpatrick 피부 척도에 대한 결과를 분석했습니다.
건축가, 의사, 변호사, CEO, 정치인과 같은 모든 "고임금" 직업에 대해 생성된 이미지는 피부색이 1에서 3까지 더 밝은 피부 톤이 지배적이었다고 Bloomberg는 밝혔습니다.
한편, 청소부, 식기 세척기, 패스트푸드점 직원, 사회복지사 등 저임금 직종의 대부분은 어두운 피부색이 차지했습니다.
Bloomberg가 Stable Diffusion에 직업 관련 이미지를 성별로 분류하도록 요청했을 때 고정 관념은 더욱 악화되었습니다.
AI 도구는 계산원, 교사, 사회복지사, 가사도우미 등 14개의 직업 중 4개를 제외한 모든 직업이 여성보다 남성의 이미지를 거의 3배 더 많이 생성했습니다.
어두운 피부색의 남성은 청소부 범주의 이미지인 경우 대부분 생성된 이미지인 반면 여성은 출납원, 교사 및 가정부와 같은 직업에서 남성보다 수적으로 많았습니다.스탠포드 대학교
Bloomberg는 14개의 직업 각각에 대해 생성된 300개의 이미지 중 "엔지니어"라는 키워드에 대해 2개를 제외한 모든 이미지가 남성으로 인식된 반면 "관리자"라는 키워드에 대해 생성된 여성 이미지는 0개라고 보도했습니다.
범죄 프롬프트는 AI 도구가 마약상, 테러리스트 및 수감자를 위해 이미지를 렌더링하도록 요청했습니다. 마약상과 수감자 모두에 대한 결과의 대부분은 피부색이 짙었습니다.
블룸버그에 따르면 테러리스트에 대한 결과는 얼굴에 검은 머리를 가진 남성, 종종 머리 덮개를 착용한 것으로 나타났습니다.
Stable Diffusion을 배포하는 런던 소재 스타트업 StabilityAI의 대변인은 이메일 성명에서 "모든 AI 모델에는 훈련된 데이터 세트를 대표하는 고유한 편향이 있습니다."라고 말했습니다.
그들은 소프트웨어가 새로운 알고리즘과 데이터 세트를 기반으로 학습할 수 있음을 의미하는 오픈 소스 모델로서 Stable Diffusion과 같은 플랫폼이 언젠가 "편향 평가 기술을 개선하고 기본 프롬프트 수정을 넘어선 솔루션을 개발할 것"이라고 덧붙였습니다.
14개의 직업 중 하나(7개의 "고임금" 및 7개의 "저임금")에 대해 300개의 이미지를 생성하라는 요청을 받았을 때 Stable Diffusion은 CEO, 변호사, 의사 및 정치인과 같은 직책에 대해 피부색이 밝은 남성의 이미지를 가장 많이 렌더링했습니다.게티 이미지를 통한 AFP
대변인은 "우리는 다른 국가와 문화에 특정한 데이터세트에 대한 오픈 소스 모델을 교육할 계획이며, 이는 일반 데이터세트의 과잉 표현으로 인한 편향을 완화하는 데 도움이 될 것"이라고 말했습니다.
Stable Diffusion은 빠르게 성장하는 제너레이티브 AI 이미징 산업의 일부로 ChatGPT의 배후 기업인 OpenAI의 DeepAI, Midjourney 및 Dall-E와 같은 유료 서비스도 포함합니다.
Stable Diffusion은 브랜드가 주류 광고를 위해 인간의 이미지를 생성할 수 있도록 하는 네덜란드의 AI 기반 가상 사진 스튜디오 및 모델링 에이전시인 Deep Agency와 같은 신생 기업에서 이미 사용되고 있습니다.
웹사이트에 따르면 Deep Agency는 현재 베타 버전으로 실제처럼 보이는 두 사람의 기능을 과시합니다. 그러나 "이러한 모델은 존재하지 않는다"고 사이트는 지적합니다.
1억 2,500만 명의 활성 사용자를 자랑하는 그래픽 디자인 플랫폼 Canva는 모든 유형의 회사와 마케터가 고유한 AI 생성 이미지를 디자인 작업 및 광고에 통합할 수 있는 Stable Diffusion 통합을 도입했습니다.
Canva의 AI 제품 책임자인 Danny Wu는 회사 사용자가 Canva의 Stable Diffusion 통합을 사용하여 이미 1억 1,400만 개의 이미지를 만들었으며 곧 "편향성 제거"될 것이라고 블룸버그에 말했습니다.
"AI 기술이 더 널리 채택됨에 따라 공정하고 대표성을 보장하는 문제는 우리가 적극적으로 노력하고 있는 정말 중요한 문제입니다."라고 아울렛에 말했습니다.
블룸버그는 AI가 생성한 이미지를 피츠패트릭 피부 척도(Fitzpatrick Skin Scale)에 대해 분석했습니다. 피부과 전문의가 피부의 색소 양을 평가하는 데 사용하는 6점 척도입니다.존 도라지오
경찰이 용의자의 사실적인 합성 이미지를 생성하기 위해 기술을 활용하려고 함에 따라 생성 AI 도구에서 편견을 제거해야 할 필요성이 더욱 시급해졌습니다.
"기계가 생성한 이미지를 누군가에게 보여주면 완전히 위조된 이미지일 때도 그 사람이 아니라는 사실을 마음속에서 강화할 수 있습니다.
나폴리타노는 예산이 넉넉한 경찰서가 규제가 없음에도 불구하고 이미 AI 지원 기술을 채택하고 있다고 말했다.
그녀는 또한 안면 인식 시스템 및 편향된 AI 모델과 같은 기술의 실수로 인해 발생한 수천 건의 부당 체포를 언급했습니다.