﻿AI로 구동되는 FRIDA 로봇은 인간과 협력하여 예술을 창조합니다.

AI로 구동되는 FRIDA 로봇은 인간과 협력하여 예술을 창조합니다. 날짜: 2023년 2월 7일 원천: 카네기 멜론 대학교 요약: 페인트 브러시가 부착된 로봇 팔인 FRIDA는 인공 지능을 사용하여 예술 작품에서 인간과 협력합니다. FRIDA에게 그림을 그리도록 요청하면 캔버스에 붓을 얹는 작업을 시작합니다. 로봇은 메시지에 대한 응답으로 각각 텍스트 또는 이미지를 생성하는 OpenAI의 ChatGPT 및 DALL-E 2와 같은 강력한 도구와 유사한 AI 모델을 사용합니다. FRIDA는 브러시 스트로크로 이미지를 그리는 방법을 시뮬레이션하고 머신 러닝을 사용하여 진행 상황을 평가합니다. FRIDA의 최종 제품은 인상적이고 기발합니다. 붓놀림이 대담합니다. 그들은 로봇 노력에서 자주 요구되는 정확성이 부족합니다. FRIDA가 실수하면 잘못된 페인트 얼룩을 최종 결과에 통합하여 반복합니다. Carnegie Mellon University의 Robotics Institute에 새로운 상주 예술가가 있습니다. 페인트 브러시가 부착된 로봇 팔인 FRIDA는 인공 지능을 사용하여 예술 작품에서 인간과 협력합니다. FRIDA에게 그림을 그리도록 요청하면 캔버스에 붓을 얹는 작업을 시작합니다. 컴퓨터 과학 박사인 Peter Schaldenbrand는 "개구리 발레리나의 그림이 하나 있는데 정말 잘 나온 것 같아요."라고 말했습니다. FRIDA와 함께 작업하고 AI와 창의성을 탐구하는 Robotics Institute의 학생입니다. "정말 우스꽝스럽고 재미있습니다. FRIDA가 내 의견을 기반으로 생성한 놀라움을 보는 것이 정말 재미있었다고 생각합니다." Frida Kahlo의 이름을 딴 FRIDA는 Framework and Robotics Initiative for Develop Arts의 약자입니다. 이 프로젝트는 Schaldenbrand가 RI 교수진인 Jean Oh와 Jim McCann과 함께 주도하며 CMU 전역의 학생과 연구원들을 끌어 모았습니다. 사용자는 텍스트 설명을 입력하거나, 스타일에 영감을 주는 다른 예술 작품을 제출하거나, 사진을 업로드하고 그것을 표현하도록 요청함으로써 FRIDA를 지시할 수 있습니다. 팀은 오디오를 포함한 다른 입력도 실험하고 있습니다. 그들은 ABBA의 "Dancing Queen"을 연주하고 FRIDA에게 그림을 그려달라고 요청했습니다. Schaldenbrand는 “FRIDA는 로봇 페인팅 시스템이지만 FRIDA는 예술가가 아닙니다. "FRIDA는 소통을 위한 아이디어를 생성하는 것이 아닙니다. FRIDA는 아티스트가 협업할 수 있는 시스템입니다. 아티스트는 FRIDA에 대한 높은 수준의 목표를 지정하고 FRIDA는 이를 실행할 수 있습니다." 로봇은 메시지에 대한 응답으로 각각 텍스트 또는 이미지를 생성하는 OpenAI의 ChatGPT 및 DALL-E 2와 같은 강력한 도구와 유사한 AI 모델을 사용합니다. FRIDA는 브러시 스트로크로 이미지를 그리는 방법을 시뮬레이션하고 머신 러닝을 사용하여 진행 상황을 평가합니다. FRIDA의 최종 제품은 인상적이고 기발합니다. 붓놀림이 대담합니다. 그들은 로봇 노력에서 자주 요구되는 정확성이 부족합니다. FRIDA가 실수하면 잘못된 페인트 얼룩을 최종 결과에 통합하여 반복합니다. "FRIDA는 인간과 로봇 창의성의 교차점을 탐구하는 프로젝트입니다."라고 McCann은 말했습니다. "FRIDA는 캡션 이미지와 같은 작업을 수행하고 장면 내용을 이해하고 이를 예술적 생성 문제에 적용하기 위해 개발된 종류의 AI 모델을 사용하고 있습니다." FRIDA는 예술 과정에서 AI와 기계 학습을 여러 번 활용합니다. 첫째, 붓을 사용하는 방법을 배우는 데 한 시간 이상을 소비합니다. 그런 다음 OpenAI의 CLIP(Contrastive Language-Image Pre-Training)과 같이 인터넷에서 스크랩한 텍스트와 이미지를 쌍으로 연결하는 대규모 데이터 세트에서 훈련된 대규모 비전 언어 모델을 사용하여 입력을 이해합니다. AI 시스템은 이러한 모델을 사용하여 프롬프트를 기반으로 새로운 텍스트 또는 이미지를 생성합니다. OpenAI의 DALL-E 2와 같은 다른 이미지 생성 도구는 대형 비전 언어 모델을 사용하여 디지털 이미지를 생성합니다. FRIDA는 한 단계 더 나아가 구현된 로봇 시스템을 사용하여 실제 그림을 제작합니다. 실제 이미지를 생성하는 데 있어 가장 큰 기술적 과제 중 하나는 FRIDA가 시뮬레이션에서 구성하는 것과 캔버스에 그리는 것 사이의 차이인 시뮬레이션과 실제 간극을 줄이는 것입니다. FRIDA는 real2sim2real이라는 아이디어를 사용합니다. 로봇의 실제 브러시 스트로크는 로봇과 페인팅 재료의 물리적 기능을 반영하고 모방하도록 시뮬레이터를 훈련하는 데 사용됩니다. FRIDA의 팀은 또한 그들이 사용하는 것을 지속적으로 개선함으로써 현재의 대형 비전 언어 모델의 한계 중 일부를 해결하려고 합니다. 팀은 모델에게 뉴스 기사의 헤드라인을 제공하여 세계에서 일어나고 있는 일에 대한 감각을 제공하고 미국 또는 서양 편견을 피하기 위해 다양한 문화를 더 잘 나타내는 이미지와 텍스트에 대해 추가로 교육했습니다. 이러한 다문화적 협력 노력은 RI 석사 과정 1년 차인 Zhixuan Liu와 Beverley-Claire Okogwu, 그리고 한국의 동국대학교에서 석사 과정을 방문한 신유은과 윤영식이 주도하고 있습니다. 그들의 노력에는 중국, 일본, 한국, 멕시코, 나이지리아, 노르웨이, 베트남 및 기타 국가의 훈련 데이터 기여가 포함됩니다. FRIDA의 인간 사용자가 만들고자 하는 그림의 높은 수준의 개념을 지정하면 로봇은 기계 학습을 사용하여 시뮬레이션을 만들고 사용자의 목표를 달성하기 위해 그림을 만드는 계획을 개발합니다. FRIDA는 인간이 혼합하여 로봇에 제공할 수 있도록 컴퓨터 화면에 색상 팔레트를 표시합니다. 자동 페인트 혼합은 현재 건축학부 석사과정 학생 Jiaying Wei와 머신러닝학과 강은수 교수가 주도하여 개발되고 있습니다. 브러시와 페인트로 무장한 FRIDA가 첫 번째 획을 그을 것입니다. 때때로 로봇은 오버헤드 카메라를 사용하여 그림의 이미지를 캡처합니다. 이 이미지는 FRIDA가 진행 상황을 평가하고 필요한 경우 계획을 수정하는 데 도움이 됩니다. 전체 과정은 몇 시간이 걸립니다. "사람들은 FRIDA가 예술가들의 일자리를 차지할 것인지 궁금해하지만 FRIDA 프로젝트의 주요 목표는 정반대입니다. 우리는 FRIDA를 통해 인간의 창의성을 진정으로 촉진하고 싶습니다."라고 오씨는 말했습니다. "예를 들어 저는 개인적으로 예술가가 되고 싶었습니다. 이제 실제로 FRIDA와 협력하여 제 생각을 그림으로 표현할 수 있습니다." FRIDA에 대한 자세한 정보는 웹사이트에서 확인할 수 있습니다. 이 팀은 이번 5월 런던에서 열리는 2023 IEEE 로봇 및 자동화 국제 회의에서 "FRIDA: 차별화 가능한 Real2Sim2실제 계획 환경을 갖춘 협업 로봇 화가" 프로젝트의 최신 연구를 발표할 예정입니다. FRIDA는 피츠버그 인근 Squirrel Hill에 있는 RI의 BIG(Bot Intelligence Group) 연구실에 있습니다. 출처 : <a href="https://www.sciencedaily.com/" target="_blank" class="ke-link">https://www.sciencedaily.com/</a>