AI-Test AI 기반 시스템을 위한 테스트 환경

[주인장]

AI 기반 시스템을 위한 테스트 환경

AI 기반 시스템을 위한 테스트 환경
 AI 기반 시스템의 테스트 환경은 기존 시스템의 테스트 환경과 공통점이 많습니다.
• 단위 수준의 개발 환경
• 시스템 및 승인 수준에서 프로덕션과 유사한 테스트 환경
 ML 모델은 별도로 테스트할 때 일반적으로 개발 프레임워크 내에서 테스트됩니다.

전문 테스트 환경이 필요한 AI 기반 시스템 유형
 자가 학습 시스템 - 완전히 정의되지 않은 변화하는 운영 환경에 적응
• 이러한 변화하는 환경에 맞는 테스트 환경을 정의하려면 다음이 필요합니다.
- 테스터의 상상
- 무작위로 변경하는 테스트 환경
 자율 시스템 – 사람의 개입 없이 변화에 대응할 것으로 예상되며, 자율성을 다시 인간 운영자에게 양도해야 할 때를 인식합니다.
• 제어권을 양도할 수 있는 환경을 조성하려면 테스트 환경이
극단적인 시스템.
• 일부 자율 시스템은 다음과 같이 설정하기 어려울 수 있는 위험한 환경에서 작동합니다.
테스트 환경
 다중 에이전트 시스템 – 상호 작용하는 비결정론적 시스템 포함
• 테스트 환경은 SUT에 비결정적 상호 작용을 제공해야 합니다(예:
다른 에이전트의 응답 변경)

전문 테스트 환경이 필요한 AI 기반 시스템 속성
 설명 가능성
• 테스트 환경은 의사 결정 방법을 설명하는 데 도움이 되는 도구를 통합해야 할 수 있습니다.
 하드웨어(예: AI 전용 프로세서)
• 테스트 환경에서 전문 AI 하드웨어를 계획, 획득 및 구현해야 합니다.
 빅 데이터(예: 대용량, 고속, 고다양성)
• 테스트 환경에서 빅 데이터를 계획, 수집 및 구현해야 합니다.

Waymo 온로드 테스트 마일(백만)

자율 주행 자동차 - 테스트 환경

가상 테스트 환경의 이점(1/2)
 위험한 시나리오
• SUT, 기타 상호 작용 시스템(인간 포함) 또는 실제 환경(나무, 건물 등)을 위험에 빠뜨리지 않고 테스트할 수 있습니다.
 비정상적인 시나리오
• 이러한 시나리오를 실제로 설정하는 데 시간이 많이 걸리거나 비용이 많이 드는 경우 테스트할 수 있습니다.
 극한 시나리오
• 실제로 설정하는 것이 비용이 많이 들거나 불가능할 때 테스트할 수 있습니다.

가상 테스트 환경의 이점(2/2)
 시간 절약
• 시나리오를 실시간보다 빠르게 실행할 수 있습니다.
• 여러 가상 테스트 환경에서 시나리오를 병렬로 여러 번 실행할 수 있습니다.
 관찰 가능성과 통제 가능성
• 디지털 환경의 모든 것을 볼 수 있고 제어할 수 있습니다.
 가용성
• 아직 개발되지 않았거나 구입하기에는 너무 비싼 하드웨어를 시뮬레이션할 수 있습니다.

가상 테스트 환경 소싱
 가상 테스트 환경은 다음과 같을 수 있습니다.
• 특정 시스템용으로 제작
• 특정 애플리케이션 도메인을 지원하도록 개발됨
• 일반
• 상용 또는 오픈 소스
 예는 다음과 같습니다.
• 모스(Morse)
- Modular Open Robots Simulation Engine은 Blender 게임 엔진을 기반으로 하는 단일 또는 다중 로봇의 일반 모바일 로봇 시뮬레이션을 위한 시뮬레이터입니다.
• AI 해비타트(AI Habitat)
- Facebook AI가 만든 시뮬레이션 플랫폼으로, 사진과 같은 3D 환경에서 구현된 에이전트(예: 가상 로봇)를 교육하도록 설계되었습니다.
• 드라이브 별자리(DRIVE Constellation)
- NVIDIA의 자율주행차를 위한 개방형 확장형 플랫폼입니다. 클라우드 기반 플랫폼을 기반으로 하며 수십억 마일의 자율 주행 차량 테스트를 생성할 수 있습니다.
• MATLAB 및 Simulink
- 학습 데이터를 준비하고, ML 모델을 생성하고, 합성 데이터를 사용하는 모델을 포함한 AI 기반 시스템의 실행을 시뮬레이션하는 기능을 제공합니다.