AI 기반 시스템의 테스트 기반 🞈 개발 중에 테스트는 이상적으로 시스템 장비 및 설계 사양을 기반으로 합니다. 🞈 열악한 사양과 AI 관련 특성은 모두 테스트 오라클 문제로 이어질 수 있으며 테스트 목표의 정의에 문제를 일으킬 수 있습니다. 🞈 합격 기준은 테스트 기준 소스 중 하나입니다. 🞈 사전 구축된 AI 구성 요소 및 시스템 테스트는 사용 가능한 문서를 기반으로 합니다.
AI 기반 시스템 사양 과제 - 탐색적 시스템 개발 🞈 탐색적 시스템 개발 접근 방식을 사용하는 경우: • AI 프로젝트는 데이터 세트로 시작하여 유용한 예측이 도출될 수 있기를 바랍니다. • 요구 사항은 단순한 높은 수준의 비즈니스 목표 및 필수 예측으로 지정됩니다. • 시스템 정확도에 필요한 값은 알려지지 않았기 때문에 미리 지정되지 않습니다.
AI 기반 시스템 사양 과제 – 정밀도 부족 및 새로운 특성 🞈 인간만큼 좋은 시스템을 요구하려면 '평균적인' 인간을 정의하고 주관성을 도입해야 합니다. 🞈 확률 시스템은 정확히 예측 가능한 출력을 생성하지 않습니다. • 허용되는 가변성과 공차를 지정해야 할 수 있습니다. 🞈 유연한 AI 기반 시스템은 가능한 모든 사양을 방지합니다. 상호 작용, 특히 사용자 인터페이스에 적용될 때 🞈 일부 AI 특정 품질 특성의 참신함으로 인해 지정(및 테스트)하기가 어렵습니다.
일반 테스트 Oracle 문제 🞈 효과적으로 테스트하려면 • 예상되는 동작(실측 정보)을 지정할 수 있어야 합니다. • 또는 최소한 시스템이 올바르게 작동하는지 여부를 확인하는 메커니즘이 있어야 합니다(테스트 오라클). 🞈 그렇지 않으면 '테스트 Oracle 문제'가 발생합니다. • 예상 결과를 지정하는 데 어려움이 있음
AI -특정 테스트 오라클 과제 🞈 AI 기반 시스템은 다음과 같습니다. • 잘못 지정됨(예: 불완전하고 테스트 가능성이 없음) • 확률적 • 비결정적 • 복잡한 • 지속적으로 변화(진화 및 자가 학습을 통해) • 해석 가능
Oracle 문제 테스트 – 잠재적 솔루션 🞈 테스트 오라클 문제에 도움이 되는 테스트 기술은 다음과 같습니다. • A/B 테스트 • 백투백 테스트 • 변성 테스트 🞈 예상 결과에서 한계 및 허용 오차 사용 • 예. 자율주행차의 최대 정지거리 🞈 전문가와 상담…
전문가 및 예상 결과 🞈 그들은 틀릴 수 있습니다 🞈 그들은 동의하지 않을 수 있습니다 🞈 역량 수준이 다릅니다. • 시스템이 대체하는 인간만큼 유능해야 합니다. 🞈 AI 기반 시스템으로 대체되는 것을 싫어할 수 있습니다. • 그들의 시스템 정확성 등급은 의심할 여지없이 신뢰할 수 없습니다. 🞈 응답을 주의할 수 있습니다(예: "이 상황에서..." • 전문가와 시스템을 비교하기 어렵게 함