AI 기반 시스템을 위한 테스트 레벨
ML 테스트 수준을 보여주는 ML 워크플로
추가된 테스팅
* Input Data Test
* ML Model Testing
입력 데이터 테스트
입력 데이터 테스트
🞈 목표
• 시스템에서 사용하는 데이터(훈련 및 예측용)의 품질이 최고인지 확인
입력 데이터 테스팅 – 데이터 테스팅
🞈 목표
• 수집, 사전 처리 및 기능 엔지니어링의 데이터 준비 활동이 현명하게 적용되어 고품질의 교육, 검증 및 테스트 데이터 세트가 생성되도록 합니다.
• 또한 운영 데이터의 품질이 높아질 것입니다.
🞈 포함 사항:
• 리뷰
• 통계적 기법(예: 편견에 대한 테스트 데이터)
• 교육 데이터의 탐색적 데이터 분석(EDA)
입력 데이터 테스트 – 파이프라인 테스트
🞈 목표
• 훈련/테스트 및 운영 데이터 파이프라인이 예상대로 작동하고 고품질 데이터를 제공하는지 확인
🞈 포함 사항:
• 데이터 파이프라인 및 해당 구성 요소의 정적 및 동적 테스트
• 구성 요소 테스트 및 통합 테스트(및 시스템 및 승인 테스트)
🞈 두 가지 파이프라인 변형
• 훈련/테스트 데이터 파이프라인은 완전히 엔지니어링되고 자동화된 운영 데이터 파이프라인의 프로토타입으로 간주될 수 있습니다.
• 두 변종의 테스트는 상당히 다를 수 있습니다.
• 연속적으로 테스트하여 기능적 동등성을 보장할 수 있습니다.
ML 모델 테스트
🞈 목표
• 생성된 모델이 모든 기능적 및 비기능적 승인 기준을 충족하는지 확인합니다.
ML 모델 테스트 – 정적 테스트
🞈 목표
• 알고리즘/모델의 설계/구현이 최적인지 확인
🞈 포함 사항:
• 다음과 같은 디자인 선택 검토:
- ML 프레임워크
- 알고리즘
- 모델
- 모델 설정
- 초매개변수
ML 모델 테스트 – 동적 테스트
🞈 목표
• 생성된 모델이 고립된 모델에 적합한 ML 기능적 성능 기준 및 비기능적 승인 기준을 충족하는지 확인합니다.
🞈 포함 사항:
• 다음과 같은 다양한 허용 기준을 확인합니다.
- 정확성
- 훈련의 속도
- 예측의 속도
- 사용한 컴퓨팅 리소스
- 적응력
- 투명성
• 모든 화이트박스 커버리지 기준이 달성되었는지 확인
높은 수준의 ML 워크플로
수명 주기가 있는 ML 워크플로
부품 테스트
🞈 기존 테스트 수준
🞈 비 모델 구성 요소에 적용 가능
• 예. 사용자 인터페이스 및 통신 구성 요소
구성 요소 통합 테스트
🞈 기존 테스트 수준
🞈 시스템 구성 요소(AI 및 비 AI 모두)가 올바르게 상호 작용하는지 확인하는 데 사용됩니다.
🞈 테스트
• 데이터 파이프라인의 입력이 모델에서 예상한 대로 수신됩니다.
• 모델에 의해 생성된 모든 예측은 관련 시스템 구성 요소에 전달되고 올바르게 사용됩니다.
- 예를 들어 사용자 인터페이스
🞈 AIaaS의 경우 제공되는 서비스의 API 테스팅이 필요합니다.
시스템 테스트
🞈 기존 테스트 수준
🞈 통합 구성 요소(AI 및 비 AI 모두)의 시스템이 대표적인 테스트 환경에서 예상대로 작동하는지 확인합니다.
🞈 테스트와 같은 기능적 관점과 비기능적 관점을 모두 다룹니다.
• 적대적인 예에 대한 견고성
• 설명 가능성
• 하드웨어 구성요소(예: 센서)와의 인터페이스
• 모델 기능 성능 기준은 변경되지 않습니다.
- 모델 테스트에서
- 배포를 위해 모델이 압축된 경우
🞈 다음과 같은 형식을 취할 수 있습니다.
• 예상 운영 환경에서의 현장 시험
• 시뮬레이터 내에서 테스트
- 테스트 시나리오가 위험한 경우
- 운영 환경에서 복제하기 어려움
수락 테스트
🞈 기존 테스트 수준
🞈 고객이 전체 시스템을 수용할 수 있습니까?
🞈 AIaaS에 제공되는 서비스가 적합한가요?
• 예. 필수 ML 기능 성능 기준 충족
🞈 명확한 합격 기준이 있나요?