AI 관련 테스트 문제-1
AI 관련 테스트 문제
🞈 AI 기반 시스템의 테스트를 특히 어렵게 만드는 몇 가지 특성은 다음과 같습니다.
• 자가 학습 시스템
• 자율성과 자율 시스템
• 확률론적 및 비결정론적 시스템
• 복잡성
• 자동화 편향
• 부적절한 편견
• 투명성, 해석 가능성 및 설명 가능성
• 컨셉 드리프트
• 테스트 데이터
자가 학습 시스템 테스트의 과제 – 1
🞈 시스템 변경
• 거의 문서화되지 않음
• 혁신적이고 조작된 솔루션을 기반으로 한 변화는 예측하기 어렵습니다.
• 미래에 대비하지 않으면 회귀 테스트가 실패할 수 있습니다.
• 새로운 시스템 동작에 대한 새로운 테스트가 필요할 수 있습니다.
🞈 복잡한 수용 기준
• 어떠한 변경도 시스템 성능을 저하시키지 않는다고 가정합니까?
• 변화가 항상 성능을 향상시킬 것이라고 기대합니까?
• 최소 예상 개선 사항이 정량화되었습니까?
• 현재 성능이 항상 알려져 있습니까?
🞈 운영 환경 사양 및 변경 사항
• 운영 환경 지정 및 변경이 어려울 수 있음
- 대표적인 테스트 사례 및 테스트 환경을 설계하는 것은 어려운 일입니다.
- 학습 데이터가 불완전할 수 있음
• 환경으로부터의 입력은 예측하기 어렵고 변경될 수 있습니다.
- 예상치 못한 입력은 데이터 포이즈닝일 수 있습니다.
자가 학습 시스템 테스트의 과제 – 2
🞈 시스템 적응 시간
• 허용 기준에는 시스템이 적응하는 최대 시간이 포함될 수 있습니다.
• 이 최대 시간은 새 테스트를 수동으로 실행하기에는 부족할 수 있습니다.
• 각 시스템 변경 후 실행할 자동 테스트가 필요할 수 있습니다.
🞈 적응을 위한 리소스 요구 사항
• 수용 기준에는 적응에 사용할 최대 리소스가 포함될 수 있습니다.
• 측정 가능한 개선은 사용된 리소스와 연결될 수 있습니다.
🞈 복잡한 테스트 환경
• 모든 고위험 운영 환경 변경 사항을 모방하는 것은 어려운 일입니다.
• 입력 및 센서를 조작하여 테스트할 수 있습니다(예: 결함 주입).
• 다른 물리적 테스트 환경에 대한 액세스 권한을 획득하여 테스트할 수 있습니다.
🞈 바람직하지 않은 동작 수정
• 테스트 케이스는 실수로 시스템이 동작을 학습하고 수정하게 할 수 있습니다.
• 테스트 관리 및 테스트 설계를 통해 원치 않는 수정을 피해야 합니다.
자율 AI 기반 시스템 테스트
🞈 이러한 시스템은 자율적으로 수행하는 것 외에도 사람의 개입이 필요한 시기도 결정해야 합니다.
• 이 의사 결정은 적절한 테스트를 생성하여 테스트해야 합니다.
- 시스템이 자율적으로 유지되어야 할 때 강제로 개입을 요청하도록 합니다.
- 개입을 요청해야 할 때 시스템이 통제하고 있다고 생각하도록 시스템을 속이는 것
• 테스트 시나리오에는 운영 환경에 대한 변경 또는 자율성의 한계를 초과하는 시스템이 포함될 수 있습니다.
- 예를 들어 운영 범위의 경계에 있는 시나리오 – 시나리오 테스트에 적용되는 경계 값 분석
이상적인 결정론적 시스템
비결정적 시스템 테스트
확률론적 및 비결정론적 AI 기반 시스템 테스트 과제
🞈 더 스마트한 예상 결과는 다음과 같은 경우에 필요할 수 있습니다.
• 회귀 테스트에서 테스트 재사용
• 확인 테스트에서 테스트 재사용
• 테스트의 재현성이 중요합니다.
• 테스트가 자동화됨
🞈 테스터는 더 스마트한 예상 결과를 정의하기 위해 필요한 시스템 동작에 대한 더 자세한 지식이 필요합니다.
• 예. "실제 결과는 최적해의 2% 이내인가?"
🗹 🗷
복잡한 AI 기반 시스템 테스트의 과제
🞈 정답을 모를 때 오라클 문제 테스트
• 시스템이 인간이 수행하기에 너무 복잡한 작업을 수행할 때 테스터는 예상 결과를 결정할 수 없습니다.
- 예를 들어 빅 데이터에서 패턴 식별
🞈 ML 시스템 복잡성으로 인해 유용한 화이트박스 테스트가 방해됨
• 소프트웨어로 구축된 ML 시스템은 내부 구조가 보이는 경우에도 사람이 이해하기에는 너무 복잡할 수 있습니다.
🞈 복잡한 시스템에는 더 스마트한 예상 결과가 필요한 경우가 많습니다.
🞈 일부 AI 기반 시스템은 여러 ML 구성 요소로 구성됩니다.
• 예. 하나의 ML 모델을 사용하여 이미지 내의 얼굴을 식별하고 두 번째 ML 모델을 사용하여 식별된 얼굴을 인식하는 얼굴 인식 시스템