AI-Test 사용자 인터페이스 테스트에 AI 사용

[주인장]

사용자 인터페이스 테스트에 AI 사용

캡처/재생 테스트 관련 문제
 GUI를 통한 자동화된 스크립트 테스트는 테스트 대상과 인간의 상호 작용을 에뮬레이션합니다.
• 다음 중 하나를 사용하여 캡처/재생 접근 방식을 적용합니다.
- 사용자 인터페이스 요소의 실제 좌표, 또는
- 인터페이스의 소프트웨어 정의 개체/위젯
 다음에 대한 민감도를 포함하여 개체 식별에 여러 가지 단점이 있습니다.
• 인터페이스 변경
• 코드 변경
• 플랫폼 변경
 매우 '취약한' 테스트 자동화 스크립트로 이어짐

AI를 사용하여 그래픽 사용자 인터페이스(GUI)를 통한 테스트
 AI는 다음을 위해 AI 기반 도구를 사용하여 기존 캡처/재생의 취약성을 줄일 수 있습니다.
• 다양한 식별 기준을 사용하여 올바른 개체를 선택합니다.
• 역사적으로 가장 안정적인 식별 기준을 선택합니다.

이미지 인식을 사용한 시각적 테스트
 시각적 테스트는 이미지 인식을 사용하여 실제 사용자와 동일한 인터페이스를 통해 GUI 개체와 상호 작용합니다.
• 따라서 기본 코드 및 인터페이스 정의에 대한 액세스가 필요하지 않습니다.
 비간섭적이며 기본 기술과 독립적입니다.
 스크립트는 눈에 보이는 사용자 인터페이스를 통해서만 작동하면 인간 사용자와 동일한 방식으로 화면의 이미지, 버튼 및 텍스트 필드와 직접 상호 작용합니다.
 테스트 자동화에서 이미지 인식은 많은 컴퓨팅 리소스의 필요성으로 인해 제한될 수 있습니다.
• 그러나 이제 정교한 이미지 인식을 지원하는 저렴한 AI로 인해 이러한 접근 방식이 저렴해졌습니다.

AI를 사용하여 GUI 테스트 – 사용자 인터페이스 품질 확인
 지도 학습 및 휴리스틱스의 ML 모델은 다음을 통해 사용자 인터페이스 품질을 테스트하는 데 사용할 수 있습니다.
• 잘못 렌더링된 요소 식별
• 일부 개체에 액세스할 수 없거나 감지하기 어려운지 확인
• GUI의 시각적 모양과 관련된 다양한 기타 문제 감지

AI를 사용하여 GUI 테스트 – 사용자 인터페이스 버전 비교
 AI 기반 컴퓨터 비전은 개체의 레이아웃, 크기, 위치, 색상, 글꼴 또는 기타 눈에 보이는 속성에 대한 의도하지 않은 변경을 식별하기 위해 스크린샷을 비교하는 회귀 테스트의 일부로 사용할 수 있습니다.

AI를 사용하여 GUI 테스트 – 다음 단계 – 통합 확인 및 비교
 '품질 검사' 및 '스크린샷 비교' 기술을 결합하여 보다 정교한 도구가 GUI 변경 여부를 조언할 수 있습니다.
• 사용자가 수용할 가능성이 높습니다.
• 사람이 확인하도록 플래그를 지정해야 합니다.
 이러한 도구는 동일한 애플리케이션의 사용자 인터페이스가 다양한 브라우저/장치/플랫폼에서 올바르게 작동하는지 테스트를 지원하는 데에도 사용할 수 있습니다.