스크랩 소프트웨어 테스트 개요_3. Rule

[운영자]

소프트웨어 테스트 Rule

소프트웨어 테스트 원칙

1. 테스트는 반드시 프로그램을 개발한 프로그래머나 팀과는 무관한 그룹에 의해서 수행되어야 한다.
2. 테스트 작업을 가장 능력이 뛰어난 사람에 할당하라.
3. 오류가 발견되지 않을 것이란 가정하에서 테스트 계획을 수립해서는 안된다.
4. 타당한 경우뿐만 아니라 타당하지 않고 예상하지 못한 경우들에 대해서도 테스트를 수행하라.
5. 프로그램의 어떵 부분에 오류가 남아있을 확률은 이미 발견된 오류의 수에 직접적으로 비례한다. (Pareto원칙)
6. 테스트 케이스를 체계적으로 관리하라
7. 각각의 테스트 결과를 철저하게 검증하라

테스트기법의 Cam. Kaner 분류

• 테스트 기법을 구분하는 5가지 요인

1. Tester : 누가 테스트를 수행하는가?
   • 사용자 테스트, 알파, 베타, 전문가, 짝 테스트
2. 범위 : 어떤 측면을 테스트 하는가?
   • 함수, 기능 또는 통합 함수, 메뉴, 도메인, 동등 클래스, 경계값, 입력 필드, 논리, 상태, 경로, 요구사항, …
3. 잠재적 문제(risk based) : 찾고 있는 문제의 형식은?
   • 실패에 대한 예측 비용 관점에서 우선 순위 부여
   • 오류 비용 가능성이 클수록 초기에 주의 깊게 테스트 함
4. 행위 : 어떤 테스트를 수행하는가?
   • 회귀, 스크립트 기반, 시나리오, 설치, 부하, 성능…
5. 평가 : 테스트를 통과했는지 어떻게 알 수 있을까?
   • 자가검증데이터, 저장된 결과와 비교, 다른 공인문서와 비교, 일관성

• 생각하는 방식에 따라 기법이 분류된다.

Joel Test

• SW팀 평가 테스트 방법 ( Joen on Software )

1. 소스코드 관리 시스템을 사용하고 있습니까?
2. 한번에 빌드를 만들어 낼 수 있습니까?
3. 일일 빌드를 하고 있습니까?
4. 버그 추적 시스템을 운영하고 있습니까?
5. 코드를 새로 작성하기 전에 버그를 수정합니까?
6. 일정을 업데이트하고 있습니까?
7. 명세서를 작성하고 있습니까?
8. 조용한 작업 환경에서 일하고 있습니까?
9. 경제적인 범위 내에서 최고 성능의 도구를 사용하고 있습니까?
10. 테스터를 별도로 두고 있습니까?
11. 프로그래머 채용 인터뷰때 코딩 테스트를 합니까?
12. 무작위 사용편의성 테스트를 수행하고 있습니까?

Test Paradigm Shift

• 테스트 단계 활동 –> 모든 단계 활동
• 정상 수행 확인 –> 오류(Error) 발견
• 단위 테스트 중심 –> 시스템 테스트 중심

Effective Test

• How to make testing more effective (by Boris Beizer)

1. Know which test techniques work best
2. Automate retesting and test management
3. Minimize test design labor
4. Know when to stop testing

Test CheckList

1. Configuration/설치 테스팅
   1. HW 및 SW가 정확히 설치되었는가?
   2. 모든 파일과 연결(connection)이 생성되었는가?
   3. 모든 적절한 데이터 파일이 load되었는가?
   4. System defaults가 적절히 구성되었는가?
   5. 다른 시스템과의 인터페이스 및 주변 기기가 잘 작동하는가?
2. 호환성 및 상호운영성 테스팅
   1. 호환성: 실제 환경에서 운영할 때 기존의 시스템에 대해 오동작이 없는가?
   2. 상호운영성 : 실제 환경에서 대상 시스템을 운영할 때 다른시스템과 성공적으로 연동 하는가?
3. 문서 및 도움말 테스팅
   1. 문서 검토, 상호 참조 등을 활용하여 작성해야 함, 신규 또는 익숙하지 않은 사용자의 경우 필수적임.
4. 장애회복(Fault recovery) 테스팅
   1. 에러 또는 예외 상황 발생 후 정상 상태로 회복되어 성공적으로 운영될 수 있는가?
   2. 적절한 백업데이터가 유지되는가?
   3. 백업데이터가 안정한 장소에 저장되는가?
   4. 회복 절차가 문서화되어 있는가?
   5. 회복 전담요원이 할당되고 훈련되었는가?
   6. 회복 도구가 개발되고 가용한가?
5. 성능 테스팅: 자동화 도구를 활용하는 경우가 많음.
   1. 어떤 측면을 주로 테스트할 것인가?
   2. 성능 요구사항은 무엇인가?
   3. 시스템 사용시 어떻게 변화되는가?
   4. 어떻게 시험하는가?
6. 자동화된 테스팅
   1. Test automation tools 활용 재사용 가능한 테스트 생성 및 예상결과외 실제 결과를 기록으로 남김)
   2. 적용분야 : 기능 테스팅, 성능/볼률/스트레스 테스팅, 특히 regression testing시 유용함
7. Intrusive 테스팅
   1. 테스트 결과를 테스터가 볼 수 없을 때 프로그램 일부를 수정하여 테스트 함
   2. 수정된 시스템은 원상 복귀하여야하며, 엄격한 change control 및 형상관리가 요구됨
8. Thread 테스팅
   1. Business 기능을 처음부터 끝까지 테스트 함 (사용자 혹은 운영자가 시스템을 사용하는 것과 같은 방식)
9. ETC
   1. Security 테스팅 - 요구되는 수준의 보안을 구현하였는지 테스트함 (비밀보장,가용성,데이터및 SW무결성을 점검)
   2. Stress 테스팅 - Peak Load일 때 정확하게 작동하는지 점검
   3. Usability 테스팅 - User-based surveys등 수행
   4. Volume 테스팅 - 데이터의 양이 많을 때 정확하게 작동하는지 점검
   5. Compliance 테스팅 - 표준 및 절차에 따라 개발되었는지 점검

Testability

• 제어용이성 (controllability) 프로그램의 실행을 제어하기 용이하도록 설계. 제어 용이성이 높아지면 테스트를 자동화할 수 있는 부분이 많아지고 최적화 할 수 있다.

• 관찰가능성 (observability) - 프로그램의 내부 상태가 현재 어떤 상태인지를 쉽게 파악할 수 있는 기능을 갖추도록 설계

• 단순성 (simplicity) - 가능한 시스템 구조 등을 단순하게 설계하면 더 효율적으로 테스트를 수행할 수 있다.

• 분할용이성 (decomposability) - 테스트할 대상 영역을 제어함으로써 문제가 발생된 곳을 고릅시켜 독립적으로 모듈에 대한 테스트를 수행할 수 있도록 설계

• 운영용이성 (operability) - 프로그램이 결함이 발생하여도 테스트 작업을 계속할 수 있도록 설계

• 안정성 (stability) - 테스트 동안에 소프트웨어에 대한 변경이 자주 발생되지 않도록 설계

• 이해용이성 (understandability) - 소프트웨어 설계 정보가 잘 조직화되어 쉽게 접근 가능하도록 하여 소프트웨어를 더욱 잘 이해할 수 있도록 설계