도구 소개
테스트 사이클이 끝나면 이해관계자는 세 가지 답을 원합니다. 얼마나 테스트했는지, 얼마나 통과했는지, 릴리스해도 안전한지입니다. 이 보고서는 통과율을 통과 ÷ (통과 + 실패)로 계산하므로 차단(blocked)되거나 건너뛴 테스트가 통과율을 부풀리거나 깎아내리지 않고, 실행 진행률은 시도한 전체 ÷ 총계로 계산해 테스트하지 않은 작업이 계속 보이게 합니다. 상태별 개수의 합이 총계와 맞지 않을 때, 그리고 실패한 테스트나 Critical 결함이 있는데 Go 권고가 선택되었을 때 경고합니다. 대부분의 이메일 클라이언트가 스타일시트를 무시하므로 HTML 출력은 표 레이아웃과 인라인 스타일을 사용하며, "Copy for email"(이메일용 복사)는 서식 있는 HTML을 클립보드에 넣어 Outlook이나 Gmail에 붙여 넣을 수 있게 합니다.
사용 방법
- 빌드, 테스트 기간, 환경을 입력하세요.
- 전체, 통과, 실패, 차단, 건너뜀, 미실행 개수와 심각도별 발견 결함 수를 입력하세요.
- 주요 이슈를 나열하고 Go, Go with risks, No-go 중 하나를 선택하세요.
- Markdown이나 일반 텍스트를 복사하거나, HTML 이메일 형식을 선택하고 "Copy for email"을 사용하세요.
테스트 실행 결과 보고서 자주 묻는 질문
통과율은 왜 실행된 테스트만으로 계산하나요?
차단되거나 건너뛴 테스트는 실행되지 않았으므로 통과도 실패도 할 수 없습니다. 이들을 분모에 넣으면 실제 실패가 테스트하지 않은 작업 뒤에 가려집니다. 테스트하지 않은 부분이 보이도록 실행 진행률은 따로 보고합니다.
"Go with risks"는 무슨 뜻인가요?
릴리스는 진행할 수 있지만 알려진 이슈나 테스트하지 않은 영역이 남아 있고, 의사결정권자가 이를 수용했다는 뜻입니다. 리스크가 명시적으로 기록되도록 "Key issues"(주요 이슈)에 나열하세요.
숫자의 합이 맞지 않는 이유는 무엇인가요?
전체는 통과 + 실패 + 차단 + 건너뜀 + 미실행과 같아야 합니다. 같지 않다면 어떤 테스트가 중복 집계되었거나 누락된 것입니다. 도구가 차이를 보여 주므로 보고서를 보내기 전에 수정할 수 있습니다.