このツールについて
ほとんどのチームは、自動テストがいくつあるかは答えられます。しかし、それらのテストが誰もが信頼するシグナルになっているかを答えられるチームは多くありません。このスコアカードは、現在実際に行われていることについて 12 の質問をします。6 つの領域（戦略とスコープ、フレームワークとコード品質、CI/CD 連携、テストデータと環境、信頼性とフレーキーさ、レポートとオーナーシップ）ごとに 2 問ずつです。各回答は 0〜3 点です。各領域は 2 つの回答から 100 点満点で採点され、全体スコアは 6 領域の平均です。そのため、素晴らしいフレームワークがあっても 1 台のノート PC でしか動かないチームは高得点になりません。全体スコアは 4 つのレベルのいずれかに対応します：場当たり的（35 未満）、発展途上（35〜59）、確立（60〜84）、最適化（85 以上）。80 未満の最も弱い領域（最大 3 つ）は、具体的な次のステップとして、関連するレッスンやツールへのリンク付きで提示されます。採点は固定のルーブリックで、下の FAQ に明記しています。これは振り返りや計画会議での対話のきっかけであり、他社とのベンチマークではありません。背後に他チームのデータセットはなく、そう主張することもありません。
使い方
- 各質問に、チームが現在行っていることを表す選択肢で答えます。目標や計画ではなく、現在の状態の選択肢で採点されます。
- 12 問すべてに答えるとすぐにスコアが更新されます。回答はこのブラウザに保存されるので、後で戻ってこられます。
- 「Work on next」（次に取り組むこと）リストを確認します。最も弱い領域から順に、具体的なステップと詳しく学ぶためのリンクが表示されます。
- 「Copy share link」（共有リンクをコピー）で結果をチームに送ります。リンクには回答が含まれているため、開いた人には同じスコアが表示されます。「Copy summary」（サマリーをコピー）では、Slack、チケット、振り返りドキュメント用のテキストが得られます。
6 つの領域で測るもの
- 戦略とスコープ：自動化が意図的にリスクを対象にしているか、そしてほとんどのチェックがバグを検出できる最も低コストのレベル（UI より先にユニットと API）に置かれているか。
- フレームワークとコード品質：テストコードが構造化され（ページ／コンポーネントオブジェクト、フィクスチャ、設定）、本番コードと同様にレビューされているか、そしてロケーターがマークアップの変更に耐えられるか。
- CI/CD 連携：誰かが実行を忘れなくても変更のたびにテストが実行されるか、そしてプルリクエストが結果を得るまでにどれだけ待つか。
- テストデータと環境：テストが自分のデータを持ち、毎回同じ環境に対して、並列かつ任意の順序で実行できるか。
- 信頼性とフレーキーさ：ビルドが赤いとき、それが本当の問題を意味するか。固定の sleep や、緑になるまでの再実行がよくある原因です。
- レポートとオーナーシップ：CI のレポートから失敗を診断できるか、そして QA だけでなくチーム全体がそれに対応するか。
チームで結果を活用する方法
2〜3 人（テスター、開発者、パイプラインを運用している人）にそれぞれ別々に回答してもらい、共有リンクを比較します。多くの場合、スコアそのものよりも回答が食い違う点のほうが役に立ちます。ある人が「on every pull request」（プルリクエストごと）を選び、別の人が「nightly」（夜間）を選んだなら、チームはパイプラインが何をしているかについて合意できていません。
「Work on next」（次に取り組むこと）から四半期ごとに 1 つの領域を選びます。6 つすべてに労力を分散させるより、1 つの領域を 33 から 67 に引き上げるほうが価値があります。四半期の終わりに同じメンバーでスコアカードに再度回答してください。
テスト自動化成熟度スコアカード のよくある質問
スコアはどのように計算されますか？
各回答は、選択肢が並んでいる順に 0、1、2、3 点です。各領域には 2 問あるので 6 点満点となり、パーセンテージで表示されます。全体スコアは 6 領域のパーセンテージの平均を四捨五入したものです。レベル：場当たり的は 35 未満、発展途上は 35〜59、確立は 60〜84、最適化は 85 以上です。
これは業界のベンチマークですか？
いいえ。このスコアカードは、広く受け入れられているテスト自動化のプラクティスに基づく固定のルーブリックであり、他社との比較ではありません。背後に他チームのデータセットはなく、SDETRole がそれを作るためにあなたの回答を収集することもありません。
回答はどこに保存されますか？
ブラウザのローカルストレージと、コピーした場合は共有リンクのフラグメント（# 以降の部分）に保存されます。ブラウザはフラグメントをサーバーに送信しないため、SDETRole があなたの回答を受け取ることはありません。
同僚のリンクを開くと、自分の回答が上書きされますか？
いいえ。共有された結果は保存されずに表示されます。回答を変更すると、相手の回答をもとに自分用のコピーが始まり、そのコピーがあなたのブラウザに保存されます。
まだ自動化がまったくありません。それでも役に立ちますか？
はい。正直に答えるとほとんどの領域で低いスコアになりますが、「Work on next」（次に取り組むこと）リストがどこから始めるべきかを示してくれます。通常は戦略（最初に何を自動化するか）と CI（初日から自動で実行すること）です。