こんにちは。freee人事労務でQAエンジニアをしているnunです。前後に括弧をつけると顔文字みたいで可愛いことに最近気付きました。(nun) ≒ (^u^)
freee QA Advent Calendar2023 の12日目です。
12/12はゾロ目だし縁起の良い日だったりするかなと思いきや、特に何もない先負の日でした。
さて、freeeで毎年開催されている開発合宿にてテスト管理ツールを比較しましたので、その話について書いていきます。
※開発合宿について詳しくは以下の記事などをご参照ください。
developers.freee.co.jp
はじめに
freee QAではTestRailというテスト管理ツールを使用しています。 しかし日本語使用者の多いfreee QAとしては以下のようにいくつかの使いにくさがありました。
- 漢字変換後に確定するためのEnterキー打鍵時に、確定とともに1〜2行の改行が入力される
- Ctrl + zキー（Cmd + zキー）打鍵時に、直前の操作取り消しでなく入力済みの文字の消去として動く
- 年間利用額の負荷が高くなってきた
これらを解消しテストケース作成時の更なる効率化や使い勝手の向上、コスト削減、閲覧権限の拡大化などを目指したく、人事労務、会計、グローバルから集まった3人のQAでツールの比較・検討をすることにしました。
開発合宿前の準備
開発合宿中は実際にツールを触って比較する時間に当てたかったため、合宿前から事前準備を行うことにしました。
1. ツールのピックアップ
比較するにあたって、そもそもどんなツールがあるのかを調べピックアップする段階から始めました。以前TestRailを導入する際候補に上がっていたテスト管理ツールの調査、webの検索、以前所属していた組織での使用経験などから名前が挙がったのが以下6つです。（アルファベット順）
2. コストとセキュリティチェック
最初にコスト面とセキュリティ面で絞り込みを行いました。 コスト面で言うと、現状のTestRailは100usersで年間約400万円と聞いているので、それより高くなるものは除外します。 計算時にはざっくり1USD ≒ ¥150としました。
またセキュリティチェック面では、何らかのツール利用時に社内のセキュリティチェックをクリアする必要があるため並行して申請しました。 候補として触るが故に総数が多くなってしまい、全てを細かくセキュリティチェックに通すと数ヶ月を要し開発合宿に間に合わない見込みとなるため、今回は開発合宿のみで使用する合意の元必要最小限のチェックをしていただく形となりました。
それらを通過して残ったツールが以下の4つとなりました！
この時点で触ったことのないツールもありワクワクしましたね。 また結果的にスプシ系のセル形式での管理ツールが2つ、JIRAの拡張機能としての管理ツールが2つで良い感じに比較出来そうな見込みとなりました。
3. 作成するテストケースの準備
候補となるツールで実際にテストケースを作るに当たって、複数人がそれぞれのツール候補に同じ内容を入力することを踏まえると、事前に内容を決めておく必要がありました。
そこで白羽の矢が立ったのが、インターン生に共有するテストケース例でした。QAインターン用には既存仕様のみで作られたテストケースを用意していたので、万が一にも新機能の漏洩にはならずその意味でもちょうど良かったです。ナイスひらめき。このケースの中から文字数や文字種を加味して入力するテストケースを6ケースに絞り込みました。
開発合宿中
いよいよ開発合宿 in 軽井沢です！
1. 現行ツールの計測
早速現在使用しているTestRailでテストケースの作成を行いました。 3人いるので3パターンに分けて時間の比較を行いました。
- 各ツールに直接文字を入力してテストケースを作成
- csvファイルに文字を入力し、ファイルをインポートしてテストケースを作成
- csvファイルに文字を入力し、内容をファイルからコピー＆ペーストしてテストケースを作成
私はツールへの直接文字入力を担当しました。普段は行わない時間計測があるという緊張感と、EnterキーとCtrl + zキー（Cmd + zキー）打鍵時の挙動に対する少し懐かしい気持ちとで、心が盛り上がったのを覚えています。ピンチはチャンス。むむむな気持ちにこそビジネスチャンスが宿る。
また6ケースは入力が大変だったのでもう少し減らして4ケース前後が適切な印象です。腱鞘炎にこそならなかったものの、近年稀に見るレベルで指を酷使することになり手首のストレッチも不可欠でした。とは言えケース数が少な過ぎてもテストケースの分類やフォルダ構成などの見やすさが比較しにくくなるので減らし過ぎには注意です！
2. 新ツールの評価
全員でぽちぽち触る→テストケース作成時間を計測する→チェックポイントを評価し所感を記載する
上記を各ツールに対して行い、最終的に全員の時間と評価ポイント数、そして所感を比較しました。
またチェックポイントは以下の評価軸に対して策定し、よくできる / できる / 限定的にできる / できないの4段階で評価しポイント数を算出します。
| 評価軸 | 詳細 |
|---|---|
| UI | 入力がしやすい、日本語対応 etc |
| カスタマイズ | 入力項目のカスタマイズ |
| コスト | 価格、トレーニングコスト |
| 管理 | 作業時間の計測、レポート機能、テスト結果の履歴参照 etc |
| 連携 | Selenium / JIRA / APIとの連携 |
| 機能 | テストセットの作成、参照権限ユーザの設定 etc |
| セキュリティ | ユーザ管理、SSO対応 |
| その他 | サポートの充実度、開発の技術力 etc |
全てが必須なわけではなく、折角なのであると嬉しい機能についても評価項目を作成しました。
3. 全ツールの比較結果
いよいよツールの比較結果です。どどん。
時間の観点
- 直接入力
| TestRail | Qangaroo | QualityForward | Zephyr Scale | |
|---|---|---|---|---|
| 作成時間 | 54分23秒 | 39分28秒 | 36分49秒 | 37分32秒 |
- ファイルのインポート（入力時間：40分32秒）
| TestRail | Qangaroo | QualityForward | Zephyr Scale | |
|---|---|---|---|---|
| インポート時間 | 2分25秒 | 2分30秒 | 1分57秒 | 2分30秒 |
| 合計時間 | 42分57秒 | 43分2秒 | 42分29秒 | 43分5秒 |
- ファイルからコピー＆ペースト（入力時間：42分50秒）
| TestRail | Qangaroo | QualityForward | Zephyr Scale | |
|---|---|---|---|---|
| コピペ時間 | 9分36秒 | 8分30秒 | 6分40秒 | 8分30秒 |
| 合計時間 | 52分24秒 | 51分20秒 | 49分30秒 | 51分18秒 |
（Xray test managementは操作に苦戦してしまい時間が足りず、実際の入力時間を計測するところまで到達出来ず計測なし）
テストケース作成時間の比較では、直接入力でTestRailとそれ以外とで大きく時間が異なった以外に大きな差は見られませんでした。 ツールとしてはQualityForwardがどの方法でも早く作成できたようです。 シートごとにまとめその中にあるセル使ってテストケースを作成するようなUI構成がGoogle Spreadsheetなどと近く、慣れ親しんだ形式に相似していたという辺りがこの結果に表れたように思います。
評価ポイントの観点
- 評価ポイント数の平均値
| 評価軸 | TestRail | Qangaroo | QualityForward | Xray test management | Zephyr Scale |
|---|---|---|---|---|---|
| UI | △ | ◎ | X | △ | ◯ |
| カスタマイズ | ◯ | ◯ | ◯ | ◯ | ◯ |
| コスト | X | ◎ | △ | △ | ◯ |
| 管理 | X | △ | X | △ | ◎ |
| 機能 | ◯ | ◯ | △ | ◎ | ◎ |
| 連携 | △ | ◯ | △ | ◎ | ◎ |
| セキュリティ | △ | ◯ | △ | ◎ | ◎ |
| その他 | X | ◯ | X | ◯ | ◯ |
| 評価ポイント平均 | 20 | 27 | 15 | 23 | 30 |
| 100usersでの年間利用料 | 約400万円 | 約58万円 | 約183万円 | 約66万円 | 約82万円 |
※平均を取っていたりこれらの大項目の中に複数の小項目があったりと、複雑なfreee QAアルゴリズムに則って数値化しています。
※価格は評価軸の中にポイントでの評価も含まれていますが、新ツール検討の要因にも挙がっていたため抜き出して記載しています。
※1USD ≒ ¥150で計算した金額となっています。
評価ポイント数は意外とバラける結果となりました。
料金としては円安の煽りを受けて国内ツールの方が大幅に安くなるのではと思いきや、今回使用した国外ツールはJIRAの拡張機能としての立ち位置だからか思ったよりも安く上がる想定となりました。
また今回ピックアップしたツールではシート内にセルで分ける形で作成するGoogle Spreadsheet形式と、チケットベースでテストケースを作成していくJIRA形式とに大別できました。結果を見るとそのどちらかの形式に数値が偏るということもなく、3人で見たおかげかバイアスも掛かりにくくフラットな視点で評価できたのではと思います。
使ってみての所感としては、文字入力のしやすさ・階層にできるなどテストケース構成の分かりやすさ・QA以外のメンバーにも閲覧権限を付与できるか、などが特に評価ポイント数の分水嶺となった印象です。
テスト管理ツール比較まとめ
テストケース作成に要する時間の面では、現行ツールのTestRailが一番時間を取られる結果となりました。他のツールはいくつかの作成パターンを比較してもツール間での差異は少なく、一番早く作れるのはQualityForwardでした。
評価ポイントの面では数値にバラつきが生じ、またどのツールにも少なからず良し悪しがありました。新しいツールに移行するということは何かしら変わることになるので、全てが同じ上位互換のようなものは無いんだなと改めて実感した次第です。今回は使いやすさ・見やすさ・権限管理などの観点を踏まえ、現在のfreee QAに求められる要素を多く備えていると思われるツールはZephyr Scaleであるという結果にまとまりました。
おわりに
今回私たちは複数のテスト管理ツールを実際に触り、数値化しての比較や所感の共有などを行いました。そうすると当たり前ですが似たように見えるツールであっても使い勝手に差があることがよく分かりました。実際に触ることでしか分からない良し悪しなど、数値だけでは測れない奥深さがあると感じました。未だかつてこんなにテスト管理ツールのことを考えられる機会があっただろうか、いやない（反語）。
また開発合宿という場において、普段一緒に業務にあたることの少ないメンバーで通常業務ではできないことに注力できたのが新鮮で楽しかったです！開発合宿という機会に感謝。
この度の調査を通して、TestRailからZephyr Scaleに移行することでテストケース作成時間、使いやすさ、価格、閲覧可能アカウント数などを、よりfreee QAに最適化させられそうな余地を感じられたので大満足です。あとは内部に新ツールの導入を強く強くアピールするだけですね。倍プッシュだ……！
最後になりましたが、オススメのテスト管理ツールがある方はぜひぜひ教えてくださいな！また「このツールはこういうところがあるからもっと評価が高くても良いはず！」というようなアツい想いもお待ちしております！
明日は、freee会計のQAエンジニアのminachika-san がインボイス対応のQAで工夫した話について記事を書いてくれます。
インボイスについてはSNS上でも反対署名が集められたりなど大注目でしたね。QAとしてどう取り組んだのか、見逃せません！どうぞお楽しみに〜！
ではでは、よい品質を〜
