こんにちは。freee予約、freeeホームページのQA担当、及びチーム内のAI推進担当をしているninoです。
freee QA Advent Calendar2025 14日目です。
この記事ではQAのAI活用を進めるにあたって、技術的な知見や成果の共有ではなく、AI活用を推進するにあたっての取り組み方、マネジメント方法の内容をご紹介します。
背景
冒頭にもあるように私自身はfreee予約、freeeホームページを担当していますが、私の所属している部署では他にもfreee会社設立、freee開業、freee創業融資、freee許認可など、さまざまなドメインのプロダクトを担当し、それぞれ専任のQAがいるチームとなります。
freeeには様々なAIツールが利用できる環境が整っています。 チーム内でAIをどうQAプロセスに活用していくか、議論やワークショップが活発に行われており、個人単位で「できること」が確実に増えていっている状況です。 （私自身も入社3ヶ月で色々とAIツールを使えるようになってきました）
AI活用により個人での知見や生産性が少しずつ上がり始めている中、QAチームのAI推進担当に任命され、個人からチームとしてAI活用を推進するミッションを与えられました。
チームとしてインパクトを出すためにはどうしたら良いだろうと、色々と悩み、検討しましたが、まずは基本的なマネジメント手法で考え始めてみたことがこの記事の背景です。
最初に取り組んだこと
現状の認識 -どんな課題、困りごとがある？-
AIはその高いパフォーマンスから「AIを業務に取り入れた方が生産性が上がる」という言葉が一人歩きしてしまう傾向がありました。
個人活用の場合、個人課題(自分の業務の困りごと)に対し、AIの期待値がマッチしていればAI活用により生産性向上が期待できますが、チーム活用の場合、個人課題ではなくチーム課題が何なのかを明確にする必要があります。
私自身、入社歴が浅いこともありチームとしてどんな課題があるのか明確になっていない状態でしたので、まずチーム内でどんな課題があるのかをテストプロセス毎にメンバーと書き出すことを行いました。
書き出した内容を生成AIで分類分けをしたのが以下です。
- コミュニケーション・情報共有の仕組み
- リソース・キャパシティの管理
- プロセス・ドキュメントの効率性
- スキル・ナレッジの属人化/標準化
- 環境・実行の制約
- 評価・継続的改善の定着
一番偏りが多かったのが「3. プロセス・ドキュメントの効率性」でした。 その本質をさらに深掘りし、以下に定義しました。
- 複数プロジェクトの並列稼働時におけるパフォーマンス低下
- 開発生産性向上によるQA生産性とのギャップ
背景や目的など認識を合わせる
ゴール設定 -成し遂げたいものは何か-
前述での取り組みにより現状が把握できたのち、改めてチーム、組織の背景やミッション、OKRと照らし合わせ、成し遂げたいことを定めました。
上記のように開発量が増えてもQAを推進できる手段としてAIを活用するという認識共有をメンバーに行いました。
AI活用を標準化していくために
QAプロセスでのAIスコープ -何をAIで実行するか-
チームとして狙っていくインパクトとしては効率化となり、時間(工数)が指標となります。 まずは現状何の業務にどのくらい時間をかけているのか、どのようなスケジュールになっているのかを調査しました。
＜1案件あたりの工数割合＞
テスト準備(リスク分析、テスト設計、テストチャーター作成)・・・約60％
テスト実行・・・約40％
作業工数の半分以上がテスト準備作業にかかっていることと、テスト実行と次案件のテスト準備作業が重なる傾向が把握できました。
そこでテスト準備作業の工数の割合を減らし、テスト実行との重複負荷を軽減する狙いとしてAIを活用する方針を定めました。
AIツールの選定 -freeeにはAIでテストプロセスを実行できる仕組みがある-
後出し気味ではありますが、実はfreeeにはAIでテストプロセスを実行できる仕組みがあります。
この仕組みの詳細は割愛しますが、簡単にいうと仕様書を基にリスク分析〜テストケース作成をAIがStepByStep(Chain of Thought)で実行する仕組みです。
個人単位ではこの仕組みを活用しているのですが、今回は個人ではなくチームとして活用するといった推進となり、いきなり「この仕組みを使って生産性を上げる」という進め方だと、「何のために生産性を上げるのか」の認識が統一されないので、まずは課題の共有から実施しました。
AI導入後のテストプロセス -どのタイミングでどのようにAIを使うのか-
AIでの活用スコープとツール選定が済んだ後、どのようなプロセスでAIを活用していくのかを以下のように定めました。
まずはじめに、PRD、DDを受領したらDDのレビューに向けてリスク分析とテスト観点をAIにより生成します。 DDレビューではリスク、テスト観点の共有を行い、DDの品質を高める取り組みを行います。 また、同時にテスト計画策定に向け、テスト範囲や手法など必要なすり合わせも行うとスムーズです。
DDレビューの対応が終わりDDがブラッシュアップされたらテスト計画でまとめたドキュメントもAIのコンテキストとして活用し、テストケース作成まで実行します。
このプロセスにより、人間であれば本来かかっていた時間を別の業務に充てることができます。
AIのパフォーマンス検証
テスト準備AI化の期待値と検証 -どのくらいのインパクトが出せるのか-
品質検証
検証方法：人間作成のテストケースとAI作成のテストケースを以下の基準でAIによる比較評価を実施し、S(優秀)、A(優良)、B(良)の評価をつける
検証結果：過去のプロジェクトの検証結果
上記の検証結果は仮説レベルとなりますが、人間と良い勝負をしていると率直に感じ、導入を推進する価値があると判断しました。
また同時に以下の特徴(人間とAIの違い)も見えてきました。
- 網羅性：AIの方がカバレッジは高いが、人間はリスクベースドにより取捨選択をしている
- 正確性：AIの方が優勢（技術仕様の理解が深い）だが、人間の方がE2Eの質としては高い
- 実用性：人間の方が優勢（手順などが実務的となっている）
品質課題と対策
上記の特徴から以下のようにAIの品質を上げていく対策を検討し、タスク化を行いメンバーへ割り振りを行いました。
コンテキストの強化
- PRD、DDの他に、DB構造、機能一覧などの情報もコンテキストとして活用する
- テスト方針、テスト手法、重篤度基準、リスク情報などの情報も活用する
プロンプトのフォーマット化
- 担当者のプロンプト(自然言語でのやり取り)によるばらつきを抑制するために、ある程度フォーマット化する
人間によるチェック基準
- 上記を実施した上で、何をチェックするのかの品質評価項目を作成する
開発部門への共有
宣言と協力の要請 -メンバーが安心してAIを使える環境を目指す-
これまでの取り組みによりチーム内での共通認識が終わったら開発全体に共有を行いました。
QAとして組織の目標にどうコミットしていくのか、取り組みを共有し協力を求めることで、メンバーが少しでも安心してAIを活用できる環境を作りたいと思い、推進することを宣言しました。
私自身、ここの宣言が重要だと感じており、宣言することで周囲がようやく認識し、スタートラインに立てると思っています。
さいごに
この記事で一番伝えたかったこととしては、チームでAIを標準的に活用していくという大きな取り組みでもマネジメントの基礎は通用するということです。
freeeには「Hack Everything★」という「エンジニア、非エンジニア問わず、物事の性質を深く理解した上で、それらを最大限活用するような枠超え発想をする。」といったカルチャーがありますが、今回で言うと「マネジメント」の特性をHackし「チームでのAI推進」を行った事例となります。
チームとしてのAI活用は大きな取り組みとなりますが、QAとしてユーザーにマジ価値を提供するためにこれからも取り組んでいきます。
明日はfreee SEQチームのtsubonneさんが「人間とAIが「ストーリー」で協調するワークフローとナレッジ獲得の仕組み【ストーリー駆動ハーネス】」についての記事を書いてくれます。お楽しみに！
それでは、良い品質を〜
