こんにちは。freee販売とfreee工数管理のQAエンジニアをしている tomi です。
freee QA Advent Calendar2025 7日目です。
この記事では、障害の振り返りから生まれたチームの新しい取り組みについてご紹介します。
知識をすぐに活かせる状態へ
「この仕様って、結局どうなってたんだっけ？」 「あの時〇〇さんに聞いたあの仕様、どこにメモしたかな…」
私たちQAエンジニアにとって、プロダクトの最新知識は、質の高いテスト設計に欠かせません。 障害の振り返りから始まった勉強会も、同期的に1回のみ、あるいは録画したとしても動画の中に留まったままだと、後から必要な時に探すのが大変です。 せっかく学んだことがすぐに活かせない、勉強会やって満足状態になることが容易に想像できました。
私たちは、この「もし、あの時、知っていたら…」という小さな後悔を無くし、チームの知識をすぐに引き出せる状態にするため、GeminiのカスタムGem機能を活用したナレッジの構造化に取り組み始めました。
1. 私たちが抱えていた課題：ナレッジの属人化と検索性の低下
私たちのチームがこの課題に本格的に向き合い始めたのは、いくつかの障害の振り返りがきっかけでした。 レビューの中で、「もしAさん（特定の知識を持つメンバー）が担当していたら、この不具合は防げたのではないか」という振り返りが続いたのです。
この状況を打破するため、私たちは反省を活かした具体的な対策として、知識共有の場である隔週の勉強会を新たに立ち上げました。
しかし、その「運用」にはまた別の大きな課題がありました。
具体的な問題点
知識の属人化の進行: 勉強会の内容は主に動画形式で記録するつもりでしたが、ナレッジが動画の中に閉じ込められてしまうため、特定の担当者以外が深く理解し、活用するのが難しい状態でした。
テストへのインプットが困難: 動画は情報の流れとしては優れていますが、テスト分析/設計に必要な「構造化された仕様」や「技術的詳細」をインプットとして活用するには、QAエンジニアが手作業で資料にまとめ直す必要があり、活用効率が低い状態でした。
2. どのように解決を目指したか：AIによる「知識の構造化」
私たちの目標は、動画の中に閉じ込められていた知識を、QAエンジニアのテスト分析や仕様確認の「インプット」として活用しやすい、文字ベースの構造化されたドキュメントに変換することでした。 この課題を解決するために、私たちは Gemini のカスタムGem機能に着目しました。 AIに動画をインプットとして与え、「QAの視点」で仕様を整理させ、ドキュメントを自動生成する仕組みの構築を目指しました。
解決の鍵：QA特化型プロダクトドキュメント生成Gem
動画の内容をただ要約するだけでなく、テストに役立つドキュメントとして出力するためにカスタムGemを作成しました。 このGemには、以下の要素を必ず含めるよう、カスタム指示を詳細に設計しました。
Point1: 動画内容の分析と抽出 機能概要、新機能の技術的詳細、既存機能との関連、QA観点（テスト設計上の留意点）などを詳細に抽出させる。
Point2: ドキュメントの構造化 概要、主要機能と詳細仕様、関連コンポーネント、補足情報など、QAエンジニアが追いやすい統一フォーマットで出力させる。
Point3: 自己評価チェックリスト 生成されたドキュメントが「テストケース作成に十分か」「技術的詳細が網羅されているか」をAI自身に評価させ、アウトプットの品質を担保させる。
また、プロンプトの品質がアウトプットの品質に直結するため、プロンプト作成プロセス自体にも「プロンプト改善のGem」を活用し、効率化を図りました。
3. 効果：「もしも」を無くすための時間短縮
このカスタムGemの導入により、得られた効果は以下の通りです。
ドキュメント作成工数
- before: 数十分（視聴＋手作業での資料作成）
- after: 約5分程度に短縮
情報の検索性
- before: 動画を頭出しして確認が必要
- after: 構造化ドキュメント内で即時検索可能
これにより、「情報を探す」時間から解放され、「テストの品質を高める」作業に集中できるようになりました。 動画形式では困難だった情報の検索性が向上した結果、「あの時、知っていたら…」という状態を確実に減らすことができる、チームの「確かな知識」の基盤が築かれつつあります。
さらに、この取り組みで作成されたフォーマットの揃った構造化ドキュメントは、単なる知識ベースに留まりません。 これらが蓄積されることで、将来的に影響範囲分析など、別のAI機能の高品質なインプットとして活用できる期待をもっています。 私たちは、この「確かな知識」を、さらなるテスト業務の高度化・効率化につなげていくことを目指しています。
4. 運用上の制約と学び：品質を保つためのルール
この取り組みを通じて、AIを活用したナレッジ化の精度を高めるための重要な教訓も得ました。
気をつけるべき点
インプットの純度を保つ: 当初、勉強会の「Geminiによる会議要約（テキスト）」もインプットに加えましたが、逆にGeminiの解釈が混ざることで、出力されるドキュメントの精度が下がることが判明しました。 現在では動画ファイルのみをインプットとすることを推奨しています。
カスタム指示の品質管理: カスタムGemのアウトプット品質は、設定したカスタム指示の内容そのものに直結します。QA観点や期待するドキュメント構造を明確に定義し、指示内容を継続的に見直すことが、効果の持続に不可欠です。
終わりに：知識を力に変えるQAへ
今回の取り組みは、AIを単なる「要約ツール」としてではなく、「知識の構造化を実現する、チームの強力なアシスタント」として活用できるようになりつつあります。 今後は、この蓄積された知識をインプットに、さらなるアウトプットを生み出せるような仕組みを考えていく予定です。
明日は、freee人事労務チームのQAエンジニア maomaoさんが「開発ほぼ未経験の状態から新卒QAエンジニアになってみた」について記事を書いてくれます。お楽しみに〜！ よい品質を〜
