こんにちは。freeeでQAのマネージャーをやってるでーにしです。 freee QA Advent Calendar2024の25日目です。
昨年は QAマネージャーやってみての失敗談 - freee Developers Hub で主に2021年までの話を書いたので、今回は2021〜のタイムラインで、今のfreeeのQAについて"あえて共有"したいと思います。freeeの価値基準に"あえて共有"というのがあるんですが、個人的にあえて、っていうのが好きなので、使いました。 実は「10分でわかるfreeeのQA」という資料があるんですが、10分以上のボリュームなので、今回は、あえ共ポイントに絞って紹介したいです。
あえ共①今の課題
カジュアル面談でよく「freeeのQA、もう成熟してるんじゃないですか？」なんて声をいただくことがあります。でも、実はまだまだ解決したい課題はたくさんあって、日々奮闘しています。今起きている課題はこちらです。
なんとなくそうなのかー、という感じですよね。今直面している課題はこれまでのfreeeのQAの歩みと繋がっているので、そこからご紹介させてください！最近日本の歴史の本を読んでいて、歴史と今の課題って繋がりあるなっと思ったのに引きづられていますw
あえ共②この3年組織的に取り組んだこと
私達QAのミッションは、「起こしちゃいけないハッピーが起きにくい体質にすることでマジ価値を継続的に届け続ける 」です。
- 当たり前品質にフォーカス。品質という言葉は広くいろいろやると中途半端になってしまうので、どこに力を入れていくかが重要。
- リリーススピードにこだわりたい。継続的にマジ価値を届けていくことが重要。
といった意志を込めています。
ただ、このミッション・ビジョンを掲げていますが、距離は遠く、目の前では起こしちゃいけない不具合が起きているという状況だったので、直近3年は当たり前品質 > 高速フィードバックという優先度でやっていくことにしました。完全に高速フィードバックをやらないというわけではなく、優先度に迷う時に立ち戻るところとして、あえて優先度をつけました。
ミッション・ビジョン、課題、方針を表現した図がこちらです。
内製化/育成/標準化
当時、社員が少数で、大半がアウトソースというQA組織で、社員のアウトソースマネージメントの割合が増えてきていました。また、採用や離任をfreeeとしてコントロールできないことによるプロダクトノウハウの断絶も課題でした。プロダクトの品質を良くしていくためには、ユーザやプロダクトに対する解像度が重要です。このまま組織拡大していくと、社員がプロダクトノウハウからどんどん遠ざかってしまうサイクルになっていき、品質面でもクリティカルになってくる未来が見えていました。そこで決断したのが内製化（完全内製化ではありません）です。開発組織全体も採用強化していくのと並行で内製化をしていくのは思った以上に大変でした。
その時の課題とこうしていこう、という思考早見表です。
内製化〇〇%を目指す！ => 今までにない規模のQA採用をする必要がある => でも経験のあるQAが採用市場になかなかいない => 経験のない/少ない人も育てていける組織にしていこう！ => でも育成体制ない => 作るzo！ => でもチームによってプロセスがバラバラなので、求めるスキルやオンボーディングする内容もばらばらになっちゃう => 各チームのアウトプットを標準化してスキルラダーやオンボーディングコンテンツにしていこう！
QAの人材育成と標準化についてはこちらをご確認ください。標準化については、各QAエンジニアが技術力を最大限に出せるように、「手順を標準化するのではなくアウトプットを標準化する」ということを大切にしています。
一方で、この時に最低限のオンボーディング体制は構築しましたが、そこからのPDCAを回せていない、ジュニアからミドルにしていくためのしっかりとした育成体制はなく個々の頑張りに依存している、という課題が現在あることもあえて共有します。
また、新卒QA採用も開始しました。これも私達にとってかなりのチャレンジで、その奮闘はこちらで紹介させていただいています。QAエンジニアという職種が学生に知られていない、という課題に向き合ってます！（現在進行系）
今年その時の新卒QAが入社して、今回のアドベントカレンダーに書いてくれました。わいわいっ。
新卒QA奮闘記：ひとりでQAプロセスを完走して見えたもの - freee Developers Hub
新卒QAのすゝめ - freee Developers Hub
品質企画立ち上げ
QAテストプロセス以外の品質向上の企画はなかなかできていませんでした。また、プロダクト数や規模の拡大に応じて横断的に進めないといけないことがどんどん増えてきています。そこで、横断的なチームとして品質企画の立ち上げを行いました。品質企画は、freeeの開発組織全体で起こしちゃいけないハッピーが起きにくい体質にしていくため、目指すべき品質の指針決めから、各プロダクトが自律的に障害が起きにくい開発プロセスづくりの推進をしていきます。
品質企画の取り組みの一部はこちらをご覧ください。
他にも下記のようにやりたいことはたくさんあるので、今も一緒に推進する仲間を募っています。他社では当たり前にやってることもfreeeではやれてないことたくさんあると思います。
- 目指すべき品質の指針決め
- 品質メトリクスの可視化
- 各プロダクトチームが自律的に障害が起きにくい開発プロセスに育てていけるような仕組みを作っていく
- 全員がプロダクトの重篤度を正確にかつ容易に判断できるようにしていく
- プロダクト規模増でもシステムテスト工数比率は下がるようにしていく
リグレッションテスト自動化の普及
全てのリリースでリグレッションテストを手動実施するのはコストやリリース速度の点で難しいので、リグレッションテストを自動化していこう、という考えです。こちらも現在進行系で課題がたくさんあり、プロダクトによって課題が異なります！
- リグレッションテストはあるが、プロダクトの進化に追いついていない
- リグレッションテストはプロダクト進化に追従できているが、自動化が追いついていない
- 自動リグレッションテストはたくさんあるが、全てシステムテストでメンテナンスや実行時間が大きい
freeeでは入社時点で自動テスト経験あるQAは少ないのですが、みんなで学びながら、新しい自動テスト基盤を作ったり、テストアーキテクチャから自動テストに繋げていってる取り組みもできてきているのは大きな一歩と思っています。
E2Eテスト分析基盤としてReportPortalを導入しました - freee Developers Hub
テストレシピをやってみた - freee Developers Hub
テストアーキテクチャの実践 - freee Developers Hub
あえ共③今の課題再び！
まだまだ課題がたくさんありますが、どれも今のfreeeのフェーズだからこそ解決しないといけない課題です。
- 同じ品質目標をもつことによるインパクトが大きいフェーズです。起こしちゃいけないハッピーが起きにくい体質にしていくためにさまざまな活動をしていますが、組織拡大やプロダクト進化につれて、同じ品質目標に目線を合わせるのが難しくなっています。同じ目標を持つのは当たり前のことかもしれないですが、これが難しいです。何度もトライアンドエラーしてく必要があります。
- QA間の連携が必須のフェーズです。プロダクト数の増加、プロダクトを統合して価値を提供することによる開発規模の拡大に応じて、各プロダクト、各チームで個別にQAを進めるだけでなく、一丸となってQAを進めないといけないことが増えています。また、QA間の連携でお互いを高め合える環境でもあります。様々な強み（自動テスト、テストアーキテクチャ、ドメイン、プロジェクトマネージメント etc）を持ったQAが社内にいるので、いつでも壁打ちや勉強会できます。これはQAとしての最高の福利厚生だなと最近よく思ってます^^。
- テスト工数の効率化に真剣にTRYするフェーズです。プロダクトをまたいだ連携機能が多く、機能開発時の影響範囲も広いため、テスト工数も増えていき、スピードのある開発が難しくなっていく未来が見えています。
最後にfreeeのQA間の連携がゆるやかに感じられるslackをぺたりと。
また、freeeは変化もほんとに激しいので、新しい課題もどんどん生まれくるはずです。これからもみんなでやっていきですね！！ freee QA Advent Calendar2024は本日で最後になります。最後までお付き合いくださいましてありがとうございました。 それでは、よい品質を〜
