AI協働形式のレポート
各機能の説明レポートの主要機能
- スコア
- プレイバック
- 提出コード確認
- 深掘り質問生成機能
スコア
AI協働形式のスコアは、成果物への評価 と AIスコア の2軸で構成されています。
テストのトータルスコアに影響する問題単体の点数は、成果物への評価がそのまま反映されます。AIスコアはトータルスコアには影響せず、候補者のAI活用能力を把握するための参考情報として提供されます。
成果物への評価
候補者が提出した成果物をもとに評価します。
要件対応力 問題で提示された要件に対して、候補者がどこまで対応できているかを評価します。テストケースごとにアコーディオンメニューで詳細を展開でき、リクエストパラメーターの仕様・期待されるレスポンス形式・計算ロジックなど、各要件をどこまで正確に実装できているかを確認できます。
AIスコア(β)
候補者がAIツールをどのように活用したかをAIが自動で評価するスコアです。 問題形式によって評価軸が異なります。
- 対話型問題:「コミュニケーション能力」「課題解決能力」「AI協働力」の3軸で評価され、全体スコアとともにレーダーチャートで視覚的に確認できます。
- 非対話型問題:「AI協働力」のみで評価されます。
各軸はさらに細かい評価項目に分かれており、それぞれの項目に対して何ターン目のプロンプトが加点 / 減点となったかが可視化され、その理由が記載されています。
詳細についてはAIスコアの説明ページをご覧ください。
プレイバック
候補者が試験中にAIエージェントとやり取りしたログを確認できる機能です。「プレイバックを開く」ボタンから専用のビューアを起動します。
ビューアは以下の要素で構成されています。
上部 全体のターン数・トークン使用量・コストが表示されます。
左側 候補者がAIエージェントに送ったプロンプトがターンごとに一覧表示されます。各ターンごとの加点 / 減点の評価、トークン使用量、コスト、使用ツール数が表示されており、クリックすることで該当ターンの詳細に移動できます。対話型問題の場合は、AIステークホルダーとのチャット履歴も「Chat」タブから確認できます。
ターン詳細・ツール呼び出し(中央) 選択したターンの候補者のプロンプトとAIエージェントの返答を確認できます。「ターン詳細」タブではやり取りの内容を、「ツール呼び出し」タブではそのターンでAIが実行したツールの詳細を確認できます。
評価観点(右側) 選択したターンに対して、AIスコアのどの評価観点に該当するかが表示されます。プラス評価・マイナス評価それぞれの理由が記載されており、成果物だけでなくAIをどう使いこなしたかというプロセスを確認できます。
提出コードの確認方法
候補者が提出したコードは、以下の2通りの方法で確認できます。
HireRoo上で確認する
レポートページ内の「提出コードを開く」ボタンから、HireRooの画面上でコードを直接閲覧できます。
GitHub上で確認する
GitHubでコードを確認する場合は、事前にアクセス権の申請が必要です。「GitHubでレビュー」セクションの「アクセス権を申請」ボタンから、レビューに使用するGitHubアカウントIDを入力して申請すると、対象リポジトリへのアクセス権限が付与されます。 権限付与後は「PRを開く(GitHub)」ボタンからGitHub上のPull Requestページに直接遷移できます。
インタビュー準備
深掘り質問の自動生成
候補者の提出内容をもとに、AIが面接で活用できる深掘り質問を自動で生成します。候補者ごとの回答や設計判断に基づいた質問が生成されるため、面接の準備にそのままご活用いただけます。
閲覧方法
生成された深掘り質問はGitHub上で確認できます。「PRを開く(GitHub)」ボタンからGitHubのPull Requestページに遷移すると、hireroo-system によるコメントとして、候補者が実装したコードの該当箇所に紐づいた形で投稿されています。各コメントには優先度ラベル(例:P1 critical)が付いており、日本語と英語の両方で質問が記載されています。
GitHubへのアクセス権の申請方法については、上記「GitHub上で確認する」セクションをご参照ください。