AI協働形式のレポート

各機能の説明

レポートの主要機能

  • スコア
  • プレイバック
  • 提出コード確認
  • 深掘り質問生成機能

スコア

AI協働形式のスコアは、成果物への評価AIスコア の2軸で構成されています。

テストのトータルスコアに影響する問題単体の点数は、成果物への評価がそのまま反映されます。AIスコアはトータルスコアには影響せず、候補者のAI活用能力を把握するための参考情報として提供されます。

成果物への評価

候補者が提出した成果物をもとに評価します。

要件対応力 問題で提示された要件に対して、候補者がどこまで対応できているかを評価します。テストケースごとにアコーディオンメニューで詳細を展開でき、リクエストパラメーターの仕様・期待されるレスポンス形式・計算ロジックなど、各要件をどこまで正確に実装できているかを確認できます。

AIスコア(β)

候補者がAIツールをどのように活用したかをAIが自動で評価するスコアです。 問題形式によって評価軸が異なります。

  • 対話型問題:「コミュニケーション能力」「課題解決能力」「AI協働力」の3軸で評価され、全体スコアとともにレーダーチャートで視覚的に確認できます。
  • 非対話型問題:「AI協働力」のみで評価されます。

各軸はさらに細かい評価項目に分かれており、それぞれの項目に対して何ターン目のプロンプトが加点 / 減点となったかが可視化され、その理由が記載されています。

詳細についてはAIスコアの説明ページをご覧ください。


プレイバック

候補者が試験中にAIエージェントとやり取りしたログを確認できる機能です。「プレイバックを開く」ボタンから専用のビューアを起動します。

ビューアは以下の要素で構成されています。

上部 全体のターン数・トークン使用量・コストが表示されます。

左側 候補者がAIエージェントに送ったプロンプトがターンごとに一覧表示されます。各ターンごとの加点 / 減点の評価、トークン使用量、コスト、使用ツール数が表示されており、クリックすることで該当ターンの詳細に移動できます。対話型問題の場合は、AIステークホルダーとのチャット履歴も「Chat」タブから確認できます。

ターン詳細・ツール呼び出し(中央) 選択したターンの候補者のプロンプトとAIエージェントの返答を確認できます。「ターン詳細」タブではやり取りの内容を、「ツール呼び出し」タブではそのターンでAIが実行したツールの詳細を確認できます。

評価観点(右側) 選択したターンに対して、AIスコアのどの評価観点に該当するかが表示されます。プラス評価・マイナス評価それぞれの理由が記載されており、成果物だけでなくAIをどう使いこなしたかというプロセスを確認できます。


提出コードの確認方法

候補者が提出したコードは、以下の2通りの方法で確認できます。

HireRoo上で確認する

レポートページ内の「提出コードを開く」ボタンから、HireRooの画面上でコードを直接閲覧できます。

GitHub上で確認する

GitHubでコードを確認する場合は、事前にアクセス権の申請が必要です。「GitHubでレビュー」セクションの「アクセス権を申請」ボタンから、レビューに使用するGitHubアカウントIDを入力して申請すると、対象リポジトリへのアクセス権限が付与されます。 権限付与後は「PRを開く(GitHub)」ボタンからGitHub上のPull Requestページに直接遷移できます。


インタビュー準備

深掘り質問の自動生成

候補者の提出内容をもとに、AIが面接で活用できる深掘り質問を自動で生成します。候補者ごとの回答や設計判断に基づいた質問が生成されるため、面接の準備にそのままご活用いただけます。

閲覧方法

生成された深掘り質問はGitHub上で確認できます。「PRを開く(GitHub)」ボタンからGitHubのPull Requestページに遷移すると、hireroo-system によるコメントとして、候補者が実装したコードの該当箇所に紐づいた形で投稿されています。各コメントには優先度ラベル(例:P1 critical)が付いており、日本語と英語の両方で質問が記載されています。

GitHubへのアクセス権の申請方法については、上記「GitHub上で確認する」セクションをご参照ください。


関連ページ