Skill Assessment は、在籍エンジニアが日常業務で使っている AI ツールの利用ログから、AI協働力を継続的に計測し、組織の中で相対化して可視化する機能です。

普段の業務環境のまま計測します。エンジニアは専用のエディタや試験環境に移る必要がなく、いつも使っている AI ツールをそのまま使い続けます。

AI協働力の 5 つの評価軸

AI協働形式のレポートと同じ 5 軸で評価します。

評価軸 評価する行動
環境構築 AIが適切に作業できるよう、ツールやコンテキストを整え、安全に進めるためのルールを設定する
意図の仕様化 問題を自分の言葉で捉え、制約や完了条件を具体的に伝える
共同推論 AIから代替案を引き出し、根拠やトレードオフを踏まえて採否を判断する
実行の統制 AIに任せる範囲を調整し、実行中の軌道修正や失敗からの収束を導く
出力の品質保証 検証方法を設計し、AIの出力を批判的に確認して、品質をさらに高める

各評価軸の詳しい定義は AI協働力｜SEI で確認できます。評価基準の考え方は 2026年7月 | AI協働力の評価基準を刷新し、AI活用の深さを見極めやすくしました もあわせてご覧ください。

評価に使うデータ／使わないデータ

Skill Assessment の評価は、エンジニアが書いたプロンプトと、AIエージェントのツール呼び出しだけを入力にします。

AIの応答文とツールの実行結果は評価に使いません。 これは、AIモデルが賢くなるだけでスコアが上がってしまう状態を避けるためです。評価の対象を人間側の判断に限定することで、スコアの上下がエンジニア自身の働き方の変化を表すようにしています。

可視化される内容

管理者向けと、計測対象のエンジニア本人向けの 2 種類の画面があります。

管理者向け

画面 確認できること
ダッシュボード 組織平均スコア・アクティブ率・AIツール利用コスト・トークン使用量、AI活用状況（リクエスト数・消費トークン・平均プロンプト長）、用途分類・利用言語・稼働時間帯、ランク分布、スコアが伸びているメンバー
メンバー一覧 メンバーごとの主に使っているAIツール・最終ログ時刻などの利用状況。氏名・メールでの検索と、ステータス・トークン使用量・コストでの絞り込み
メンバー詳細 ツール利用比率、用途分類、稼働状況

現在、管理者向けの画面では、メンバー個人のスコア・ランク・推移と、スコアの内訳は表示していません。メンバー一覧のランク・スコアでの絞り込みも同じです。利用状況（トークン使用量・コスト・ツール利用・稼働時間帯・AI活用状況）は表示されます。

エンジニア本人向け

自分の総合スコア・ランクと、5 軸の内訳、評価の根拠となった観測事実を確認できます。あわせて、自分の過去30日の利用状況（アクティブ日数・リクエスト数・消費トークン・用途分類・利用言語・稼働時間帯など）を表示します。

他のメンバー個人のスコアは表示されません。 本人が見られるのは自分の結果だけです。

導入の流れ

1. 管理者が計測対象のメンバーを招待する

Skill Assessment の画面から、計測したいメンバーをメールアドレスで招待します。すでに HireRoo に登録済みの従業員は、招待を送らずそのまま計測対象に指定できます。

2. メンバーが hireroo CLI をインストールする

招待されたメンバーは、マイページの案内に沿って、自分の端末で次の 2 つのコマンドを実行します。

  1. hireroo CLI をインストールする
    • macOS / Linux：curl -fsSL https://cli.hireroo.io/install.sh | sh
    • Windows（PowerShell）：irm https://cli.hireroo.io/install.ps1 | iex
  2. hireroo spider setup を実行し、ブラウザに表示される認証を承認する

トークンを手で貼り付ける操作はありません。既存の Claude Code / Codex の環境には影響しません。

3. 計測が始まる

セットアップ後、メンバーが普段どおり AI ツールを使うと計測が始まります。マイページには進捗が 3 段階のステップで表示されます。

  1. CLI をインストール — セットアップが完了した
  2. 疎通を確認 — Claude Code または Codex でメッセージを送り、最初の利用ログが HireRoo に届いた
  3. 計測の開始を待つ — 最初の評価結果が生成された

3 つ目が完了すると、スコアがダッシュボードに表示されます。スコアは以降、利用が蓄積されるたびに更新されます。

対応環境

対応状況
OS macOS / Linux / Windows
AIツール Claude Code / Codex CLI

AIツールの API キーやサブスクリプション契約の種類（APIキー／サブスクリプション／Amazon Bedrock／Google Vertex AI）は問いません。既存の契約のまま計測できます。

データの取り扱い

AIツールの動作には影響しません

Skill Assessment は、AIツールと AI プロバイダの間に割り込みません。AIツールから HireRoo に届くのは利用ログだけで、AI へのリクエストそのものは従来どおり直接 AI プロバイダに送られます。

そのため、HireRoo 側に障害があってもエンジニアの作業は止まりません。その間の利用ログが記録されないだけです。

プロンプト本文の扱い

プロンプトの本文とツール呼び出しの内容は、スコアを算出するために必要な短い期間だけ一時領域に保持し、算出が終わった時点で一時領域から削除します。

ただし、評価の根拠として、評価に使ったプロンプトの一部（抜粋）をスコアとあわせて保存します。そのほかに保存されるのは、本文を含まない情報（トークン数・コスト・時刻・使用ツール・プロンプトの文字数など）と、算出後のスコアです。また、メールアドレスなどの個人情報は、ログを受け取った時点で取り除きます。

提供形態

現在は、HireRoo が計測基盤を提供する形態（クラウド版）でご利用いただけます。ログを社外に出せない場合に備え、計測基盤をお客様自身のクラウド環境内に設置する形態を今後提供予定です。この形態では、プロンプト本文がお客様の環境から外に出ることはなく、HireRoo に届くのは算出済みのスコアと集計値のみになります。

ご利用にあたっての注意

  • 計測はエンジニアの端末の設定に依存します。 メンバーが AIツールの設定を書き換えたり CLI をアンインストールしたりすると、計測は止まります。この場合もAIツールは通常どおり使えるため、本人は気づきにくくなります。ログが届いているかは、メンバー一覧の最終ログ時刻で確認できます。
  • AI ツールの利用がない期間はスコアが更新されません。 スコアは利用ログが一定量たまった時点で更新されるため、利用が少ないメンバーは更新間隔が長くなります。

β提供について

Skill Assessment は現在β版として提供しています。評価軸の定義や重み付け、スコアの算出方法は、お客様のデータをもとに今後調整していきます。

導入をご希望の場合は、担当のカスタマーサクセス、または お問い合わせ窓口 までご連絡ください。