概要

Skill Assessment は、普段使っている AI ツールの利用ログから、AI協働力を評価します。この記事では、どのデータが送られ、何に使われ、何が保存されるかと、計測の結果を誰が見られるかをまとめます。

β提供について Skill Assessment は現在β版として提供しています。

企業の担当者向けの詳しい説明は、Skill Assessment の計測ログの取り扱い をご覧ください。

全体の流れ

段階 行うこと
1. 端末から送信 hireroo CLI が設定した AI ツールが、利用ログを HireRoo に送ります
2. マスキング 受信した直後、一時保存の前に、API キーやメールアドレスなどを **** に置き換えます
3. 一時保存 評価に使う項目だけを、マスキングした状態で一時的に保存します
4. 評価 一定量のログがたまったら、外部の AI サービスを使って評価します
5. 削除と保存 評価が終わると一時保存したログを削除し、評価結果と集計値を保存します

AI ツールから AI プロバイダへのリクエストは、これまでどおり直接送られます。HireRoo は、AI ツールと AI プロバイダの間に割り込みません。

送られるもの・使われるもの

評価と集計に使うのは、主に次の項目です。

種類 主な項目 使い方
プロンプト本文 AI ツールに送った指示 評価
ツールの呼び出し ツール名・引数（ファイルパス・コマンド・編集内容を含む）・承認の判断 評価、言語別の件数、MCP・スキルの利用の集計
利用量 モデル名・トークン数・コスト・時刻 利用状況の集計
セッション セッション ID、AI ツールの種類とバージョン 利用状況の集計

AI の応答文とツールの実行結果は評価に使いません。 評価の対象を人の判断に限ることで、スコアの上下が働き方の変化を表すようにしています。

破棄されるもの

次の項目は、送られても受信した時点で破棄し、どこにも保存しません。

  • 利用者・組織を識別する属性（メールアドレス・アカウント ID・組織 ID・ホスト名など）
  • AI の応答本文
  • ツールの出力
  • そのほか、評価・集計に使わない属性

マスキング

受信した直後、一時保存の前に、受信したすべての値に適用します。パターンに一致した部分を **** に置き換えます。

  • 各種サービスの API キー・トークン、秘密鍵
  • URL に埋め込まれた認証情報、パスワードなどの代入（password= など）
  • Bearer トークン、JWT
  • メールアドレス
  • ホームディレクトリのユーザー名（/Users/<名前> など）

氏名、電話番号、IP アドレス、社内のホスト名、業務データそのものは、パターンに一致しない限り置き換わりません。 対象のパターンの一覧は、Skill Assessment の計測ログの取り扱い をご覧ください。

一時保存と削除

評価に使う項目を、マスキングした状態で一時的に保存します。一時保存したログは、次のいずれかで削除されます。

  • 評価が終わったとき
  • 最後に受信してから 24 時間たったとき
  • 計測を停止してから 5 分たったとき

評価には、外部の AI サービス（OpenAI の API）を使います。送るのはマスキング済みのプロンプト本文やツールの呼び出しなどで、AI の応答本文とツールの出力は送りません。送ったデータが OpenAI のモデルの学習に使われることはありません。

評価後に保存するもの

  • 利用量の集計（ツール別・モデル別の回数・トークン数・コスト、時間帯別のトークン数、セッション数、稼働日数など）
  • 呼び出しごとの記録（モデル名・トークン数・コスト・時刻・プロンプトの文字数など）
  • 用途（コード生成・レビュー・デバッグなど）ごと、言語ごとの件数
  • スキル・MCP の利用回数
  • 評価結果：領域別のスコア、判定理由と観測事実の記述（AI が作成）、評価の根拠とした箇所のプロンプトの抜粋（マスキング済み）

氏名・メールアドレスは、Skill Assessment のデータとしては保存しません。

結果を誰が見られるか

見る人 見られるもの
本人 マイページで、自分のスコア・ランク・評価軸ごとのスコアと観測事実・利用状況
管理者・マネージャー 組織全体とチームの集計（組織の平均スコア・ランク分布・利用状況など）、メンバーごとの利用状況（トークン使用量・コスト・主に使っている AI ツール・最終ログ・用途分類・稼働時間帯など）
そのほかのメンバー 見られません
  • 現在、管理者・マネージャー向けの画面では、メンバー個人のスコア・ランク・推移と、スコアの内訳は表示していません。
  • チームのスコアは、評価済みのメンバーが 2 名以上のチームでだけ表示されます。チームのスコアからメンバー個人のスコアが分からないようにするためです。
  • マイページに表示される内容は、マイページで自分の計測結果を見る をご覧ください。

関連ページ