概要

Skill Assessment は、エンジニアが使っている AI エージェント（Claude Code・Codex CLI・GitHub Copilot）の利用ログを受け取り、AI協働力を評価します。この記事では、どのログを受け取り、何に使い、いつまで保存するかをまとめます。導入前のセキュリティ審査や、社内でのご申請にご利用ください。

項目ごとの詳しい一覧は Skill Assessment で取得するログ項目の一覧 をご覧ください。

全体の流れ

段階 行うこと
1. 端末から送信 計測用の CLI が AI エージェントの設定を書き換え、利用ログを HireRoo に送ります
2. マスキング 受信した直後、一時保存の前に、API キーやメールアドレスなどを **** に置き換えます
3. 一時保存 評価に使う項目だけを、マスキングした状態で一時的に保存します
4. 評価 一定量のログがたまったら、外部の AI サービスを使って評価します
5. 削除と保存 評価が終わると一時保存したログを削除し、評価結果と集計値を保存します

AI エージェントから AI プロバイダへのリクエストは、これまでどおり直接送られます。HireRoo は、AI エージェントと AI プロバイダの間に割り込みません。

端末で行う設定

計測用の CLI で hireroo spider setup を実行すると、次の設定だけを書き換えます。

AI エージェント 書き換える設定
Claude Code ~/.claude/settings.json の env
Codex CLI ~/.codex/config.toml の [otel]
  • 送信先：https://spider-collector.hireroo.io/otel（HTTPS）
  • 認証：利用者ごとに発行するトークンを、HTTP ヘッダで送ります
  • 元に戻す方法：hireroo spider uninstall を実行すると、書き換えた設定が導入前の値に戻ります

Claude Code と Codex CLI は、OpenTelemetry のログ（イベント）だけを送ります。メトリクスとトレースは送りません。

GitHub Copilot（Copilot CLI・VS Code）は、ログを出さないため、プロンプト本文・ツールの呼び出し・トークン数をトレースで送ります。トレースにも、ログと同じマスキングを適用します。メトリクスは受け付けません。Copilot の項目ごとの一覧は、担当のカスタマーサクセスまでお問い合わせください。

受け取るもの・使うもの

評価と集計に使うのは、主に次の項目です。

種類 主な項目 使い方
プロンプト本文 エンジニアが AI エージェントに送った指示 評価
ツールの呼び出し ツール名・引数（ファイルパス・コマンド・編集内容を含む）・承認の判断 評価、言語別の件数、MCP・スキルの利用の集計
利用量 モデル名・トークン数・コスト・時刻 利用状況の集計
セッション セッション ID、AI エージェントの種類とバージョン 利用状況の集計

次の項目は、送信されても受信した時点で破棄し、どこにも保存しません。

  • 利用者・組織を識別する属性（メールアドレス・アカウント ID・組織 ID・ホスト名など）
  • AI の応答本文
  • ツールの出力
  • そのほか、評価・集計に使わない属性

マスキング

受信した直後、一時保存の前に、受信したすべての値に適用します。パターンに一致した部分を **** に置き換えます。対象は次の25種です。

  • 各種サービスの API キー・トークン（Anthropic、OpenAI、GitHub、Google、AWS、Slack、Stripe、npm、PyPI、GitLab、DigitalOcean、HireRoo）
  • 秘密鍵
  • URL に埋め込まれた認証情報（user:pass@）
  • パスワードなどの代入（password=、secret=、api_key=、*_token= など）
  • Bearer トークン、JWT
  • メールアドレス
  • ホームディレクトリのユーザー名（/Users/<名前>、/home/<名前>、C:\Users\<名前>）

氏名、電話番号、IP アドレス、社内のホスト名、業務データそのものは、パターンに一致しない限り置き換わりません。

一時保存と削除

評価に使う項目を、マスキングした状態で一時的に保存します。一時保存したログは、次のいずれかで削除されます。

  • 評価が終わったとき
  • 最後に受信してから 24 時間たったとき
  • 計測を停止してから 5 分たったとき

評価のための外部 AI サービスへの送信

評価には、外部の AI サービス（OpenAI の API）を使います。

内容
送るもの マスキング済みのプロンプト本文、ツール呼び出しの名前と引数、承認の判断、モデル名、トークン数
送らないもの AI の応答本文、ツールの出力
学習への利用 送信したデータが OpenAI のモデルの学習に使われることはありません。OpenAI は、API で送信されたデータを利用者がオプトインしない限り学習に使わないと公表しており（OpenAI「エンタープライズプライバシー」）、HireRoo はオプトインしていません

評価後に保存するもの

区分 項目
利用者 HireRoo 内の利用者 ID、企業 ID
利用量 ツール別・モデル別の呼び出し回数・トークン数・コスト、時間帯別のトークン数、セッション数、稼働日数、プロンプトの文字数の合計
呼び出しごとの記録 モデル名・トークン数・コスト・開始と終了の時刻・プロンプトの文字数・セッション ID など16項目
用途・言語 用途区分（コード生成・レビュー・デバッグなど）ごとの件数、言語ごとの件数
スキル・MCP スキル名・取得元・回数、MCP のサーバー名・ツール名・スコープ・回数
評価結果 領域別のスコア、判定理由と観測事実の記述（AI が作成）、評価の根拠とした箇所のプロンプトの抜粋（マスキング済み）
  • 氏名・メールアドレスは、Skill Assessment のデータとしては保存しません。
  • 保管場所：Google Cloud 東京リージョン（asia-northeast1）
  • 保管期間：サービスのご利用を停止されるまで保存します。

お客様の環境に設置する構成

ログの受信・マスキング・一時保存・評価後の保存を、お客様のネットワーク内で行う構成を今後提供予定です。この構成では、ログは HireRoo に送信されません。

関連ページ