AIスコアについて

各機能の説明

AIスコアの評価項目について

「AIスコア」は、AIコーディングアシスタントを使って開発を進める際に、AIへ適切に指示し、必要な情報や環境を整え、出力を検証しながら成果物の品質を高められるかを評価するカテゴリです。

単にAIを使っているかどうかではなく、AIを開発プロセスの中でどのように活用し、最終的な品質に責任を持てているかを見ます。

評価項目(AIスコア)の構造

AI協働力
├─ 環境構築
├─ 意図の仕様化
├─ 共同推論
├─ 実行の統制
└─ 出力の品質保証

課題解決能力
├─ 要件分析
├─ 問題分解
├─ 仮説検証
├─ 意思決定
└─ 論理的思考

コミュニケーション能力
├─ 意図理解
├─ 明確な記述
└─ 確認・要約

評価項目一覧

AI協働力

分類 内容
環境構築 ツールやコンテキストを整備し、ガードレールを設定して、AIが適切に作業できる環境を準備する力
意図の仕様化 問題を適切にフレーミングし、制約や完了条件を明示してAIに目的を正確に伝える力
共同推論 AIから代替案を引き出し、その提案を評価・採択しながら方針を練り上げる力
実行の統制 委譲の度合いを調整し、実行中の軌道修正や修正の収束を導く力
出力の品質保証 検証を設計し、AIの出力を批判的に評価して品質を高める力

課題解決能力

分類 内容
要件分析 必要な情報を洗い出し、取り組むスコープを定義する力
問題分解 課題を構造化し、優先順位をつけて扱える単位に分解する力
仮説検証 仮説を立案し、それを検証しながら前に進める力
意思決定 トレードオフを分析し、現実的な解を選択する力
論理的思考 論理的な一貫性を保ち、反例や例外を考慮する力

コミュニケーション能力

分類 内容
意図理解 相手の意図を正しく汲み取る力
明確な記述 要件や判断を誤解なく明確に記述する力
確認・要約 認識のズレを確認し、要点を的確に要約する力

評価の考え方

AI協働力では、AIを使った結果だけでなく、AIとの協働プロセスも評価対象になります。

高く評価されるのは、次のような状態です。

  • AIが作業しやすいように、事前の環境やルールが整えられている
  • タスクの目的、制約、期待する成果物が明確に伝えられている
  • 必要なファイルや仕様などのコンテキストが適切に提供されている
  • 問題が発生したときに、原因を見ながら効率よく改善できている
  • AIの出力を鵜呑みにせず、人間が責任を持って確認している

一方で、AIに作業を丸投げしている、指示が曖昧、必要な情報を渡していない、生成物をほぼ確認せず採用している、といった状態は低評価になりやすいです。

評価の根拠と未評価

評価の根拠にするのは、候補者本人が書いたプロンプトや発言と、エディタ上での候補者自身の操作です。AIの応答や操作、課題文、ペルソナの回答は、候補者がどう行動したかを理解するための文脈として参照し、評価の根拠にはしません。

評価項目ごとに、評価できる場面があったかを判断し、場面があった項目だけに点数を付けます。

表示 意味
0点 評価できる場面はあったが、最も低い段階の基準にも届かなかった
未評価(-) 評価できる場面がなかった、または根拠を確認できなかった

未評価の項目はスコアの計算から除きます。すべての項目が未評価の分類は、スコアを「-」と表示します。

評価範囲と評価バージョン

  • 評価範囲:評価項目のうち、いくつの項目に基づいてスコアを算出したかを示します。範囲が広いほど、多くの項目に基づいたスコアです。
  • 評価バージョン:評価に使った方式のバージョンです。評価方式を改善するとバージョンが上がるため、バージョンが異なるレポートどうしはスコアの傾向が異なる場合があります。

評価範囲は、評価バージョン v0.2.0 以降のレポートで表示されます。