SEI(Software Engineering Index)とは
このページの目次
SEI(Software Engineering Index)は、エンジニアのスキルを、取り組みの中で観測された行動から測る指標です。採用や育成の担当者が、候補者や社員のスキルを同じ物差しで比べるために使います。このページでは、SEI が何をどう評価するかと、スコア・ランク・評価範囲の読み方を説明します。
SEI とは
SEI は、HireRoo が標準で用意しているスキル指標の名前です。正式名称は Software Engineering Index です。自社で作成したスキル指標は、この SEI をもとに作ります。新レポートのスコアは、自社で作成して公開したスキル指標があればそれにもとづき、なければ SEI にもとづきます。
SEI が評価するのは、取り組みの過程です。たとえば、課題をどう捉えたか、AI に何を任せたか、AI の出力をどう確かめたかを見ます。成果物の評価(要件充足率)は、SEI とは別に確認できます。
Skill Interview(採用時のスキル評価)と Skill Assessment(社内エンジニアの AI 活用の評価)では、同じ SEI を使います。採用時に見たスキルと入社後に見るスキルが、同じ物差しでつながります。
このページで使う言葉
SEI は、スキルと評価項目のツリーでできています。このページでは、次のように呼び分けます。
| 言葉 | 意味 |
|---|---|
| スキル指標 | 評価に使うスキルと評価項目の体系全体です。HireRoo標準と、自社で作成したスキル指標(自社)があります |
| スキル | 配下のスキルや評価項目の結果をまとめたものです。最上位に5つのスキルがあり、その下に細かいスキルが続きます |
| 評価項目 | 実際に評価する行動です。それぞれに5段階の評価基準があります |
AI協働力の「評価軸」は、AI協働力の配下のスキルを指します。
SEI が評価する5つのスキル
SEI は、次の5つのスキルで評価します。
| スキル | 何を見るか | 配下の主なスキル |
|---|---|---|
| AI協働力 | AI に任せる範囲を決め、提案を吟味し、検証と改善まで主導できるか | 環境構築、意図の仕様化、共同推論、実行の統制、出力の品質保証 |
| 課題解決能力 | 問題をどう捉え、どう解くか | 要件分析、問題分解、仮説検証、論理的思考、意思決定 |
| コミュニケーション能力 | 対話で正しく伝え、正しく理解できるか | 意図理解、明確な記述、確認・要約 |
| 計算機科学基礎 | データ構造やアルゴリズムが有効な場面に気づいて選び、要点を押さえているか | プログラミング基礎、データ構造、アルゴリズム |
| システム設計力 | 要件にとって重要な設計判断をし、その理由と代償を示せるか | アーキテクチャ、API設計、データ設計、スケーラビリティ、信頼性、セキュリティ |
AI協働力
AI協働力は、AI を使って課題を終えられたかではなく、候補者自身が判断と品質に責任を持って AI を使えているかを見ます。次の5つの評価軸と、その下の13の評価項目で構成されています。
| 評価軸 | 評価する行動 |
|---|---|
| 環境構築 | AIが適切に作業できるよう、ツールやコンテキストを整え、安全に進めるためのルールを設定する |
| 意図の仕様化 | 問題を自分の言葉で捉え、制約や完了条件を具体的に伝える |
| 共同推論 | AIから代替案を引き出し、根拠やトレードオフを踏まえて採否を判断する |
| 実行の統制 | AIに任せる範囲を調整し、実行中の軌道修正や失敗からの収束を導く |
| 出力の品質保証 | 検証方法を設計し、AIの出力を批判的に確認して、品質をさらに高める |
各評価軸の詳しい定義は AI協働力|SEI で確認できます。
課題解決能力とコミュニケーション能力
課題解決能力は、問題の捉え方と解き方を見ます。不明点を自分で特定して質問しているか。問題を分けて、順序立てて扱えているか。トレードオフを踏まえて、現実的な方針を選べているか。こうした行動を評価します。
コミュニケーション能力は、対話での伝え方と理解の仕方を見ます。相手の意図を正しく汲めているか。要点を明確に書けているか。前提や認識のずれを確認できているか。こうした行動を評価します。
どちらも、試験の中のペルソナ(課題の依頼者などの役を担う相手)との会話から評価します。
計算機科学基礎とシステム設計力
AI がコードを書く受験では、コードが正しく動くことだけでは差が出ません。そこで、この2つのスキルは、実装の正しさではなく、理解と判断を見ます。
- 計算機科学基礎:データ構造やアルゴリズムが有効な場面に気づいて選べているかを見ます。境界、計算量、空の入力といった要点を押さえているかも見ます。
- システム設計力:要件にとって重要な設計判断をしているかを見ます。判断の理由と、主な代償を示せているかも見ます。
評価には、次の決まりがあります。
- その方法が有効な場面かどうかで、評価の対象を決めます。有効な場面で総当たりのままなら、低く評価されます。
- 同じくらい適した別の方法をとった場合は、減点しません。
- システム設計力は、その観点がお題の要件で必要なときだけ評価します。細部まで網羅することは求めません。
SEI の評価のしかた
観測された行動にもとづいて評価します
SEI は、受験の中で実際に観測された行動を根拠に評価します。AI エージェントを使う受験では、次のように扱います。
| 根拠にするもの | 参考にとどめるもの |
|---|---|
| 候補者本人の発言と操作(AI への指示、AI の出力の確認、ペルソナへの説明など) | AI が書いたコード、テストの結果 |
AI が書いたコードを根拠にすると、AI の出来を候補者の力として数えてしまいます。そのため、本人の判断が表れる発言と操作だけを根拠にしています。
評価項目ごとに5段階の基準があります
評価項目には、L0〜L4 の5段階の評価基準があります。評価項目ごとに、候補者がどのレベルまで到達したかを判定します。
試験単位でまとめて評価します
SEI は、問題ごとではなく試験単位で評価します。複数の問題がある試験では、AI協働形式の問題すべての結果をまとめて、1つのスコア・ランク・評価範囲にします。
問題ごとに分けて評価すると、その問題では評価できないスキルの扱いが問題ごとにばらつきます。試験全体をまとめることで、問題をまたいだ1つの評価になります。
スコア・ランク・評価範囲の読み方
スコア
スコアは0〜100点です。評価項目で到達したレベルを、スキルの階層ごとに重みに応じてまとめたものです。評価基準にどこまで到達したかを表します。
総合のスコアだけでなく、5つのスキルや配下のスキルにもスコアがあります。
ランク
ランクは、他の受験者と比べたときの位置です。
| ランク | 基準 |
|---|---|
| S | 上位5% |
| A | 上位25% |
| B | 上位50% |
| C | 上位75% |
| D | それ以下 |
- ランクと上位何%は、レポートの作成時点で決まります。後から変わることはありません。
- 比べた受験者が30人に満たないときは、ランクと上位何%は表示されません。少ない人数では、1人の違いでランクが大きく動くためです。
スコアは基準への到達度で、ランクは他の受験者との比較です。作成した時期の受験者の分布によって、同じスコアでもランクが異なることがあります。
評価範囲
評価範囲は、スキル指標の評価項目のうち、いくつを評価できたかを示します。たとえば、評価項目が全部で100ある指標のうち40を評価できた場合、評価範囲は「40 / 100」です。評価範囲が100%になることはほとんどありません。
評価できなかった項目は、スコアの計算に含まれません。0点として数えることもありません。
スコアと評価範囲は分けて読みます
スコアは「評価できた範囲で、どこまで基準に到達したか」を表します。評価範囲は「そのスコアが、どれだけの範囲にもとづいているか」を表します。
評価範囲が狭いときは、評価できた範囲だけの結果として読んでください。たとえば、計算機科学基礎のスコアは、その試験で問われたデータ構造やアルゴリズムの範囲での判断力です。評価範囲が狭い高スコアは、全てのスキルが高いことを示すわけではありません。
問題によって評価されるスキルが変わります
評価に必要な前提がないスキルは、評価しません。たとえば、ペルソナとの会話がない問題では、会話から見る課題解決能力やコミュニケーション能力を評価できません。
| 条件 | 評価しないスキル |
|---|---|
| アルゴリズムの問題 | システム設計力 |
| システムデザインの問題 | 計算機科学基礎 |
| ペルソナとの会話がない問題 | 課題解決能力、コミュニケーション能力 |
上の条件にあたらないスキルも、評価する機会がなければ評価されません。たとえば、候補者が AI に何も指示せず任せきりにした場合、計算機科学基礎は評価されません。
評価の前提がないスキルは計算に含まれないため、そのスキルを測れない問題を加えたことで SEI が下がることはありません。
評価の根拠をたどる
スコアの理由を知りたいときは、スキルの階層を上から順に掘り下げます。
- 総合のスコアと評価範囲で、全体の水準と、どれだけの範囲にもとづくかをつかみます。
- 5つのスキルと配下のスキルで、強いところと弱いところを見つけます。
- 評価項目で、どのレベルまで到達したかを確かめます。
- 問題ごとの判定で、どの場面のどの行動が根拠になったかを確かめます。判定の理由と、観測された事実を確認できます。評価の機会がなかった評価項目は「未観測」と表示されます。
根拠となった行動は、面接での深掘りにも使えます。たとえば、評価が低かった評価項目について、その場面でなぜその判断をしたかを候補者に聞けます。
自社のスキル指標との関係
自社で作成して公開したスキル指標がある場合は、自社のスキル指標のスコアが優先して表示されます。ない場合は、HireRoo標準のスキル指標のスコア(SEI)が表示されます。
自社のスキル指標がある場合も、HireRoo標準での評価はあわせて行われます。スキルの階層は、自社と HireRoo標準を切り替えて比べられます。HireRoo標準のスコアは自社のスキル指標の内容に左右されないため、他社と共通の物差しとして使えます。
公開していない下書きのスキル指標は、評価に使われません。評価には、評価する時点で公開されているスキル指標を使います。公開より前に評価された受験には、自社のスコアは付きません。
