コーディング形式のレポート

各主要指標の見方

コーディング形式の試験は候補者が提出した後、提出コードは自動で定量的に評価されます。

画像赤枠左に「スコア」、赤枠内上から「正解率」、「パフォーマンス」、「可読性」となっています。

スコア

• 「総合得点」を表します。
• 正解率に0.7、パフォーマンスに0.2、可読性0.1と重み付けした平均の結果です。

正解率

• 「コードの正しさ」を示す指標
• 事前に用意されている複数のテストケースのうち、提出コードがどのくらい期待通りに操作しているのかを割合で示します。
• テストケースは通常通りの入力から、問題内に示された制約を超えない程度の異常値の入力などを行い、候補者のコードが正しく動いてるかを確認します。
• 候補者の受験環境でもテストケースを実施して正しく回答できているか確認が可能です。ただし、採点時にのみ使われるテストケースが存在する場合があります。

パフォーマンス

• 「コードの実行速度」を示す指標
• 事前に用意されているサイズの大きい入力に対して候補者のコードの実行速度（水色の実線）と最適解のコードの実行速度（緑の破線）を比較しています。実行速度が最適解のコードの3σ以内に収まっているテストケースの割合を算出しています。σは最適解を同じ環境化で複数回実行した際の標準偏差です。
• 問題によっては愚直解・準最適解が提供されており、その際はそれぞれの解法との比較がグラフでできるようになっています。
• 正解率が0の場合は、パフォーマンスの値が0になります。これは正しくないコードをパフォーマンスよく解いたとしてもパフォーマンスとして加点するのは本質的ではないためです。

可読性

• 「コードの可読性」を表す指標
• 候補者が提出したコードに対し、循環的複雑度を計算し、複数ある模範解答の最小と最大 x 1.5した値と比較した結果を0~100%で表現しています。
• 候補者のコードがより複雑になると循環的複雑度が上がり、スコアとして低くなります。

相対評価

同じ問題を解いた候補者との相対位置の比較です。相対評価に関してはこちらのページをご覧ください。

解答詳細

候補者が提出にかかった時間、使ったヒントの数、予測された計算量などが詳細から確認できます。詳細に表示される項目は現在以下の通りです。

• 選択言語: 提出時に選択されていた言語
• 経過時間: 候補者が問題を開いていた時間
• 実行回数: 提出するまでにテストのためコードを実行した回数
• 使用したヒント: 提出までに使用したヒントの数
• 予測計算量: システム内で予測された計算量
• パフォーマンス: パフォーマンス算出時に算出された平均実行速度
• メモリ: パフォーマンス算出時に算出された平均メモリ使用量

行動検知

• 離脱回数: 問題を解いている最中に他のタブを開いたり、別のアプリケーションを操作することで、回答画面から離脱した回数です。
• ペースト回数: コードがエディタ内で何回ペーストされたかを表しています。
• ペースト検知: ペーストされた箇所が赤くハイライトされます。
• IPアドレス検知: 回答者のIPアドレスと、検知した回数を表示します。
• 類似コード: HireRooが検知したWeb上のコードに類似のものがあった場合、その件数と類似しているコードをハイライトで表示します。（対象はアルゴリズムとクラスの問題のみ）

提出コード

最終的な成果物を確認することが可能です。「説明文」は候補者が入力している場合にだけ表示されます。

• 提出コード
  • 候補者が「提出する」を押した際のコードです。
  • 複数回提出されている場合は、選択されている提出物のコードとなります。
• 説明文
  • 受験中に候補者が入力可能な自然文です。
  • 問題への取り組み内容や成果物に至るまでの過程を記入することが可能です。

プレイバック機能（スタンダードプラン以上）

提出コード表示箇所の右上の「プレイバック」ボタン（画像右上赤枠）を押下するとコーディングの経過を確認できる機能が表示されます。

• テスト作成時にWeb検索 / ChatGPTをONにすると候補者はHireRoo内でそれらを使用することができ、評価者は画面右側で使用履歴を確認できます。
• 下部のタイムバー左のボタンでは再生・停止、イベントごとのスキップができます。
• タイムバー右側の歯車マークでWeb検索 / ChatGPTの表示・非表示を選択できます。

• 右下の拡大ボタン を押下するとプレイバック詳細情報が表示されます。

プレイバック詳細情報（スタンダードプラン以上）

画面左側に各イベントの発生までの経過時間が表示され、各イベントをクリックするとエディタに該当箇所が表示されます。

エディタの上部「数値データ」ボタンを押下するとイベントの集計情報が表示されます。

表示情報

• 時間割合: 以下の各操作をした時間を表示します。
  • コーディング、Web検索、ChatGPT、ページ離脱時間
• 活動履歴: 経過時間ごとにどの操作を何回行ったかを表示します。
• コードの実行時間: コードの実行をいつ行ったかを表示しています。表示秒数（s）は直後の操作までの時間であり、プログラムの実行にかかった時間ではありません。
• 検索クエリ: Web検索をした場合の検索クエリを表示します。
• ページ離脱時間: ページを離脱した時間と離脱した時点の経過時間を表示します。
• ヒントの使用頻度: ヒントを使用した場合使用した時点の経過時間が表示されます。