実践形式のレポート

各主要指標の見方

実践形式のテストは候補者が提出した後、システム内でテスト結果が自動で定量的に評価されます。左から「スコア」、「正解率」、「パフォーマンス」となっています。

スコア

  • 「総合得点」を表します。
  • 正解率に0.7、パフォーマンスに0.3と重み付けした平均の結果となっています。

  • データサイエンスの問題は正解率のみで算出されます。

正解率

  • 「コードの正しさ」を示す指標
  • 実践形式の課題では、正解率は事前に用意されているテストシナリオ中、何個のシナリオで通常通り動作したかの割合をもとに算出されています。
    • フロントエンドの問題では、テストにはSeleniumを使用し、候補者の作成したコードをもとに自動で評価されます。

パフォーマンス

  • 「アプリケーションの実行速度」を示す指標
  • バックエンドの問題では作成されたAPIにリクエストした際のレスポンスまでのパフォーマンスを測定しています。
  • フロントエンドの問題ではGoogle社が定めるlighthouseの指標を使い算出しています。
    • lighthouseの指標の中でも「Speed Index」をもとに算出されています。詳細はlighthouseの公式ページを参考にしてください。

解答詳細

詳細に表示される項目は以下の通りです。

  • 経過時間: 開発を終えるまでにかかった時間
  • レイテンシー: アプリケーションのローディングにかかった時間
  • 実行回数: テストケースを実行した回数

提出コード

最終的な成果物を確認することが可能です。「説明文」は候補者が入力している場合にだけ表示されます。Git を利用する課題と Git を利用しない方法で見え方が変わります。

Git を利用する課題

  • 提出コード
    • 候補者が「提出する」を押した際のコードです。
    • ヒストリーモードではファイルタブを選択することでGitのコミットの履歴とコミットごとに変更のあったファイルを確認することができます。
    • 変更のあったファイルをクリックすると差分がポップアップで表示されます。
  •  説明文
    • 受験中に候補者が入力可能な自然文です。
    • 問題への取り組み内容や成果物に至るまでの過程を記入することが可能です。

対応プラン: スタンダードプラン以上

プレイバックモードでは選択したファイルについてコミット単位で候補者のコーディングの過程を再生することができます

開発環境にアクセスして確認する

  • 「開発環境にアクセスする」ボタンを押すことで候補者の開発環境に入り、提出されたコードを確認できます。開発環境にそのままアクセスするため、提出されたコード以外にもどのライブラリがインストールされているかなども確認することができます。
  • 開発環境にアクセスするとサーバーの起動が始まります。サーバーの起動には数分かかります。起動後にオンラインIDEに接続されるのでファイルシステムを通して提出されたコードの確認ができます。
  • サーバーを起動してUIなどを確認したい場合はターミナルより起動コマンドを走り、画面中央上のIPアドレスをクリックしていただくことで新しいタブを開きます。
  • サーバーの起動後、1-2時間ほどで停止されます。

Git を利用しない課題

  • 提出コード
    • 候補者が「提出する」を押した際のコードです。
    • 変更のあったファイルが一覧で表示され、各ファイルの差分を確認できます。赤色で着色された部分が削除された箇所、緑色で着色された部分が追加されたコードを指し示します。
  •  説明文
    • 受験中に候補者が入力可能な自然文です。
    • 問題への取り組み内容や成果物に至るまでの過程を記入することが可能です。

【近日対応予定】プレイバック機能

対応プラン: スタンダードプラン以上

プレイバックモードが近日中に追加される予定です。プレイバックでは選択したファイルについてキーストロークベースで候補者のコーディングの過程を再生することができます。

詳しくは「プレイバック機能とは」をご確認ください。

開発環境にアクセスして確認する

  • 「開発環境にアクセスする」ボタンを押すことで候補者の開発環境に入り、提出されたコードを確認できます。
  • 開発環境にアクセスするとサーバーの起動が始まります。サーバーの起動には数分かかります。起動後にオンラインIDEに接続されるのでファイルシステムを通して提出されたコードの確認ができます。
  • 「実行」ボタンを押下するとテストケースを実行できます。
  • サーバーの起動後、1-2時間ほどで停止されます。