実践形式のレポート

各主要指標の見方

実践形式のテストは候補者が提出した後、システム内でテスト結果が自動で定量的に評価されます。左から「スコア」、「正解率」、「パフォーマンス」となっています。

スコア

• 「総合得点」を表します。

• 正解率に0.7、パフォーマンスに0.3と重み付けした平均の結果となっています。

• データサイエンスの問題は正解率のみで算出されます。

正解率

• 「コードの正しさ」を示す指標
• 実践形式の課題では、正解率は事前に用意されているテストシナリオ中、何個のシナリオで通常通り動作したかの割合をもとに算出されています。
  
  • フロントエンドの問題では、テストにはSeleniumを使用し、候補者の作成したコードをもとに自動で評価されます。

パフォーマンス

• 「アプリケーションの実行速度」を示す指標
• バックエンドの問題では作成されたAPIにリクエストした際のレスポンスまでのパフォーマンスを測定しています。
• フロントエンドの問題ではGoogle社が定めるlighthouseの指標を使い算出しています。
  • lighthouseの指標の中でも「Speed Index」をもとに算出されています。詳細はlighthouseの公式ページを参考にしてください。

解答詳細

詳細に表示される項目は以下の通りです。

• 経過時間: 開発を終えるまでにかかった時間
• レイテンシー: アプリケーションのローディングにかかった時間
• 実行回数: テストケースを実行した回数

提出コード

最終的な成果物を確認することが可能です。「説明文」は候補者が入力している場合にだけ表示されます。Git を利用する課題と Git を利用しない方法で見え方が変わります。

Git を利用する課題

• 提出コード
  • 候補者が「提出する」を押した際のコードです。
  • ヒストリーモードではファイルタブを選択することでGitのコミットの履歴とコミットごとに変更のあったファイルを確認することができます。
  • 変更のあったファイルをクリックすると差分がポップアップで表示されます。

•  説明文
  • 受験中に候補者が入力可能な自然文です。
  • 問題への取り組み内容や成果物に至るまでの過程を記入することが可能です。

• 開発環境にアクセスするとサーバーの起動が始まります。サーバーの起動には数分かかります。起動後にオンラインIDEに接続されるのでファイルシステムを通して提出されたコードの確認ができます。
• サーバーを起動してUIなどを確認したい場合はターミナルより起動コマンドを走り、画面中央上のIPアドレスをクリックしていただくことで新しいタブを開きます。
• サーバーの起動後、1-2時間ほどで停止されます。

Git を利用しない課題