評価

概要

 学習が完了したモデルの評価を行い精度を測定します。評価には評価用データセットを使用します。学習と検証に使用したデータセットは評価に使用しても正しい精度をはかることができません。
サンプルデータを使用して学習した場合は検証に使用したデータセットを評価に使用します。ご自身で作成したデータセットの場合は必ず評価用のデータセットを使用するようにしてください。

評価

 

1. ドコモ画像認識プラットフォームにログインします。
2. 左ペインの  学習モデル評価  をクリックします。
3. 学習モデル評価で評価したい、お客様ご自身で学習したモデルをプルダウンメニューから選択します。
4. 評価用データセット検索で検索情報に必要な情報を入力して  検索  をクリックします。
   検索情報を入力しないで検索ボタンをクリックするとインポートされている全てのデータセットを列挙できます。
   使用したいデータセットの最左列にあるラジオボタンをクリックします。色が変わったデータセットを評価に使用します。
5. お客様ご自身で学習したモデルと評価用データセットが選択できたら  評価開始  をクリックして評価をはじめます。

評価中

 評価を開始すると評価開始欄にステータスが現れ  起動開始  します。その後は適宜 更新 ボタンをクリックしステータスが  評価完了  に変化するまで待ちます。ステータスが評価完了に変化すると  評価結果ダウンロード  ボタンがクリックできるようになります。

評価結果ファイル

 評価結果ダウンロード  ボタンをクリックして評価結果のzipアーカイブをダウンロードします。解凍すると  output.csv  と  performance.json  の2ファイルが同梱されています。

output.csv

 評価に使用した画像ファイルの内、実際に推定された物体を含む画像がcsv形式のリストで示されています。

• フォーマットサンプル

  

  列	説明
  A	検証に使用した検証用データセットの画像ファイル
  B	correspondence_table.csvで指定したクラスID
  C	検出された物体に指定されたクラスIDの確信度を示すスコア
  D	検出された物体の画像中の位置を示す矩形の左上の点のx座標
  E	検出された物体の画像中の位置を示す矩形の左上の点のy座標
  F	検出された物体の画像中の位置を示す矩形の右下の点のx座標
  G	検出された物体の画像中の位置を示す矩形の右下の点のy座標

performance.json

 評価した学習モデルの性能を示します。

• precision
  推定された物体が実際にその物体である割合を示します。

• recall
  人が判定した物体を学習モデルが余さず推定できた割合を示します。