評価

概要

 学習が完了したモデルの評価を行い精度を測定します。評価には評価用データセットを使用します。学習と検証に使用したデータセットは評価に使用しても正しい精度をはかることができません。
サンプルデータを使用して学習した場合は検証に使用したデータセットを評価に使用します。ご自身で作成したデータセットの場合は必ず評価用のデータセットを使用するようにしてください。

評価

 

1. ドコモ画像認識プラットフォームにログインします。
2. 左ペインの  学習モデル評価  をクリックします。
3. 学習モデル評価で、評価したいお客様ご自身で学習したモデルをプルダウンメニューから選択します。
4. 評価用データセット検索で検索情報に必要な情報を入力して  検索  をクリックします。
   検索情報を入力しないで検索ボタンをクリックするとインポートされている全てのデータセットを列挙できます。
   使用したいデータセットの最左列にあるラジオボタンをクリックします。色が変わったデータセットを評価に使用します。
5. お客様ご自身で学習したモデルと評価用データセットが選択できたら  評価開始  をクリックして評価をはじめます。

評価中

 評価を開始すると評価開始欄にステータスが現れ  起動開始  します。その後は適宜  更新  ボタンをクリックしステータスが  評価完了  に変化するまで待ちます。ステータスが評価完了に変化すると  評価結果ダウンロード  ボタンがクリックできるようになります。

評価結果ファイル

 評価結果ダウンロード  ボタンをクリックして評価結果のzipアーカイブをダウンロードします。解凍すると  output.csv  と  performance.json  の2ファイルが同梱されています。

output.csv

 評価に使用した画像ファイルに対してクラスごとのスコアがcsv形式で示されています。

• フォーマットサンプル

画像に対してどの物体である可能性が高いかをAからKの各クラスごとに確率で表現しています。画像に一致するクラスの確率が高い場合、正しく分類できています。
各行はannotation.csvの各行に対応していて、annotation.csvに評価で使用した画像が示されています。
AからKの各列はclassnames.csvの各行と対応していて、classnames.csvに各クラスが示されています。

• 評価用データセットのannotation.csv

• 評価用データセットのclassnames.csv

performance.json

 評価した学習モデルの性能を示します。

• accuracy
  予測が正しかった割合を示します。
  0から1の値で示され、1に近いほど精度が高い学習モデルになります。
• loss
  お客様ご自身で学習したモデルを使用して推論した結果とあらかじめタグ付けしたものとの乖離を数値化したものです。
  0に近いほど精度が高い学習モデルになります。