docomo MEC™ docomo MEC™ docomo MEC™
お問い合わせ ドキュメント ログインページ
検索
お問い合わせ ドキュメント ログインページ
  • Compute V
  • Compute O
  • Compute D
  • MECダイレクト
  • MECダイレクト(SA)
  • ドコモ画像認識PF
  • ネットワークセキュリティサービス
  • docomo MECポータルへのログイン方法
  • 用語集
  • 改訂履歴
Compute V
Compute O
Compute D
MECダイレクト
MECダイレクト(SA)
ドコモ画像認識PF
ネットワークセキュリティサービス
docomo MECポータルへのログイン方法
用語集
改訂履歴

›チュートリアル

  • ドコモ画像認識プラットフォームとは

  • はじめに
  • 一般物体認識

    • 画像収集
    • アノテーション
    • データセット
    • 学習
    • 評価
    • デプロイ
    • 推論
    • クリーンアップ

    物体検出

    • 画像収集
    • アノテーション
    • データセット
    • 学習
    • 評価
    • デプロイ
    • 推論
    • クリーンアップ

    類似画像検索

    • 画像収集
    • アノテーション
    • データセット
    • デプロイ
    • データの追加
    • 推論
    • クリーンアップ

    特定物体認識

    • 画像収集
    • アノテーション
    • データセット
    • 辞書作成
    • デプロイ
    • 推論
    • クリーンアップ

    姿勢推定

    • 概要
    • デプロイ
    • 推論
    • クリーンアップ

    文字認識

    • 概要
    • デプロイ
    • 推論
    • クリーンアップ

    複数API組み合わせ用コンテナ

    • 概要
    • デプロイ
    • 推論
    • クリーンアップ

    管理画面

    • 認証キー管理
    • アノテーション管理
    • 学習モデル管理
    • 辞書管理
    • API管理
    • ユーザー管理

    APIリファレンス

    • 一般物体認識
    • 物体検出
    • 類似画像検索
    • 特定物体認識
    • 姿勢推定
    • 文字認識
    • 複数API組み合わせ用コンテナ
    • エラーレスポンス

  • 使用上の注意

評価

概要

 学習が完了したモデルの評価を行い精度を測定します。評価には評価用データセットを使用します。学習と検証に使用したデータセットは評価に使用しても正しい精度をはかることができません。
サンプルデータを使用して学習した場合は検証に使用したデータセットを評価に使用します。ご自身で作成したデータセットの場合は必ず評価用のデータセットを使用するようにしてください。

評価

 
  1. ドコモ画像認識プラットフォームにログインします。
  2. 左ペインの  学習モデル評価  をクリックします。
  3. 学習モデル評価で、評価したいお客様ご自身で学習したモデルをプルダウンメニューから選択します。
  4. 評価用データセット検索で検索情報に必要な情報を入力して  検索  をクリックします。
    検索情報を入力しないで検索ボタンをクリックするとインポートされている全てのデータセットを列挙できます。
    使用したいデータセットの最左列にあるラジオボタンをクリックします。色が変わったデータセットを評価に使用します。
  5. お客様ご自身で学習したモデルと評価用データセットが選択できたら  評価開始  をクリックして評価をはじめます。

評価中

 評価を開始すると評価開始欄にステータスが現れ  起動開始  します。その後は適宜  更新  ボタンをクリックしステータスが  評価完了  に変化するまで待ちます。ステータスが評価完了に変化すると  評価結果ダウンロード  ボタンがクリックできるようになります。

評価結果ファイル

 評価結果ダウンロード  ボタンをクリックして評価結果のzipアーカイブをダウンロードします。解凍すると  output.csv  と  performance.json  の2ファイルが同梱されています。

output.csv

 評価に使用した画像ファイルに対してクラスごとのスコアがcsv形式で示されています。
  • フォーマットサンプル

output

画像に対してどの物体である可能性が高いかをAからKの各クラスごとに確率で表現しています。画像に一致するクラスの確率が高い場合、正しく分類できています。
各行はannotation.csvの各行に対応していて、annotation.csvに評価で使用した画像が示されています。
AからKの各列はclassnames.csvの各行と対応していて、classnames.csvに各クラスが示されています。

  • 評価用データセットのannotation.csv

annotation

  • 評価用データセットのclassnames.csv

classnames

performance.json

 評価した学習モデルの性能を示します。
  • accuracy
    予測が正しかった割合を示します。
    0から1の値で示され、1に近いほど精度が高い学習モデルになります。
  • loss
    お客様ご自身で学習したモデルを使用して推論した結果とあらかじめタグ付けしたものとの乖離を数値化したものです。
    0に近いほど精度が高い学習モデルになります。
← 学習 デプロイ →
  • 概要
  • 評価
    • 評価中
  • 評価結果ファイル
    • output.csv
    • performance.json
  • ※「docomo MEC」は株式会社NTT ドコモの商標です。
docomo
© NTT DOCOMO, INC. All Rights Reserved