docomo MEC™ docomo MEC™ docomo MEC™
お問い合わせ ドキュメント ログインページ
検索
お問い合わせ ドキュメント ログインページ
  • Compute V
  • Compute O
  • Compute D
  • MECダイレクト
  • MECダイレクト(SA)
  • ドコモ画像認識PF
  • ネットワークセキュリティサービス
  • docomo MECポータルへのログイン方法
  • 用語集
  • 改訂履歴
Compute V
Compute O
Compute D
MECダイレクト
MECダイレクト(SA)
ドコモ画像認識PF
ネットワークセキュリティサービス
docomo MECポータルへのログイン方法
用語集
改訂履歴

›チュートリアル

  • ドコモ画像認識プラットフォームとは

  • はじめに
  • 一般物体認識

    • 画像収集
    • アノテーション
    • データセット
    • 学習
    • 評価
    • デプロイ
    • 推論
    • クリーンアップ

    物体検出

    • 画像収集
    • アノテーション
    • データセット
    • 学習
    • 評価
    • デプロイ
    • 推論
    • クリーンアップ

    類似画像検索

    • 画像収集
    • アノテーション
    • データセット
    • デプロイ
    • データの追加
    • 推論
    • クリーンアップ

    特定物体認識

    • 画像収集
    • アノテーション
    • データセット
    • 辞書作成
    • デプロイ
    • 推論
    • クリーンアップ

    姿勢推定

    • 概要
    • デプロイ
    • 推論
    • クリーンアップ

    文字認識

    • 概要
    • デプロイ
    • 推論
    • クリーンアップ

    複数API組み合わせ用コンテナ

    • 概要
    • デプロイ
    • 推論
    • クリーンアップ

    管理画面

    • 認証キー管理
    • アノテーション管理
    • 学習モデル管理
    • 辞書管理
    • API管理
    • ユーザー管理

    APIリファレンス

    • 一般物体認識
    • 物体検出
    • 類似画像検索
    • 特定物体認識
    • 姿勢推定
    • 文字認識
    • 複数API組み合わせ用コンテナ
    • エラーレスポンス

  • 使用上の注意

評価

概要

 学習が完了したモデルの評価を行い精度を測定します。評価には評価用データセットを使用します。学習と検証に使用したデータセットは評価に使用しても正しい精度をはかることができません。
サンプルデータを使用して学習した場合は検証に使用したデータセットを評価に使用します。ご自身で作成したデータセットの場合は必ず評価用のデータセットを使用するようにしてください。

評価

 
  1. ドコモ画像認識プラットフォームにログインします。
  2. 左ペインの  学習モデル評価  をクリックします。
  3. 学習モデル評価で評価したい、お客様ご自身で学習したモデルをプルダウンメニューから選択します。
  4. 評価用データセット検索で検索情報に必要な情報を入力して  検索  をクリックします。
    検索情報を入力しないで検索ボタンをクリックするとインポートされている全てのデータセットを列挙できます。
    使用したいデータセットの最左列にあるラジオボタンをクリックします。色が変わったデータセットを評価に使用します。
  5. お客様ご自身で学習したモデルと評価用データセットが選択できたら  評価開始  をクリックして評価をはじめます。

評価中

 評価を開始すると評価開始欄にステータスが現れ  起動開始  します。その後は適宜 更新 ボタンをクリックしステータスが  評価完了  に変化するまで待ちます。ステータスが評価完了に変化すると  評価結果ダウンロード  ボタンがクリックできるようになります。

評価結果ファイル

 評価結果ダウンロード  ボタンをクリックして評価結果のzipアーカイブをダウンロードします。解凍すると  output.csv  と  performance.json  の2ファイルが同梱されています。

output.csv

 評価に使用した画像ファイルの内、実際に推定された物体を含む画像がcsv形式のリストで示されています。
  • フォーマットサンプル

    sample

    列 説明
    A 検証に使用した検証用データセットの画像ファイル
    B correspondence_table.csvで指定したクラスID
    C 検出された物体に指定されたクラスIDの確信度を示すスコア
    D 検出された物体の画像中の位置を示す矩形の左上の点のx座標
    E 検出された物体の画像中の位置を示す矩形の左上の点のy座標
    F 検出された物体の画像中の位置を示す矩形の右下の点のx座標
    G 検出された物体の画像中の位置を示す矩形の右下の点のy座標

performance.json

 評価した学習モデルの性能を示します。
  • precision
    推定された物体が実際にその物体である割合を示します。

  • recall
    人が判定した物体を学習モデルが余さず推定できた割合を示します。

← 学習 デプロイ →
  • 概要
  • 評価
    • 評価中
  • 評価結果ファイル
    • output.csv
    • performance.json
  • ※「docomo MEC」は株式会社NTT ドコモの商標です。
docomo
© NTT DOCOMO, INC. All Rights Reserved