JP7444905B2 - アセットデータ作成システム、およびプログラム - Google Patents

Description

本発明は、アセットデータ作成システム、およびアセットデータ作成プログラムに関する。

近年、日本を含む世界の主要自動車メーカーにおいて、自動運転システムの開発が行われている。この自動運転システムの実用化に向けて、道路環境や道路インフラ設備に関するデータ（いわゆるロード・アセットデータ）の整備が急務になっている。

特に、道路の標識については、自動運転や半自動運転において有意義かつ重要な情報になる。そのため、標識の設置位置や種別についてデータベース化を推し進める動きが活発化している。そこで、道路映像から標識を画像認識し、その認識結果を人手で修正して標識データベースを作成するシステムが提案されている。

そのようなシステムとして、特許文献１には、「（請求項７）地図上に道路画像の撮影位置を撮影カメラ軌跡の上に記号や文字で表示して、その位置を指示装置で選択すると、その位置から隣接する複数の撮影位置における道路画像を副画面に表示する」および「（段落００３８）地図上に表示された標識アイコンを指定してそれに対応する標識候補をたどる」が開示される。

特開２００８－２８７３７９号公報

特許文献１に開示される技術では、標識の認識結果に基づいて標識データベースを対話的に修正・確定するため、人手工数と時間を削減することが可能になる。
しかしながら、人手で確認すべき標識の数は膨大になるため、対話的なインタフェースについては更なる改善が強く要望される。

そこで、本発明は、標識データベースを対話的に修正または確定するに際して、作業効率を向上させるための技術を提供することを目的とする。

上記課題を解決するために、本発明の代表的なアセットデータ作成システムの一つは、標識認識部、標識位置検出部、データ保存部、映像表示部、地図表示部、および制御部を備える。

前記標識認識部は、撮影機能付きの移動体によって撮影された映像データと、前記移動体の位置情報とを取得し、前記映像データから標識を画像認識して標識種別を出力する。

前記標識位置検出部は、前記標識が画像認識された前記映像データと、前記標識の撮影時点における前記移動体の前記位置情報とに基づいて、前記標識の設置位置を算出する。
前記データ保存部は、前記標識の前記設置位置および前記標識種別を標識データベースとして保存する。
前記映像表示部は、前記映像データを表示する映像表示域を生成する。
前記地図表示部は、前記標識の前記設置位置を地図表示する地図表示域を生成する。

前記制御部は、前記地図表示域および前記映像表示域を出力して操作入力を受け付け、前記操作入力に応じて前記データ保存部の前記標識データベースを修正する。さらに、前記制御部は、前記地図表示域において前記標識の前記設置位置を選択指定する前記操作入力を受け付けると、指定された前記設置位置が撮影された前記映像データを前記映像表示域に表示する。

本発明によって、標識データベースを対話的に修正または確定するに際して、作業効率を向上させるための技術が提供される。

上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

図１は、実施例１のアセットデータ作成システムの構成を示すブロック図である。 図２は、映像データの自動化処理を説明する流れ図である。 図３は、データ保存部がデータ管理するデータ構造（ツリービュー構造）を示す図である。 図４は、操作画面の表示ルーチンを説明する流れ図である。 図５は、操作画面の一例を示す説明図である。 図６は、操作入力の処理ルーチンを説明する流れ図（１／２）である。 図７は、操作入力の処理ルーチンを説明する流れ図（２／２）である。 図８は、地図表示域と映像表示域との連携動作を説明する図である。 図９は、検知区間の（連続）スキップ再生を説明する図である。 図１０は、移動経路の修正と標識アイコンの一括修正を説明する図である。 図１１は、その他の操作機能を例示する図である。 図１２は、その他の操作機能を例示する図である。

以下、図面を参照しながら、発明の実施例について説明する。

＜アセットデータ作成システムの構成＞
図１は、実施例１のアセットデータ作成システム１００の構成を示すブロック図である。

同図において、アセットデータ作成システム１００は、標識認識部１１０、標識位置検出部１２０、データ保存部１３０、地図表示部１４０、映像表示部１５０、制御部１６０、および代表画像抽出部１７０を備える。

標識認識部１１０は、撮像装置２１０およびＧＰＳ端末２２０を備える移動体２００（車両など）から、移動体２００の周辺映像である映像データと、移動体２００の位置情報（緯度経度や車体の向き）とをデータ収集する。このようなデータ収集は、通信ネットワークを介してリアルタイムに行ってもよいし、記録装置２３０を間に介してバッチ処理として行ってもよい。なお、移動体２００の位置情報は標識位置検出部１２０が収集してもよい。
標識認識部１１０は、取得された映像データについて、画像認識により映像フレームに写った標識を検出する。なお、ＧＰＳ端末２２０以外の位置検出手段を使用してもよい。また、移動体２００の各種センサーや運転制御装置や自立運転システムや外部の交通監視センターや人工衛星やドローンなどから移動体２００の位置情報（緯度経度や車体の向き）を情報取得してもよい。さらに、車体の向きについては、地磁気などの方位センサーの他に、移動体２００から見える太陽などの天体の位置により求めてもよい。

標識位置検出部１２０は、標識が画像認識された映像データと、標識の撮影時点における移動体２００の位置情報とに基づいて、標識の設置位置を算出する。この算出方法については後述する。

データ保存部１３０は、画像認識される標識について、設置位置および標識種別などを含む標識データベースをシステム内蔵の記憶媒体１３０Ａに保存する。この標識データベース内の個々の標識ごとには、作業者の修正または確認を経たか／否かをセット／リセットの状態で示す「確定済みフラグ」の領域が設けられる。
地図表示部１４０は、標識の設置位置を地図表示する地図表示域を生成する。
映像表示部１５０は、映像データを表示する映像表示域を生成する。

制御部１６０は、地図表示域および映像表示域を備えた操作画面を、ネットワークＮＷを介してクライアント端末３００に出力し、クライアント端末３００から操作入力を受け付ける。
代表画像抽出部１７０は、映像データから「標識が写った代表画像」を抽出する。

このようなアセットデータ作成システム１００は、ハードウェアとしてＣＰＵ（Centra
l Processing Unit）やメモリなどを備えたコンピュータシステムとして構成される。このハードウェアがコンピュータ可読媒体に記憶されたアセットデータ作成プログラムを実行することにより、システムとしての各種機能が実現する。このハードウェアの一部または全部については、専用の装置、機械学習マシン、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、ＰＬＤ（programmable logic device）などで代替してもよい。また、ハードウェアやプログラムの一部または全部をネットワーク上のサーバに集中または分散してクラウドシステムを構成することにより、各種機能をクラウドサービスとして提供してもよい。

＜映像データの自動化処理について＞
次に、収集された映像データに対してアセットデータ作成システム１００が自動的に行う処理について説明する。

図２は、映像データの自動化処理を説明する流れ図である。ここでの自動化処理は、移動体２００による映像データの取得時点において遅滞なく（例えばパイプライン式に）実施してもよい。また、映像データの取得後にバッチ処理としてまとめて実施してもよい。
以下、同図に示すステップ番号に沿って説明する。

ステップＳ１０１： 標識認識部１１０は、移動体２００において収集される（映像データ，位置情報）を取得する。これらのデータはデータ保存部１３０に一旦保存される。

ステップＳ１０２： 標識認識部１１０は、映像データについて画像内の標識（本標識・補助標識を含む）を画像認識し、標識種別として出力する。

例えば、標識認識部１１０は、この画像認識に、畳み込みニューラルネットワークを使用する。この畳み込みニューラルネットワークの一例は、映像データの映像フレーム（画素数変換や歪み補正や階調補正などの事前処理済みの映像フレームなど）から所定の縦横サイズの走査範囲が逐次切り出されて入力される入力層と、畳み込み層やプーリング層や結合層などを多層に含む中間層と、「標識種別ごとの尤度」を出力する出力層とを備える。この畳み込みニューラルネットワークについては、学習用の標識画像と、標識種別の正解を示す教師値からなる学習データセットを用いて事前に機械学習（誤差逆伝播法など）が繰り返し実施済みである。

また、標識認識部１１０は、文字や記号を含む補助標識については、ＯＣＲやニューラルネットワークなどの文字や記号の認識処理を併用して、文字や記号の解読を実施する。

ステップＳ１０３： 標識位置検出部１２０は、次の算出過程によって標識の設置位置（緯度経度）を具体的に算出する。

（１）標識位置検出部１２０は、移動体２００を原点Ｏとして標識までの撮影距離Ｄを求める。この撮影距離Ｄは、映像データに写った標識の画像上のサイズと、標識の既知の実サイズと、撮像装置２１０の撮影画角とに基づいて算出される。また、移動体２００に搭載される撮像装置２１０が被写界の奥行きデータを出力可能な場合は、奥行きデータから標識までの撮影距離Ｄを求めてもよい。

（２）標識位置検出部１２０は、認識された標識の画像上の位置と、移動体２００の車体の向き（方位）によって求まる撮影方位の情報とに基づいて、移動体２００を原点Ｏとして標識に向かう方位を空間角αとして求める。

（３）標識位置検出部１２０は、標識撮影時の移動体２００の位置座標（緯度経度）を、移動体２００を原点Ｏとした標識の極座標（撮影距離Ｄ，空間角α）だけオフセットする座標計算を行うことによって、標識の設置位置（緯度経度）を算出する。

（４）標識位置検出部１２０は、近傍する映像フレームの間において、標識種別が略同一および設置位置が略同一の標識が存在する場合、複数の標識の（設置位置，標識種別）を名寄せ処理して、一つの標識の（設置位置，標識種別）に統合する。統合に際しては、画像認識の尤度のより高い標識を優先して設置位置の加重加算などの統合を行う。

なお、車道の脇に設置される小型標識については、同一の設置支柱に異なる標識が並べて複数設置されることが多い。そこで、これ以降の処理では、同一の設置支柱と認められる程度の小型標識の設置位置の誤差については同一の設置位置として扱う。

また、複数車線からなる車道の上方に設置される大型の標識については、同一の設置バーに複数の大型標識が左右に並べて配置されることが多い。そこで、これ以降の処理では、同一の設置バーと認められる程度の大型標識の設置位置の誤差については同一の設置位置として扱う。

ステップＳ１０４： 図３は、データ保存部１３０がデータ管理するデータ構造（ツリービュー構造）を示す図である。
同図に示すように、データ保存部１３０は、同一の設置位置に存在する本標識および補助標識（群）を探索し、階層グループ化する。

また、データ保存部１３０は、同一の設置位置で本標識に上下を挟まれた補助標識（群）を探索し、探索された補助標識（群）を、上側の本標識と階層グループ化する。

ステップＳ１０５： 代表画像抽出部１７０は、「標識が画像認識された映像フレーム」を映像データから抽出して、当該標識の代表画像とする。

このとき、代表画像の候補が複数存在する場合、代表画像抽出部１７０は、標識の画像認識（ステップＳ１０２参照）において高い尤度を示した映像フレームを選別し、当該標識の代表画像とする。

ステップＳ１０６： データ保存部１３０は、標識の（設置位置，標識種別，代表画像）を図３に示すデータ構造の形態で、標識データベースとして保存する。これら標識の確定済みフラグについては、作業者による修正または確認を経ていないため、リセット状態に初期設定される。

以上の処理により、アセットデータ作成システム１００は、映像データの自動化処理を完了する。

＜操作画面の表示ルーチンについて＞
続いて、アセットデータ作成システム１００がクライアント端末３００に出力する操作画面について説明する。

図４は、操作画面の表示ルーチンを説明する流れ図である。表示ルーチンは、クライアント端末３００の作業開始時や表示更新に際して、制御部１６０によって実行される。
図５は、操作画面の一例を示す説明図である。
以下、図４および図５を用いて説明する。

ステップＳ２０１： 制御部１６０は、標識データベースをデータ保存部１３０から読み出し、標識ごとに（設置位置，標識種別，代表画像）のデータを取得する。さらに、制御部１６０は、これらデータの生成元である（映像データ，位置情報）についてもデータ保存部１３０から取得する。

ステップＳ２０２： 映像表示部１５０は、映像データを再生表示するための映像表示域３２０を生成する。この映像表示域３２０では、画像認識済みの標識に対しては、「画像認識済み」を示す矩形枠が付与して表示される（図３，図８，図９参照）。

ステップＳ２０３： 映像表示部１５０は、映像表示域３２０の下部に、映像データの再生期間を示す時間軸表示３２１と、再生操作部３２２を作成する。

この時間軸表示３２１には、映像データの再生位置を示すためのスライダが付属する。映像表示部１５０は、映像表示域３２０に表示する映像データの再生位置に応じて、時間軸表示３２１上のスライダの位置を連動させる。また、スライダの移動操作を受け付けた場合、映像表示部１５０は、スライダの移動位置に応じて映像データの再生位置を変更する。

ステップＳ２０４： 映像表示部１５０は、次の区間を時間軸表示３２１に識別可能に色分け表示する。

（１）走行区間（緑色の色分け表示）…移動体２００の位置情報が移動している期間に撮影された映像区間に相当する。または映像データの背景が動いている映像区間に相当する。

（２）停止区間（灰色の色分け表示）…移動体２００の位置情報が停止している期間に撮影された映像区間に相当する。または映像データの背景が静止している映像区間に相当する。

（３）検知区間（赤色の色分け表示）…標識認識部１１０において標識が画像認識された映像区間に相当する。

（４）注意区間（黄色の色分け表示）…標識認識部１１０において標識らしきものが画像認識された映像区間に相当する。

これらの区間が同じ時間軸表示３２１上で重複する場合は、映像表示部１５０は検知区間、注意区間、走行区間、および停止区間の優先順位に従って色分け表示を行う。

ステップＳ２０５： 地図表示部１４０は、映像表示域３２０に再生中の映像データを撮影した移動体２００の位置情報を取得する。この移動体の位置情報の周辺地図のデータを地図データベース（不図示）などから取得し、地図表示域３１０に表示する。

続いて、地図表示部１４０は、標識データベースから読み出した標識の設置位置を地図表示域３１０の地図座標に変換し、変換後の地図座標の位置に標識アイコン３１３を重畳表示する。このとき、確定済みフラグがリセット状態の標識については、標識アイコン３１３に確定前を示す黄色ピンが使用される。また、確定済みフラグがセット状態の標識については、標識アイコン３１３に確定済みを示す緑色ピンが使用される。

ステップＳ２０６： 地図表示部１４０は、移動体２００の位置情報に基づいて移動経路３１２を軌道計算し、地図表示域３１０に重畳表示する。さらに、地図表示部１４０は、映像表示域３２０の映像再生と同期して移動体２００の位置が変化する移動体アイコン３１１を地図表示域３１０に重畳表示する。

ステップＳ２０７： 制御部１６０は、標識の標識種別などを修正編集するための入力域３３０や、映像データや代表画像の選択を行うためのサムネイル域３４０を生成する。

ステップＳ２０８： 制御部１６０は、上述した地図表示域３１０、映像表示域３２０、入力域３３０、およびサムネイル域３４０を含む操作画面（図５参照）を生成し、クライアント端末３００に出力する。クライアント端末３００は、モニタ画面に操作画面を表示する。

以上の動作により、操作画面の表示ルーチンが完了する。

＜操作入力の処理ルーチン＞
次に、操作画面に対する操作入力の処理ルーチンについて説明する。
図６および図７は、操作入力の処理ルーチンを説明する流れ図である。
以下、図６および図７に示すステップ番号に沿って説明する。

ステップＳ３０１： 制御部１６０は、操作画面（図５参照）をクライアント端末３００に出力し、クライアント端末３００からの操作入力の受け付けを開始する。

ステップＳ３０２： 制御部１６０は、受け付けた操作入力が、標識アイコン３１３（標識の設置位置）をクリック指定する操作入力か否かを判定する。
標識アイコン３１３がクリック指定されると、制御部１６０はステップＳ３０３に動作を進める。
それ以外の場合、制御部１６０はステップＳ３１１に動作を移行する。

ステップＳ３０３： 図８に示すように、地図表示部１４０は、クリック指定された標識アイコン３１３を赤色ピン（選択状態）に変更し、該当の標識が修正作業の対象であることを地図表示域に示す。

ステップＳ３０４： 制御部１６０は、指定された標識アイコン３１３の設置位置を取得すると、「この設置位置を撮影した映像データ」として、該当の標識の代表画像を映像表示域３２０に表示する。

ステップＳ３０５： 作業者は代表画像を観察することで、該当の標識が見やすく写っているか否かを判断する。標識が小さすぎるなど代表画像として不適切であれば、作業者は、映像表示域３２０の映像データを前後にコマ送りすることにより、適切な代表画像を手動で選択する。

制御部１６０は、このような代表画像の変更操作を受け付けると、ステップＳ３０６に動作を進める。それ以外の場合、制御部１６０はステップＳ３０７に動作を移行する。

ステップＳ３０６： 制御部１６０は、代表画像の変更操作に従って、該当の標識について代表画像を変更する。

ステップＳ３０７： 制御部１６０は、地図表示域３１０、映像表示域３２０、入力域３３０に対する操作入力に応じて、該当の標識について設置位置や標識種別を変更する

例えば、地図表示域３１０において標識アイコン３１３の移動操作を受け付けると、制御部１６０は、標識アイコン３１３の移動後の地図上の位置に基づいて、該当する標識の設置位置を変更する。
また例えば、入力域３３０に対する入力操作を受け付けると、制御部１６０は、入力域３３０の入力内容に基づいて、該当する標識の標識種別を変更する。

ステップＳ３１１： 制御部１６０は、映像表示域３２０における「連続スキップ再生」の操作入力（再生操作部３２２のスキップ釦のダブルクリックなど）を受け付けると、ステップＳ３１２に動作を進める。それ以外の場合、制御部１６０は、ステップＳ３１３に動作を移行する。

ステップＳ３１２： 映像表示部１５０は、標識が画像認識された検知区間のみを映像データから順番に抽出して連続スキップ再生を行う（図９参照）。

ステップＳ３１３： 制御部１６０は、映像表示域３２０における「スキップ再生」の操作入力（再生操作部３２２のスキップ釦のクリックなど）を受け付けると、ステップＳ３１４に動作を進める。それ以外の場合、制御部１６０はステップＳ３１５に動作を移行する。

ステップＳ３１４： 映像表示部１５０は、現在の再生位置から次の検知区間までスキップしてスキップ再生を実施する（図９参照）。

ステップＳ３１５： 制御部１６０は、地図表示域３１０において「移動経路上の一点に対する移動操作」を受け付けると、ステップＳ３１６に動作を進める。それ以外の場合、制御部１６０はステップＳ３１８に動作を移行する。

ステップＳ３１６： 制御部１６０は、移動経路上の一点に対する移動操作を受け付けると、図１０に示すように周囲の複数点に波及させて、移動経路の形状を滑らかに修正する。

ステップＳ３１７： 標識位置検出部１２０は、移動経路の修正によって変位する移動体２００の位置情報それぞれに応じて、図１０に示すように標識の設置位置を算出して一括的に修正する。ここでの算出方法は、ステップＳ１０３の算出方法と同じため、ここでの重複説明を省略する。

ステップＳ３１８： 作業者は、映像表示域３２０の上で「画像認識済み」を示す矩形枠が付与されない「未認識の標識」を発見した場合、「未認識の標識」に対して矩形枠を描画する。さらに、作業者は、入力域３３０に対して、「未認識の標識」に対して標識種別を入力する。

一方、標識位置検出部１２０は、矩形枠が描画された映像フレームと、その映像フレームの標識撮影時点の位置情報とに基づいて標識の設置位置を算出する。ここでの算出方法は、ステップＳ１０３の算出方法と同じため、重複説明を省略する。
地図表示部１４０は、地図表示域３１０の新しい標識の設置位置に対して、標識アイコン３１３を重畳表示する。

また、作業者は、映像表示域３２０の上で「画像認識済み」を示す矩形枠が付与されながら「標識と誤って認識された物体」を発見した場合、矩形枠を削除操作することができる。地図表示部１４０は、矩形枠の削除操作に連動して、該当する標識アイコン３１３を地図表示域３１０から削除する。データ保存部１３０は、矩形枠の削除操作に連動して、該当する標識のデータを標識データベースから削除する。

なお、矩形枠の削除操作の代わりに、作業者が、該当する標識アイコン３１３を地図表示域３１０から削除してもよい。この標識アイコン３１３の削除操作に連動して、、映像表示部１５０は、該当する矩形枠を映像表示域３２０から削除する。さらに、データ保存部１３０は、この標識アイコン３１３の削除操作に連動して、該当する標識のデータを標識データベースから削除する。

ステップＳ３１９： 地図表示部１４０は、作業者の修正または確認を経た標識アイコン３１３を緑色ピン（確定状態の色）に変更する。

ステップＳ３２０： データ保存部１３０は、ここまでにおいて作業者の修正または確認を経た標識については確定済みフラグを立てて標識データベースに保存する。この保存動作の後、制御部１６０はステップＳ３０１に動作を戻し、操作画面の操作ルーチンを繰り返す。

＜実施例の効果など＞
実施例１は、次のような顕著な効果を奏する。

（１）通常、作業者は、地図表示域３１０の標識アイコン３１３について標識種別が正しいか否かを判断する場合、映像データの再生を繰り返して該当の標識が撮影された映像データを探索しなければならない。このような映像データの再生探索の作業は時間がかかるため作業効率が低くなる。

しかしながら、実施例１では、地図表示域３１０において標識アイコン３１３（標識の設置位置）を選択指定する操作入力を受け付けると、指定された設置位置が撮影された映像データが映像表示域３２０に自動的に表示される。

そのため、作業者は、標識アイコン３１３の標識種別が正しいか否かを、自動的に表示される「設置位置が撮影された映像データ」によって即座に判断可能になる。したがって、作業者にとっては映像データの再生探索の作業を大幅に省くことが可能になり、作業効率を向上させることが可能になる。

（２）実施例１において、特許文献１と大きく異なるのは次の点である。

特許文献１の請求項７では、地図上で撮影位置（すなわち移動体の位置）を選択すると、その撮影位置から撮影された映像データを表示する。この場合、撮影方向は指定していないため、表示される映像データに「作業者が確認したい標識の方向」が写っている保証はない。

それに対して、実施例１は、地図上で標識の設置位置を選択し、その設置位置が撮影された映像データを表示する。そのため、表示される映像データに、作業者が確認したい設置位置の方向（すなわち標識がある方向）が必ず写っている。したがって、実施例１は、作業者が一層確実に標識を確認できる点で優れている。

なお、特許文献１には、「（段落００３８）地図上に表示された標識アイコンを指定してそれに対応する標識候補をたどる」までの記載はあるが、この動作に関連する映像データの選択表示については具体的な開示が特許文献１に見当たらない。

（３）実施例１では、映像データの再生期間を示す時間軸表示に対して、標識が画像認識された映像データの検知区間を識別可能に表示する。そのため、作業者は、映像データから標識を探索する場合、検知区間に絞って映像データを再生すればよい。この点においても実施例１の作業効率は高くなる。

（４）実施例１では、時間軸表示に表示される検知区間のみを映像データから自動的に抽出して再生する機能を有する。そのため、検知区間を人手で選択して再生する手間がさらになくなる。この点においても実施例１の作業効率は高くなる。

（５）実施例１では、映像データから「標識が画像認識された映像」を自動的に抽出し、標識の代表映像として保存する。そのため、標識の代表画像を人手で映像データから抽出する手間がない。この点においても実施例１の作業効率は高くなる。

（６）実施例では、「標識が画像認識された映像」の内で標識の画像認識の尤度が高い映像を選別して、代表映像にする。画像認識の尤度が高い映像は、標識が正面向きに写っているなど、標識が見やすく写った代表画像を得ることが可能になる。

（７）実施例１では、地図表示域において標識の設置位置に対する操作入力を受け付けると、標識の代表映像を映像表示域に出力し、代表映像の変更操作を受け付ける。したがって、人手で映像データを選択するにしても、自動選択された代表画像を出発点にして代表画像を変更すればよいため、作業効率が高くなる。

（８）実施例１では、移動経路の一点に対する移動操作を行うことで、移動経路の複数点に波及させて移動経路を修正する。この移動経路の複数点の移動に伴って、標識の設置位置を修正できる。したがって、移動経路の誤りに基づく、標識の設置位置の誤りを一括して修正することが可能になる。この点においても実施例１の作業効率は高くなる。

（９）実施例１では、地図表示域において、確定される前の標識アイコン３１３と、修正または確定された後の標識アイコン３１３とを識別可能に表示する。したがって、作業者は、確定前の標識アイコン３１３を容易に見分けることが可能になる。

（１０）実施例１では、本標識に上下を挟まれた補助標識を上側の本標識と階層グループ化する。そのため、同一の設置位置に複数の本標識が存在する場合に、補助標識をどちらの本標識に階層化すべきかを自動的に決定することが可能になる。

（１１）実施例１では、上述した（１）～（１０）の相乗的な効果により、標識データベースの修正作業にかかる人手工数や時間を顕著に削減することが可能になる。

＜補足事項について＞

なお、上述した実施例１は、標識の画像認識に畳み込みニューラルネットワークを使用した。しかしながら、本発明はこれに限定されない。例えば、このような学習モデルとしては、決定木学習、相関ルール学習、ニューラルネットワーク、遺伝的プログラミング、帰納論理プログラミング、サポートベクターマシン、クラスタリング、ベイジアンネットワーク、強化学習、表現学習、主成分分析、エクストリーム・ラーニング・マシン、およびその他の学習モデルを採用してもよい。

また、顔検出などの被写体認識技術を応用して標識の画像認識を行ってもよい。

さらに、実施例１では、ネットワークＮＷを介して複数のクライアント端末３００を設けるシステム構成について説明した。しかしながら、本発明はこれに限定されない。例えば、単体のコンピュータによってアセットデータ作成システム１００を構成してもよい。

なお、実施例１では、移動体２００とアセットデータ作成システム１００とを切り離して構成している。しかしながら、本発明はこれに限定されない。例えば、アセットデータ作成システム１００の一部または全部を移動体２００に搭載してもよい。

また、実施例１では、移動体２００を道路車両として道路標識を扱うケースについて説明した。しかしながら、本発明はこれに限定されない。例えば、移動体２００を鉄道車両として鉄道標識を扱うことも可能である。また例えば、移動体２００を歩行者や自転車として歩道標識や施設内標識などを扱うことも可能である。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、本発明は、実施例１で説明した操作機能のみに限定されず、その他の操作機能（例えば図１１，図１２参照）を適宜に追加してもよい。

１００…アセットデータ作成システム、１１０…標識認識部、１２０…標識位置検出部、１３０…データ保存部、１３０Ａ…記憶媒体、１４０…地図表示部、１５０…映像表示部、１６０…制御部、１７０…代表画像抽出部、２００…移動体、２１０…撮像装置、２２０…ＧＰＳ端末、３１０…地図表示域、３１２…移動経路、３１３…標識アイコン、３２０…映像表示域、３２１…時間軸表示、３２２…再生操作部、３３０…入力域、３４０…サムネイル域

Claims (9)

1. 移動体に設けられた撮像装置によって撮影された映像データから標識を画像認識して標識種別を出力する標識認識部と、
   前記標識が画像認識された前記映像データと、前記標識の撮影時点における前記移動体の位置情報とに基づいて、前記標識の設置位置を算出する標識位置検出部と、
   前記標識の前記設置位置および前記標識種別を標識データベースとして保存するデータ保存部と、
   前記映像データを表示する映像表示域を生成する映像表示部と、
   前記標識の前記設置位置を地図表示する地図表示域を生成する地図表示部と、
   前記地図表示域および前記映像表示域を出力して操作入力を受け付け、前記操作入力に応じて前記データ保存部の前記標識データベースを修正する制御部とを備え、
   前記制御部は、前記地図表示域において前記標識の前記設置位置を選択指定する前記操作入力を受け付けると、指定された前記設置位置における前記標識が撮影された前記映像データを前記映像表示域に表示し、
   前記映像表示部は、前記映像データの再生期間を示す時間軸表示を作成し、前記標識認識部によって前記標識が画像認識された前記映像データの区間（以下「検知区間」という）および前記標識認識部によって前記標識らしきものが画像認識された前記映像データの区間を前記時間軸表示に対して識別可能に色分け表示する
   ことを特徴とするアセットデータ作成システム。
2. 請求項１に記載のアセットデータ作成システムであって、
   前記映像表示部は、前記時間軸表示に表示される前記検知区間のみを前記映像データから自動的に抽出して再生する機能を有する
   ことを特徴とするアセットデータ作成システム。
3. 請求項１～２のいずれか一項に記載のアセットデータ作成システムであって、
   前記映像データから「前記標識が画像認識された映像」を抽出し、前記標識の代表映像として前記標識データベースに保存する代表画像抽出部を備えた
   ことを特徴とするアセットデータ作成システム。
4. 請求項３に記載のアセットデータ作成システムであって、
   前記代表画像抽出部は、「前記標識が画像認識された映像」の内で前記標識の画像認識の尤度が高い映像を選別して、前記代表映像にする
   ことを特徴とするアセットデータ作成システム。
5. 請求項３～４のいずれか一項に記載のアセットデータ作成システムであって、
   前記制御部は、前記地図表示域において前記標識の前記設置位置に対する前記操作入力を受け付けると、前記標識の前記代表映像を前記映像表示域に出力し、前記代表映像の変更操作を受け付ける
   ことを特徴とするアセットデータ作成システム。
6. 請求項１～５のいずれか一項に記載のアセットデータ作成システムであって、
   前記地図表示部は、前記移動体の移動経路を前記地図表示域に表示し、
   前記制御部は、前記地図表示域において前記移動経路の一点に対する移動操作を受け付けると、前記移動操作を前記移動経路の複数点に波及させて前記移動経路の形状を滑らかに修正し、
   前記標識位置検出部は、前記移動経路の修正に基づいて変位する前記移動体の前記位置情報それぞれに基づいて、前記標識の前記設置位置を修正する
   ことを特徴とするアセットデータ作成システム。
7. 請求項１～６のいずれか一項に記載のアセットデータ作成システムであって、
   前記地図表示部は、前記地図表示域において、確定前の前記標識の表示と、確定済みの前記標識の表示とを識別可能に表示する
   ことを特徴とするアセットデータ作成システム。
8. 請求項１～７のいずれか一項に記載のアセットデータ作成システムであって、
   前記標識認識部は、前記映像データから本標識と補助標識とを画像認識し、
   前記データ保存部は、同一の前記設置位置において前記本標識に上下を挟まれた前記補助標識を探索し、探索された前記補助標識を上側の前記本標識とグループ化して保存する
   ことを特徴とするアセットデータ作成システム。
9. コンピュータシステムを
   請求項１～８のいずれか一項に記載のアセットデータ作成システムとして機能させる
   ことを特徴とするアセットデータ作成プログラム。

Images