JP7102800B2 - 評価プログラム、評価方法および評価装置 - Google Patents

Description

本発明は、評価プログラム等に関する。

ビデオカメラにより撮像された動画をＭＰＥＧ（Moving Picture Experts Group）等の圧縮率の高い圧縮方式で圧縮することが動画圧縮の主流となっている。また、近年では、車載カメラで撮像され、ＭＰＥＧで圧縮された動画を分析して、動画に含まれる道路や標識等の静的物体と、他の車やバイク、人などの動的物体とを認識する技術を、車両の自動運転に適用しようとする試みもなされている。

特開２０１２－１９８８５７号公報 特表２０１１－５１１２８１号公報

しかしながら、上述した従来技術では、静的物体や動的物体を区別し、それぞれの評価精度を向上することができないという問題がある。

たとえば、車載カメラに撮像された動画では、車両が移動するため、動的物体だけでなく、静的物体も移動することになる。従って、ＭＰＥＧによる圧縮では、物体単位に符号化しているわけではなく、静的物体と動的物体を区別して検出することが難しいため、その評価精度を向上することができない。

１つの側面では、本発明は、移動体において、静的物体や動的物体を区別し、それぞれの評価精度を向上することができる評価プログラム、評価方法および評価装置を提供することを目的とする。

第１の案では、コンピュータに次の処理を実行させる。コンピュータは、移動体に搭載された撮像装置により撮像された撮像画像と、該撮像画像の撮像位置と、を受け付ける。コンピュータは、受け付けた撮像画像に基づき、撮像画像に含まれる被写体の形状情報を生成する。コンピュータは、撮像画像に含まれる静的物体の形状情報を該撮像画像の撮像位置に対応付けて記憶する記憶部を参照して、受け付けた撮像位置に対応付けられた静的物体の形状情報を取得する。コンピュータは、生成した形状情報と、取得した形状情報とに基づき、受け付けた撮像画像に含まれる被写体のうち、動的物体を特定する。コンピュータは、特定した動的物体の、受け付けた撮像画像における位置に基づき、動的物体に評価を行う。

移動体において、静的物体や動的物体を区別し、それぞれの評価精度を向上することができる。

図１は、本実施例に係るシステムの一例を示す図である。 図２は、本実施例に係る評価装置の処理の一例を説明するための図である。 図３は、本実施例に係る評価装置の構成を示す機能ブロック図である。 図４は、本実施例に係るバッファのデータ構造の一例を示す図である。 図５は、本実施例に係る移動速度テーブルのデータ構造の一例を示す図である。 図６は、本実施例に係る静的物体データのデータ構造の一例を示す図である。 図７は、評価部に設定される各領域の一例を示す図である。 図８は、本実施例に係る評価装置の処理手順を示すフローチャートである。 図９は、評価装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

以下に、本願の開示する評価プログラム、評価方法および評価装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本実施例に係るシステムの一例を示す図である。図１に示すように、このシステムは、ステレオカメラ１００ａおよび評価装置１００が移動体５に搭載されている。本実施例では一例として、移動体５を、道路を走行している車両として説明するが、移動する物体であれば、車両に限定されるものではない。

評価装置１００は、ステレオカメラ１００ａに接続されている。また、たとえば、評価装置１００は、無線通信により、ネットワーク５０に接続し、ネットワーク５０を介して、サーバ６０に接続される。

サーバ６０は、図示しないカメラにより事前に撮像された撮像画像に含まれる静的物体（静止物）の形状と、形状の位置と、撮像画像の撮像位置とを対応付けた「静的物体データ」を保持するサーバである。たとえば、サーバ６０は、評価装置１００からダウンロード要求を受け付けた場合に、かかる静的物体データを、評価装置１００に送信する。

ステレオカメラ１００ａは、対象物を２つレンズで異なる位置から同時に画像を撮像するカメラ（双眼カメラ）である。ステレオカメラ１００ａは、双眼レンズによる視差を活用して、被写体との距離やその形状を抽出することができる。

評価装置１００は、サーバ６０から、静的物体データをダウンロードしておく。評価装置１００は、ステレオカメラ１００ａの撮像画像データから、ステレオマッチングの原理に基づいて、各被写体の形状を抽出し、抽出した各被写体の形状と、撮像画像データの撮像位置に対応する静的物体の形状とを比較する。評価装置１００は、静的物体の形状に一致する被写体を静的物体と判定し、静的物体の形状に一致しない被写体を動的物体（移動体）として特定する。評価装置１００は、動的物体として特定した被写体に対する評価を行う。

たとえば、評価装置１００は、移動体５の移動速度を基にして、移動体５が衝突する可能性に応じた複数の領域を設定する。評価装置１００は、衝突する可能性のない「安全領域」、衝突する可能性が低い「注意領域」、衝突する可能性が高い「危険領域」を設定する。評価装置１００は、動的物体として特定した被写体が、安全領域、注意領域、危険領域のうち、いずれの領域に含まれるかを評価し、評価結果を移動体５の運転手等に通知する処理を行う。

図２は、本実施例に係る評価装置の処理の一例を説明するための図である。図２に示す例では、評価装置１００は、ステレオカメラ１００ａが撮像した撮像画像データ１１から、被写体１１ａ，１１ｂを抽出した場合について説明する。評価装置１００は、サーバ６０からダウンロードした静的物体データから、撮像画像データ１１の撮像位置に対応する静的物体形状データ１０を取得する。静的物体形状データ１０には、静的物体１０ａの形状の情報が含まれているものとする。

評価装置１００は、静的物体形状データ１０の静的物体１０ａの形状の位置と、撮像画像データ１１の被写体１１ａ，１１ｂの形状の位置とを比較して、動的物体を特定する。図２に示す例では、評価装置１００は、静的物体１０ａの形状の位置と、被写体１１ａの形状の位置とが対応するため、被写体１１ａを、静的物体と判定する。評価装置１００は、被写体１１ｂの形状の位置に対応する静的物体が、静的物体形状データ１０に存在しないため、被写体１１ｂを動的物体と判定する。評価装置１００は、被写体１１ｂの形状の位置と、安全領域、注意領域、危険領域とを比較することで、動的物体となる被写体１１ｂの評価を行う。

本実施例に係る評価装置１００によれば、ステレオカメラ１００ａの撮像画像データから抽出した各被写体の形状と、この撮像画像データが撮像された位置に対応した既知の静的物体の形状との比較により、各被写体のうち、移動体を特定し、評価を行う。これにより、評価装置１００は、ステレオカメラ１００ａに撮像された撮像画像データから、移動体を適切に特定することができるため、移動体に関する評価精度を向上させることができる。

次に、本実施例に係る評価装置の構成の一例について説明する。図３は、本実施例に係る評価装置の構成を示す機能ブロック図である。図３に示すように、この評価装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

通信部１１０は、ステレオカメラ１００ａおよびサーバ６０との間でデータ通信を実行する処理部である。通信部１１０は、ステレオカメラ１００ａが撮像した撮像画像データを取得する。たとえば、ステレオカメラ１００ａが撮像した撮像画像データには、第１の方向から撮像した撮像画像データと、第１の方向とは異なる第２の方向から撮像した撮像画像データとの組が含まれているものとする。

通信部１１０は、無線通信によりネットワーク５０を介してサーバ６０に接続し、サーバ６０から、静的物体データを受信する。

また、通信部１１０は、移動体５に搭載された速度計測装置（図示略）に接続される。速度計測装置は、移動体５の速さおよび移動体５のハンドルの舵角等を基にして、移動体５の移動速度（移動ベクトル）を計測する装置である。通信部１１０は、移動速度の情報を、速度計測装置から取得する。

後述する制御部１５０は、通信部１１０を介して、ステレオカメラ１００ａ、サーバ６０、速度計測装置とデータをやり取りする。

入力部１２０は、各種の情報を評価装置１００に入力するための入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。たとえば、表示部１３０は、液晶ディスプレイ、タッチパネル等に対応する。

記憶部１４０は、バッファ１４０ａと、移動速度テーブル１４０ｂと、静的物体データ１４０ｃとを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

バッファ１４０ａは、ステレオカメラ１００ａに撮像された撮像画像データを保持するバッファである。図４は、本実施例に係るバッファのデータ構造の一例を示す図である。図４に示すように、このバッファ１４０ａは、時刻と、撮像位置と、撮像画像データとを対応付ける。時刻は、ステレオカメラ１００ａが、撮像画像データを撮像した時刻を示すものである。撮像位置は、ステレオカメラ１００ａにより、撮像画像データが撮像された位置（座標）を示すものである。撮像画像データは、ステレオカメラ１００ａが撮像した撮像画像データである。

移動速度テーブル１４０ｂは、各時刻における、移動体５の移動速度（移動ベクトル）の情報を保持するテーブルである。図５は、本実施例に係る移動速度テーブルのデータ構造の一例を示す図である。図５に示すように、移動速度テーブル１４０ｂは、時刻と、移動体５の移動速度とを対応付ける。

静的物体データ１４０ｃは、カメラ（図示略）により事前に撮像された撮像画像データに含まれる静的物体の形状の情報と、撮像画像データの撮像位置とを対応付けた情報である。図６は、本実施例に係る静的物体データのデータ構造の一例を示す図である。図６に示すように、この静的物体データ１４０ｃは、撮像位置と、静的物体の形状と、静的物体の位置とを対応付ける。撮像位置は、撮像画像データが撮像された位置（座標）を示すものである。静的物体の形状は、撮像画像データに含まれる各静的物体の形状を示す。静的物体の位置は、撮像画像データ上の各静的物体の位置を示す。

制御部１５０は、受付部１５０ａ、生成部１５０ｂ、取得部１５０ｃ、評価部１５０ｄを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

受付部１５０ａは、ステレオカメラ１００ａから、撮像画像データを受け付け、受け付けた撮像画像データと、時刻と、撮像位置とを対応付けて、バッファ１４０ａに登録する。たとえば、時刻は、撮像画像データに付与されているものとする。撮像位置の情報は、ステレオカメラ１００ａが、撮像画像データを撮像した際に撮像画像データに付与しても良い。または、受付部１５０ａが、撮像画像データを受け付けた際に、ＧＰＳ（Global Positioning System）機能を利用して、撮像画像データが撮像された位置を算出してもよい。

受付部１５０ａは、定期的に、サーバ６０に対して静的物体データのダウンロード要求を行う。受付部１５０ａは、サーバ６０から、静的物体データを受け付けた場合に、静的物体データ１４０ｃとして記憶部１４０に登録する。静的物体データをダウンロードするタイミングは、ユーザが入力部１２０を操作して、受付部１５０ａに指示しても良い。

受付部１５０ａは、速度計測装置から移動速度のデータを取得し、時刻と移動速度とを対応づけて、移動速度テーブル１４０ｂに登録する。

生成部１５０ｂは、バッファ１４０ａに格納された撮像画像データに基づいて、撮像画像データに含まれる複数の被写体の形状情報を生成する処理部である。ここでは一例として、撮像位置（ｘａ，ｙａ）の撮像画像データを基にして、形状情報を生成する処理について説明する。

生成部１５０ｂは、バッファ１４０ａに格納された撮像位置（ｘａ，ｙａ）の撮像画像データを取得し、撮像画像データから、被写体の形状を抽出する。たとえば、ステレオカメラ１００ａに撮像された撮像画像データには、第１の方向から撮像された撮像画像データと、第２の方向から撮像された撮像画像データとの組が対応づけられている。なお、撮像画像データは、ステレオカメラ１００ａの第１の方向から撮像された撮像画像データまたは、第２の方向から撮像された撮像画像データのうち、一方の撮像画像データであってもよい。

生成部１５０ｂは、ステレオマッチングの原理に基づいて、撮像画像データに含まれる被写体上の点と、ステレオカメラ１００ａとの距離を特定する。たとえば、生成部１５０ｂは、ステレオカメラ１００ａとの距離が所定距離未満となる点群の領域を、被写体の形状として抽出する。たとえば、図２で説明した例では、生成部１５０ｂは、撮像画像データ（撮像画像データ１１）から、被写体１１ａの形状および被写体１１ｂの形状を抽出する。上記の所定距離を、ステレオカメラ１００ａの焦点距離とする。

生成部１５０ｂは、時刻ｔと、撮像位置（ｘａ，ｙａ）と、抽出した被写体の形状と、被写体の形状の位置とを対応付けることで、被写体の形状情報を生成する。生成部１５０ｂは、形状情報を、取得部１５０ｃに出力する。以下の説明では、適宜、生成部１５０ｂが生成した形状情報を、「第１形状情報」と表記する。

取得部１５０ｃは、第１形状情報を取得した場合に、第１形状情報に含まれる撮像位置に対応する静的物体の形状および静的物体の位置を取得する処理部である。たとえば、取得部１５０ｃは、第１形状情報に含まれる撮像位置（ｘａ，ｙａ）に最も近い撮像位置のレコードを、静的物体データ１４０ｃの各レコードから特定し、特定したレコードに含まれる静的物体の形状および静的物体の位置を取得する。以下の説明では、適宜、取得部１５０ｃが、静的物体データ１４０ｃから取得した静的物体の形状および静的物体の位置を、「第２形状情報」と表記する。

取得部１５０ｃは、第１形状情報と、第２形状情報とを評価部１５０ｄに出力する。

評価部１５０ｄは、第１形状情報と、第２形状情報とを基にして、撮像画像データに含まれる被写体のうち、移動中の被写体（動的物体）を特定し、特定した移動体の評価を行う処理部である。評価部１５０ｄが、移動中の被写体を特定する処理と、移動体の評価を行う処理とを順に説明する。

評価部１５０ｄが、移動中の被写体を特定する処理の一例について説明する。評価部１５０ｄは、第１形状情報を基にして、撮像画像データに含まれる被写体の形状および被写体の位置を特定する。たとえば、第１形状情報を基にして特定される被写体の形状および位置を、図２に示す被写体１１ａ，１１ｂとする。また、第２形状情報を基にして特定される静的物体の形状および位置を、図２に示す静的物体１０ａとする。

評価部１５０ｄは、第１形状情報に含まれる被写体のうち、第２形状情報に含まれる静的物体の形状および位置に対応する被写体を、静的物体として特定する。評価部１５０ｄは、第１形状情報に含まれる被写体のうち、第２形状情報に含まれる静的物体の形状および位置に対応しない被写体を、動的物体として特定する。

評価部１５０ｄは、図２で説明したように、静的物体１０ａの形状の位置と、被写体１１ａの形状の位置とが対応するため、被写体１１ａを、静的物体と判定する。評価部１５０ｄは、被写体１１ｂの形状の位置に対応する静的物体が、第２形状情報（静的物体形状データ１０）に存在しないため、被写体１１ｂを動的物体と判定する。

続いて、評価部１５０ｄが、移動体５の評価を行う処理の一例について説明する。評価部１５０ｄは、第１形状情報に含まれる時刻ｔと、移動速度テーブル１４０ｂとを比較して、時刻ｔに対応する移動体５の移動速度の情報を取得する。評価部１５０ｄは、移動速度を基にして、衝突する可能性のない「安全領域」、衝突する可能性が低い「注意領域」、衝突する可能性が高い「危険領域」を設定する。

たとえば、評価部１５０ｄは、移動速度×時間Ｔ１により距離Ｄ１を算出し、移動体５から距離Ｄ１だけ前方の所定領域を、「安全領域」として設定する。評価部１５０ｄは、移動速度×時間Ｔ２により距離Ｄ２を算出し、移動体５から距離Ｄ２だけ前方の所定領域を、「注意領域」として設定する。移動速度×時間Ｔ３により距離Ｄ３を算出し、移動体５から距離Ｄ３だけ前方の所定領域を、「危険領域」として設定する。

図７は、評価部に設定される各領域の一例を示す図である。図７に示す例では、安全領域Ａ１、注意領域Ａ２、危険領域Ａ３を示す。時間Ｔ１，Ｔ２，Ｔ３の大小関係は、時間Ｔ１＞時間Ｔ２＞時間Ｔ３となり、各時間Ｔ１～Ｔ３は、運転手の反応速度等に応じて予め設定されているものとする。

評価部１５０ｄは、移動体として特定した被写体（動的物体）と、安全領域、注意領域、危険領域との比較により、移動体を評価する。評価部１５０ｄは、評価結果に基づき、移動体の制御に関する情報を生成する。

たとえば、評価部１５０ｄは、動的物体が、安全領域Ａ１に含まれる場合には、動的物体の形状や位置を、表示部１３０に表示させる。評価部１５０ｄは、動的物体が、注意領域Ａ２に含まれる場合には、動的物体の形状や位置を強調表示した情報を、表示部１３０に表示させる。評価部１５０ｄは、動的物体が、危険領域Ａ３に含まれる場合には、表示部１３０に警告を表示させると共に、移動体５に制御信号を出力して、移動体５の移動速度を減速させてもよい。評価部１５０ｄによる移動速度の制御を可能にするか否かは、予め、ユーザにより設定可能にしてもよい。

次に、本実施例に係る評価装置１００の処理手順の一例について説明する。図８は、本実施例に係る評価装置の処理手順を示すフローチャートである。図８に示すように、評価装置１００の受付部１５０ａは、サーバ６０から静的物体データ１４０ｃをダウンロードする（ステップＳ１０１）。

受付部１５０ａは、ステレオカメラ１００ａから、撮像画像データを受け付ける（ステップＳ１０２）。評価装置１００の生成部１５０ｂは、撮像画像データに含まれる被写体の形状を抽出し、第１形状情報を生成する（ステップＳ１０３）。

評価装置１００の取得部１５０ｃは、第１形状情報の撮像位置に対応する、第２形状情報を静的物体データ１４０ｃから取得する（ステップＳ１０４）。評価装置１００の評価部１５０ｄは、第１形状情報の被写体の形状および位置と、第２形状情報の静的物体の形状および位置とを比較して、動的物体を特定する（ステップＳ１０５）。

評価部１５０ｄは、移動体５の移動速度を基にして、安全領域、注意領域、危険領域を設定する（ステップＳ１０６）。評価部１５０ｄは、各領域と、動的物体の位置（移動体５からの距離）とを比較して、移動体を評価する（ステップＳ１０７）。評価部１５０ｄは、評価結果を表示部１３０に表示する（ステップＳ１０８）。

次に、本実施例に係る評価装置１００の効果について説明する。評価装置１００は、ステレオカメラ１００ａの撮像画像データから抽出した各被写体の形状と、この撮像画像データが撮像された位置に対応した既知の静的物体の形状との比較により、各被写体のうち、移動体を特定し、評価を行う。これにより、評価装置１００は、ステレオカメラ１００ａに撮像された撮像画像データから、静的物体と動的物体を区別し、適切に特定することができるため、それぞれの評価精度を向上させることができる。

評価装置１００は、評価結果を基にして、移動体の制御に関する情報を生成する。たとえば、評価装置１００は、被写体（動的物体）と、安全領域、注意領域、危険領域とを比較し、移動体がどの領域に含まれるかに応じて、警告の表示、移動体５の移動速度の制御を行う。これにより、前方車両との衝突を抑止でき、安全運転を実現することができる。

なお、これまで評価装置１００について、便宜上、ステレオカメラ１００ａを用いた構成にて説明してきたが、単眼カメラ１００ａを用いた構成でも代替が可能である。単眼カメラとは、単一のレンズで画像を撮像するカメラである。車両などの移動体が静止した時、単眼カメラ１００ａのみでは、静的物体や静止した動的物体のアウトラインなどの形状が評価できないが、移動体が動き出すと、単眼カメラ１００ａで物体のアウトラインの評価が可能となる。

次に、上記実施例に示した評価装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図９は、評価装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

図９に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、有線または無線ネットワークを介してステレオカメラ１００ａ、サーバ６０との間でデータの授受を行うインターフェース装置２０５とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。

ハードディスク装置２０７は、受付プログラム２０７ａ、生成プログラム２０７ｂ、取得プログラム２０７ｃ、評価プログラム２０７ｄを有する。ＣＰＵ２０１は、各プログラム２０７ａ～２０７ｄを読み出してＲＡＭ２０６に展開する。

受付プログラム２０７ａは、受付プロセス２０６ａとして機能する。生成プログラム２０７ｂは、生成プロセス２０６ｂとして機能する。取得プログラム２０７ｃは、取得プロセス２０６ｃとして機能する。評価プログラム２０７ｄは、評価プロセス２０６ｄとして機能する。

受付プロセス２０６ａの処理は、受付部１５０ａの処理に対応する。生成プロセス２０６ｂは、生成部１５０ｂの処理に対応する。取得プロセス２０６ｃの処理は、取得部１５０ｃの処理に対応する。評価プロセス２０６ｄの処理は、評価部１５０ｄの処理に対応する。

なお、各プログラム２０７ａ～２０７ｄについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｄを読み出して実行するようにしても良い。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）移動体に搭載された撮像装置により撮像された撮像画像と、該撮像画像の撮像位置と、を受け付け、
受け付けた前記撮像画像に基づき、前記撮像画像に含まれる被写体の形状情報を生成し、
撮像画像に含まれる静的物体の形状情報を該撮像画像の撮像位置に対応付けて記憶する記憶部を参照して、受け付けた前記撮像位置に対応付けられた前記静的物体の形状情報を取得し、
生成した前記形状情報と、取得した前記形状情報とに基づき、受け付けた前記撮像画像に含まれる被写体のうち、移動中の動的物体を特定し、
特定した前記動的物体の、受け付けた前記撮像画像における位置に基づき、前記動的物体に関する評価を行う、
処理をコンピュータに実行させることを特徴とする評価プログラム。

（付記２）前記評価の結果に基づき、前記移動体の制御に関する情報を生成する処理を更にコンピュータに実行させる
ことを特徴とする付記１に記載の評価プログラム。

（付記３）前記移動体に搭載された前記撮像装置はステレオカメラであり、前記撮像装置に撮像された撮像画像を基にして、前記撮像画像に含まれる被写体と前記撮像装置との距離を算出する処理を更に前記コンピュータに実行させ、前記評価する処理は、前記距離と、前記移動体の移動速度とを基にして、前記被写体を評価することを特徴とする付記１または２に記載の評価プログラム。

（付記４）コンピュータが実行する評価方法であって、
移動体に搭載された撮像装置により撮像された撮像画像と、該撮像画像の撮像位置と、を受け付け、
受け付けた前記撮像画像に基づき、前記撮像画像に含まれる被写体の形状情報を生成し、
撮像画像に含まれる静的物体の形状情報を該撮像画像の撮像位置に対応付けて記憶する記憶部を参照して、受け付けた前記撮像位置に対応付けられた前記静的物体の形状情報を取得し、
生成した前記形状情報と、取得した前記形状情報とに基づき、受け付けた前記撮像画像に含まれる被写体のうち、移動中の動的物体を特定し、
特定した前記動的物体の、受け付けた前記撮像画像における位置に基づき、前記動的物体に関する評価を行う、
処理をコンピュータに実行させることを特徴とする評価方法。

（付記５）前記評価の結果に基づき、前記移動体の制御に関する情報を生成する処理を更に実行する
ことを特徴とする付記４に記載の評価方法。

（付記６）前記移動体に搭載された前記撮像装置はステレオカメラであり、前記撮像装置に撮像された撮像画像を基にして、前記撮像画像に含まれる被写体と前記撮像装置との距離を算出する処理を更に実行し、前記評価する処理は、前記距離と、前記移動体の移動速度とを基にして、前記被写体を評価することを特徴とする付記４または５に記載の評価方法。

（付記７）移動体に搭載された撮像装置により撮像された撮像画像と、該撮像画像の撮像位置と、を受け付ける受付部と、
受け付けた前記撮像画像に基づき、前記撮像画像に含まれる被写体の形状情報を生成する生成部と、
撮像画像に含まれる静的物体の形状情報を該撮像画像の撮像位置に対応付けて記憶する記憶部を参照して、受け付けた前記撮像位置に対応付けられた前記静的物体の形状情報を取得する取得部と、
生成した前記形状情報と、取得した前記形状情報とに基づき、受け付けた前記撮像画像に含まれる被写体のうち、移動中の動的物体を特定し、特定した前記動的物体の、受け付けた前記撮像画像における位置に基づき、前記動的物体に関する評価を行う評価部と、
を有することを特徴とする評価装置。

（付記８）前記評価部は、前記評価の結果に基づき、前記移動体の制御に関する情報を生成する、
ことを特徴とする付記７に記載の評価装置。

（付記９）前記移動体に搭載された前記撮像装置はステレオカメラであり、前記評価部は、前記撮像装置に撮像された撮像画像を基にして、前記撮像画像に含まれる被写体と前記撮像装置との距離を算出する処理を更に実行し、前記距離と、前記移動体の移動速度とを基にして、前記被写体を評価することを特徴とする付記７または８に記載の評価装置。

５ 移動体
５０ ネットワーク
６０ サーバ
１００ａ ステレオカメラ
１００ 評価装置
１４０ 記憶部
１４０ａ バッファ
１４０ｂ 移動速度テーブル
１４０ｃ 静的物体データ
１５０ 制御部
１５０ａ 受付部
１５０ｂ 生成部
１５０ｃ 取得部
１５０ｄ 評価部

Claims (5)

1. 移動体に搭載されたステレオカメラにより撮像された撮像画像と、該撮像画像の撮像位置と、を受け付け、
   受け付けた前記撮像画像に基づき、前記撮像画像に含まれる被写体の形状情報を生成し、
   前記ステレオカメラで撮像された撮像画像を基にして、前記撮像画像に含まれる被写体と前記ステレオカメラとの距離を算出し、
   撮像画像に含まれる静的物体の形状情報を該撮像画像の撮像位置に対応付けて記憶する記憶部を参照して、受け付けた前記撮像位置に対応付けられた前記静的物体の形状情報を取得し、
   生成した前記形状情報と、取得した前記形状情報とに基づき、受け付けた前記撮像画像に含まれる被写体のうち、動的物体を特定し、
   特定した前記動的物体の、受け付けた前記撮像画像における位置と、前記距離と、前記移動体の移動速度とに基づき、前記動的物体が前記移動体と衝突する可能性を表す安全領域、注意領域および危険領域のうち、前記動的物体が前記安全領域に含まれる場合、前記動的物体の形状と位置とを表示させる評価を行い、前記動的物体が前記注意領域に含まれる場合、前記動的物体の形状と位置とを強調表示して表示させる評価を行い、前記動的物体が前記危険領域に含まれる場合、警告を表示させる評価を行う、
   処理をコンピュータに実行させることを特徴とする評価プログラム。
2. 前記評価の結果に基づき、前記移動体の制御に関する情報を生成する処理を更にコンピュータに実行させる
   ことを特徴とする請求項１に記載の評価プログラム。
3. 前記移動体の制御に関する情報を生成する処理は、前記動的物体が前記危険領域に含まれる場合、前記移動体の移動速度を減速させる情報を生成する、
   請求項２に記載の評価プログラム。
4. コンピュータが実行する評価方法であって、
   移動体に搭載されたステレオカメラにより撮像された撮像画像と、該撮像画像の撮像位置と、を受け付け、
   受け付けた前記撮像画像に基づき、前記撮像画像に含まれる被写体の形状情報を生成し、
   前記ステレオカメラで撮像された撮像画像を基にして、前記撮像画像に含まれる被写体と前記ステレオカメラとの距離を算出し、
   撮像画像に含まれる静的物体の形状情報を該撮像画像の撮像位置に対応付けて記憶する記憶部を参照して、受け付けた前記撮像位置に対応付けられた前記静的物体の形状情報を取得し、
   生成した前記形状情報と、取得した前記形状情報とに基づき、受け付けた前記撮像画像に含まれる被写体のうち、動的物体を特定し、
   特定した前記動的物体の、受け付けた前記撮像画像における位置と、前記距離と、前記移動体の移動速度とに基づき、前記動的物体が前記移動体と衝突する可能性を表す安全領域、注意領域および危険領域のうち、前記動的物体が前記安全領域に含まれる場合、前記動的物体の形状と位置とを表示させる評価を行い、前記動的物体が前記注意領域に含まれる場合、前記動的物体の形状と位置とを強調表示して表示させる評価を行い、前記動的物体が前記危険領域に含まれる場合、警告を表示させる評価を行う、
   処理をコンピュータに実行させることを特徴とする評価方法。
5. 移動体に搭載されたステレオカメラにより撮像された撮像画像と、該撮像画像の撮像位置と、を受け付ける受付部と、
   受け付けた前記撮像画像に基づき、前記撮像画像に含まれる被写体の形状情報を生成する生成部と、
   前記ステレオカメラで撮像された撮像画像を基にして、前記撮像画像に含まれる被写体と前記ステレオカメラとの距離を算出する算出部と、
   撮像画像に含まれる静的物体の形状情報を該撮像画像の撮像位置に対応付けて記憶する記憶部を参照して、受け付けた前記撮像位置に対応付けられた前記静的物体の形状情報を取得する取得部と、
   生成した前記形状情報と、取得した前記形状情報とに基づき、受け付けた前記撮像画像に含まれる被写体のうち、動的物体を特定し、特定した前記動的物体の、受け付けた前記撮像画像における位置と、前記距離と、前記移動体の移動速度とに基づき、前記動的物体が前記移動体と衝突する可能性を表す安全領域、注意領域および危険領域のうち、前記動的物体が前記安全領域に含まれる場合、前記動的物体の形状と位置とを表示させる評価を行い、前記動的物体が前記注意領域に含まれる場合、前記動的物体の形状と位置とを強調表示して表示させる評価を行い、前記動的物体が前記危険領域に含まれる場合、警告を表示させる評価を行う評価部と、
   を有することを特徴とする評価装置。

Images