JP6665521B2 - 情報処理装置、情報処理システム、および情報処理プログラム - Google Patents

情報処理装置、情報処理システム、および情報処理プログラム Download PDF

Info

Publication number
JP6665521B2
JP6665521B2 JP2015247934A JP2015247934A JP6665521B2 JP 6665521 B2 JP6665521 B2 JP 6665521B2 JP 2015247934 A JP2015247934 A JP 2015247934A JP 2015247934 A JP2015247934 A JP 2015247934A JP 6665521 B2 JP6665521 B2 JP 6665521B2
Authority
JP
Japan
Prior art keywords
unit
information
captured image
traveling state
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015247934A
Other languages
English (en)
Other versions
JP2017111762A (ja
Inventor
亮介 笠原
亮介 笠原
友章 矢野
友章 矢野
関 海克
海克 関
太郎 澤木
太郎 澤木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015247934A priority Critical patent/JP6665521B2/ja
Publication of JP2017111762A publication Critical patent/JP2017111762A/ja
Application granted granted Critical
Publication of JP6665521B2 publication Critical patent/JP6665521B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本発明は情報処理装置、情報処理システム、および情報処理プログラムに関する。
車載カメラで撮影された撮影画像を解析し、解析結果を用いて運転者を支援するシステムが知られている。
例えば、特許文献1には、車載カメラで撮影された動画像を解析し、解析結果を用いて、道路上の危険個所を示す情報を地図上に反映させるシステムが開示されている。
しかしながら従来の技術では、複数の撮影画像の解析に時間を要する場合があった。
本発明は、上記に鑑みてなされたものであって、移動体で撮影された移動体周囲の複数の撮影画像に対する、解析速度の高速化を実現できる情報処理装置、情報処理システム、および情報処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の情報処理装置は、移動体の周辺の撮影画像を取得する画像取得部と、前記撮影画像の撮影時の前記移動体の走行状態を示す走行状態情報に基づいて、処理対象の前記撮影画像を特定し、前記走行状態情報に基づいて、処理対象として特定した前記撮影画像における、前記走行状態情報に基づいた大きさおよび数の撮影画像領域を更に特定する特定部と、特定された前記撮影画像領域を解析することによって、処理対象として特定した前記撮影画像を解析する解析部と、を備え、前記特定部は、前記走行状態情報に基づいて、前記走行状態の重み値として、前記解析部による解析結果を用いた後処理における重要度の高い前記走行状態であるほど高い前記重み値を算出する第3の算出部を含み、前記重み値が予め定めた閾値より高いほど、より大きい前記撮影画像領域、または、より多い数の前記撮影画像領域を特定する
本発明によれば、移動体で撮影された移動体周囲の複数の撮影画像に対する、解析速度の高速化を実現できる、という効果を奏する。
図1は、実施の形態の情報処理システムの全体構成の説明図である。 図2は、情報処理システムの全体構成図の一例である。 図3は、情報処理装置の機能的構成の一例を示すブロック図である。 図4は、撮影画像の一例を示す模式図である。 図5は、複数の撮影画像の一例を示す模式図である。 図6は、撮影画像領域の一例を示す模式図である。 図7は、撮影画像領域の一例を示す模式図である。 図8は、速度標識の検出処理の一例を示す説明図である。 図9は、信号機の検出処理の一例を示す説明図である。 図10は、車線境界線の検出処理の一例を示す説明図である。 図11は、サーバ装置の機能ブロック図の一例である。 図12は、解析処理の手順の一例を示すフローチャートである。 図13は、地図データ更新処理の手順の一例を示すフローチャートである。 図14は、地図画像表示処理の手順の一例を示すフローチャートである。 図15は、管理処理の手順の一例を示すフローチャートである。 図16は、変形例の情報処理装置の機能的構成の一例を示すブロック図である。 図17は、ハードウェア構成例を示すブロック図である。
以下に添付図面を参照して、情報処理装置、情報処理システム、および情報処理プログラムの実施の形態を詳細に説明する。
図1は、本実施の形態の情報処理システム1の全体構成の説明図である。情報処理システム1は、情報処理装置10と、サーバ装置40と、を備える。情報処理装置10とサーバ装置40とは、ネットワーク21を介してデータや信号を授受可能に接続されている。
情報処理装置10は、例えば、移動体に搭載されている。移動体は、自立走行または牽引などにより、実空間において位置移動の可能な物体である。移動体は、例えば、車両、飛行機、電車、台車、などである。本実施の形態では、移動体が車両20である場合を一例として説明する。すなわち、本実施の形態では、情報処理装置10を車両20に搭載した形態を一例として説明する。
車両20には、撮影部12が搭載されている。撮影部12は、車両20の周辺を撮影した撮影画像を得る。撮影部12は、例えば、公知のビデオカメラや、デジタルカメラなどである。本実施の形態では、撮影部12は、車両20の周辺を連続して撮影することで、複数の撮影画像(すなわち、複数のフレーム)を撮影可能である。なお、撮影部12は、情報処理装置10と一体的に構成してもよいし、情報処理装置10と別体として構成してもよい。
情報処理装置10は、車両20の周辺の撮影画像を解析する。すなわち、情報処理装置10は、車両20の周辺を撮影する撮影部12によって得られた撮影画像を解析する。
本実施の形態では、情報処理装置10は、撮影画像を解析し、撮影画像に含まれる検出対象物30を検出する場合を一例として説明する。なお、情報処理装置10による解析内容は、検出対象物30の検出に限定されない。また、情報処理装置10は、撮影部12を含む構成であってもよいし、撮影部12を別体として構成したものであってもよい。
検出対象物30は、情報処理装置10による検出対象の物である。検出対象物30は、1種類であってもよいし、複数種類であってもよい。また、検出対象物30の種類は、ユーザの操作指示などによって任意に設定および変更可能である。
本実施の形態では、検出対象物30が、信号機30Bおよび標識30Dの少なくとも一方である場合を一例として説明する。標識30Dは、道路Rに記載されたものであってもよいし、道路R上に設置された標識板に記載または表示されたものであってもよい。本実施の形態では、標識30Dが、道路R上に設置された標識板に記載または表示された速度標識30Aと、道路Rに記載された車線境界線30Cと、を含む場合を一例として説明する。
なお、情報処理システム1は、複数の情報処理装置10を含む構成であってもよい。図2は、複数の情報処理装置10を備えた情報処理システム1の全体構成図の一例である。図2に示すように、情報処理システム1は、複数の情報処理装置10(情報処理装置10−1〜情報処理装置10−N(Nは、2以上の整数))を備えた構成であってもよい。そして、複数の情報処理装置10の各々を、互いに異なる車両20に搭載した構成とすればよい。
なお、以下では、情報処理システム1が、複数の情報処理装置10(情報処理装置10−1〜情報処理装置10−N)を備えた構成である場合を説明する。これらの複数の情報処理装置10(情報処理装置10−1〜情報処理装置10−N)と、サーバ装置40と、は、ネットワーク21を介してデータや信号を授受可能に接続されている。なお、複数の情報処理装置10(情報処理装置10−1〜情報処理装置10−N)の各々を総称して説明する場合には、単に、情報処理装置10と称して説明する。
次に、情報処理装置10の機能的構成を説明する。図3は、情報処理装置10の機能的構成の一例を示すブロック図である。
情報処理装置10は、撮影部12と、GPS(Global Positioning System)センサ14と、加速度センサ16と、記憶部15と、UI(ユーザ・インターフェース)部17と、制御部18と、を備える。撮影部12、GPSセンサ14、加速度センサ16、記憶部15、およびUI部17は、制御部18にデータや信号を授受可能に接続されている。また、制御部18は、車両20に搭載された車両制御部22に、データや信号を授受可能に接続されている。
撮影部12は、車両20の周辺を撮影する。上述したように、撮影部12は、情報処理装置10とは別体として構成してもよい。本実施の形態では、撮影部12は、車両20の周辺を経時的に連続して撮影し、撮影によって得られた撮影画像の各々を撮影順に順次、制御部18へ出力する。
GPSセンサ14は、車両20の現在位置を検出する。GPSセンサ14は、検出した位置情報を、制御部18へ出力する。加速度センサ16は、情報処理装置10の搭載された車両20の加速度を検出する。そして、加速度を示す加速度情報を制御部18へ出力する。
車両制御部22は、車両20に搭載されており、車両20の走行を制御する。本実施の形態では、車両制御部22は、車両20の走行情報を制御部18へ出力する。走行情報は、例えば、車両20の走行速度を示す速度情報、車両20のステアリング角度を示す角度情報、車両20の加速度を示す加速度情報、車両20がブレーキ操作に応じて減速したことを示すブレーキ操作情報、などを含む。なお、制御部18は、加速度センサ16から加速度情報を取得してもよい。
記憶部15は、各種データを記憶する。本実施の形態では、記憶部15は、地図データ15Aなどを記憶する。地図データ15Aは、車両20の走行時にUI部17に表示する地図画像のデータである。
UI部17は、ユーザによる操作指示を受付ける入力機能および各種画像を表示する表示機能の双方を備える。UI部17は、例えば、タッチパネル付LCD(Liquid Crystal Display)などである。なお、UI部17における入力機能と表示機能とを別体として構成してもよい。
制御部18は、情報処理装置10を制御する。制御部18は、画像取得部18Aと、走行状態取得部18Bと、設定部18Cと、算出部18Dと、変更部18Eと、受付部18Fと、特定部18Gと、算出部18Mと、解析部18Hと、後処理部18Iと、送信部18Jと、表示制御部18Kと、受信部18Lと、を含む。
画像取得部18A、走行状態取得部18B、設定部18C、算出部18D、変更部18E、受付部18F、特定部18G、算出部18M、解析部18H、後処理部18I、送信部18J、表示制御部18K、および受信部18Lの一部またはすべては、例えば、CPU(Central Processing Unit)などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、IC(Integrated Circuit)などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
画像取得部18Aは、車両20の周辺の撮影画像を取得する。図4は、撮影画像Pの一例を示す模式図である。図4には、速度標識30Aと、信号機30Bと、車線境界線30Cと、を含む撮影画像Pの一例を示した。
図3に戻り、画像取得部18Aは、例えば、車両20に搭載された撮影部12で撮影された撮影画像Pを取得する。本実施の形態では、画像取得部18Aは、撮影部12から撮影画像Pを取得する。詳細には、撮影部12は、撮影した撮影画像Pを、順次、撮影順に画像取得部18Aへ出力する。画像取得部18Aは、撮影部12から、撮影画像Pを順次取得する。そして、画像取得部18Aは、撮影部12から取得した撮影画像Pを、順次、特定部18Gへ出力する。
走行状態取得部18Bは、撮影画像Pの撮影時の車両20の走行状態を示す走行状態情報を取得する。詳細には、走行状態取得部18Bは、画像取得部18Aが取得する撮影画像Pの各々に対応する走行状態情報として、撮影画像Pの各々の撮影タイミングと同じタイミングの走行状態を示す、走行状態情報を取得する。
走行状態情報は、車両20の移動速度を示す速度情報、車両20の加速度を示す加速度情報、車両20の位置を示す位置情報、車両20がブレーキ操作に応じて減速したことを示すブレーキ操作情報、および、車両20のステアリング角度を示す角度情報、の少なくとも1つを含む。走行状態取得部18Bは、画像取得部18Aで取得した撮影画像Pの撮影タイミングと同じタイミングの走行状態情報を、GPSセンサ14、加速度センサ16、および、車両制御部22から取得する。そして、走行状態取得部18Bは、取得した走行状態情報を、特定部18Gへ出力する。
特定部18Gは、画像取得部18Aで取得した複数の撮影画像Pの内、処理対象の撮影画像Pを特定する。特定部18Gは、走行状態取得部18Bで取得した、各撮影画像Pの各々に対応する走行状態情報に基づいて、処理対象の撮影画像Pを特定する。
例えば、特定部18Gは、画像取得部18Aで取得した、時系列で撮影された複数の撮影画像Pについて、走行状態情報に応じた取得間隔ごとの撮影画像Pを、処理対象として特定する。
取得間隔は、設定部18Cで設定される。設定部18Cは、走行状態情報に応じて、時系列に撮影された複数の撮影画像Pから撮影画像Pを取得する取得間隔を設定する。そして、特定部18Gは、時系列で連続して撮影された複数の撮影画像Pから、設定された取得間隔ごとの撮影画像Pを、処理対象として特定すればよい。
設定部18Cは、例えば、以下の方法を用いて取得間隔を設定する。例えば、設定部18Cは、算出部18Dを備える。
算出部18Dは、走行状態情報に基づいて、走行状態の重み値を算出する。重み値は、走行状態情報によって表される走行状態の、重要度を表す値である。本実施の形態では、算出部18Dは、後述する解析部18Hによる解析結果を用いた予め定めた後処理において重要度の高い走行状態であるほど、高い重み値を算出する。
後処理とは、解析部18Hによる撮影画像Pの解析結果を用いて行う処理であり、本実施の形態では、後処理部18Iで実行される。本実施の形態では、後処理部18Iは、車両20の走行状態に対する評価値を算出する(詳細後述)。
例えば、走行状態情報が、車両20の加速度情報、車両20の位置情報、車両20がブレーキ操作に応じて減速したことを示すブレーキ操作情報、および、車両20のステアリング角度を示す角度情報、を含むと仮定する。また、ブレーキ操作情報は、ブレーキ操作に応じて減速した速度を示すものと仮定する。
この場合、算出部18Dは、加速度情報、位置情報、ブレーキ操作情報、および、角度情報を用いた、予め定めた非線形関数または線形関数の解を、重み値として算出する。
具体的には、例えば、算出部18Dは、下記式(1)を用いて、重み値Wを算出する。
W=a・k1+v・k2+xy・k3+brk・k4+str・k5 式(1)
式(1)中、Wは、重み値を表す。a、v、xy、brk、およびstrは、各々、加速度情報、速度情報、位置情報、ブレーキ操作情報、および、角度情報を表す。k1、k2、k3、k4、k5は、予め定めた係数である。
なお、重み値Wの算出式は、上記式(1)によって示される関数に限定されない。
そして、設定部18Cは、算出部18Dで算出した重み値Wが予め定めた閾値より高いほど、より短い取得間隔を設定する。なお、重み値Wが閾値以下である場合、取得間隔は予め定めた基準の取得間隔とすればよい。このため、重み値Wが閾値より高いほど、基準の取得間隔に対して、より短い取得間隔を設定する。
このため、設定部18Cは、撮影画像Pの撮影タイミングにおける、車両20の走行状態が、後処理における重要度の高い走行状態を示すほど、より短い取得間隔を設定することとなる。
具体的には、例えば、加速度変化が大きいほど、取得間隔を短く設定することができる。また、例えば、速度が速いほど、取得間隔を短く設定することができる。また、例えば、角度情報によって示されるステアリング角度が大きいほど、取得間隔を短く設定することができる。また、ブレーキ操作による減速の度合いが大きいほど、取得間隔を短く設定することもできる。
設定部18Cは、この閾値として、予め定めた値を用いればよい。また、この閾値を変更可能としてもよい。閾値を変更可能とする場合、制御部18は、変更部18Eと、受付部18Fと、を備えることが好ましい。
受付部18Fは、受付情報を受付ける。受付情報は、車両20を運転するユーザのユーザ識別情報(以下、ユーザIDと称する)、閾値の変更指示を示す指示情報、または、目標処理時間を示す処理時間情報を含む。本実施の形態では、受付部18Fは、UI部17から受付情報を受付ける。
例えば、ユーザは、UI部17を操作することで、ユーザIDを入力する。受付部18Fは、UI部17からユーザIDを受付けることで、ユーザIDを含む受付情報を受付ける。なお、受付部18Fは、車両制御部22からユーザIDを受付けてもよい。また、情報処理装置10に、ユーザを識別するIDカードを挿入するためのスロット等を設けた構成としてもよい。この場合、受付部18Fは、挿入されたIDカードによりユーザIDを取得することで、ユーザIDを含む受付情報を受付ければよい。
また、例えば、ユーザは、UI部17を操作することで、閾値の変更指示を示す指示情報を入力する。受付部18Fは、UI部17から指示情報を受付けることで、変更指示を示す指示情報を含む受付情報を受付ける。また、例えば、ユーザは、UI部17を操作することで、解析部18Hによる解析処理に要する目標処理時間を示す処理時間情報を入力する。すると、受付部18Fは、UI部17から、目標処理時間を含む処理時間情報を受付ける。
変更部18Eは、受付部18Fで受付けた受付情報に応じて、閾値を変更する。具体的には、受付情報が閾値の変更指示を示す指示情報を含む場合、変更部18Eは、設定部18Cで用いる閾値を、該指示情報によって示される変更後の閾値に変更する。
また、受付情報がユーザIDを含む場合、例えば、変更部18Eは、以下の処理を行う。例えば、変更部18Eは、ユーザIDと、ユーザIDによって識別されるユーザに対して予め設定された閾値と、を予め記憶部15に記憶する。そして、変更部18Eは、設定部18Cで用いる閾値を、受付情報に含まれるユーザIDに対応する閾値に変更する。
また、受付情報が処理時間情報を含む場合、変更部18Eは、処理時間情報によって示される目標処理時間内に解析部18Hによる解析が終了するように、設定部18Cで用いる閾値を変更する。
そして、設定部18Cでは、走行状態情報から算出した重み値Wが、変更部18Eで変更された閾値より高いほど、より短い取得間隔を設定すればよい。
次に、特定部18Gについて説明する。特定部18Gは、撮影画像Pの撮影時の車両20の走行状態を示す走行状態情報に基づいて、処理対象の撮影画像Pを特定する。本実施の形態では、特定部18Gは、時系列で連続して撮影された複数の撮影画像Pから、設定部18Cで設定された取得間隔ごとの撮影画像Pを、処理対象として特定する。
図5は、画像取得部18Aで取得した、撮影部12で撮影された複数の撮影画像Pの一例を示す模式図である。図5に示すように、画像取得部18Aは、時系列で撮影された複数の撮影画像P(撮影画像P〜撮影画像P)を、順次取得する。特定部18Gは、これらの複数の撮影画像P(撮影画像P〜撮影画像P)の内、処理対象の撮影画像Pを特定する。
例えば、本実施の形態では、特定部18Gは、設定部18Cで設定された取得間隔ごとの撮影画像Pを、処理対象として特定する。例えば、図5に示す複数の撮影画像P(撮影画像P〜撮影画像P)が、1秒ごとに連続して撮影された撮影画像Pであったと仮定する。そして、設定部18Cで設定された取得間隔が、2秒であったと仮定する。この場合、特定部18Gは、2秒ごとの撮影タイミングの各々に対応する撮影画像P(例えば、撮影画像P、撮影画像P、撮影画像P)を、処理対象として特定する。
そして、特定部18Gは、処理対象として特定した撮影画像Pを、順次、解析部18Hへ出力する。
解析部18Hは、特定部18Gによって処理対象として特定された撮影画像Pを解析する。このため、解析部18Hは、画像取得部18Aで取得した複数の全ての撮影画像Pの内、特定部18Gで特定された撮影画像Pについて、解析を行う。
本実施の形態では、解析部18Hは、撮影画像Pを解析し、撮影画像Pに含まれる検出対象物30を検出する。また、本実施の形態では、一例として、解析部18Hが、撮影画像Pに含まれる、速度標識30A、信号機30B、および車線境界線30Cを検出する形態を説明する。
なお、特定部18Gは、走行状態情報に基づいて、処理対象として特定した撮影画像Pにおける一部の領域である撮影画像領域を、更に特定してもよい。この場合、解析部18Hは、処理対象として特定された撮影画像Pにおける、特定された撮影画像領域について解析を行えばよい。
撮影画像Pにおける撮影画像領域は、予め設定した位置および範囲の領域であってもよいし、後処理部18Iで検出する対象の検出対象物30を含む領域であってもよい。本実施の形態では、一例として、特定部18Gが、後処理部18Iで検出する対象の検出対象物30を含む領域を、撮影画像領域として特定する場合を説明する。
図6および図7は、撮影画像領域32の一例を示す模式図である。図6に示すように、特定部18Gは、撮影画像Pにおける、後処理部18Iで検出する対象の速度標識30A、信号機30B、および車線境界線30Cの各々を含む撮影画像領域32(撮影画像領域32A、撮影画像領域32B、撮影画像領域32C)を特定する。また、図7に示すように、特定部18Gは、撮影画像Pにおける、後処理部18Iで検出する対象の検出対象物30を含む撮影画像領域32を特定する。
なお、特定部18Gが特定する撮影画像領域32の数および大きさは、予め定めた数および大きさであってもよいし、走行状態に応じた大きさおよび数であってもよい。すなわち、特定部18Gは、処理対象として特定した撮影画像Pにおける、走行状態情報に基づいた大きさおよび数の撮影画像領域32を特定することが好ましい。
具体的には、特定部18Gは、算出部18Mを含むことが好ましい。算出部18Mは、走行状態情報に基づいて、走行状態の重み値Wを算出する。なお、算出部18Mは、算出部18Dと同様にして、重み値Wを算出すればよい。
そして、特定部18Gは、重み値Wが予め定めた閾値より高いほど、より大きい撮影画像領域32、または、より多い数の撮影画像領域32を特定することが好ましい。この閾値は、設定部18Cが用いる閾値と同様である。このため、この閾値は、変更部18Eによって変更可能である。
このため、特定部18Gでは、撮影画像Pの撮影タイミングにおける、車両20の走行状態が後処理における重要度の高い走行状態を示すほど、該撮影画像Pにおける、より多い数の撮影画像領域32、または、より広い撮影画像領域32を特定する。なお、特定部18Gは、重み値Wが閾値より高いほど、より多く、且つ、より広い撮影画像領域32を特定してもよい。
次に、解析部18Hによる解析処理について詳細に説明する。解析部18Hは、特定部18Gで処理対象として特定された撮影画像Pを解析する。また、解析部18Hは、特定部18Gで撮影画像Pにおける処理対象の撮影画像領域32が特定された場合、特定された撮影画像領域32を解析する。
本実施の形態では、一例として、解析部18Hは、処理対象として特定された撮影画像P(または撮影画像領域32)を解析し、日本において用いられる標識30D(速度標識30A、信号機30B)や車線境界線30Cを検出する場合を説明する。しかし、解析部18Hが検出する対象の検出対象物30は、日本において用いられる物に限定されず、他の諸国で用いられる物であってもよい。また、解析部18Hが解析によって検出する対象は、検出対象物30に限定されない。
なお、解析部18Hは、公知の方法を用いて、処理対象として特定された撮影画像Pから検出対象物30を検出すればよい。
例えば、解析部18Hは、以下の検出処理を行うことによって速度標識30Aを検出する。
図8は、解析部18Hによる速度標識30Aの検出処理の一例を示す説明図である。例えば、解析部18Hは、撮影画像P(図4参照)について、歪み補正処理、フィルタリング処理、グレースケール変換処理等、速度標識30Aの検知処理に適した画像処理を行う。そして、解析部18Hは、画像処理後の撮影画像Pから、速度標識30Aを含む一部の領域である一部領域PAを抽出する(図8(A)参照)。図8(A)に示す例では、撮影画像Pにおける上半分の領域を、一部領域PAとして抽出した例を示した。
次に、解析部18Hは、一次マッチングを行う。解析部18Hは、一部領域PAの特徴点と、検知対象の速度標識30Aの特徴点と、を比較することで、一次マッチングを行う。検知対象の速度標識30Aの特徴点は、予め記憶しておけばよい。また、一次マッチングには、公知のマッチング方式を用いればよい。
次に、解析部18Hは、一部領域PAにおける、一次マッチングによって速度標識30Aとの類似度が第1閾値以上であると判定された領域を、一部領域PCとして抽出する(図8(B)参照)。第1閾値の値は、予め定めればよい。
次に、解析部18Hは、一部領域PCについて、二次マッチングを行う。解析部18Hは、一部領域PCの特徴点と、速度標識30Aの特徴点と、を比較することで、二次マッチングを行う。二次マッチングには、公知のマッチング方式を用いればよい。
そして、解析部18Hは、一部領域PCにおける、二次マッチングによって速度標識30Aとの類似度が第1閾値より高い第2閾値以上であると判定された領域が存在する場合、撮影画像Pに速度標識30Aが含まれると検出する。また、解析部18Hは、速度標識30Aが含まれると検出した場合、一部領域PCに含まれる速度標識30Aについて、公知の文字認識処理などを行う。これにより、解析部18Hは、速度標識30Aによって表される交通規則の内容を示す規則情報を検知する。図8に示す例では、解析部18Hは、速度制限情報「40」を、交通規則の内容を示す規則情報として検知する。
これによって、解析部18Hは、撮影画像P内における速度標識30A、および、速度標識30Aの表す交通規則の内容を示す規則情報(例えば、速度制限情報)を検出する。解析部18Hは、撮影画像Pから速度標識30Aを検出した場合、速度標識30A有りを示す情報、および、速度標識30Aの表す交通規則の内容を示す規則情報(例えば、速度制限情報)を含む検出対象物情報と、位置情報と、を含む検出結果情報を、送信部18Jを介してサーバ装置40へ送信する。
なお、解析部18Hが行う速度標識30Aの検出処理は、このような処理に限定されず、公知の方法を用いることができる。また、特定部18Gが処理対象として、撮影画像Pの一部の領域である撮影画像領域32を特定した場合、解析部18Hは、この撮影画像領域32について速度標識30Aの検出を行えばよい。
次に、解析部18Hが信号機30Bを検出する検出処理の一例を説明する。
図9は、解析部18Hによる信号機30Bの検出処理の一例を示す説明図である。例えば、解析部18Hが、図9に示す撮影画像Pを解析する場合を一例として説明する。
解析部18Hは、例えば、撮影画像Pに含まれる信号機30Bの信号画素領域Bを抽出する。信号画素領域Bは、信号機30Bの現在示している信号色を示す領域である。
信号画素領域Bの検出には、公知の方法を用いればよい。例えば、解析部18Hは、(R,G,B)色空間によって表される撮影画像Pの画像データを、公知の方式を用いて(Y,U,V)色空間に変換する。そして、変換後の各画素の(Y,U,V)色空間によって表される各画素の画素値が、予め記憶した赤信号、青信号、黄色信号、の何れかの画素値の範囲と一致する画素領域を、信号画素領域Bとして検出する。
なお、解析部18Hは、信号色を示す実際の領域より狭い範囲を信号画素領域Bとして検出する場合がある。すなわち、信号画素領域Bとして本来抽出されるべき画素が、ノイズなどの影響により抽出されない場合がある。言い換えると、解析部18Hは、信号画素領域Bより狭い信号画素領域B’を、検出する場合がある。
そこで、解析部18Hは、検出した信号画素領域B’を膨張させる膨張処理を行う。これによって、解析部18Hは、信号画素領域B’を膨張し、信号画素領域Bを得る。具体的には、解析部18Hは、信号画素領域B’と、信号画素領域B’の外周に該外周から外側に向かって連続する1または複数の画素と、を、信号画素領域Bとして得る。
次に、解析部18Hは、抽出した信号画素領域Bの形状認識処理を行う。例えば、解析部18Hは、信号画素領域BをHough変換することにより、信号画素領域B内で、予め定めた信号画素領域Bの形状(本実施の形態では円形)を抽出できるか否かを判定する。抽出できた場合、解析部18Hは、撮影画像Pに信号機30Bが含まれることを検出する。一方、抽出できない場合、解析部18Hは、撮影画像Pに信号機30Bが含まれないことを検出する。そして、解析部18Hは、撮影画像Pに信号機30Bが含まれることを検出した場合、信号画素領域Bを構成する各画素の示す色を判別することで、信号色を検出する。
これによって、解析部18Hは、撮影画像P内における信号機30B、および、信号機30Bの示す信号色、を検出する。解析部18Hは、撮影画像Pから信号機30Bを検出した場合、信号機30B有りを示す情報、および、信号機30Bの示す信号色を示す信号色情報、を含む検出対象物情報と、位置情報と、を含む検出結果情報を、送信部18Jを介してサーバ装置40へ送信する。
なお、解析部18Hが行う信号機30Bの検出処理は、このような処理に限定されず、公知の方法を用いることができる。また、特定部18Gが処理対象として、撮影画像Pの一部の領域である撮影画像領域32を特定した場合、解析部18Hは、この撮影画像領域32について信号機30Bの検出を行えばよい。
次に、解析部18Hが車線境界線30Cを検出する検出処理の一例を説明する。
図10は、解析部18Hによる車線境界線30Cの検出処理の一例を示す説明図である。例えば、解析部18Hが、図10に示す撮影画像Pを解析する場合を一例として説明する。図10に示す撮影画像Pには、車線境界線30Cとして、車線境界線30C1と、車線境界線30C2と、が含まれている場合を説明する。
本実施の形態では、解析部18Hは、撮影画像Pに車線境界線30Cが含まれるか否か、および、車線境界線30Cの本数を検出する。
まず、解析部18Hは、撮影画像Pから車線境界線30Cを検出する画像解析の対象となる領域として、ROI(Region Of Interest)領域PDを設定する(図10(A)参照)。図10(A)に示す例では、解析部18Hは、撮影画像Pに含まれる水平線Hより下側の領域を、ROI領域PDとして設定した場合を一例として示した。
次に、解析部18Hは、ROI領域PDのノイズを削減するノイズ削減処理を行う(図10(B)参照)。ROI領域PDのノイズは、例えばランダムノイズ等である。図10(B)に示す例では、解析部18Hは、撮影画像Pの中央から左右の方向に、IIR−LPF(Infinite Impulse Response Low Pass Filter)をかける。これにより、解析部18Hは、ROI領域PDのノイズを削減したボケ画像を生成する。
次に、解析部18Hは、生成したボケ画像を使用して、エッジ探索処理を行う(図10(C)参照)。図10(C)に示すように、解析部18Hは、ROI領域PDのボケ画像の中央から左右の方向に、車線境界線30C1の候補点31a、および、車線境界線30C2の候補点31bとして、所定の第3の閾値を超えるエッジを示す画素を探索する。
次に、解析部18Hは、複数の候補点31aと、複数の候補点31bと、の各々を利用して、車線境界線30Cの検出処理を行う。具体的には、解析部18Hは、複数の候補点31aを使用して確率的ハフ変換を行うことにより、線状の車線境界線30C1を検出する。同様にして、解析部18Hは、複数の候補点31bを使用して確率的ハフ変換を行うことにより、線状の車線境界線30C2を検出する。
図10(D)は、撮影画像Pに含まれる、検出された車線境界線30C1の一例を示す図である。
解析部18Hは、撮影画像Pに車線境界線30Cを検出した場合、撮影画像Pに含まれる車線境界線30Cの数と、撮影画像Pに含まれる車線境界線30Cの該Pにおける位置と、を併せて検出する。解析部18Hは、検出した車線境界線30Cの数を数えることで、車線境界線30Cの数を検出する。一方、解析部18Hは、車線境界線30Cを検出しなかった場合、撮影画像Pに車線境界線30Cが含まれないことを検出する。
これによって、解析部18Hは、撮影画像P内における車線境界線30C、車線境界線30Cの数、撮影画像Pにおける車線境界線30Cの位置、を検出する。解析部18Hは、撮影画像Pから車線境界線30Cを検出した場合、車線境界線30C有りを示す情報、車線境界線30Cの数を示す情報、および、撮影画像Pにおける車線境界線30Cの位置を示す情報、を含む検出対象物情報と、位置情報と、を含む検出結果情報を、送信部18Jを介してサーバ装置40へ送信する。
なお、解析部18Hが行う車線境界線30Cの検出処理は、このような処理に限定されず、公知の方法を用いることができる。また、特定部18Gが処理対象として、撮影画像Pの一部の領域である撮影画像領域32を特定した場合、解析部18Hは、この撮影画像領域32について、車線境界線30Cの検出を行えばよい。
図3に戻り、説明を続ける。次に、後処理部18Iについて説明する。後処理部18Iは、解析部18Hによる撮影画像Pの解析結果を用いて、後処理を行う。本実施の形態では、後処理部18Iは、解析部18Hによる撮影画像Pの解析結果を用いて、車両20の走行状態に対する評価値を算出する。
具体的には、後処理部18Iは、解析部18Hによる解析結果である、検出対象物情報に基づいて、処理対象として特定された撮影画像Pの撮影時の、車両20の走行状態に対する評価値を算出する。
走行状態に対する評価値は、例えば、危険運転とみなす度合い(危険運転度)を示す危険運転情報、道路標識によって表される交通規則に沿った運転であるか否かを示す安全運転情報、などである。なお、走行状態に対する評価値は、これらに限定されない。
本実施の形態では、後処理部18Iは、後処理対象の撮影画像Pの撮影タイミングに対応する走行状態情報を、走行状態取得部18Bから取得する。
そして、後処理部18Iは、撮影画像Pに含まれる検出対象物30の検出対象物情報と、該撮影画像Pの撮影時の走行状態情報と、を用いて、走行状態に対する評価値を算出する。
本実施の形態では、後処理部18Iは、評価値として、危険運転情報を算出する場合を一例として説明する。
撮影画像Pに速度標識30Aが含まれる場合、後処理部18Iは、該撮影画像Pから検出された速度標識30Aの検出対象物情報を読取る。そして、後処理部18Iは、該検出対象物情報に示される、速度標識30Aの表す交通規則の内容を示す規則情報(例えば、速度制限情報)を読取る。本実施の形態では、後処理部18Iは、速度規則情報を読取ったと仮定する。
この場合、後処理部18Iは、走行状態情報における、該撮影画像Pの撮影タイミングと同じタイミングにおける、車両20の走行速度を示す速度情報が、該速度規則情報によって示される速度を超えているか否かを判断する。そして、速度を超えている場合、後処理部18Iは、速度超過の度合いが高いほど、高い値を示す危険運転情報(評価値)を算出する。なお、車両20の走行速度を示す速度情報が、該速度規則情報によって示される速度以下である場合、後処理部18Iは、危険運転情報の算出を行わなくてもよい。
そして、後処理部18Iは、記憶部15に記憶されている地図データ15Aに、危険運転情報を登録する。詳細には、後処理部18Iは、地図データ15Aに付加する付加情報として、該撮影画像Pの撮影位置を示す位置情報と、算出した危険運転情報と、速度標識30Aの検出対象物情報と、を対応づけて登録する。
送信部18Jは、後処理部18Iが評価値(本実施の形態では、危険運転情報)を算出した場合、後処理部18Iによる危険運転度の判定結果を示す判定結果情報を、サーバ装置40へ送信する。判定結果情報は、危険運転情報と、撮影画像Pの撮影位置を示す位置情報と、車両20を運転するユーザのユーザIDと、を含む。
次に、撮影画像Pに信号機30Bが含まれる場合を説明する。撮影画像Pに信号機30Bが含まれる場合、後処理部18Iは、該撮影画像Pから検出された信号機30Bの検出対象物情報を読取る。そして、後処理部18Iは、該検出対象物情報に示される、信号機30Bの色を示す信号色が、赤色であるか否かを判定する。信号色が赤色である場合、日本の交通規則では「走行停止」を意味する。なお、この判定は、各国の交通規則に応じて適宜調整すればよい。
そして、後処理部18Iは、信号機30Bの色を示す信号色が、赤色であると判定したと仮定する。この場合、後処理部18Iは、走行状態情報における、該撮影画像Pの撮影タイミングと同じタイミングにおける、車両20の走行速度を示す速度情報が、走行停止を示す速度(例えば時速0km)を超える速度を示すか否かを判断する。なお、走行停止を示す速度は、時速0kmに限定されず、任意の速度を設定可能である。また、走行停止については、走行停止を示す速度と、該速度が継続された期間を用いて判断してもよい。
そして、後処理部18Iは、走行停止を示す速度を超えた速度超過の度合いが高いほど、高い値を示す危険運転情報を算出する。なお、車両20の走行速度を示す速度情報が、走行停止を示す速度である場合、後処理部18Iは、危険運転情報の算出を行わない。
そして、後処理部18Iは、記憶部15に記憶されている地図データ15Aに、危険運転情報を登録する。詳細には、後処理部18Iは、地図データ15Aに付加する付加情報として、該撮影画像Pの撮影位置を示す位置情報と、算出した危険運転情報と、信号機30Bの検出対象物情報と、を対応づけて登録する。
送信部18Jは、後処理部18Iが評価値(本実施の形態では、危険運転情報)を算出した場合、後処理部18Iによる危険運転度の判定結果を示す判定結果情報を、サーバ装置40へ送信する。この場合、判定結果情報は、危険運転情報と、撮影画像Pの撮影位置を示す位置情報と、車両20を運転するユーザのユーザIDと、を含む。
次に、撮影画像Pに車線境界線30Cが含まれる場合を説明する。撮影画像Pに車線境界線30Cが含まれる場合、後処理部18Iは、該撮影画像Pから検出された車線境界線30Cの検出対象物情報を読取る。そして、後処理部18Iは、該検出対象物情報に示される、車線境界線30Cの数、および、撮影画像Pにおける車線境界線30Cの位置を読取る。
後処理部18Iは、車線境界線30Cの数が、片側2車線以上であることを示す場合、危険運転情報の算出を行う。なお、後処理部18Iは、車線境界線30Cの数が、片側1車線であることを示す場合、危険運転情報の算出を行わなくてもよい。
そして、後処理部18Iは、車線境界線30Cの数が片側2車線以上であることを示す場合、撮影画像Pにおける車線境界線30Cの位置と、走行状態情報における、該撮影画像Pの撮影タイミングと同じタイミングにおける、車両20のステアリング角度を示す角度情報と、加速度センサ16で検出された加速度情報と、車両20の速度情報と、から、急激な車線変更がなされたか否かを判断する。
例えば、後処理部18Iは、前回検出した撮影画像Pにおける車線境界線30Cの位置からの車線境界線30Cの位置の変化、角度情報、加速度情報、速度情報の各々について、車線変更がなされたとみなす第3閾値を予め定める。そして、後処理部18Iは、前回検出した撮影画像Pにおける車線境界線30Cの位置からの車線境界線30Cの位置の変化、角度情報、加速度情報、速度情報の少なくとも1つが、対応する第3閾値を超えた値であるほど、高い値を示す危険運転情報を算出する。この第3閾値には、急激な車線変更がなされたと判別するための値を予め定めればよい。なお、前回検出した撮影画像Pにおける車線境界線30Cの位置からの車線境界線30Cの位置の変化、角度情報、加速度情報、速度情報の全てが対応する第3閾値未満である場合、後処理部18Iは、危険運転情報の算出を行わなくてもよい。
そして、後処理部18Iは、記憶部15に記憶されている地図データ15Aに、危険運転情報を登録する。詳細には、後処理部18Iは、地図データ15Aに付加する付加情報として、該撮影画像Pの撮影位置を示す位置情報と、算出した危険運転情報と、車線境界線30Cの検出対象物情報と、を対応づけて登録する。
送信部18Jは、後処理部18Iが評価値(本実施の形態では、危険運転情報)を算出した場合、後処理部18Iによる危険運転度の判定結果を示す判定結果情報を、サーバ装置40へ送信する。この場合、判定結果情報は、危険運転情報と、撮影画像Pの撮影位置を示す位置情報と、車線境界線30Cの検出対象物情報と、車両20を運転するユーザのユーザIDと、を含む。
なお、後処理部18Iによる評価値の算出方法は、上記方法に限定されない。
次に、サーバ装置40について説明する。図11は、サーバ装置40の機能ブロック図の一例である。
サーバ装置40は、通信部42、記憶部44、評価部46、更新部48、および解析・後処理部49を備える。通信部42は、1または複数の情報処理装置10の各々と通信する。本実施の形態では、通信部42は、情報処理装置10から、検出対象物30の検出結果を受信する。すなわち、通信部42は、情報処理装置10で検出した検出対象物30を示す検出対象物情報と、検出に用いた撮影画像Pの撮影位置を示す位置情報と、を含む検出結果情報を、情報処理装置10から受信する。
通信部42は、検出結果情報を受信すると、更新部48へ出力する。更新部48は、検出結果情報に含まれる、位置情報と、検出対象物情報と、を対応づけて、記憶部44の検出済管理情報44Aに登録する。
検出済管理情報44Aは、位置情報と、位置情報によって示される撮影位置で検出済の検出対象物30を示す検出対象物情報と、を対応づけた情報である。検出済管理情報44Aには、複数の車両20の各々で検出された検出対象物情報が、位置情報ごとに登録されている。
更新部48は、新たに受信した検出結果情報に含まれる、位置情報に対応する検出対象物情報に示される検出対象物30が検出済管理情報44Aに未登録である場合、新たに受信した検出対象物情報を、該位置情報に対応づけて検出済管理情報44Aに登録する。
そして、更新部48は、検出済管理情報44Aに新たに登録した、位置情報に対応する検出対象物情報と、該検出対象物情報に対応する位置情報と、を、サーバ装置40が管理する全ての車両20の各々に搭載された情報処理装置10へ送信する。情報処理装置10側では、サーバ装置40から受信した検出対象物情報と位置情報とを、各情報処理装置10における地図データ15Aに登録すればよい。
また、通信部42は、情報処理装置10から、危険運転度などの評価値の判定結果を示す判定結果情報を受信する。本実施の形態では、通信部42は、評価値として、危険運転度の判定結果を示す判定結果情報を情報処理装置10から受信する。上述したように、判定結果情報は、危険運転情報と、撮影画像Pの撮影位置を示す位置情報と、ユーザIDと、を含む。
通信部42は、判定結果情報を受信すると、更新部48へ出力する。更新部48は、判定結果情報に含まれる位置情報と、危険運転情報と、ユーザIDと、を対応づけて、記憶部44におけるユーザ管理情報44Bへ登録する。ユーザ管理情報44Bは、ユーザIDと、危険運転情報と、位置情報と、を対応づけたデータである。
そして、更新部48は、ユーザ管理情報44Bに新たに登録した、位置情報に対応する危険運転情報と、該危険運転情報に対応する位置情報と、を、サーバ装置40が管理する全ての車両20の各々に搭載された情報処理装置10へ送信する。情報処理装置10側では、サーバ装置40から受信した危険運転情報と位置情報とを、各情報処理装置10における地図データ15Aに登録すればよい。
評価部46は、ユーザ管理情報44Bに登録されている危険運転情報を、対応するユーザIDごとに読取る。そして、評価部46は、ユーザIDによって識別されるユーザごとに、対応する危険運転情報からユーザの運転評価値を算出する。例えば、危険運転情報によって示される危険運転とみなす度合(危険運転度)が高いほど、低い運転評価値を算出する。
なお、評価部46は、複数の項目ごとに運転評価値を算出してもよい。項目とは、例えば、一時停止、信号機30Bなどである。一時停止に対応する運転評価値は、例えば、速度標識30Aに表される交通規則“一時停止”を行った回数を、一時停止を表す速度標識30Aを検出した総回数で除算した値としてもよい。
そして、評価部46は、算出した運転評価値とユーザIDと、を対応づけて、通信部42を介して外部装置などへ送信する。外部装置は、例えば、運転評価値を用いた各種処理を実行する機関に設置されている。例えば、外部装置は、保険会社などに設置されている。
また、通信部42は、情報処理装置10から、撮影画像Pと、撮影画像Pの撮影タイミングを示すタイミング情報と、該撮影タイミングと同じタイミングの走行状態を示す走行状態情報と、を受信する場合がある。この場合、通信部42は、撮影画像Pと、タイミング情報と、走行状態情報と、を解析・後処理部49へ出力する。
解析・後処理部49は、情報処理装置10における、特定部18Gと、解析部18Hと、後処理部18Iと、に相当する機能を有する。
すなわち、解析・後処理部49は、特定部18Gと同様にして、通信部42で受信した撮影画像Pについて、対応する走行状態情報を用いて、処理対象の撮影画像Pを特定する。そして、解析・後処理部49は、特定した撮影画像Pを、解析部18Hと同様にして解析し、検出対象物30を検出する。そして、解析・後処理部49は、検出結果を示す検出結果情報を、評価部46へ出力すればよい。
また、解析・後処理部49は、検出結果を用いて、後処理部18Iと同様にして後処理を行い、走行状態の評価値(危険運転情報)を算出する。そして、解析・後処理部49は、算出した評価値(危険運転情報)を含む判定結果情報を、更新部48へ出力すればよい。
このように、サーバ装置40に解析・後処理部49を設けた構成とすることで、サーバ装置40側で、情報処理装置10の特定部18Gによる特定処理、解析部18Hによる解析処理、および後処理部18Iによる後処理を実行してもよい。
次に、本実施の形態の情報処理装置10が実行する解析処理の手順の一例を説明する。図12は、情報処理装置10が実行する解析処理の手順の一例を示すフローチャートである。
まず、画像取得部18Aが、撮影部12から1フレーム分の撮影画像Pを取得する(ステップS100)。次に、走行状態取得部18Bが、ステップS100で取得した撮影画像Pの撮影タイミングと同じタイミングの走行状態を示す走行状態情報を取得する(ステップS102)。
次に、設定部18Cの算出部18Dが、ステップS102で取得した走行状態情報を用いて、重み値Wを算出する(ステップS104)。次に、設定部18Cが、ステップS104で算出した重み値Wから、時系列に撮影された複数の撮影画像Pから撮影画像Pを取得する取得間隔を設定する(ステップS106)。
次に、特定部18Gが、画像取得部18AがステップS100で取得した撮影画像Pが処理対象であるか否かを判断する(ステップS108)。ステップS108では、特定部18Gは、ステップS100で取得した撮影画像Pが、処理対象として前回特定した撮影画像Pの撮影タイミングから、ステップS106で設定された取得間隔を隔てた撮影タイミングで撮影された撮影画像Pであるか否かを判別する。この判別により、ステップS108の判断を行う。
ステップS108で否定判断すると(ステップS108:No)、後述するステップS150へ進む。一方、ステップS108で肯定判断すると(ステップS108:Yes)、ステップS110へ進む。ステップS110では、特定部18Gは、ステップS100で取得した撮影画像Pを、処理対象として特定する(ステップS110)。
ステップS100〜ステップS110の処理によって、特定部18Gは、時系列で連続して撮影された複数の撮影画像Pから、ステップS106で設定された取得間隔ごとの撮影画像Pを、処理対象として特定する。
ステップS112では、特定部18Gは、ステップS110で特定した撮影画像Pの内の一部の領域である撮影画像領域32を、処理対象として更に特定するか否かを判断する(ステップS112)。例えば、特定部18Gは、一部の領域の特定を行うか否かを示す特定情報を、予め記憶する。そして、特定部18Gは、この特定情報に応じて、ステップS112の判断を行えばよい。
ステップS112で否定判断すると(ステップS112:No)、ステップS114へ進む。ステップS114では、ステップS110で特定した撮影画像Pと、該撮影画像Pに対応するステップS102で取得した走行状態情報と、をサーバ装置40へ送信する(ステップS114)。なお、このとき、情報処理装置10の搭載された車両20を運転するユーザのユーザID、および、車両20に搭載された撮影部12の識別情報(カメラID)と、を併せてサーバ装置40へ送信してもよい。
ステップS114の処理によって、サーバ装置40側においても、情報処理装置10の解析部18Hで行う解析処理や後処理部18Iで行う後処理を実行することができる。また、サーバ装置40側では、カメラIDによって識別される撮影部12ごとに、解析処理や後処理を実行することができる。このため、サーバ装置40では、撮影部12の取り付け角度などに応じた解析処理や後処理を実行することもできる。また、サーバ装置40では、ユーザIDによって識別されるユーザごとに、解析処理や後処理を実行することもできる。
次に、解析部18Hが、ステップS110で特定した撮影画像Pを解析し、検出対象物30を検出する(ステップS116)。そして、ステップS124へ進む。
一方、上記ステップS112で肯定判断すると(ステップS112:Yes)、ステップS118へ進む。ステップS118では、特定部18Gが、ステップS110で特定した撮影画像Pにおける撮影画像領域32を特定する(ステップS118)。
次に、特定部18Gは、ステップS118で特定した撮影画像領域32と、該撮影画像領域32を含む撮影画像Pに対応するステップS102で取得した走行状態情報と、をサーバ装置40へ送信する(ステップS120)。
ステップS120の処理によって、サーバ装置40側においても、情報処理装置10の解析部18Hで行う解析処理や後処理部18Iで行う後処理を実行することができる。また、撮影画像Pにおける解析や後処理で用いる撮影画像領域32を、選択的にサーバ装置40へ送信する。このため、サーバ装置40へ送信するデータ量の削減およびデータ送信速度の短縮を図ることもできる。
次に、解析部18Hが、ステップS118で特定した撮影画像領域32を解析し、撮影画像領域32に含まれる検出対象物30を検出する(ステップS122)。そして、ステップS124へ進む。
ステップS124では、後処理部18Iが、ステップS110で特定した撮影画像Pにおける、ステップS116またはステップS122で検出された検出対象物30の検出対象物情報を取得する(ステップS124)。
なお、後処理部18Iは、ステップS110で特定した撮影画像Pの撮影タイミングに対応する位置情報(すなわち、撮影位置を示す位置情報)に対応する検出対象物情報が記憶部15へ既に記憶されている場合、ステップS116およびステップS122の処理を行わない形態であってもよい。この場合、後処理部18Iは、記憶部15から、該位置情報に対応する検出対象物情報を読取ることで、検出対象物情報を取得すればよい。この処理によって、過去に検出済の検出対象物30については、検出処理を省略することができる。
次に、後処理部18Iは、ステップS100で特定した撮影画像Pから、信号機30Bが検出されたか否かを判断する(ステップS126)。後処理部18Iは、ステップS124で取得した検出対象物情報に、信号機30Bを示す検出対象物情報が含まれるか否かを判別することで、ステップS126の判断を行う。
ステップS126で否定判断すると(ステップS126:No)、後述するステップS134へ進む。ステップS126で肯定判断すると(ステップS126:Yes)、ステップS128へ進む。
ステップS128では、後処理部18Iは、危険運転であるか否かを判断する(ステップS128)。例えば、後処理部18Iは、検出対象物情報に示される信号機30Bの信号色情報が赤色を示す情報であり、走行情報に含まれる車両20の走行速度を示す速度情報が走行停止を示す速度を超えているか否かを判別することで、ステップS128の判断を行う。ステップS128で否定判断すると(ステップS128:No)、後述するステップS134へ進む。
ステップS128で肯定判断すると(ステップS128:Yes)、後処理部18Iは、危険運転情報を算出し(ステップS129)、ステップS110で特定した撮影画像Pの撮影位置を示す位置情報と、算出した危険運転情報と、信号機30Bの検出対象物情報と、を含む付加情報を、地図データ15Aに登録する(ステップS130)。
次に、後処理部18Iは、危険運転情報と、撮影画像Pの撮影位置を示す位置情報と、車両20を運転するユーザのユーザIDと、を含む判定結果情報を、サーバ装置40へ送信する(ステップS132)。
次に、後処理部18Iは、ステップS110で特定した撮影画像Pから、車線境界線30Cが検出されたか否かを判断する(ステップS134)。後処理部18Iは、ステップS124で取得した検出対象物情報に、車線境界線30C有りを示す情報が含まれ、且つ、片側2車線以上であることを示す車線境界線30Cの数を示す情報が含まれるか否かを判別する。これによって、後処理部18Iは、ステップS134の判断を行う。
ステップS134で否定判断すると(ステップS134:No)、後述するステップS142へ進む。ステップS134で肯定判断すると(ステップS134:Yes)、ステップS136へ進む。
ステップS136では、後処理部18Iが、危険運転であるか否かを判断する(ステップS136)。例えば、後処理部18Iは、前回検出した撮影画像Pにおける車線境界線30Cの位置からの車線境界線30Cの位置の変化、角度情報、加速度情報、速度情報の少なくとも1つが、急激な車線変更の判断に用いる閾値を超えた値であるか否かを判別することで、ステップS136の判断を行う。
ステップS136で否定判断すると(ステップS136:No)、後述するステップS142へ進む。ステップS136で肯定判断すると(ステップS136:Yes)、ステップS137へ進む。
ステップS137では、後処理部18Iは、危険運転情報を算出し(ステップS137)、ステップS110で特定した撮影画像Pの撮影位置を示す位置情報と、算出した危険運転情報と、車線境界線30Cを示す検出対象物情報と、を含む付加情報を、地図データ15Aに登録する(ステップS138)。
次に、後処理部18Iは、ステップS138で登録した危険運転情報と、撮影画像Pの撮影位置を示す位置情報と、車両20を運転するユーザのユーザIDと、を含む判定結果情報を、サーバ装置40へ送信する(ステップS140)。
次に、後処理部18Iは、ステップS110で特定した撮影画像Pの撮影位置において、速度標識30Aが検出されたか否かを判断する(ステップS142)。後処理部18Iは、ステップS124で取得した検出対象物情報に、速度標識30A有りを示す情報が含まれるか否かを判別する。これによって、後処理部18Iは、ステップS142の判断を行う。
ステップS142で否定判断すると(ステップS142:No)、後述するステップS150へ進む。ステップS142で肯定判断すると(ステップS142:Yes)、ステップS144へ進む。
ステップS144では、後処理部18Iが、危険運転であるか否かを判断する(ステップS144)。例えば、後処理部18Iは、ステップS110で特定した撮影画像Pの撮影タイミングと同じタイミングにおける、車両20の走行速度を示す速度情報が、該撮影画像Pから検知された速度標識30Aの表す速度規則情報によって示される速度を超えているか否かを判断する。これによって、後処理部18Iは、ステップS144の判断を行う。
ステップS144で否定判断すると(ステップS144:No)、ステップS150へ進む。一方、ステップS144で肯定判断すると(ステップS144:Yes)、ステップS145へ進む。
ステップS145では、後処理部18Iは、危険運転情報を算出する(ステップS145)。次に、後処理部18Iは、ステップS110で特定した撮影画像Pの撮影位置を示す位置情報と、算出した危険運転情報と、速度標識30Aを示す検出対象物情報と、を含む付加情報を、地図データ15Aに登録する(ステップS146)。
次に、後処理部18Iは、ステップS146で登録した危険運転情報と、撮影画像Pの撮影位置を示す位置情報と、車両20を運転するユーザのユーザIDと、を含む判定結果情報を、サーバ装置40へ送信する(ステップS148)。
次に、制御部18では、解析処理を終了するか否かを判断する(ステップS150)。例えば、制御部18では、UI部17から解析処理の終了を示す終了指示を受付けたか否かを判別することで、ステップS150の判断を行う。なお、制御部18は、情報処理装置10を搭載した情報処理装置10のエンジン停止を示す信号を車両制御部22から受付けたか否かを判別することで、ステップS150の判断を行ってもよい。
ステップS150で否定判断すると(ステップS150:No)、上記ステップS100へ戻る。一方、ステップS150で肯定判断すると(ステップS150:Yes)、本ルーチンを終了する。
このように、情報処理装置10は、撮影部12で撮影された全ての撮影画像Pの内、特定部18Gによって、走行状態情報に基づいて処理対象として特定された撮影画像Pについて、解析を行う。
このため、本実施の形態の情報処理装置10は、撮影画像Pに対する、解析速度の高速化を実現することができる。
なお、走行状態情報に示される速度情報が、所定時間以上一定速度以上の速度を示す場合、ステップS126〜ステップS132の処理を省略してもよい。例えば、日本の道路Rの場合、時速80km以上で走行する道路には、信号機30Bが設置されていない可能性が高いためである(例えば、高速道路など)。同様に、走行状態情報に示される速度情報が、所定時間以上一定速度以上の速度を示す場合、一時停止を示す標識30Dの検出処理を省略してもよい。
また、走行状態情報に示される速度情報が、所定時間以上一定速度(例えば、時速20km〜30km)未満の速度を示す場合、ステップS142〜ステップS147の処理を省略してもよい。例えば、明らかな交通規則違反ではない速度(例えば、時速20km)を示す速度で走行中の場合、速度違反などの危険運転と判定される可能性が低いためである。
また、情報処理装置10を搭載した車両20の走行領域が予め定めた範囲である場合、該範囲内で検出される可能性のある検出対象物30の種類を、予め記憶部15に記憶しておいてもよい。そして、ステップS116およびステップS122の処理では、解析部18Hは、記憶部15に記憶した種類の検出対象物30を、撮影画像Pまたは撮影画像領域32から検出してもよい。
次に、制御部18が行う割込み処理の手順を説明する。制御部18は、図12に示す解析処理の実行中に、図13および図14に示す割込み処理(地図データ更新処理、地図画像表示処理)を行う。
図13は、地図データ更新処理の手順の一例を示すフローチャートである。
まず、受信部18Lが、サーバ装置40から、位置情報と検出対象物情報とを受信したか否かを判断する(ステップS400)。
ステップS400で肯定判断すると(ステップS400:Yes)、ステップS402へ進む。ステップS402では、受信部18Lは、ステップS400で受信した、位置情報と検出対象物情報とを付加情報として、地図データ15Aへ登録する(ステップS402)。そして、本ルーチンを終了する。
一方、ステップS400で否定判断すると(ステップS400:No)、ステップS404へ進む。ステップS404では、受信部18Lが、位置情報と危険運転情報とをサーバ装置40から受信したか否かを判断する(ステップS404)。ステップS404で肯定判断すると(ステップS404:Yes)、ステップS406へ進む。ステップS406では、ステップS404で受信した、位置情報と危険運転情報とを付加情報として地図データ15Aへ登録する(ステップS406)。そして、本ルーチンを終了する。一方、ステップS404で否定判断した場合も(ステップS404:No)、本ルーチンを終了する。
次に、割込み処理の1つである、地図画像表示処理の手順の一例を説明する。図14は、地図画像表示処理の手順の一例を示すフローチャートである。まず、表示制御部18Kが、走行状態取得部18Bを介してGPSセンサ14から、車両20の現在の位置情報を取得する(ステップS300)。
次に、表示制御部18Kは、地図データ15Aを記憶部15から読取る(ステップS302)。そして、表示制御部18Kは、ステップS300で取得した位置情報、および、該位置情報によって示される位置を含む予め定めた範囲内の位置情報の各々に対応する、付加情報を記憶部15から読取る(ステップS304)。付加情報は、上述したように、位置情報と、検出対象物30の検出対象物情報と、を含む。
表示制御部18Kは、ステップS302で読取った地図データ15Aの地図画像における、位置情報に対応する位置に、対応する付加情報に含まれる検出対象物30または危険運転情報を示す画像を重畳して、UI部17へ表示する(ステップS306)。このため、ユーザは、UI部17を視認することで、地図上の現在位置および現在位置の周辺に存在する、検出対象物30や危険運転の発生箇所を容易に確認することができる。
次に、制御部18は、本ルーチンを終了するか否かを判断する(ステップS308)。制御部18は、例えば、情報処理装置10のエンジン停止を示す停止信号を車両制御部22から受付けたか否かを判別することで、ステップS308の判断を行う。ステップS308で否定判断すると(ステップS308:No)、上記ステップS300へ戻る。一方、ステップS308で肯定判断すると(ステップS308:Yes)、本ルーチンを終了する。
次に、サーバ装置40が実行する管理処理を説明する。図15は、サーバ装置40が実行する管理処理の手順の一例を示すフローチャートである。
まず、通信部42が、情報処理装置10から検出結果情報を受信したか否かを判断する(ステップS500)。ステップS500で肯定判断すると(ステップS500:Yes)、ステップS502へ進む。
ステップS502では、更新部48が、ステップS500で受信した検出結果情報に含まれる、位置情報に対応する検出対象物情報に示される検出対象物30が検出済管理情報44Aに未登録であるか否かを判断する(ステップS502)。登録済であると判断した場合(ステップS502:No)、本ルーチンを終了する。一方、未登録であると判断した場合(ステップS502:Yes)、ステップS504へ進む。
ステップS504では、更新部48が、ステップS500で受信した検出結果情報に含まれる、検出対象物情報および位置情報を対応づけて検出済管理情報44Aに登録する(ステップS504)。
そして、更新部48は、検出済管理情報44Aに新たに登録した、位置情報に対応する検出対象物情報と、該検出対象物情報に対応する位置情報と、を、サーバ装置40が管理する全ての車両20の各々に搭載された情報処理装置10へ、通信部42を介して送信する(ステップS506)。そして、本ルーチンを終了する。
一方、ステップS500で否定判断すると(ステップS500:No)、ステップS508へ進む。ステップS508では、通信部42が、判定結果情報を情報処理装置10から受信したか否かを判断する。ステップS508で肯定判断すると(ステップS508:Yes)、ステップS510へ進む。
ステップS510では、更新部48が、ステップS508で受信した判定結果情報に含まれる位置情報と、危険運転情報と、ユーザIDと、を対応づけて、記憶部44におけるユーザ管理情報44Bへ登録する(ステップS510)。
次に、更新部48は、ステップS510でユーザ管理情報44Bに新たに登録した、位置情報に対応する危険運転情報と、該危険運転情報に対応する位置情報と、を、サーバ装置40が管理する全ての車両20の各々に搭載された情報処理装置10へ、通信部42を介して送信する(ステップS512)。
次に、評価部46は、ユーザ管理情報44Bに登録されている危険運転情報を、対応するユーザIDごとに読取る。そして、評価部46は、ユーザIDによって識別されるユーザごとに、対応する危険運転情報からユーザの運転評価値を算出する(ステップS514)。
次に、評価部46は、ステップS514で算出した運転評価値とユーザIDとを含む、運転評価結果を、通信部42を介して外部装置などへ送信する(ステップS516)。そして、本ルーチンを終了する。
一方、ステップS508で否定判断すると(ステップS508:No)、ステップS518へ進む。ステップS518では、通信部42が、情報処理装置10から撮影画像Pおよび走行状態情報を受信したか否かを判別する(ステップS518)。なお、ステップS518では、撮影画像Pに代えて、撮影画像Pの撮影画像領域32を受信してもよい。
ステップS518で否定判断すると(ステップS518:No)、本ルーチンを終了する。一方、ステップS518で肯定判断すると(ステップS518:Yes)、ステップS520へ進む。
ステップS520では、解析・後処理部49が、ステップS518で受信した撮影画像Pを処理対象として特定する特定処理を行う(ステップS520)。ステップS520の処理は、ステップS110(図12参照)と同様である。次に、解析・後処理部49が、ステップS110で特定した撮影画像P(または撮影画像領域32)について、解析処理を実行する(ステップS522)。ステップS522の処理は、ステップS116およびステップS122の処理と同様である(図12参照)。
次に、解析・後処理部49が登録・送信処理を実行する(ステップS524)。ステップS524の処理は、ステップS502〜ステップS506と同様である。次に、解析・後処理部49が後処理を実行する(ステップS526)。ステップS526の処理は、ステップS124〜ステップS146(なお、ステップS132およびステップS140の処理は行わない)と同様である。
次に、解析・後処理部49が、登録・評価・送信処理を実行する(ステップS528)。ステップS528の処理は、ステップS508〜ステップS516と同様である。そして、本ルーチンを終了する。
なお、ステップS514〜ステップS516の処理は、所定期間ごと(例えば、数か月ごと等)に定期的におこなってもよい。
なお、サーバ装置40では、ステップS502の処理を行わない形態であってもよい。この場合、ステップS500で肯定判断すると(ステップS500:Yes)、ステップS504へ進めばよい。そして、ステップS504では、更新部48は、ステップS500で受信した検出結果情報に含まれる位置情報に対応する検出対象物30として、同じ種類の検出対象物30が、予め定めた閾値以上の数、既に検出済管理情報44Aに登録されているか否かを判別する。そして、更新部48は、該閾値以上の数の検出対象物30が登録されている場合に、検出対象物30の検出信頼度が高いと判定する。そして、検出信頼度が高いと判定した場合に、ステップS504の処理およびステップS506の処理を行ってもよい。検出信頼度が高いとは、該位置情報によって示される撮影位置に、該検出対象物30が存在する確率が高いことを意味する。
この処理により、情報処理装置10によって誤って検出された検出対象物30の検出対象物情報を、他の情報処理装置10へ配信することを抑制することができる。
また、更新部48が、検出信頼度が高い(ある閾値より高い)と判定した場合に、ステップS514の運転評価値の算出を行ってもよい。また、更新部48が、検出信頼度が低い(ある閾値より低い)と判定した場合には、評価部46は、ステップS514の処理において算出した運転評価値を、運転評価値が高く(評価が良く)なるように補正してもよい。
また、評価部46は、ステップS514の処理において算出した運転評価値の評価値信頼度を算出してもよい。そして、評価部46は、評価値信頼度が予め定めた値より低い場合、ステップS514で算出した運転評価値を補正してもよい。なお、評価値信頼度は、例えば、下記式(2)から算出すればよい。
評価値信頼度=α×検出対象物30の検出信頼度の平均値+β×検出対象物30を検出した総回数 ・・・式(2)
式(2)中、αおよびβは、検出対象物30の検出信頼度の平均値、および検出対象物30を検出した総回数の何れを重視するかを定めるためのパラメータであり、予め設定すればよい。
なお、評価部46は、ステップS514の処理において算出した運転評価値の評価値信頼度が予め定めた値より低い場合には、該運転評価値に対応する項目については、同一のユーザの運転する車両20に搭載された情報処理装置10から受信した危険運転情報を追加して、運転評価値を再度算出してもよい。
また、評価部46は、ステップS516で外部装置などへ運転評価結果を送信するときに、評価値信頼度が予め定めた値より低い項目については、非表示とすることを指示する情報を含む運転評価結果を送信してもよい。また、評価部46は、ステップS516で外部装置などへ運転評価結果を送信するときに、評価値信頼度が予め定めた値より低い項目については、評価値信頼度が低いことを示す情報を併せて表示することを指示する情報を含む、運転評価結果を送信してもよい。
以上説明したように、本実施の形態の情報処理装置10は、画像取得部18Aと、特定部18Gと、解析部18Hと、を備える。画像取得部18Aは、車両20(移動体)の周辺の撮影画像Pを取得する。特定部18Gは、撮影画像Pの撮影時の車両20(移動体)の走行状態を示す走行状態情報に基づいて、処理対象の撮影画像Pを特定する。解析部18Hは、処理対象として特定した撮影画像Pを解析する。
このように、本実施の形態の情報処理装置10では、解析部18Hは、走行状態情報に応じて処理対象の撮影画像Pを特定し、特定した撮影画像Pを解析する。
従って、本実施の形態の情報処理装置10では、移動体(車両20)で撮影された移動体周囲の複数の撮影画像Pに対する、解析速度の高速化を実現できる。
なお、走行状態情報は、車両20(移動体)の移動速度を示す速度情報、車両20(移動体)の加速度を示す加速度情報、車両20(移動体)の位置を示す位置情報、車両20(移動体)がブレーキ操作に応じて減速したことを示すブレーキ操作情報、および、車両20(移動体)のステアリング角度を示す角度情報、の少なくとも1つを含むことが好ましい。
また、情報処理装置10は、設定部18C(第1の設定部)を備えることができる。設定部18C(第1の設定部)は、走行状態情報に応じて、時系列に撮影された複数の撮影画像Pから撮影画像Pを取得する取得間隔を設定する。特定部18Gは、時系列で連続して撮影された複数の撮影画像Pから、設定された取得間隔ごとの撮影画像Pを処理対象として特定することができる。
また、設定部18C(第1の設定部)は、算出部18D(第1の算出部)を含むことができる。算出部18D(第1の算出部)は、走行状態情報に基づいて、走行状態の重み値Wとして、解析部18Hによる解析結果を用いた予め定めた後処理において重要度の高い走行状態であるほど高い重み値Wを算出する。そして、設定部18C(第1の設定部)は、重み値Wが予め定めた閾値より高いほど、より短い取得間隔を設定することが好ましい。
また、特定部18Gは、走行状態情報に基づいて、処理対象として特定した撮影画像Pにおける一部の撮影画像領域32を更に特定してもよい。この場合、解析部18Hは、特定された撮影画像領域32を解析することによって、撮影画像Pを解析することが好ましい。
また、特定部18Gは、処理対象として特定した撮影画像Pにおける、走行状態情報に基づいた大きさおよび数の撮影画像領域32を特定することが好ましい。さらに、特定部18Gは、算出部18M(第3の算出部)を含むことが好ましい。算出部18Mは、走行状態情報に基づいて、走行状態の重み値Wとして、解析部18Hによる解析結果を用いた後処理における重要度の高い走行状態であるほど高い重み値Wを算出する。そして、特定部18Gは、重み値Wが予め定めた閾値より高いほど、より大きい撮影画像領域32、または、より多い数の撮影画像領域32を特定することが好ましい。
また、情報処理装置10は、受付部18Fと、変更部18Eと、を備えることができる。受付部18Fは、車両20(移動体)を運転するユーザのユーザID(ユーザ識別情報)、該閾値の変更指示を示す指示情報、または、目標処理時間を示す処理時間情報、を含む受付情報を受付ける。変更部18Eは、受付情報に応じて該閾値を変更することができる。
<変形例1>
なお、上記実施の形態では、特定部18Gは、画像取得部18Aで取得した、時系列で撮影された複数の撮影画像Pについて、走行状態情報に応じた取得間隔ごとの撮影画像Pを、処理対象として特定する形態を一例として説明した。
しかし、特定部18Gは、走行状態情報に基づいて、処理対象の撮影画像Pを特定すればよく、走行状態情報に応じた取得間隔ごとの撮影画像Pを特定する形態に限定されない。
例えば、特定部18Gは、走行状態情報に応じて処理枚数の撮影画像Pを、処理対象として特定してもよい。
この場合、設定部18C(第2の設定部)は、取得間隔に代えて、走行状態情報に応じた処理枚数を設定すればよい。そして、特定部18Gは、時系列で連続して撮影された複数の撮影画像Pから、設定された処理枚数の撮影画像Pを、処理対象として特定してもよい。
この場合、設定部18Cは、例えば、以下の方法を用いて処理枚数を設定することが好ましい。例えば、設定部18Cの算出部18Dが、上記実施の形態と同様にして、走行状態情報に基づいて、走行状態の重み値Wを算出する。この重み値W、および重み値Wの算出方法は、上記実施の形態と同様である。
そして、設定部18Cは、算出部18Dで算出した重み値Wが予め定めた閾値より高いほど、より多い処理枚数を設定すればよい。なお、重み値Wが閾値以下である場合、処理枚数は、予め定めた基準の処理枚数とすればよい。このため、重み値Wが閾値より高いほど、基準の処理枚数に対して、より多い数の処理枚数が設定される。
このため、設定部18Cは、撮影画像Pの撮影タイミングにおける、車両20の走行状態が、後処理における重要度の高い走行状態を示すほど、より多い処理枚数を設定することとなる。
なお、設定部18Cが処理枚数の設定に用いる閾値は、上記実施の形態と同様に、変更部18Eによって変更可能としてもよい。
このように、設定部18Cが、走行状態情報に応じた処理枚数を設定することで、特定部18Gは、走行状態に応じた処理枚数の撮影画像Pを、処理対象として特定することができる。
この場合、例えば、図5に示すように、画像取得部18Aが、時系列で撮影された複数の撮影画像P(撮影画像P〜撮影画像P)を、順次取得したとする。特定部18Gは、これらの複数の撮影画像P(撮影画像P〜撮影画像P)の内、設定された処理枚数(例えば3枚)の撮影画像P(撮影画像P〜撮影画像P)を、処理対象の撮影画像Pとして特定すればよい。
このように、本変形例では、情報処理装置10は、設定部18C(第2の設定部)を備える。設定部18Cは、走行状態情報に応じて、処理枚数を設定する。そして、この場合、特定部18Gは、時系列で連続して撮影された複数の撮影画像Pから、設定された処理枚数の撮影画像Pを処理対象として特定することができる。
このため、本変形例の情報処理装置10においても、上記実施の形態と同様の効果が得られる。
また、設定部18C(第2の設定部)は、走行状態情報に基づいて、走行状態の重み値Wとして、解析部18Hによる解析結果を用いた後処理における重要度の高い走行状態であるほど高い重み値Wを算出する算出部18D(第2の算出部)を含むことができる。そして、設定部18C(第2の設定部)は、重み値Wが予め定めた閾値より高いほど、より多い処理枚数を設定することができる。
<変形例2>
なお、上記実施の形態では、情報処理装置10を車両20に搭載した形態を説明した。しかし、情報処理装置10を、車両20とは別体として構成し、車両20に搭載しない形態であってもよい。
この場合、車両20に搭載された撮影部12で撮影された複数の撮影画像Pと、各撮影画像Pの各々の撮影タイミングに対応する、撮影位置を示す位置情報、走行状態情報、および撮影タイミングを示すタイミング情報と、を対応づけた撮影画像群データを、公知の記憶媒体(例えば、メモリカードなど)や記憶部15に予め記憶すればよい。
そして、情報処理装置10では、該撮影画像群データに含まれる撮影画像Pの各々について、上記制御部18と同様にして解析処理を実行すればよい。
図16は、本変形例の情報処理装置10Aの機能的構成の一例を示すブロック図である。
情報処理装置10Aは、記憶部13と、UI部17と、制御部19と、を備える。記憶部13およびUI部17と、制御部19と、はデータや信号を授受可能に接続されている。
記憶部13は、公知のハードディスクドライブであってもよいし、取り外しおよび携帯可能な公知の記憶媒体(メモリカードなど)であってもよい。本実施の形態では、記憶部13は、撮影画像群データ13Aを記憶する。
撮影画像群データ13Aは、撮影画像Pと、撮影画像Pの撮影タイミングを示す撮影タイミング情報と、撮影画像Pの撮影タイミングと同じタイミングにおける車両20の走行状態を示す走行状態情報と、を対応づけたものである。撮影画像群データ13Aは、時系列で撮影された複数の撮影画像Pを含む。
制御部19は、画像取得部17Aと、走行状態取得部17Bと、設定部18Cと、算出部18Dと、変更部18Eと、受付部18Fと、特定部17Gと、解析部18Hと、送信部18Jと、算出部17Mと、後処理部18Iと、を備える。画像取得部17A、走行状態取得部17B、設定部18C、算出部18D、変更部18E、受付部18F、特定部17G、解析部18H、送信部18J、算出部17M、および後処理部18Iの一部またはすべては、例えば、CPUなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ICなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。
制御部19は、画像取得部18A、走行状態取得部18B、特定部18Gに代えて、画像取得部17A、走行状態取得部17B、特定部17Gの各々を備える。また、制御部19は、制御部18における受信部18Lおよび表示制御部18Kを備えない。この点以外は、制御部19は、制御部18と同様の構成である。
画像取得部17Aは、車両20の周辺の撮影画像Pを取得する。本実施の形態では、画像取得部17Aは、記憶部13に記憶されている撮影画像群データ13Aから、撮影タイミング順に(例えば降順に)、順次、撮影画像Pを読取る。そして、画像取得部17Aは、読取った撮影画像Pを、順次、特定部17Gへ出力する。
すなわち、画像取得部17Aは、撮影部12に代えて、記憶部13の撮影画像群データ13Aから撮影画像Pを読取る以外は、上記実施の形態の画像取得部18Aと同様である。
走行状態取得部17Bは、撮影画像Pの撮影時の車両20の走行状態を示す走行状態情報を取得する。詳細には、走行状態取得部17Bは、画像取得部17Aが取得する撮影画像Pの各々に対応する走行状態情報を、記憶部13の撮影画像群データ13Aから読取る。この読取りにより、走行状態取得部17Bは、走行状態情報を取得する。そして、走行状態取得部17Bは、取得した走行状態情報を、走行状態取得部17Bおよび設定部18Cへ出力する。
すなわち、走行状態取得部17Bは、GPSセンサ14、16、車両制御部22(図3参照)に代えて、記憶部13の撮影画像群データ13Aから走行状態情報を読取る以外は、上記実施の形態の走行状態取得部18Bと同様である。
特定部17Gは、画像取得部17Aで取得した複数の撮影画像Pの内、処理対象の撮影画像Pを特定する。特定部17Gは、走行状態取得部17Bで取得した、各撮影画像Pの各々に対応する走行状態情報に基づいて、処理対象の撮影画像Pを特定する。なお、特定部17Gは、画像取得部18Aおよび走行状態取得部18Bに代えて、画像取得部17Aおよび走行状態取得部17Bの各々から撮影画像Pおよび走行状態情報を取得する以外は、上記実施の形態の特定部18Gと同様である。
このため、特定部17Gは、特定部18Gと同様にして、撮影画像Pを特定する。解析部18H、後処理部18I、および送信部18Jは、上記実施の形態の解析部18H、後処理部18I、および送信部18Jの各々と同様である。
このように、情報処理装置10Aは、撮影画像群データ13Aから取得した撮影画像Pから、走行状態情報に基づいて、処理対象の撮影画像Pを特定してもよい。本変形例の情報処理装置10Aについても、上記実施の形態の情報処理装置10と同様の効果が得られる。
また、本変形例では、特定部17Gで特定した撮影画像Pを記憶部13から読み出して解析処理に用いればよいことから、記憶部13からのデータ読出し時間の短縮を図ることもできる。
次に、上記実施の形態および変形例の、情報処理装置10、情報処理装置10A、およびサーバ装置40のハードウェア構成を説明する。図17は、上記実施の形態および変形例の情報処理装置10、情報処理装置10A、およびサーバ装置40のハードウェア構成例を示すブロック図である。
上記実施の形態および変形例の、情報処理装置10、情報処理装置10A、およびサーバ装置40は、出力部80、I/F部82、入力部94、CPU86、ROM(Read Only Memory)88、RAM(Random Access Memory)90、およびHDD92等がバス96により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
CPU86は、上記実施の形態および変形例の、情報処理装置10、情報処理装置10A、およびサーバ装置40の各々で実行する処理を制御する演算装置である。RAM90は、CPU86による各種処理に必要なデータを記憶する。ROM88は、CPU86による各種処理を実現するプログラム等を記憶する。HDD92は、上述した記憶部15、記憶部44、記憶部13、に格納されるデータを記憶する。I/F部82は、他の装置との間でデータを送受信するためのインターフェースである。出力部80は、上述したUI部17の表示機能に相当する。入力部94は、上述したUI部17の入力機能に相当する。
上記実施の形態および変形例の、情報処理装置10、情報処理装置10A、およびサーバ装置40で実行される上記各種処理を実行するためのプログラムは、ROM88等に予め組み込んで提供される。
なお、上記実施の形態および変形例の、情報処理装置10、情報処理装置10A、およびサーバ装置40で実行されるプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。
また、上記実施の形態および変形例の、情報処理装置10、情報処理装置10A、およびサーバ装置40で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態および変形例の、情報処理装置10、解析装置10A、およびサーバ装置40における上記各処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
上記実施の形態および変形例の、情報処理装置10、情報処理装置10A、およびサーバ装置40で実行される上記各種処理を実行するためのプログラムは、上述した各部が主記憶装置上に生成されるようになっている。
なお、上記HDD92に格納されている各種情報は、外部装置に格納してもよい。この場合には、該外部装置とCPU86と、を、ネットワーク等を介して接続した構成とすればよい。
なお、上記には、本発明の実施の形態および変形例を説明したが、上記実施の形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施の形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 情報処理システム
10、10A 情報処理装置
18A 画像取得部
18B 走行状態取得部
18C 設定部
18D 算出部
18E 変更部
18F 受付部
18G 特定部
18H 解析部
18I 後処理部
18J 送信部
18M 算出部
18L 受信部
40 サーバ装置
特開2007−047914号公報

Claims (9)

  1. 移動体の周辺の撮影画像を取得する画像取得部と、
    前記撮影画像の撮影時の前記移動体の走行状態を示す走行状態情報に基づいて、処理対象の前記撮影画像を特定し、前記走行状態情報に基づいて、処理対象として特定した前記撮影画像における、前記走行状態情報に基づいた大きさおよび数の撮影画像領域を更に特定する特定部と、
    特定された前記撮影画像領域を解析することによって、処理対象として特定した前記撮影画像を解析する解析部と、
    を備え
    前記特定部は、
    前記走行状態情報に基づいて、前記走行状態の重み値として、前記解析部による解析結果を用いた後処理における重要度の高い前記走行状態であるほど高い前記重み値を算出する第3の算出部を含み、
    前記重み値が予め定めた閾値より高いほど、より大きい前記撮影画像領域、または、より多い数の前記撮影画像領域を特定する、
    情報処理装置。
  2. 前記走行状態情報は、前記移動体の移動速度を示す速度情報、前記移動体の加速度を示す加速度情報、前記移動体の位置を示す位置情報、前記移動体がブレーキ操作に応じて減速したことを示すブレーキ操作情報、および、前記移動体のステアリング角度を示す角度情報、の少なくとも1つを含む、請求項1に記載の情報処理装置。
  3. 前記走行状態情報に応じて、時系列に撮影された複数の前記撮影画像から前記撮影画像を取得する取得間隔を設定する第1の設定部を備え、
    前記特定部は、
    時系列で連続して撮影された複数の前記撮影画像から、設定された前記取得間隔ごとの前記撮影画像を処理対象として特定する、請求項1または請求項2に記載の情報処理装置。
  4. 前記第1の設定部は、
    前記走行状態情報に基づいて、前記走行状態の重み値として、前記解析部による解析結果を用いた予め定めた後処理において重要度の高い前記走行状態であるほど高い前記重み値を算出する第1の算出部を含み、
    前記重み値が予め定めた閾値より高いほど、より短い前記取得間隔を設定する、請求項3に記載の情報処理装置。
  5. 前記走行状態情報に応じて、処理枚数を設定する第2の設定部を備え、
    前記特定部は、
    時系列で連続して撮影された複数の前記撮影画像から、設定された前記処理枚数の前記撮影画像を処理対象として特定する、請求項1または請求項2に記載の情報処理装置。
  6. 前記第2の設定部は、
    前記走行状態情報に基づいて、前記走行状態の重み値として、前記解析部による解析結果を用いた後処理における重要度の高い前記走行状態であるほど高い前記重み値を算出する第2の算出部を含み、
    前記重み値が予め定めた閾値より高いほど、より多い前記処理枚数を設定する、請求項5に記載の情報処理装置。
  7. 前記移動体を運転するユーザのユーザ識別情報、前記閾値の変更指示を示す指示情報、または、目標処理時間を示す処理時間情報、を含む受付情報を受付ける受付部と、
    前記受付情報に応じて前記閾値を変更する変更部と、
    を備える、請求項4または請求項6に記載の情報処理装置。
  8. 情報処理装置と、情報処理装置と通信するサーバ装置と、を備える情報処理システムであって、
    前記情報処理装置は、
    移動体の周辺の撮影画像を取得する画像取得部と、
    前記撮影画像の撮影時の前記移動体の走行状態を示す走行状態情報に基づいて、処理対象の前記撮影画像を特定し、前記走行状態情報に基づいて、処理対象として特定した前記撮影画像における、前記走行状態情報に基づいた大きさおよび数の撮影画像領域を更に特定する特定部と、
    特定された前記撮影画像領域を解析することによって、処理対象として特定した前記撮影画像を解析する解析部と、
    を備え
    前記特定部は、
    前記走行状態情報に基づいて、前記走行状態の重み値として、前記解析部による解析結果を用いた後処理における重要度の高い前記走行状態であるほど高い前記重み値を算出する第3の算出部を含み、
    前記重み値が予め定めた閾値より高いほど、より大きい前記撮影画像領域、または、より多い数の前記撮影画像領域を特定する、
    情報処理システム。
  9. 移動体の周辺の撮影画像を取得する画像取得ステップと、
    前記撮影画像の撮影時の前記移動体の走行状態を示す走行状態情報に基づいて、処理対象の前記撮影画像を特定し、前記走行状態情報に基づいて、処理対象として特定した前記撮影画像における、前記走行状態情報に基づいた大きさおよび数の撮影画像領域を更に特定する特定ステップと、
    特定された前記撮影画像領域を解析することによって、処理対象として特定した前記撮影画像を解析する解析ステップと、
    をコンピュータに実行させるための情報処理プログラムであって、
    前記特定ステップは、
    前記走行状態情報に基づいて、前記走行状態の重み値として、前記解析ステップによる解析結果を用いた後処理における重要度の高い前記走行状態であるほど高い前記重み値を算出する算出ステップを含み、
    前記重み値が予め定めた閾値より高いほど、より大きい前記撮影画像領域、または、より多い数の前記撮影画像領域を特定する、
    情報処理プログラム
JP2015247934A 2015-12-18 2015-12-18 情報処理装置、情報処理システム、および情報処理プログラム Expired - Fee Related JP6665521B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015247934A JP6665521B2 (ja) 2015-12-18 2015-12-18 情報処理装置、情報処理システム、および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015247934A JP6665521B2 (ja) 2015-12-18 2015-12-18 情報処理装置、情報処理システム、および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2017111762A JP2017111762A (ja) 2017-06-22
JP6665521B2 true JP6665521B2 (ja) 2020-03-13

Family

ID=59080267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015247934A Expired - Fee Related JP6665521B2 (ja) 2015-12-18 2015-12-18 情報処理装置、情報処理システム、および情報処理プログラム

Country Status (1)

Country Link
JP (1) JP6665521B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7351805B2 (ja) * 2020-07-01 2023-09-27 トヨタ自動車株式会社 情報処理方法、プログラム、車載装置及び車両
WO2023162281A1 (ja) * 2022-02-28 2023-08-31 パイオニア株式会社 情報処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006322797A (ja) * 2005-05-18 2006-11-30 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2007172035A (ja) * 2005-12-19 2007-07-05 Fujitsu Ten Ltd 車載画像認識装置、車載撮像装置、車載撮像制御装置、警告処理装置、画像認識方法、撮像方法および撮像制御方法
CN104081763B (zh) * 2012-01-17 2018-09-14 日本先锋公司 图像处理装置、图像处理服务器、图像处理方法、图像处理程序以及记录介质

Also Published As

Publication number Publication date
JP2017111762A (ja) 2017-06-22

Similar Documents

Publication Publication Date Title
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
US10303960B2 (en) Image processing device, alarming apparatus, image processing system, and image processing method
WO2018153304A1 (zh) 基于adas***的地图道路标记及道路质量采集装置及方法
CN106611512B (zh) 前车起步的处理方法、装置和***
JP2011180982A (ja) 区画線検出装置
JP2016146162A (ja) 運転判定装置、運転判定プログラム、演算システム、検知装置、検知システム、検知方法及びプログラム
RU2016146354A (ru) Обнаружение состояния с использованием обработки изображений
JP2005216070A (ja) 撮影条件設定プログラム、撮影条件設定方法および撮影条件設定装置
JP2018072893A (ja) 画像処理装置、警告装置、画像処理システム、画像処理方法
JP2014154004A (ja) 危険情報処理方法、装置及びシステム、並びにプログラム
JP2011096048A (ja) 運転解析システムおよび運転記録装置
CN110942038A (zh) 基于视觉的交通场景识别方法、装置、介质及电子设备
CN112580460A (zh) 一种交通信号灯的识别方法、装置、设备及存储介质
CN113841188A (zh) 交通流估计装置、交通流估计方法、交通流估计程序及存储了交通流估计程序的存储介质
JP2018190082A (ja) 車種判別装置、車種判別方法、および車種判別システム
JP6665521B2 (ja) 情報処理装置、情報処理システム、および情報処理プログラム
JP4762026B2 (ja) 道路標識データベース構築装置
JP6665522B2 (ja) 情報処理装置、情報処理システム、および情報処理プログラム
JP2016130979A (ja) 検知装置、検知処理プログラム及び検知システム
JP7398257B2 (ja) 道路標示認識装置
JP2006201817A (ja) 車体色判別方法及び装置。
TWI451990B (zh) 車道定位系統、車道定位方法及路面標記
JP6998237B2 (ja) サーバ装置、画像収集方法、及び画像取得システム
Novais et al. Community based repository for georeferenced traffic signs
JP2017162193A (ja) 飛行型情報読取装置、無人飛行体、飛行型情報読取システム及び飛行型情報読取方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200203

R151 Written notification of patent or utility model registration

Ref document number: 6665521

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees