JP5910241B2 - 映像抽出装置、方法及びプログラム - Google Patents

Description

開示の技術は映像抽出装置、映像抽出方法及び映像抽出プログラムに関する。

業務車両の交通安全指導や道路環境の改善などを目的とした通行道路の周辺状況確認のために、車両に搭載した撮影装置で撮影された映像を用いて車両の周辺状況を解析することが行われている。ここで、複数の移動物体(例えば撮影装置を搭載した自車両や他車両を含む車両、自転車、歩行者など）の動線が交差する交差点は危険なシーンが発生し易く、特に周辺状況の解析には重要なポイントである。このため、上記の撮影装置で撮影された映像から交差点に関する映像を自動的に抽出したいというニーズがある。

上記に関連して、車両の現在位置を表示する車両用ナビゲーション装置において、車両が交差点等にて進行方向を変更した際に、車両の位置の推定を行う技術が提案されている。この技術では、まず車速センサに起因する距離誤差及び方位センサに起因する方位誤差により生ずる誤差精度に基づいて、進行方向に長い楕円状の走行誤差範囲を設定する。また、ＤＧＰＳ受信装置からＤＧＰＳシステムにより計測されたＤＧＰＳ誤差範囲を読み込み、走行誤差範囲とＤＧＰＳ誤差範囲との重なる範囲を算出してこれを車両存在範囲とし、車両存在範囲内に存在する交差点を抽出してこれを通過交差点候補とする。そして、車両存在範囲内に存在する通過交差点候補から唯一の通過交差点を決定する。

また、車両用ナビゲーション装置において、自車両の進行先の交差点の通過を判定する技術も提案されている。この技術では、タイヤの摩擦係数や車重などを考慮して算出される減速度、ユーザの交差点屈曲時手前での減速度学習結果による減速度などと車速Ｖ及び交差点までの距離Ｌから、交差点到達時減速可能速度Ｖｄを算出する。また、交差点到達時減速可能速度Ｖｄ及びその車の最小回転半径や車重などから予想安全屈曲角度を算出し、予想安全屈曲角度内に１本の道路のみ存在する場合に、対象交差点における通過判定のタイミングを早くしている。

また、情報センタからの指示により交差点の実写画像を撮像して情報センタに蓄積し、蓄積した交差点の実写画像を、車両用ナビゲーション装置による交差点の案内に用いる技術も提案されている。この技術では、移動体の前方、後方に設置された撮像部を制御し、撮像部で撮像された交差点の実写画像の中から情報センターに送信する指定位置の実写画像を、ハンドル部の操作の検出結果と移動距離の計測結果に基づいて選択している。

特開平１１−３７７７６号公報 特開２００３−２６９９７４号公報 特開２００３−２０２２２７号公報

前述のニーズを満たすため、映像に加え、移動体に搭載したＧＰＳ装置によってＧＰＳ位置情報も記録しておき、ＧＰＳ位置情報が表す各時刻の移動体の位置を道路情報に含まれる交差点情報と突き合わせ、交差点に関する映像を抽出することが考えられる。

しかし、この場合、ＧＰＳ位置情報だけでは、ＧＰＳ測位誤差やＧＰＳ測位失敗により映像の各フレームを単位とする撮影位置を正確に把握することは困難である。すなわち、ＧＰＳ装置の測位間隔(例えば約１Ｈzなど)は、画像の撮影間隔(例えば約３０Ｈzなど）に比べて元々時間間隔が広い。その上、衛星と移動体(ＧＰＳ装置)との位置関係や、周辺に電波遮蔽物が存在していた等の要因で、測位が失敗して時間間隔が更に空くことが度々生じる。

例えば図１５に"■"で表記した位置は、移動体に搭載されたＧＰＳ装置によって測位が行われた位置であり、この測位位置を直線で繋いだ折れ線は、約２０秒間の移動体の移動経路を表している。ここで、測位位置Ｐiと測位位置Ｐi+1の区間は、この区間を移動中にＧＰＳ装置の測位失敗が発生したため、他の区間よりも直線の長さが長くなっている。一般的な車両用ナビゲーション装置は、最後に測位に成功した位置を現在位置と認識する。このため、車両用ナビゲーション装置が認識している現在位置を映像の各フレームの撮影位置(各フレームが撮影されたときの移動体の位置)と判断すると、測位失敗中には撮影位置が同一のフレーム、すなわち撮影位置に誤差が含まれているフレームが多数出現する。

また、撮影位置が測位位置Ｐiと判断された多数のフレームに対し、移動体が測位位置Ｐi〜Ｐi+1の区間を一定速度で移動したものと見做して線形補間により撮影位置を補正することも考えられる。しかし、補正対象のフレームの数が多くなる、すなわち測位失敗中の期間が長くなるに従って、期間中に移動体の速度変化が起きる可能性は高くなる。このため、例えば移動体が測位位置Ｐi〜Ｐi+1の区間でしばらく停止してから動き出していた等の場合、個々のフレームの補正後の撮影位置は、実際の撮影位置と大きく相違することになる。

また、交差点に関する映像として、交差点情報で交差点と規定されている場所を撮影した映像を抽出しようとした場合、殆どの映像が交差点に関する映像として抽出されてしまうという問題もある。これは、交差点情報で規定されている交差点には、図１６に示すように、私道の入り口や、一見してどこが交差点なのか分からないような、細かい路地交差点が多数含まれているためである。

このため、映像の抽出対象とする交差点を、交差点の規模に基づいて絞り込むことが考えられる。具体的には、交差点に接続する道路の規模を交差点の規模として代用する。例えば道路幅(〜4ｍ、4〜5.5ｍ、5.5〜13ｍ、13ｍ以上等)や道路の種別(高速自動車国道、都市高速道路、国道、主要地方道、一般都道府県道、一般政令市道、一般道等)に基づき、接続する道路の幅(車両通行に適した5.5ｍ以上等)から交差点の規模を判定する。しかし、この場合、移動体が道路規模(交差点規模)が小さい交差点を右左折した映像が抽出対象から外れることになる。このような規模の小さい交差点の右左折は、特に運転に注意が必要なため、抽出対象から除外することは望ましくない。従って、単純に交差点(交差点に接続する道路)の規模によって、映像の抽出対象とする交差点を絞り込むと、交通安全指導に有用な交差点の映像を抽出できないという問題がある。

このように、ＧＰＳ位置情報が表す各時刻の移動体の位置を道路情報に含まれる交差点情報と突き合わせ、交差点に関する映像を抽出する場合、映像の各フレームが撮影された時点での移動体の位置を正確に判定できず、交差点を適正に絞り込むことも困難である。従って、結果として、交差点に関する映像として、交通安全指導に有用な交差点の映像を適正に抽出できないという課題があった。

開示の技術は、移動体に搭載された撮影装置によって撮影された映像の各フレームが撮影された時点での移動体の位置を、ＧＰＳの測位失敗に拘わらず正確に判断し、交通安全指導や道路環境の改善などを目的とした通行道路の周辺状況確認に有用な交差点の映像を適正に抽出することが目的である。

開示の技術は、道路を通行する移動体に搭載された撮影装置によって撮影された映像に対し、映像の各フレームが撮影された時点での移動体の位置が位置取得部によって取得される。この位置の取得は、移動体に搭載されたＧＰＳ装置によって記録されたＧＰＳ位置情報と、移動体に搭載された速度検出部によって検出された速度情報又は前記映像から算出した画像フローと、に基づいて行われる。また開示の技術は、移動体に搭載された検出部による、移動体の挙動に関連する物理量及び事象の少なくとも一方の検出結果、又は前記映像から算出した画像フローに基づいて、前記各フレームの撮影時点での移動体の挙動が挙動判定部によって判定される。また開示の技術は、位置取得部によって取得された前記各フレームの撮影時点での移動体の位置に基づき、記憶部に記憶されている道路情報から、前記移動体が通過したと推定される交差点の情報が交差点選定部によって取得される。また開示の技術は、位置取得部によって取得された前記各フレームの撮影時点での移動体の位置に基づき、前記各フレームの撮影時点で移動体が存在していた移動体存在領域が交差点交差判定部によって算出される。また開示の技術は、挙動判定部で判定された各フレームの撮影時点での移動体の挙動と、道路情報に含まれる個々の交差点の属性情報と、に基づき、交差点選定部によって情報が取得された交差点の中から判定対象の交差点が交差点交差判定部によって絞り込まれる。また開示の技術は、絞り込んだ判定対象の個々の交差点の存在領域を表す交差点領域が交差点交差判定部によって算出される。また開示の技術は、移動体存在領域が判定対象の何れかの交差点の交差点領域と交差しているか否かが交差点交差判定部によって判定される。そして開示の技術は、前記映像の各フレームのうち、移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間に撮影されたフレームが交差点交差判定部によって判定される。
更に、開示の技術は、移動体の挙動として、移動体の徐行、停止、後退及び右左折の少なくとも１つに順ずる大きな進行方向の変化が挙動判定部によって判定される。また、開示の技術は、挙動判定部により、移動体の挙動として、前記移動体の徐行、停止、後退及び右左折の少なくとも１つに順ずる大きな進行方向の変化があると判定された場合には、交差点交差判定部によって以下の処理が行われる。すなわち、交差点選定部によって情報が取得された交差点のうち、大きな進行方向の変化があったときの移動体存在領域の近傍の交差点をそのまま判定対象とする。また、大きな進行方向の変化があると判定されなかった場合には、判定対象の交差点を交差点に接続する道路の道路幅が所定値以上の交差点に絞り込む。交差点の絞り込みは、交差点選定部によって情報が取得された交差点を、前記交差点の属性情報としての前記交差点の規模、前記交差点に接続する道路の道路幅、前記交差点の種別の少なくとも１つに基づいて行う。

開示の技術は、移動体に搭載された撮影装置によって撮影された映像の各フレームが撮影された時点での移動体の位置を、ＧＰＳの測位失敗に拘わらず正確に判断することができ、交通安全指導や道路環境の改善などを目的とした通行道路の周辺状況確認に有用な交差点の映像を適正に抽出することができる。

第１実施形態に係る映像抽出装置の機能ブロック図である。 映像抽出装置として機能するコンピュータの概略ブロック図である。 映像抽出処理の一例を示すフローチャートである。 位置取得処理の一例を示すフローチャートである。 第１実施形態に係る交差判定処理の一例を示すフローチャートである。 画像フローから自車両の挙動を判定する例を説明するためのイメージ図である。 自車両存在領域を表す図形の一例を示す概略図である。 交差判定用の交差点形状の一例を示す概略図である。 結果表示画面の一例を示すイメージ図である。 データリストの詳細を示すイメージ図である。 第２実施形態に係る映像抽出装置及び車載記録装置の機能ブロック図である。 マップマッチングについて説明するための説明図である。 第３実施形態に係る交差判定処理の一例を示すフローチャートである。 第３実施形態に係る結果表示処理の一例を示すフローチャートである。 ＧＰＳ装置による測位結果の一例を示すイメージ図である。 交差点情報で規定されている全ての交差点を地図上に表示した結果の一例を示すイメージ図である

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。

〔第１実施形態〕
図１には、本実施形態に係る映像抽出装置１０が示されている。映像抽出装置１０は、車両等の移動体に搭載された撮影装置によって撮影された映像のうち、移動体が交差点を通過している期間の映像を抽出するものである。なお、移動体としては、車両以外に自動二輪車や自転車、歩行者等も適用可能であるが、以下では移動体として車両を適用した例を説明する。また、車両に搭載される撮影装置の数は１台以上であり、複数台の撮影装置が車両に搭載されていてもよい。

映像抽出装置１０は、位置取得部１２、自車挙動判定部１４、交差点選定部１６、交差点交差判定部１８、結果表示部２０、第１記憶部２２及び第２記憶部２４を備えている。また、交差点交差判定部１８は、自車形状作成部２６、交差点形状作成部２８及び交差判定部３０を備えている。

第１記憶部２２には、車両に搭載され車両の挙動に関連する各種の物理量や事象を検出する各種のセンサを備えた車載記録装置(図示省略)が、車両の走行中に各種センサによって各種の物理量や事象を検出することで得られたセンサデータ３２が記憶されている。各種センサによって検出される物理量や事象には、速度センサによって検出される車両の速度、加速度センサによって検出される車両の前後方向及び横方向の加速度、ＧＰＳ(Global Positioning System)装置によって検出されるＧＰＳ位置が含まれる。なお、速度センサは開示の技術における速度検出部の一例である。また、上記の各種センサは開示の技術における検出部の一例である。

また、センサデータ３２には、操舵角センサによって検出される操舵角や、スロットルセンサによって検出されるアクセルペダルの踏込み量、ブレーキセンサによって検出されるブレーキペダルの踏込み量が含まれていてもよい。また、センサデータ３２には、ギア位置センサによって検出される車両のギア位置や、左右のウィンカのオンオフ動作の検出結果が含まれていてもよい。

第１記憶部２２には、車両の前方を映像として撮影する撮影装置を備えた車載記録装置(図示省略)が、前記車両の走行中に撮影装置によって車両の前方を撮影することで得られた映像データ３４も記憶されている。車載記録装置は、センサデータ３２及び映像データ３４を記録するための記録媒体を備えており、本第１実施形態では、予め設定された条件を満たした期間に出力されたセンサデータ３２及び映像データ３４を前記記録媒体に記録させる。

予め設定された条件を満たした期間としては、例えば、加速度センサによって検出された加速度が閾値を超えた時刻を中心として、その前後２０秒程度の期間が挙げられる。これは、急ブレーキを掛けた等のように事故に繋がり易い事例では加速度が大きな値になることに基づいている。但し、交通安全指導では映像データ３４の記録漏れを防ぐために閾値が緩め(小さめ)に設定されることが一般的であり、センサデータ３２及び映像データ３４には、例えば道路の凹凸に起因する揺れに反応して記録されたデータ等の多数のデータが含まれる。

第１記憶部２２に記憶されているセンサデータ３２及び映像データ３４は、車両が走行を終了した後に、車載記録装置の記録媒体から読み出されて、第１記憶部２２に書き込まれる。

第２記憶部２４には、交差点データ３６及び道路地図データ３８が記憶されている。交差点データ３６及び道路地図データ３８は、全国を幾つかのブロックに分けた二次メッシュ、三次メッシュ等の単位で情報を保持している。交差点データ３６には、個々の交差点毎に、交差点の代表位置、交差点に接続する道路の規模や大きさ、種別等の情報が含まれている。また、道路地図データ３８には、個々のメッシュを単位とする地図データと、地図上に存在する個々の道路の位置、各位置における道路幅等の情報を含む道路データと、が含まれている。

位置取得部１２は、第１記憶部２２に記憶されたセンサデータ３２のうちＧＰＳ位置情報と速度情報に基づいて、第１記憶部２２に記憶された映像データ３４の各フレームが撮影された時点での自車両の位置を取得する。なお、ここでいう自車両は、車載記録装置が搭載され、第１記憶部２２に記憶されたセンサデータ３２及び映像データ３４の記録媒体への記録が行われた車両を意味している。

自車挙動判定部１４は、第１記憶部２２に記憶されたセンサデータ３２に基づき、自車両の直進(徐行か一定速度以上の走行かも含む)、停止、右左折、後退等の挙動を、映像データ３４の各フレームの撮影時刻毎に判定する。交差点選定部１６は、位置取得部１２によって取得された映像データ３４の各フレームの撮影時点での車両の位置に基づき、交差点データ３６にデータが記憶されている交差点の中から、自車両が通過したと推定される全ての交差点を選定する。

交差点交差判定部１８は、映像データ３４の各フレームのうち、自車両が交差点を通過している期間に撮影されたフレームを判定する。すなわち、自車形状作成部２６は、位置取得部１２によって取得された映像データ３４の各フレームの撮影時点での自車両の位置に基づき、各フレームの撮影時点で自車両が存在していた自車両存在領域を演算する。

交差点形状作成部２８は、自車挙動判定部１４で判定された自車両の挙動及び交差点データ３６に含まれる個々の交差点の規模に基づき、交差点選定部１６によって選定された交差点の中から判定対象の交差点を絞り込む。また交差点形状作成部２８は、絞り込んだ判定対象の個々の交差点の存在領域を表す交差点領域を各々演算する。

交差判定部３０は、自車形状作成部２６によって演算された自車両存在領域が、判定対象の何れかの交差点の交差点領域と交差しているか否かを各々判定する。そして、交差判定部３０は、当該判定の結果に基づいて、映像データ３４の各フレームのうち、自車両存在領域が判定対象の何れかの交差点の交差点領域と交差している期間に撮影されたフレームを判定する。

結果表示部２０は、自車両が交差点を通過している期間に撮影されたと判定されたフレームを含む映像を後述するディスプレイ５２に表示させる。また、結果表示部２０は、表示させた映像が撮影されたときに自車両が走行していた経路と、前記映像で自車両が通過した交差点を重畳表示させた地図をディスプレイ５２に表示させる。また、結果表示部２０は、表示させた映像が撮影されたときの自車両の挙動や、対応する交差点の規模、種別、位置及び名称等の交差点の情報を明示したデータリストもディスプレイ５２に表示させる。

映像抽出装置１０は、例えば図２に示すコンピュータ４０で実現することができる。コンピュータ４０はＣＰＵ４２、メモリ４４、不揮発性の記憶部４６、キーボード４８、マウス５０、ディスプレイ５２を備え、これらはバス５４を介して互いに接続されている。

また、記憶部４６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部４６には、コンピュータ４０を映像抽出装置１０として機能させるための映像抽出プログラム５６が記憶されている。ＣＰＵ４２は、映像抽出プログラム５６を記憶部４６から読み出してメモリ４４に展開し、映像抽出プログラム５６が有するプロセスを順次実行する。

映像抽出プログラム５６は、位置取得プロセス５８、自車挙動判定プロセス６０、交差点選定プロセス６２、交差点交差判定プロセス６４及び結果表示プロセス６６を有する。ＣＰＵ４２は、位置取得プロセス５８を実行することで、図１に示す位置取得部１２として動作する。またＣＰＵ４２は、自車挙動判定プロセス６０を実行することで、図１に示す自車挙動判定部１４として動作する。またＣＰＵ４２は、交差点選定プロセス６２を実行することで、図１に示す交差点選定部１６として動作する。またＣＰＵ４２は、交差点交差判定プロセス６４を実行することで、図１に示す交差点交差判定部１８として動作する。またＣＰＵ４２は、結果表示プロセス６６を実行することで、図１に示す結果表示部２０として動作する。

また、交差点交差判定プロセス６４は、自車形状作成プロセス６８、交差点形状作成プロセス７０及び交差判定プロセス７２を有する。ＣＰＵ４２は、自車形状作成プロセス６８を実行することで、図１に示す自車形状作成部２６として動作する。またＣＰＵ４２は、交差点形状作成プロセス７０を実行することで、図１に示す交差点形状作成部２８として動作する。またＣＰＵ４２は、交差判定プロセス７２を実行することで、図１に示す交差判定部３０として動作する。これにより、映像抽出プログラム５６を実行したコンピュータ４０が、映像抽出装置１０として機能することになる。なお、映像抽出プログラム５６は開示の技術における映像抽出プログラムの一例である。

また、記憶部４６にはセンサデータ３２、映像データ３４、交差点データ３６及び道路地図データ３８が記憶されている。これにより、記憶部４６は第１記憶部２２及び第２記憶部２４として各々機能する。

なお、映像抽出装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。

次に本第１実施形態の作用として、図３〜図５を参照し、本実施形態に係る映像抽出装置１０によって行われる映像抽出処理について説明する。なお、この映像抽出処理は、走行を終了した車両に搭載された車載記録装置の記録媒体から読み出されたセンサデータ３２及び映像データ３４が第１記憶部２２に書き込まれた状態で、マウス５０等を介して実行が指示されたことを契機として実行される。

図３に示す映像抽出処理のステップ１００において、位置取得部１２は、位置取得処理を行う。この位置取得処理の詳細について、図４を参照しながら説明する。

位置取得処理のステップ１２０において、位置取得部１２は、第１記憶部２２に記憶されているセンサデータ３２に含まれるＧＰＳ位置データを識別するための変数ｎに１を設定する。ＧＰＳ位置データは、車載記録装置に含まれるＧＰＳ装置が、一定周期の時間間隔(例えば１秒周期)で自車両の測位を行うことで得られた時系列のデータである。

次のステップ１２２において、位置取得部１２は、第１記憶部２２に記憶されているセンサデータ３２から、ＧＰＳ位置データＰn、ＧＰＳ位置データＰnの測位が行われた時刻ｔn、及び、測位時刻ｔnにおける自車両の速度Ｖnを各々取得する。ステップ１２４において、位置取得部１２は、第１記憶部２２に記憶されている映像データ３４から、測位時刻ｔnに撮影されたフレームＦnを抽出する。ステップ１２６において、位置取得部１２は、ステップ１２４で抽出したフレームＦnの撮影位置(フレームＦnが撮影された時点の自車両の位置)ＰＦnとして、ステップ１２２で取得したＧＰＳ位置データＰnが表す位置を設定する。

またステップ１２８において、位置取得部１２は、第１記憶部２２に記憶されているセンサデータ３２からＧＰＳ位置データＰn+1、ＧＰＳ位置データＰn+1の測位が行われた時刻ｔn+1、及び、測位時刻ｔn+1における自車両の速度Ｖn+1を各々取得する。ステップ１３０において、位置取得部１２は、第１記憶部２２に記憶されている映像データ３４から、測位時刻ｔn+1に撮影されたフレームＦn+1を抽出する。そしてステップ１３２において、位置取得部１２は、ステップ１３０で抽出したフレームＦn+1の撮影位置(フレームＦn+1が撮影された時点の自車両の位置)ＰＦn+1として、ステップ１２８で取得したＧＰＳ位置データＰn+1が表す位置を設定する。

ところで、車載記録装置に含まれる撮影装置による撮影の時間間隔(例えば33ｍ秒の撮影周期)はＧＰＳ装置による測位の周期よりも明らかに短く、測位時刻ｔnと測位時刻ｔn+1の間には、撮影位置が未設定のフレームが多数(例えば29個)存在している。また、ＧＰＳ装置で測位失敗が生じた場合は、撮影位置が未設定のフレームの数は更に増加する。このため、次のステップ１３４において、位置取得部１２は、第１記憶部２２に記憶されている映像データ３４から、時刻ｔn〜ｔn+1の間に撮影されたフレームＦ1〜Ｆmを各々抽出する。またステップ１３６において、位置取得部１２は、第１記憶部２２に記憶されているセンサデータ３２から、時刻ｔn〜ｔn+1の間に検出された(フレームＦ1〜Ｆmの撮影と同時刻に検出された)速度データＶ1〜Ｖmを各々抽出する。

次のステップ１３８において、位置取得部１２は、ＧＰＳ位置データＰnが表す位置とＧＰＳ位置データＰn+1が表す位置の距離を、時刻ｔn〜ｔn+1の間の自車両の走行距離Ｌ1として演算する。ステップ１４０において、位置取得部１２は、速度Ｖn,Ｖ1〜Ｖmに基づき、次の(１)式に従って時刻ｔn〜ｔn+1の間の自車両の走行距離Ｌ2を演算する。

なお、第１記憶部２２に記憶されているセンサデータ３２に、ＧＰＳ装置による測位と同周期で自車両の走行距離を検出した結果を表すデータが含まれている場合は、(１)式の演算に代えてそのデータを読み出す処理を行うようにしてもよい。

ステップ１４２において、位置取得部１２は、ステップ１３８で演算した走行距離Ｌ1とステップ１４０で演算した走行距離Ｌ2の比を補正係数Ｔ(＝Ｌ1／Ｌ2)として演算する。次のステップ１４４において、位置取得部１２は、フレームＦ1〜Ｆmを識別するための変数ｉに１を設定する。そしてステップ１４６において、位置取得部１２は、フレームＦiの撮影位置(フレームＦiが撮影された時点の自車両の位置)ＰＦiを次の(２)式に従って演算する。

なお、上記の(２)式で算出される撮影位置ＰＦiは、ＧＰＳ位置データＰnが表す位置を基準位置とし、基準位置からＧＰＳ位置データＰn+1が表す位置へ向かう方向へ、(２)式の第２項で求まる距離だけ基準位置から隔てた位置である。上記の(２)式により、各フレームの撮影時点での速度変化に対応した各フレームの撮影位置(各フレームが撮影された時点の自車両の位置)が得られる。

次のステップ１４８において、位置取得部１２は、変数ｉの値が時刻ｔn〜ｔn+1の間に撮影されたフレームの総数ｍに達したか否か判定する。判定が否定された場合はステップ１５０へ移行し、ステップ１５０において、位置取得部１２は、変数ｉを１だけインクリメントしてステップ１４６に戻る。これにより、ステップ１４８の判定が肯定される迄ステップ１４６〜１５０が繰り返され、時刻ｔn〜ｔn+1の間に撮影されたｍ個のフレームについて撮影位置(フレームＦiが撮影された時点の自車両の位置)ＰＦiが各々演算される。

ステップ１４８の判定が肯定されるとステップ１５２へ移行し、ステップ１５２において、位置取得部１２は、第１記憶部２２に記憶されているセンサデータ３２に含まれるＧＰＳ位置データを全て取得したが否か判定する。判定が否定された場合はステップ１５４へ移行し、ステップ１５４において、位置取得部１２は、変数ｎを１だけインクリメントしてステップ１２８へ戻る。これにより、ステップ１５２の判定が肯定される迄、ステップ１２８〜ステップ１５４が繰り返され、第１記憶部２２に記憶されている映像データ３４の全てのフレームについて、撮影位置(撮影時点の自車両の位置)が各々設定される。ステップ１５２の判定が肯定されると位置取得処理を終了し、図３に示す映像抽出処理のステップ１０２へ移行する。

なお、上述した位置取得処理では、各時刻における自車両の速度Ｖに基づいて各フレームの撮影位置を演算しているが、位置取得部１２が演算に用いる速度の変化は、各フレームが撮影された時刻における相対速度の変化でよい。このため、映像上における画像フロー(画像上の複数の特徴点の移動速度及び移動方向)の変化から相対速度の変化を推定し、位置取得部１２の演算に用いるようにしてもよい。速度変化は映像上での物体の動きの変化に繋がり、一般に画像フローが大きい(映像上での特徴点の動きが大きい)ことは速度が大きいことを意味し、画像フローと速度は比例する。このため、例えば、画像全体、又は任意の画像領域における平均的な画像フローの大きさの変化を速度の変化と看做し、下記の演算式に基づいて各フレーム毎に相対速度を求め、自車両の速度Ｖに代えて用いてもよい。
相対速度＝ｋ×画像Ａのフロー／基準とする画像Ｍのフロー
但し、ｋは任意の固定パラメータであり、ｋ≠0である。

映像抽出処理のステップ１０２において、自車挙動判定部１４は、第１記憶部２２に記憶されているセンサデータ３２に基づいて、映像データ３４の各フレームの撮影時刻における自車両の挙動を各々判定する自車挙動判定処理を行う。自車挙動判定処理では、センサデータ３２に含まれる自車両の速度Ｖや、自車両の横方向加速度(Ｇx)、前後方向加速度(Ｇy)、位置取得部１２が位置取得処理を行うことで得られた映像データ３４の各フレーム撮影時の自車両の位置が用いられる。そして、自車両の挙動として、通常の直進走行や徐行、停止、後退及び右左折等が判定される。

具体的には、例えば、自車両の速度Ｖの変化に基づいて徐行及び停止を判定する。また例えば、各フレーム撮影時の自車両の位置から求めた自車両の移動経路の曲率や横方向加速度Ｇxの大きさから自車両の移動経路における大きなカーブの有無を推定し、カーブが急角度な場合を右左折と判定する。また例えば、各フレーム撮影時の自車両の位置が、それ迄の進行方向と逆方向に変化している場合は後退と判定する。

なお、センサデータ３２に、左右のウィンカのオンオフ動作の検出結果が含まれている場合には、ウィンカのオン動作が検出されたタイミングの前後で自車両の横方向加速度Ｇxが大きく変化していれば、これを右左折と判定してもよい。また、センサデータ３２に、操舵角や、アクセルペダルの踏込み量、ブレーキペダルの踏込み量、車両のギア位置が含まれている場合には、これらの情報に基づいて右左折や徐行、停止、後退を判定してもよい。

なお、自車挙動判定部１４は、センサデータ３２に代えて映像上における画像フローに基づき、映像データ３４の各フレームの撮影時刻における自車両の挙動を判定するようにしてもよい。図６には、車両の前方を撮影した一般的な映像における画像フローの一例を示す。なお、図６に示す「○」は画像フローを算出するために画像から抽出した特徴点である。例えば、右左折時の画像フローの動きは特殊であるため、その動きに似た画像フローが発生した場合は右左折と判定することができる。また、自車両が徐行している際は画像フローの大きさが小さく、自車両が停止している際は画像フローが全くないので、直進時の画像フローと弁別できる。厳密な画像フローの判定には、自車両と独立して移動する移動体の除去を行うなどの処理が必要となるが、移動体が画面のごく小さな領域を占める場合は、画像上の大局的なフローを求めることで、その影響を排除することができる。

このように、自車挙動判定部１４でセンサデータ３２に代えて画像フローを用いる場合、先に説明したように、位置取得部１２でもセンサデータ３２に代えて画像フローを用いるなら、センサデータ３２を用いずに映像の抽出を行うことも可能である。

次のステップ１０４において、交差点選定部１６は、第２記憶部２４に記憶されている交差点データ３６から、自車両の移動経路の近傍に存在する全ての交差点の交差点データを取得する交差点選定処理を行う。例えば、自車両の移動経路に関連する二次メッシュ、三次メッシュ等を調べ、その交差点データを取得する。

なお、交差点選定部１６は、交差点データを取得した後、後述する交差点交差判定部１８における処理の高速化を目的として、取得した交差点データの絞り込みを行うようにしてもよい。具体的には、交差点選定部１６は、例えば自車挙動判定部１４による自車両の挙動の判定結果を取得し、映像全体を通じて右左折や後退、徐行がなかった(例えば直進である程度以上の高速走行しかしなかった)か否か判定する。そして、この判定が肯定された場合には、取得した交差点データを任意の予め設定した規模や種別以上の交差点データ(例えば５ｍ以上の道路や市道以上の道路と接続する交差点のデータ等)に絞り込む。これにより、交差点交差判定部１８における処理対象の交差点データの数が減ることで高速化を実現できる。但し、交差点選定部１６による交差点データの絞り込みは必須の処理ではない。

映像抽出処理のステップ１０６において、交差点交差判定部１８は、自車両と交差点との交差を判定することで、映像データ３４の中から交差点に関係するフレームを抽出する交差判定処理を行う。以下、この交差判定処理について、図５を参照して説明する。

交差判定処理のステップ１６０において、交差点交差判定部１８の自車形状作成部２６は、自車両が存在している空間(自車両存在領域)を表す図形を作成する。例えば図７に示すように、自車両存在領域８０としては、位置取得部１２による位置取得処理によって得られた自車両の位置(撮影位置)を中心とし、自車両の移動経路を表す折れ線に沿った方向を長軸方向とする楕円形状の領域を適用することができる。

楕円形状の領域の短軸方向の長さ(短径)は自車両の車幅より大きめであることが好ましく、例えば任意の道路の１レーンの幅(一例として３．５ｍ等)を基に計算してもよい。本実施形態では、自車両の車幅＋αと、道路の１レーン幅×βの大きい方としている。なお、αとβは自車両存在領域８０をどれだけ大きめに見積もるかを設定するための任意のパラメータであり、一般にα≧0.0、β≧1.0である。一方、本実施形態において、楕円形状の長軸方向の長さ(長径)としては、映像データ３４の撮影周期の１周期で自車両が進んだ距離の二倍と、ＧＰＳ装置の測位誤差の大きい方を選択している。具体的には、ＧＰＳ装置の測位誤差＋自車両の長さ＋ｓと、映像データ３４の撮影周期の１周期で自車両が進んだ距離×ｔ、の大きい方としている。なお、ｓとｔは同じく自車両存在領域８０を大きめに見積もるための任意のパラメータであり、一般にｓ≧0.0、ｔ≧0.5である。

なお、自車両存在領域８０の大きさは上記に限られるものではなく、予め固定的に設定しておいてもよい。また、自車両存在領域８０の形状は、図７に示した楕円に限られるものでもなく、長方形やその他の形状でもよい。また、自車両が自車両存在領域８０の中心に位置していることに限られるものではなく、自車両が自車両存在領域８０内に存在していればよい。

ステップ１６２において、交差判定部３０は、第１記憶部２２に記憶されている映像データ３４の中に、交差点との交差を未判定のフレームが有るか否か判定する。ステップ１６２の判定が肯定された場合は、第１記憶部２２に記憶されている映像データ３４に含まれる交差点との交差を未判定のフレームのうち、撮影時刻が最も古いフレームを処理対象のフレームとして抽出し、ステップ１６４へ移行する。

ステップ１６４において、交差判定部３０は、自車挙動判定部１４による自車両の挙動の判定結果を取得し、処理対象のフレームが撮影された時刻における自車両の挙動が高速直進であったか否か判定する。ステップ１６４の判定が肯定された場合はステップ１６６へ移行する。ステップ１６６において、交差判定部３０は、交差点選定部１６によって選定された交差点のうち、処理対象のフレームの撮影位置周辺に存在し、かつ予め設定した規模や種別以上の交差点(例えば５ｍ以上の道路等)を判定対象の交差点に選定する。このように、自車両の挙動が高速直進の場合には、判定対象の交差点が規模の大きい交差点に絞り込まれることで、処理を高速化することができる。

また、処理対象のフレームが撮影された時刻における自車両の挙動が高速直進でなかった場合(例えば徐行直進中や停止中、後退中、右左折中等の場合)には、ステップ１６４の判定が否定されてステップ１６８へ移行する。ステップ１６８において、交差判定部３０は、交差点選定部１６によって選定された交差点のうち、処理対象のフレームの撮影位置周辺に存在する全ての交差点を判定対象の交差点に選定する。このように、自車両の挙動が高速直進でない場合は、判定対象の交差点の絞り込みを行わないことで、例えば、自車両が規模の小さい交差点を右左折した映像等のように、交通安全指導や道路環境の改善などを目的とした通行道路の周辺状況確認に有用な交差点の映像が抽出漏れとなることを防止できる。

次のステップ１７０において、自車形状作成部２６は、処理対象のフレームの撮影位置前後における自車両の移動経路から自車両の進行方向を推定する。そして、自車形状作成部２６は、先に作成した自車両存在領域を表す図形を、処理対象のフレームの撮影位置及び推定した自車両の進行方向に応じた位置・向きで配置することで、処理対象のフレームが撮影された時刻における自車両存在領域を設定する。

ステップ１７２において、交差判定部３０は、先のステップ１６６又はステップ１６８で判定対象に選定した交差点の中に、自車両との交差を未判定の交差点が有るか否か判定する。ステップ１７２の判定が肯定された場合はステップ１７４へ移行し、交差判定部３０は、判定対象の交差点の中から自車両との交差を未判定の交差点を１つ選定する。

次のステップ１７６において、交差点形状作成部２８は、交差判定部３０によって選定された交差点の交差点データ３６に基づき、選定された交差点に接続する道路の道路幅及び道路規模から、選定された交差点の交差判定用の形状を決定する。具体的には、例えば図８に交差点形状１として示すように、交差点代表位置を中心とし、交差点代表位置に接続する各道路に沿って、各道路の代表点からの長さを、各道路に交差する道路群のうち道路幅が最大の道路の道路幅×t倍とした交差点形状を作成する。ここでｔは任意のパラメータであり、一般にｔ＞0.5となる。

また、他の交差点形状として、図８に交差点形状２として示すように、交差点の代表位置を中心とする円を簡易形状として用いてもよい。この円の半径は、例えば、該当交差点に接続する道路群の道路幅のうち最大の道路幅×ｋとする。ここでｋは任意のパラメータであり、一般的にはｋ≧1.0となる。また、この他に、簡易的な交差点形状として矩形を利用してもよく、例えば辺の長さを前述の円の直径としてもよいし、交差点形状１を先に求め、その外接矩形を適用してもよい。

また、図８では、交差点に接続する道路群に対して最大の道路幅の値を用いたが、道路群の道路幅の平均値を用いてもよいし、規模や道路幅が最も小さい道路を用いてもよい。或いは、実際の道路幅ではなく、予め道路種別毎に道路幅を決めてしまい、それを使って求めてもよい。また、道路種別毎に簡易形状自体を予め決めてしまい、交差点に接続する最大又は最小又は最多の道路種別に基づいて選択的に用いるようにしてもよい。

次のステップ１７８において、交差判定部３０は、先のステップ１７０で自車形状作成部２６によって設定された自車両存在領域と、交差点形状作成部２８によって作成された交差点形状と、の重なりの有無に基づき、両者が交差しているか否かを判定する。次のステップ１８０において、交差判定部３０は、ステップ１７８で自車両存在領域と交差点形状とが交差していたか否か判定する。ステップ１８０の判定が否定された場合はステップ１７２に戻り、ステップ１７２以降の処理を繰り返す。

先のステップ１６６又はステップ１６８で判定対象に選定した交差点の中に、その交差点形状が自車両存在領域と重なっている交差点が存在している場合は、ステップ１８０の判定が肯定されてステップ１８２へ移行する。ステップ１８２において、交差判定部３０は、処理対象のフレームに、選定した交差点に関係するフレームであることを表す情報を設定し、ステップ１６２に戻る。また、先のステップ１６６又はステップ１６８で判定対象に選定した交差点の中に、その交差点形状が自車両存在領域と重なっている交差点が存在していない場合は、ステップ１７２の判定が否定されてステップ１８４へ移行する。ステップ１８４において、交差判定部３０は、処理対象のフレームに、交差点に関係しないフレームであることを表す情報を設定し、ステップ１６２に戻る。

上記処理を映像データ３４の全てのフレームに対して順に行うことで、映像データ３４の全てのフレームが、交差点に関係するフレームと交差点に関係しないフレームとに弁別される。映像データ３４の全てのフレームに対して上記処理を完了すると、ステップ１６２の判定が否定されて交差判定処理を終了し、映像抽出処理(図３)のステップ１０８へ移行する。

映像抽出処理のステップ１０８において、結果表示部２０は、例として図９に示すような結果表示画面２００によって処理結果をディスプレイ５２に表示させる結果表示処理を行う。図９に示す結果表示画面２００は、映像を表示させるための映像ウインドウ２０２、映像ウインドウ２０２に表示可能な映像を一覧表示したデータリスト２０４、自車両の移動経路及び現在位置を地図上で表示させるための地図ウインドウ２０６を含んでいる。

図１０に詳細を示すように、データリスト２０４は、データＩＤ、撮影日、撮影時刻、車両ＩＤ、検知Ｇ値、検知速度、緯度、経度、自車挙動、交差点通過の有無、交差点ＩＤ、通過交差点数、映像ＩＤ等の各項目について情報が各々表示されている。なお、データリスト２０４の各行に対応する映像は、車載記録装置によって記録された映像である。このうち、先の交差判定処理で交差点に関係すると判定されたフレームを含む映像は「交差点通過」が有、交差点に関係すると判定されたフレームを含まない映像は「交差点通過」が無、となっている。

このデータリスト２０４を参照することで、利用者は、データリスト２０４の各行に対応する個々の映像のおおよその内容を推測することができる。また、データリスト２０４を参照することで、利用者は、どの交差点で映像が多く存在するのか、自車両がどんな挙動のとき、どの交差点の映像が多く存在するのか、ということも簡単に把握することができる。

図１０に示すように、データリスト２０４に表示された各項目には、各項目を基準として映像の並べ替えを指示するためのボタン２０８が各々付加されている。例えば、「交差点通過」の項目に付加されたボタン２０８が利用者によって選択されると、図１０に示すように、「交差点通過」が有の映像の情報がデータリスト２０４の上位に表示される。また、例えば「通過交差点数」の項目に付加されたボタン２０８が利用者によって選択されると、図１０に示すように、データリスト２０４に表示されている映像の情報が「通過交差点数」の降順に並べ替えされる。これにより、交通安全指導の見地から優先度の高い映像の情報が、より高い閲覧優先度でデータリスト２０４に表示される。なお、図示は省略したが、自車両の挙動の種類で映像を並べ替えたり、道路環境の改善をする際の比較検討に役立つ通過交差点の規模で映像を並べ替えたりすることも可能であることは言うまでもない。

データリスト２０４に一覧表示された映像の情報のうちの何れかが選択されると、結果表示部２０は、選択された映像を映像ウインドウ２０２内に再生表示させる。このとき、結果表示部２０は、映像ウインドウ２０２内の映像表示領域の下方に、選択された映像の再生時間に対応する長さの時刻バー２１０と、時刻バー２１０のうち映像表示領域に表示されている映像の現在の再生位置を指し示すカーソル２１２とを表示させる。結果表示部２０は、映像表示領域に表示されている映像の進行に伴い、カーソル２１２の表示位置を時刻バー２１０に沿って移動させる。

また、選択された映像が「交差点通過」が有の映像である場合、結果表示部２０は、選択された映像の全再生時間のうち、交差点に関係するフレーム群が再生される時間範囲を明示した交差点映像バー２１４を時刻バー２１０に重畳表示させる。この時刻バー２１０、カーソル２１２及び交差点映像バー２１４を参照することで、映像表示領域に表示されている映像を視認している利用者は、自車両が交差点を通過しているシーンを見逃すことなく確認することができる。

また、データリスト２０４に一覧表示された映像の情報のうちの何れかが選択されると、結果表示部２０は、選択された映像における自車両の移動経路及び現在位置が重畳表示された地図２１６を地図ウインドウ２０６内に表示させる。ここで、自車両の移動経路は、映像データ３４のうちの一部のフレーム(例えば一定時間周期でとびとびに選択したフレーム)の撮影時点での自車両の位置を表すマーク２１８と、このマーク２１８の間を直線２２０で繋いだ折れ線２２２によって示される。また、選択された映像が「交差点通過」が有の映像の場合、結果表示部２０は、表示させるマーク２１８のうち、自車両が交差点を通過している期間に対応するマーク２１８を、他のマーク２１８と異なる色で強調表示させる。また、選択された映像が「交差点通過」が有の映像の場合、結果表示部２０は、自車両が通過した交差点の範囲を明示するマーク２２４が表示させると共に、交差点の中心位置を指し示す旗マーク２２６も表示させる。

利用者は、地図２１６上に重畳表示された上記の折れ線２２２を参照することで、地図上における自車両の移動経路を認識することができる。また、「交差点通過」が有の映像を選択した場合、利用者は、色が強調表示されたマーク２２０と、マーク２２４、旗マーク２２６を参照することで、自車両が交差点を通過しているシーンに対応する地図２１６上の範囲を認識することができる。これにより、利用者は、自車両が交差点を通過しているシーンを見逃すことなく確認することができる。

〔第２実施形態〕
次に開示の技術の第２実施形態について説明する。なお、第１実施形態と同一の部分には同一の符号を付し、説明を省略する。図１１には、本第２実施形態に係る映像抽出装置３００及び車載記録装置３０４が示されている。

先に説明した第１実施形態では、車載記録装置が、予め設定された条件を満たした期間に出力されたセンサデータ３２及び映像データ３４を記録媒体に記録させていた。これに対して本第２実施形態に係る車載記録装置３０４は、センサデータ３２を記録媒体に記録させる期間と映像データ３４を記録媒体に記録させる期間が相違しており、センサデータ３２は全期間に亘って記録媒体に記録される。

すなわち、本第２実施形態に係る車載記録装置３０４は、撮影装置３０６、センサ群３０８、センサデータ記録部３１０、映像判定記録部３１２、一時記憶部３１４及び記録媒体３１６を備えている。撮影装置３０６は、第１実施形態で説明した撮影装置と同様に、車両の前方を映像として撮影し、映像データを順次出力する。センサ群３０８は、第１実施形態で説明した車載記録装置の各種センサと同様に、車両の速度や加速度、ＧＰＳ位置等を検出し、センサデータを順次出力する。なお、センサデータを出力するセンサ群３０８は、全てのセンサが車載記録装置３０４に設けられている必要はなく、同一の車両に搭載された他の車載機器のセンサで検出されたセンサデータを取得して出力する構成であってもよい。

センサ群３０８から出力されたセンサデータは、一時記憶部３１４に設けられたセンサデータ用の記憶領域に一時記憶された後、センサデータ記録部３１０により、その全データが記録媒体３１６のセンサデータ用の記録領域に記録される。なお、図１１に示すように、一時記憶部３１４を経由することなく、センサ群３０８から記録媒体３１６に直接記録するようにしてもよい。

一方、撮影装置３０６から出力された映像データは、一時記憶部３１４に設けられた映像データ用の記憶領域に記憶される。一時記憶部３１４の映像データ用の記憶領域は、一定期間(例えば２０秒間)の映像データを記憶可能な記憶容量とされており、撮影装置３０６から出力された映像データは、前記記憶領域に既に記憶されている映像データを古い順に上書きしながら記憶される。従って、一時記憶部３１４の映像データ用の記憶領域は、一定期間分の最新の映像データが常に記憶されている状態となる。

映像判定記録部３１２は、センサデータ記録部３１０を経由して一部のセンサデータ(例えば車両の加速度のデータ)が入力される。映像判定記録部３１２は、入力されたセンサデータが予め設定された条件を満たした期間に撮影された映像データを、一時記憶部３１４から読み出して記録媒体３１６の映像データ用の記録領域に記録させる。予め設定された条件を満たした期間としては、例えば、加速度センサによって検出された加速度が閾値を超えた時刻を中心として、その前後２０秒程度の期間が挙げられる。

また、映像判定記録部３１２は、記録媒体３１６に映像データを記録するにあたり、後でセンサデータとの対応がとれるように、対応付け用のデータ(例えば、双方で共通の時刻やＩＤ等)も記録する。また、これに代えて、センサデータの時系列の配列の間に、その時の映像のフレームを挿入記録することで、センサデータと映像データを入れ子構造にしてもよい。

また、本第２実施形態に係る映像抽出装置３００は、第１実施形態で説明した映像抽出装置１０と比較して、データ読み込み部３０２を更に備えている点で相違している。データ読み込み部３０２は、車両が走行を終了した後に、車載記録装置３０４の記録媒体３１６に記録されているセンサデータ及び映像データを読み出して、第１記憶部２２に記憶させる。

次に本第２実施形態の作用を説明する。前述のように、本第２実施形態では、映像データ３４については第１実施形態と同様に予め設定された条件を満たした期間に撮影されたデータのみを記録するのに対し、センサデータ３２については常時記録している。このため、本第２実施形態では、対応する映像データ３４の無いセンサデータ３２が存在している。本第２実施形態に係る位置取得部１２は、対応する映像データ３４の無いセンサデータ３２も用い、映像データ３４の各フレームの撮影位置をマップマッチングによって特定する位置取得処理を行う。なお、対応する映像データ３４の無いセンサデータ３２としては、映像データ３４が記録された期間の前後の期間(例えば十〜数十秒間)に記録されたセンサデータ３２が用いられる。

図１２を参照してマップマッチングの一例を説明する。図１２は、ＧＰＳ装置によりＧＰＳ位置Ａ,Ｂ,Ｃが順に検出された例を示している。図１２に示すように、ＧＰＳ位置ＢはＧＰＳ位置Ａ,Ｃと比較して誤差が大きく、この影響により、第１実施形態で説明した位置取得処理では、図１２に破線で示すように、自車両が地図上の道路から外れた箇所を移動したものとして処理される。

一方、映像データ３４が記録された期間の前後の期間に記録されたセンサデータ３２も用いてマップマッチングを行った場合、図１２に示す例は以下のように処理される。まず、ＧＰＳ位置Ａについて、道路地図データ３８に規定されているノードとの対応を検証すると、ＧＰＳ位置Ａに対応するノードの候補としてノード(6),(7),(2)が抽出される。ここでは、例えばＧＰＳ位置Ａから最も近いノード(7)が仮に選択される。

次にＧＰＳ位置Ｂについて、道路地図データ３８に規定されているノードとの対応を検証すると、ＧＰＳ位置Ｂに対応するノードの候補としてノード(10),(11),(3)が抽出される。このうちノード(11)はＧＰＳ位置Ｂから近いが、ノード(16)とノード(11)の間にリンクが存在しないので、ＧＰＳ位置Ｂに対応するノードの候補からノード(11)が除外され、ＧＰＳ位置Ａに対応するノードの候補からノード(7)が除外される。

次に、例えば、ＧＰＳ位置Ｂに対応するノードとしてノード(10)が仮に選択され、ＧＰＳ位置Ａに対応するノードとしてノード(6)が仮に選択される。この場合、ノード(15)とノード(10)の間にリンクが存在しないので、ＧＰＳ位置Ｂに対応するノードの候補からノード(10)が除外され、ＧＰＳ位置Ａに対応するノードの候補からノード(6)が除外される。

続いて、ＧＰＳ位置Ｂに対応する候補ノードとして残ったノード(3)が仮に選択され、ＧＰＳ位置Ａに対応する候補ノードとして残ったノード(2)が仮に選択される。この場合、ＧＰＳ位置Ｃに対応するノードとしてノード(13)を選択して矛盾は生じない。従って、自車両は図１２に一点鎖線で示す経路を移動したものと判断される。

上記のマップマッチングは、車両の移動経路上の位置のみがとびとびに判明している場合であるが、映像データ３４が記録された期間の前後の期間に記録されたセンサデータ３２も用いることで、より精度の高いマップマッチングが可能になる。具体的には、例えば、対応する映像データが存在しないセンサデータ３２に含まれるＧＰＳ位置データから、移動経路の曲率を算出し、単路カーブや右左折と思われる大きな経路の角度変化を検出する。次に、検出した角度変化と道路の接続角度が似ているＧＰＳ位置データ近傍の走行経路の幾つかを仮候補として選定する。そして、仮候補の道路経路データと実際の走行経路の差を選定誤差として加算していき、最終的に誤差が最も少ない仮候補を正しいものとして選定する処理を行う。

上記で一例を説明した、より高精度なマップマッチングの実現には、複数の通過点、すなわち複数の交差点の右左折を含む長い時間の誤差蓄積状況を考慮して比較することが望ましい。これに対して第２実施形態は、映像データ３４及びセンサデータ３２を必要最小限だけ記録する第１実施形態とは異なり、データ量が少ないセンサデータ３２は常に記録している。これにより、任意のタイミングかつ十分長い時間に亘るＧＰＳ位置データを利用することができるので、上記のように、車両走行後に後追い方式で誤差検証によって位置補正を行うマップマッチングを実施することが可能となる。

上記のマップマッチングによって自車両の移動経路を補正した後、位置取得部１２は、映像データ３４の各フレームの撮影位置(各フレームが撮影された時点での自車両の位置)を、補正後の自車両の移動経路及び自車両の速度に基づいて決定する。この決定方法は第１実施形態で説明した位置取得部１２と同じでよい。以後の処理は第１実施形態と同じであるので、説明を省略する。

上述したように、本第２実施形態は、ＧＰＳ位置自体は正しいものとして映像データ３４の各フレームの撮影位置を決定した第１実施形態に比べて、ＧＰＳ位置自体もマップマッチングで補正することができるので、より正確な交差点判定を実現できる。

〔第３実施形態〕
次に開示の技術の第３実施形態について説明する。なお、本第３実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第３実施形態の作用について、第１実施形態と異なる部分のみ説明する。

本第３実施形態に係る交差点交差判定部１８は、第１実施形態で説明した交差判定処理(図５)に代えて、図１３に示す交差判定処理を説明する。以下、図１３に示す交差判定処理について、図５に示す交差判定処理と異なる部分のみ説明する。本第３実施形態に係る交差判定処理では、第１記憶部２２に記憶されている映像データ３４の中に、交差点との交差を未判定のフレームが有ると判定され、ステップ１６２の判定が肯定された場合に、ステップ１６３へ移行する。ステップ１６３において、交差判定部３０は、交差点選定部１６によって選定された交差点のうち、処理対象のフレームの撮影位置周辺に存在する全ての交差点を判定対象の交差点に選定する。

次のステップ１６４において、交差判定部３０は、自車挙動判定部１４による自車両の挙動の判定結果を取得し、処理対象のフレームが撮影された時刻における自車両の挙動が高速直進であったか否か判定する。ステップ１６４の判定が肯定された場合はステップ１６７へ移行する。ステップ１６７において、交差判定部３０は、交差点選定部１６によって選定された交差点のうち、処理対象のフレームの撮影位置周辺に存在し、かつ予め設定した規模や種別未満の交差点(例えば５ｍ以上の道路等)を非推奨に設定する。なお、ステップ１６４の判定が否定された場合は、ステップ１６７をスキップしてステップ１７０へ移行する。以降の処理は、図５に示す交差判定処理と同じである。

このように、本第３実施形態に係る交差判定処理では、自車両の挙動に拘わらず判定対象の交差点の絞り込みを行わない一方、自車両の挙動が高速直進である場合は、規模の小さい交差点が非推奨に設定される。

続いて図１４を参照し、本第３実施形態に係る結果表示部２０によって行われる結果表示処理を説明する。本第３実施形態では、結果表示モードとして、全データ表示モードと推奨交差点表示モードが設けられている。結果表示モードは利用者によって選択される。結果表示処理のステップ１９０において、結果表示部２０は、結果表示モードとして全データ表示モードが選択されているか否か判定する。ステップ１９０の判定が肯定された場合はステップ１９２へ移行し、ステップ１９２において、結果表示部２０は、全ての映像を一覧表示するデータリスト２０４を作成する。

一方、結果表示モードが推奨交差点表示モードの場合は、ステップ１９０の判定が否定されてステップ１９４へ移行する。ステップ１９４において、結果表示部２０は、全ての映像の中から、交差判定部３０によって非推奨に設定されていない交差点を通過した映像のみを選定し、選定した映像のみを一覧表示するデータリスト２０４を作成する。上述したステップ１９２又はステップ１９４の処理を行うとステップ１９６へ移行する。そしてステップ１９６において、結果表示部２０は、ステップ１９２又はステップ１９４で作成したデータリスト２０４を含む結果表示画面２００をディスプレイ５２に表示させる。

これより、結果表示モードが全データ表示モードの場合は、撮影装置によって撮影されて記録された全ての映像が表示対象となる一方、結果表示モードが推奨交差点表示モードの場合は、非推奨に設定されていない交差点を通過した映像のみが表示対象となる。従って、撮影装置によって撮影されて記録された各映像を視認したい場合と、交通安全指導や安全な道路環境の整備検討に有用である可能性の高い映像に絞り込んで視聴したい場合と、を結果表示モードの切替えによって選択することが可能となる。

なお、第３実施形態では、結果表示モードが推奨交差点表示モードの場合に、非推奨に設定されていない交差点を通過した映像のみを表示対象とする態様を説明したが、これに限定されるものではない。例えば、非推奨情報が設定された交差点に関係すると判定された映像を、交差点に関係しない映像であることを表す判定結果に書き替えた上で、データリスト２０４に表示するようにしてもよい。

なお、上記では、映像の各フレームの撮影時点での自車両の位置を予め全て設定保持し、各フレームの撮影時点での自車両の位置に対し、選定した判定対象の全ての交差点の形状を毎回作成しながら交差判定を実施する態様を説明した。しかし、上記の処理順に限られるものではなく、例えば、交差点選定部１６によって選定された全ての交差点の形状を予め作成した上で、上記の交差判定処理を行うようにしてもよい。また、処理対象のフレームを順に取り出すことに代えて、判定対象の交差点を順に取り出し、取り出した判定対象の交差点が、映像の何れのフレームの撮影時点での自車両の位置と交差しているかを順に判定するようにしてもよい。

また、上記では映像抽出プログラム５６が記憶部４６に予め記憶（インストール）されている態様を説明したが、開示の技術に係る映像抽出プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
前記撮影装置によって撮影された映像のうち、前記交差点交差判定ステップで前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間に撮影されたと判定したフレームを含む映像を、前記期間に撮影されたと判定したフレームを含まない映像よりも高い閲覧優先度で表示部に表示する結果表示ステップを更に備えた請求項１３記載の映像抽出方法。

（付記２）
前記挙動判定ステップは、前記移動体の挙動として、前記移動体の徐行、停止、後退及び右左折の少なくとも１つに順ずる大きな進行方向の変化を判定する請求項１３又は付記１記載の映像抽出方法。

（付記３）
前記交差点交差判定ステップは、前記挙動判定ステップで、前記移動体の挙動として、前記移動体の徐行、停止、後退、右左折及び右左折の少なくとも１つに順ずる大きな進行方向の変化があると判定した場合には、前記交差点選定ステップで情報を取得した交差点のうち、前記大きな進行方向の変化があったときの前記移動体存在領域の近傍の交差点をそのまま判定対象とし、前記大きな進行方向の変化があると判定しなかった場合には、前記交差点選定ステップによって情報が取得された交差点を、前記交差点の属性情報としての前記交差点の規模、前記交差点に接続する道路の道路幅、前記交差点の種別の少なくとも１つに基づいて、判定対象の交差点を交差点規模の大きな交差点に絞り込む付記２記載の映像抽出方法。

（付記４）
前記撮影装置で撮影された映像を表示部に再生表示させると共に、前記交差点交差判定ステップによって前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間に撮影されたと判定されたフレームが前記表示部に再生表示される期間を明示する結果表示ステップを更に備えた請求項１３、付記１〜付記３の何れか１項記載の映像抽出方法。

（付記５）
前記位置取得ステップで取得した前記移動体の位置に基づき、表示部に表示させた地図上に前記移動体の移動経路を重畳表示させると共に、前記交差点交差判定ステップで前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間に撮影されたと判定したフレームが撮影された位置と、対応する交差点の位置を前記地図上に重畳表示させる結果表示ステップを更に備えた請求項１３、付記１〜付記４の何れか１項記載の映像抽出方法。

（付記６）
前記交差点交差判定ステップでの、前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間に撮影されたフレームの判定結果に基づいて、前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間に撮影された映像のデータリストを作成して表示部に表示させると共に、映像を前記表示部に再生表示させるためのデータリンク、前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間における前記移動体の挙動、及び、対応する交差点の規模、種別、位置及び名称の少なくとも１つを含む交差点情報を前記データリスト内に表示させる結果表示ステップを更に備えた請求項１３、付記１〜付記５の何れか１項記載の映像抽出方法。

（付記７）
前記交差点交差判定ステップは、前記移動体存在領域として、前記移動体の進行方向に長い楕円形状又は矩形状で、長径又は長辺の長さとして、前記ＧＰＳ装置によって記録されるＧＰＳ位置情報の測定誤差、前記移動体の進行方向に沿った長さから求めた数値、及び、前記映像のフレーム周期の間の前記移動体の移動距離の少なくとも何れかを用い、短径又は短辺の長さとして、前記移動体の幅方向に沿った長さ又は道路のレーン幅の少なくとも一方を用いた領域を算出する請求項１３、付記１〜付記６の何れか１項記載の映像抽出方法。

（付記８）
前記交差点交差判定ステップは、前記交差点領域として、交差点の代表点を中心とし、当該代表点から前記交差点に接続する個々の接続道路に沿った領域の外縁迄の距離を、個々の接続道路と交差する交差道路群のうち最大道路幅に応じて定まる長さとした領域を算出する請求項１３、付記１〜付記７の何れか１項記載の映像抽出方法。

（付記９）
前記交差点交差判定ステップは、前記交差点領域として、交差点の代表点を中心とし、当該代表点から領域の外縁迄の距離を、前記交差点に接続する接続道路群のうち最大道路幅に応じて定まる長さとした円状又は矩形状の領域を算出する請求項１３、付記１〜付記７の何れか１項記載の映像抽出方法。

（付記１０）
前記移動体には、前記撮影装置で撮影された映像を、予め設定された記録条件に合致した期間のみ記録する一方で、少なくとも前記ＧＰＳ装置によって記録されたＧＰＳ位置情報及び前記速度検出部によって検出された速度情報を含むセンサデータを、前記記録条件に合致しているか否かとは無関係に常に記録する記録装置が搭載され、
前記記録装置によって記録されたデータ群を読み込むデータ読み込みステップを更に備え、
前記位置取得ステップは、前記記録装置によって前記映像が記録された期間における前記移動体の移動経路を、その前後の前記記録装置によって前記映像が記録されなかった期間に記録された前記センサデータのうちのＧＰＳ位置情報も用いてマップマッチングにより補正した後に、前記速度情報に基づいて前記映像の各フレームが撮影された時点での前記移動体の位置を取得する請求項１３、付記１〜付記９の何れか１項記載の映像抽出方法。

（付記１１）
前記挙動判定ステップは、前記移動体の挙動として、前記移動体の徐行、停止、後退、右左折及び右左折の少なくとも１つに順ずる大きな進行方向の変化を判定し、
前記交差点交差判定ステップは、前記挙動判定ステップで、前記移動体の挙動として、前記大きな進行方向の変化があると判定しなかった場合に、前記交差点選定ステップで情報を取得した交差点から、前記交差点の属性情報としての前記交差点の規模、前記交差点に接続する道路の道路幅、前記交差点の種別の少なくとも１つに基づいて、交差点規模の小さな交差点を選定し、選定した交差点に非推奨の交差点であることを示す非推奨情報を設定する一方で、前記交差点選定ステップで情報を取得した全ての交差点をそのまま判定対象とし、
前記撮影装置によって撮影された映像を全て表示対象とする場合と、前記撮影装置によって撮影された映像のうち、前記交差点交差判定ステップで前記移動体存在領域が前記非推奨情報を設定していない交差点の交差点領域と交差している期間に撮影されたと判定されたフレームを含む映像のみを表示対象とする場合と、を切り替える結果表示ステップを更に備えた請求項１３、付記１〜付記１０の何れか１項記載の映像抽出方法。

１０, ３００ 映像抽出装置
１２ 位置取得部
１４ 自車挙動判定部
１６ 交差点選定部
１８ 交差点交差判定部
２０ 結果表示部
２２ 第１記憶部
２４ 第２記憶部
２６ 自車形状作成部
２８ 交差点形状作成部
３０ 交差判定部
４０ コンピュータ
４２ ＣＰＵ
４４ メモリ
４６ 記憶部
５２ ディスプレイ
５６ 映像抽出プログラム
２００ 結果表示画面
２０２ 映像ウインドウ
２０４ データリスト
２０６ 地図ウインドウ
３０４ 車載記録装置
３０６ 撮影装置
３０８ センサ群
３１０ センサデータ記録部
３１２ 映像判定記録部
３１４ 一時記憶部
３１６ 記録媒体

Claims (12)

1. 道路を通行する移動体に搭載された撮影装置によって撮影された映像に対し、前記移動体に搭載されたＧＰＳ装置によって記録されたＧＰＳ位置情報と、前記移動体に搭載された速度検出部によって検出された速度情報又は前記映像から算出した画像フローと、に基づいて、前記映像の各フレームが撮影された時点での前記移動体の位置を取得する位置取得部と、
   前記移動体に搭載された検出部による、前記移動体の挙動に関連する物理量の検出結果、又は前記映像から算出した画像フローに基づいて、前記各フレームの撮影時点での前記移動体の挙動を判定する挙動判定部と、
   前記位置取得部によって取得された前記各フレームの撮影時点での前記移動体の位置に基づき、記憶部に記憶されている道路情報から、前記移動体が通過したと推定される交差点の情報を取得する交差点選定部と、
   前記位置取得部によって取得された前記各フレームの撮影時点での前記移動体の位置に基づき、前記各フレームの撮影時点で前記移動体が存在していた移動体存在領域を算出し、前記挙動判定部で判定された前記各フレームの撮影時点での前記移動体の挙動と、前記道路情報に含まれる個々の交差点の属性情報と、に基づき、前記交差点選定部によって情報が取得された交差点の中から判定対象の交差点を絞り込み、絞り込んだ判定対象の個々の交差点の存在領域を表す交差点領域を算出し、前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差しているか否か判定し、前記映像の各フレームのうち、前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間に撮影されたフレームを判定する交差点交差判定部と、
   を含み、
   前記挙動判定部は、前記移動体の挙動として、前記移動体の徐行、停止、後退及び右左折の少なくとも１つに順ずる大きな進行方向の変化を判定し、
   前記交差点交差判定部は、前記挙動判定部により、前記移動体の挙動として、前記移動体の徐行、停止、後退及び右左折の少なくとも１つに順ずる大きな進行方向の変化があると判定された場合には、前記交差点選定部によって情報が取得された交差点のうち、前記大きな進行方向の変化があったときの前記移動体存在領域の近傍の交差点をそのまま判定対象とし、前記大きな進行方向の変化があると判定されなかった場合には、前記交差点選定部によって情報が取得された交差点を、前記交差点の属性情報としての前記交差点の規模、前記交差点に接続する道路の道路幅、前記交差点の種別の少なくとも１つに基づいて、判定対象の交差点を交差点に接続する道路の道路幅が所定値以上の交差点に絞り込む映像抽出装置。
2. 前記撮影装置によって撮影された映像のうち、前記交差点交差判定部によって前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間に撮影されたと判定されたフレームを含む映像を、前記期間に撮影されたと判定されたフレームを含まない映像よりも高い閲覧優先度で表示部に表示する結果表示部を更に備えた請求項１記載の映像抽出装置。
3. 前記撮影装置で撮影された映像を表示部に再生表示させると共に、前記交差点交差判定部によって前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間に撮影されたと判定されたフレームが前記表示部に再生表示される期間を明示する結果表示部を更に備えた請求項１又は請求項２記載の映像抽出装置。
4. 前記位置取得部で取得された前記移動体の位置に基づき、表示部に表示させた地図上に前記移動体の移動経路を重畳表示させると共に、前記交差点交差判定部によって前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間に撮影されたと判定されたフレームが撮影された位置と、対応する交差点の位置を前記地図上に重畳表示させる結果表示部を更に備えた請求項１〜請求項３の何れか１項記載の映像抽出装置。
5. 前記交差点交差判定部による、前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間に撮影されたフレームの判定結果に基づいて、前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間に撮影された映像のデータリストを作成して表示部に表示させると共に、映像を前記表示部に再生表示させるためのデータリンク、前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間における前記移動体の挙動、及び、対応する交差点の規模、種別、位置及び名称の少なくとも１つを含む交差点情報を前記データリスト内に表示させる結果表示部を更に備えた請求項１〜請求項４の何れか１項記載の映像抽出装置。
6. 前記交差点交差判定部は、前記移動体存在領域として、前記移動体の進行方向に長い楕円形状又は矩形状で、長径又は長辺の長さとして、前記ＧＰＳ装置によって記録されるＧＰＳ位置情報の測定誤差、前記移動体の進行方向に沿った長さから求めた数値、及び、前記映像のフレーム周期の間の前記移動体の移動距離の少なくとも何れかを用い、短径又は短辺の長さとして、前記移動体の幅方向に沿った長さ又は道路のレーン幅の少なくとも一方を用いた領域を算出する請求項１〜請求項５の何れか１項記載の映像抽出装置。
7. 前記交差点交差判定部は、前記交差点領域として、交差点の代表点を中心とし、当該代表点から前記交差点に接続する個々の接続道路に沿った領域の外縁迄の距離を、個々の接続道路と交差する交差道路群のうち最大道路幅に応じて定まる長さとした領域を算出する請求項１〜請求項６の何れか１項記載の映像抽出装置。
8. 前記交差点交差判定部は、前記交差点領域として、交差点の代表点を中心とし、当該代表点から領域の外縁迄の距離を、前記交差点に接続する接続道路群のうち最大道路幅に応じて定まる長さとした円状又は矩形状の領域を算出する請求項１〜請求項６の何れか１項記載の映像抽出装置。
9. 前記移動体には、前記撮影装置で撮影された映像を、予め設定された記録条件に合致した期間のみ記録する一方で、少なくとも前記ＧＰＳ装置によって記録されたＧＰＳ位置情報及び前記速度検出部によって検出された速度情報を含むセンサデータを、前記記録条件に合致しているか否かとは無関係に常に記録する記録装置が搭載され、
   前記記録装置によって記録されたデータ群を読み込むデータ読み込み部を更に備え、
   前記位置取得部は、前記記録装置によって前記映像が記録された期間における前記移動体の移動経路を、その前後の前記記録装置によって前記映像が記録されなかった期間に記録された前記センサデータのうちのＧＰＳ位置情報も用いてマップマッチングにより補正した後に、前記速度情報に基づいて前記映像の各フレームが撮影された時点での前記移動体の位置を取得する請求項１〜請求項８の何れか１項記載の映像抽出装置。
10. 前記挙動判定部は、前記移動体の挙動として、前記移動体の徐行、停止、後退及び右左折の少なくとも１つに順ずる大きな進行方向の変化を判定し、
    前記交差点交差判定部は、前記挙動判定部により、前記移動体の挙動として、前記大きな進行方向の変化があると判定されなかった場合に、前記交差点選定部によって情報が取得された交差点から、前記交差点の属性情報としての前記交差点の規模、前記交差点に接続する道路の道路幅、前記交差点の種別の少なくとも１つに基づいて、交差点に接続する道路の道路幅が所定値未満の交差点を選定し、選定した交差点に非推奨の交差点であることを示す非推奨情報を設定する一方で、前記交差点選定部によって情報が取得された全ての交差点をそのまま判定対象とし、
    前記撮影装置によって撮影された映像を全て表示対象とする場合と、前記撮影装置によって撮影された映像のうち、前記交差点交差判定部によって前記移動体存在領域が前記非推奨情報が設定されていない交差点の交差点領域と交差している期間に撮影されたと判定されたフレームを含む映像のみを表示対象とする場合と、を切り替える結果表示部を更に備えた請求項１〜請求項９の何れか１項記載の映像抽出装置。
11. 道路を通行する移動体に搭載された撮影装置によって撮影された映像に対し、前記移動体に搭載されたＧＰＳ装置によって記録されたＧＰＳ位置情報と、前記移動体に搭載された速度検出部によって検出された速度情報又は前記映像から算出した画像フローと、に基づいて、前記映像の各フレームが撮影された時点での前記移動体の位置を取得する位置取得ステップと、
    前記移動体に搭載された検出部による、前記移動体の挙動に関連する物理量の検出結果、又は前記映像から算出した画像フローに基づいて、前記各フレームの撮影時点での前記移動体の挙動を判定する挙動判定ステップと、
    前記位置取得ステップで取得した前記各フレームの撮影時点での前記移動体の位置に基づき、記憶部に記憶されている道路情報から、前記移動体が通過したと推定される交差点の情報を取得する交差点選定ステップと、
    前記位置取得ステップで取得した前記各フレームの撮影時点での前記移動体の位置に基づき、前記各フレームの撮影時点で前記移動体が存在していた移動体存在領域を算出し、前記挙動判定ステップで判定した前記各フレームの撮影時点での前記移動体の挙動と、前記道路情報に含まれる個々の交差点の属性情報と、に基づき、前記交差点選定ステップで情報を取得した交差点の中から判定対象の交差点を絞り込み、絞り込んだ判定対象の個々の交差点の存在領域を表す交差点領域を算出し、前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差しているか否か判定し、前記映像の各フレームのうち、前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間に撮影されたフレームを判定する交差点交差判定ステップと、
    を含む映像抽出方法であって、
    前記挙動判定ステップは、前記移動体の挙動として、前記移動体の徐行、停止、後退及び右左折の少なくとも１つに順ずる大きな進行方向の変化を判定し、
    前記交差点交差判定ステップは、前記挙動判定ステップにより、前記移動体の挙動として、前記移動体の徐行、停止、後退及び右左折の少なくとも１つに順ずる大きな進行方向の変化があると判定された場合には、前記交差点選定ステップによって情報が取得された交差点のうち、前記大きな進行方向の変化があったときの前記移動体存在領域の近傍の交差点をそのまま判定対象とし、前記大きな進行方向の変化があると判定されなかった場合には、前記交差点選定ステップによって情報が取得された交差点を、前記交差点の属性情報としての前記交差点の規模、前記交差点に接続する道路の道路幅、前記交差点の種別の少なくとも１つに基づいて、判定対象の交差点を交差点に接続する道路の道路幅が所定値以上の交差点に絞り込む映像抽出方法。
12. コンピュータに、
    道路を通行する移動体に搭載された撮影装置によって撮影された映像に対し、前記移動体に搭載されたＧＰＳ装置によって記録されたＧＰＳ位置情報と、前記移動体に搭載された速度検出部によって検出された速度情報又は前記映像から算出した画像フローと、に基づいて、前記映像の各フレームが撮影された時点での前記移動体の位置を取得する位置取得ステップと、
    前記移動体に搭載された検出部による、前記移動体の挙動に関連する物理量の検出結果、又は前記映像から算出した画像フローに基づいて、前記各フレームの撮影時点での前記移動体の挙動を判定する挙動判定ステップと、
    前記位置取得ステップで取得した前記各フレームの撮影時点での前記移動体の位置に基づき、記憶部に記憶されている道路情報から、前記移動体が通過したと推定される交差点の情報を取得する交差点選定ステップと、
    前記位置取得ステップで取得した前記各フレームの撮影時点での前記移動体の位置に基づき、前記各フレームの撮影時点で前記移動体が存在していた移動体存在領域を算出し、前記挙動判定ステップで判定した前記各フレームの撮影時点での前記移動体の挙動と、前記道路情報に含まれる個々の交差点の属性情報と、に基づき、前記交差点選定ステップで情報を取得した交差点の中から判定対象の交差点を絞り込み、絞り込んだ判定対象の個々の交差点の存在領域を表す交差点領域を算出し、前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差しているか否か判定し、前記映像の各フレームのうち、前記移動体存在領域が判定対象の何れかの交差点の交差点領域と交差している期間に撮影されたフレームを判定する交差点交差判定ステップと、
    を含む処理を実行させるための映像抽出プログラムであって、
    前記挙動判定ステップは、前記移動体の挙動として、前記移動体の徐行、停止、後退及び右左折の少なくとも１つに順ずる大きな進行方向の変化を判定し、
    前記交差点交差判定ステップは、前記挙動判定ステップにより、前記移動体の挙動として、前記移動体の徐行、停止、後退及び右左折の少なくとも１つに順ずる大きな進行方向の変化があると判定された場合には、前記交差点選定ステップによって情報が取得された交差点のうち、前記大きな進行方向の変化があったときの前記移動体存在領域の近傍の交差点をそのまま判定対象とし、前記大きな進行方向の変化があると判定されなかった場合には、前記交差点選定ステップによって情報が取得された交差点を、前記交差点の属性情報としての前記交差点の規模、前記交差点に接続する道路の道路幅、前記交差点の種別の少なくとも１つに基づいて、判定対象の交差点を交差点に接続する道路の道路幅が所定値以上の交差点に絞り込む映像抽出プログラム。