JP7490959B2 - 映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム - Google Patents

Description

本発明は、映像再生装置、記録再生装置、映像再生方法及び映像再生プログラムに関する。

従来、車両の俯瞰映像用カメラが撮影した映像を、ドライブレコーダ用の映像として表示又は記録する装置が知られている（例えば、特許文献１参照）。

特開２０１４－１３４９１２号公報

イベントが検出されたとき特許文献１に記載のような俯瞰映像を表示する場合、イベントの状態が適切に確認できない可能性がある。

本発明は、上記に鑑みてなされたものであり、イベントの状態を適切に確認することができる映像再生装置、記録再生装置、映像再生方法及び映像再生プログラムを提供することを目的とする。

本発明に係る映像再生装置は、車両の周囲を撮影する複数のカメラが撮影した複数の映像、および前記車両に対するイベントを示す情報を取得する情報取得部と、前記情報取得部が取得した複数の映像を、前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成部と、前記情報取得部が取得したイベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成部が生成した俯瞰映像を表示し、前記情報取得部が取得したイベントに起因するときの映像を再生する場合には、前記情報取得部が取得した映像を表示させる、表示制御部と、を備える。

本発明に係る記録再生装置は、車両に加わる加速度に基づいて前記車両に対するイベントを検出するイベント検出部と、前記イベント検出部が検出したイベントに基づいて前記車両の周囲を撮影する複数のカメラが撮影した複数の撮影データ、および前記車両に対するイベントの検出方向を示す情報を取得する情報取得部と、前記イベント検出部が前記車両に対するイベントを検出した場合、検出したイベントに関する所定期間の複数の映像を記録する記録制御部と、前記情報取得部が取得した複数の撮影データに対して前記車両の上方から見たように視点変換処理を行い、前記複数の映像を合成する境界をイベント検出方向に応じて変更して合成した俯瞰映像を生成する俯瞰映像生成部と、前記撮影データを再生するとき、イベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成部が生成した俯瞰映像を表示し、イベントに起因するときの映像を再生する場合には、前記情報取得部が取得した映像を表示させる、表示制御部と、前記撮影データを再生するとき、前記瞰映像生成部が生成した俯瞰映像を表示部に表示させる再生制御部と、を備える。

本発明に係る映像再生方法は、車両の周囲を撮影する複数のカメラが撮影した複数の映像、および前記車両に対するイベントを示す情報を取得する情報取得ステップと、前記情報取得ステップにおいて取得した複数の映像を、前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成ステップと、前記情報取得ステップにおいて取得したイベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成ステップにおいて生成した俯瞰映像を表示し、前記情報取得ステップにおいて取得したイベントに起因するときの映像を再生する場合には、前記情報取得部が取得した映像を表示させる、表示制御ステップと、を含む。

本発明に係る映像再生プログラムは、車両の周囲を撮影する複数のカメラが撮影した複数の映像、および前記車両に対するイベントを示す情報を取得する情報取得ステップと、前記情報取得ステップにおいて取得した複数の映像を、前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成ステップと、前記情報取得ステップにおいて取得したイベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成ステップにおいて生成した俯瞰映像を表示し、前記情報取得ステップにおいて取得したイベントに起因するときの映像を再生する場合には、前記情報取得部が取得した映像を表示させる、表示制御ステップと、をコンピュータに実行させる。

本発明によれば、イベントの状況を適切に確認することができる。

図１は、本発明の第１実施形態に係る記録再生装置の一例を示すブロック図である。 図２は、俯瞰映像の一例を示す説明図である。 図３は、撮影データが表示された撮影映像の一例を示す説明図である。 図４は、イベント検出方向に対応する映像を拡大した撮影映像の一例を示す図である。 図５は、撮影データが表示された撮影映像の他の例を示す説明図である。 図６は、図５に示す撮影映像においてイベント検出方向に対応する映像を拡大する場合の一例を示す図である。 図７は、図５に示す撮影映像においてイベント検出方向に対応する映像を拡大する場合の他の例を示す図である。 図８は、撮影部による垂直方向の撮影範囲の一例を示す図である。 図９は、撮影部による垂直方向の撮影範囲の他の例を示す図である。 図１０は、第１実施形態に係る記録再生装置における記録処理の流れを示すフローチャートである。 図１１は、第１実施形態に係る記録再生装置における再生処理の流れを示すフローチャートである。 図１２は、第２実施形態に係る映像再生装置の一例を示すブロック図である。

以下、本発明に係る映像再生装置、記録再生装置、映像再生方法及び映像再生プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

［第１実施形態］
図１を用いて、本発明の第１実施形態に係る記録再生装置の構成について説明する。図１は、本発明の各実施形態に係る記録再生装置の構成の一例を示すブロック図である。図１に示す記録再生装置１００は、いわゆるドライブレコーダであり、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。また、記録再生装置１００は、車両に備えられる、例えばナビゲーション装置やインフォテイメントシステム等と構成を共有して実現されてもよい。

記録再生装置１００は、撮影部１０と、記録部２０と、操作部３０と、表示部４０と、加速度センサ５０と、ＧＰＳ（Global Positioning System）受信部６０と、制御部７０とを備える。

撮影部１０は、前方カメラ１１と、後方カメラ１２と、右側方カメラ１３と、左側方カメラ１４とを有する。前方カメラ１１は、車両の前部に配置され、車両の前方を中心とした周辺を撮影する。後方カメラ１２は、車両の後部に配置され、車両の後方を中心とした周辺を撮影する。右側方カメラ１３は、車両の右側部に配置され、車両の右側方を中心とした周辺を撮影する。左側方カメラ１４は、車両の左側部に配置され、車両の左側方を中心とした周辺を撮影する。

前方カメラ１１、後方カメラ１２、右側方カメラ１３及び左側方カメラ１４は、撮影した映像を、撮影データとして制御部７０の撮影データ取得部７１へ出力する。撮影部１０は、前方カメラ１１、後方カメラ１２、右側方カメラ１３及び左側方カメラ１４により車両の全方位を撮影する。

記録部２０は、イベントが検出されたときに記録されるイベントデータなど種々のデータを保存する。記録部２０は、例えば、イベントの検出に基づく所定期間の撮影データをイベントデータとして保存する。記録部２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、ソリッドステートドライブなどの記憶装置で実現することができる。記録部２０は、複数の異なるメモリなどで構成されてもよい。

操作部３０は、制御部７０に対する種々の操作を受け付ける。種々の操作には、イベントデータの再生の開始、イベントデータの保存の開始などの操作が含まれる。操作部３０は、受け付けた操作に応じた操作信号を操作制御部７７に出力する。操作部３０は、例えば、物理的なスイッチや、表示部４０に設けられたタッチパネルで実現することができる。

表示部４０は、種々の映像を表示する。表示部４０は、例えば、記録部２０が記録しているイベントデータが再生された映像を表示する。表示部４０は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）または有機ＥＬ（Organic Electro-Luminescence）ディスプレイなどを含むディスプレイである。

加速度センサ５０は、車両に加わった加速度を検出する。加速度センサ５０は、例えば、駐車中に車両に加わった加速度を検出する。加速度センサ５０は、例えば、３軸加速度センサで実現することができる。加速度センサ５０は、検出した加速度に関する加速度情報を加速度情報取得部７９に出力する。

ＧＰＳ受信部６０は、ＧＰＳ受信回路、ＧＰＳ受信アンテナなどから構成されており、ＧＰＳ信号を受信する。ＧＰＳ受信部６０は、受信したＧＰＳ信号を位置情報取得部８２に出力する。

制御部７０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、図示しない記憶部に記憶されたプログラム（例えば、本発明に係るプログラム）がＲＡＭ等を作業領域として実行されることにより実現される。また、制御部７０は、コントローラ（Controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

制御部７０は、撮影データ取得部（情報取得部）７１と、バッファメモリ７２と、撮影データ処理部７３と、記録制御部７４と、再生制御部７５と、俯瞰映像生成部７６と、操作制御部７７と、表示制御部７８と、加速度情報取得部７９と、イベント検出部（情報取得部）８０と、イベント検出方向取得部８１と、位置情報取得部８２とを有する。図１においては、制御部７０で実現される各部は、理解を容易にするために、バス８３を介して互いに接続されているように記載する。

撮影データ取得部７１は、外部から各種の撮影データを取得する。撮影データ取得部７１は、例えば、撮影部１０から撮影データを取得する。撮影データ取得部７１は、例えば、走行中、停車中又は駐車中の車両の周辺を撮影部１０で撮影した撮影データを取得する。撮影データ取得部７１は、例えば、撮影部１０から取得した撮影データをバッファメモリ７２および表示制御部７８に出力する。撮影データ取得部７１は、撮影部１０が撮影した撮影データに加えて、撮影部１０または他の位置に配置された図示しないマイクロフォンが取得した音声データを含んだ撮影データを取得してもよい。撮影データ取得部７１は、取得した複数の撮影データをバッファメモリ７２に出力する。

バッファメモリ７２は、撮影データ取得部７１が取得した撮影データを一時的に記憶する制御部７０の内部メモリである。具体的には、バッファメモリ７２は、撮影データ取得部７１が取得した一定時間分の撮影データを、更新しながら一時的に記憶する。

撮影データ処理部７３は、バッファメモリ７２が一時的に記憶している撮影データに対して種々の処理を実行する。撮影データ取得部７１は、例えば、バッファメモリ７２が一時的に記憶している撮影データを、例えば、ＭＰ４形式などの任意のファイル形式に変換する。撮影データ処理部７３は、例えば、バッファメモリ７２が一時的に記憶している撮影データから、一定時間分のデータファイルとした撮影データを生成する。具体的には、撮影データ処理部７３は、バッファメモリ７２が一時的に記憶している撮影データから、６０秒間の撮影データをデータファイルとして生成する。撮影データ処理部７３は、生成した撮影データを記録制御部７４へ出力する。また、撮影データ処理部７３は、生成した撮影データを表示制御部７８へ出力する。データファイルとして生成される撮影データの期間は、一例として６０秒としたが、これには限定されない。

記録制御部７４は、種々のデータを記録部２０に保存する。記録制御部７４は、例えば、撮影データ処理部７３でファイル化された撮影データを、記録部２０に記録させる制御を行う。記録制御部７４は、例えば、イベント検出部８０がイベントを検出した場合、そのイベントを含む映像に関する撮影データをイベントデータとして記録部２０に保存する。

再生制御部７５は、記録部２０に記録されている種々のデータを再生する。再生制御部７５は、例えば、記録部２０にデータファイルとして記録されている撮影データを再生する。再生制御部７５は、例えば、記録部２０に保存されているイベントデータを再生する。再生制御部７５は、操作制御部７７から出力された操作部３０の操作に応じた制御信号に従って、任意の撮影データ及びイベントデータを再生する。

俯瞰映像生成部７６は、記録部２０に記録されている複数の撮影データに対して車両の上方から見たように視点変換処理を行い、視点変換処理を行った複数の撮影データを合成することで俯瞰映像を生成する。本実施形態において、俯瞰映像生成部７６は、車両の上方を仮想視点とした俯瞰映像を生成することができる。

操作制御部７７は、操作部３０からユーザなどから受け付けた操作に関する操作信号を受け付ける。操作制御部７７は、例えば、撮影データの再生の開始、撮影データの記録の開始などの操作に関する操作信号を受け付ける。操作制御部７７は、受け付けた操作信号に応じた制御信号を記録制御部７４又は再生制御部７５に出力する。この場合、記録制御部７４及び再生制御部７５は、制御信号に従って、動作を実行する。

表示制御部７８は、種々の映像を表示部４０に表示する。表示制御部７８は、例えば、再生制御部７５によって再生された撮影データおよびイベントデータを表示部４０に表示する。具体的には、表示制御部７８は、表示部４０に映像信号を出力することで、表示部４０に映像を表示する。表示制御部７８は、例えば、記録部２０に記録されている撮影データ及びイベントデータに関する映像信号を表示部４０に出力することで、表示部４０に撮影データを表示する。

加速度情報取得部７９は、加速度センサ５０から車両に加わった加速度に関する加速度情報を取得する。具体的には、加速度情報取得部７９は、駐車中に車両に加わった加速度に関する加速度情報を取得する。加速度情報取得部７９は、取得した加速度情報をイベント検出部８０に出力する。

イベント検出部８０は、車両に対するイベントを検出する。イベント検出部８０が車両に対するイベントを検出する方法は任意であるが、一例として、イベント検出部８０は、加速度センサ５０の検出結果に基づいて、イベントを検出する。この場合、イベント検出部８０は、加速度センサ５０が検出した加速度における閾値以上の加速度が検出されると、イベントとして検出する。イベント検出部８０がイベントとして検出する加速度は、車両に対して物体が衝突するような事故に相当する衝撃が検出されるような閾値が設定される。

イベント検出方向取得部８１は、イベント検出部８０がイベントを検出した場合、車両に対するイベント検出方向を取得する。イベント検出方向取得部８１は、イベントが検出されたときの加速度センサ５０における軸毎の加速度情報に基づき、イベントとして検出された加速度を生じさせた他の物体が車両に対して衝突した方向を検出する。イベント検出方向取得部８１が取得したイベント検出方向を示す情報は、イベントデータに対応つけられて記録される。イベント検出方向とは、車両から見てイベントが発生した方向である。イベント検出方向取得部８１は、加速度センサ５０からの加速度情報に限らず、音声や映像、またはこれらの組み合わせで、イベント検出方向を取得してもよい。

位置情報取得部８２は、ＧＰＳ受信部６０からＧＰＳ信号を受け付ける。位置情報取得部８２は、ＧＰＳ信号に基づいて、現在位置情報を算出する。位置情報取得部８２およびＧＰＳ受信部６０は、ＧＰＳに限らず、他の方式の測位衛星システムに対応していてもよい。

図２を用いて、俯瞰映像生成部７６により生成される俯瞰映像について説明する。図２は、俯瞰映像Ｐの一例を示す説明図である。俯瞰映像Ｐは、前方映像Ｐ１、後方映像Ｐ２、右側方映像Ｐ３及び左側方映像Ｐ４を含む。また、俯瞰映像Ｐは、合成境界Ｂ１、Ｂ２、Ｂ３、Ｂ４を含む。俯瞰映像Ｐの中央部には、自車両アイコンＭが表示される。自車両アイコンＭは、車両を上方から見下ろした形態を示す。

俯瞰映像生成部７６は、基本的に、表示向きがヘッディングアップ、すなわち車両の前側が画面内の上方に設定された俯瞰映像Ｐを生成する。俯瞰映像生成部７６は、種々の条件に応じて、表示向きがヘッディングアップ以外、すなわち車両の前側が画面内の上方以外の方向に設定された俯瞰映像Ｐを生成してもよい。

俯瞰映像生成部７６は、俯瞰映像表示を開始するとき、撮影データ取得部４２が取得した周辺映像を、車両の真上に位置する仮想視点から見えるように視点変換処理を行って合成した俯瞰映像を生成する。

俯瞰映像生成部７６は、撮影データ取得部７１で取得し、記録部２０に記録された複数の撮影データに対して、車両を上方から見たように視点変換処理を行う。より詳しくは、俯瞰映像生成部７６は、前方カメラ１１、後方カメラ１２、右側方カメラ１３及び左側方カメラ１４で撮影した複数の撮影データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。

俯瞰映像生成部７６は、視点変換処理を行った複数の撮影データから所定の範囲の映像を切り出す切り出し処理を行う。俯瞰映像生成部７６は、視点変換処理を行った前方カメラ１１の撮影データから、前方切り出し範囲を切り出す。俯瞰映像生成部７６は、視点変換処理を行った後方カメラ１２の撮影データから、後方切り出し範囲を切り出す。俯瞰映像生成部７６は、視点変換処理を行った右側方カメラ１３の撮影データから、右側方切り出し範囲を切り出す。俯瞰映像生成部７６は、視点変換処理を行った左側方カメラ１４の撮影データから、左側方切り出し範囲を切り出す。

前方切り出し範囲は、前方映像Ｐ１を切り出す範囲である。前方切り出し範囲は、車両の前端部から前方の範囲である。後方切り出し範囲は、視点変換処理を行った複数の撮影データから後方映像Ｐ２を切り出す範囲である。後方切り出し範囲は、車両の後端部から後方の範囲である。右側方切り出し範囲は、視点変換処理を行った複数の撮影データから右側方映像Ｐ３を切り出す範囲である。右側方切り出し範囲は、車両の右側部から右方の範囲である。左側方切り出し範囲は、視点変換処理を行った複数の撮影データから左側方映像Ｐ４を切り出す範囲である。左側方切り出し範囲は、車両の左側部から左方の範囲である。

俯瞰映像生成部７６は、俯瞰映像生成部７６で切り出した複数の映像を合成する合成処理を行う。前方切り出し範囲（前方映像Ｐ１）と右側方切り出し範囲（右側方映像Ｐ３）との境界が、合成境界Ｂ１となる。前方切り出し範囲（前方映像Ｐ１）と左側方切り出し範囲（左側方映像Ｐ４）との境界が、合成境界Ｂ２となる。後方切り出し範囲（後方映像Ｐ２）と右側方切り出し範囲（右側方映像Ｐ３）との境界が、合成境界Ｂ３となる。後方切り出し範囲（後方映像Ｐ２）と左側方切り出し範囲（左側方映像Ｐ４）との境界が、合成境界Ｂ４となる。

例えば、合成境界Ｂ１は、自車両アイコンＭの右前角部から俯瞰映像Ｐの右辺の前部側にかけて設定される。合成境界Ｂ２は、自車両アイコンＭの左前角部から俯瞰映像Ｐの左辺の前部側にかけて設定される。合成境界Ｂ３は、自車両アイコンＭの右後角部から俯瞰映像Ｐの右辺の後部側にかけて設定される。合成境界Ｂ４は、自車両アイコンＭの左後角部から俯瞰映像Ｐの左辺の後部側にかけて設定される。

俯瞰映像生成部７６は、イベントデータ以外の撮影データが再生された場合、図２に示すように、前方映像Ｐ１と後方映像Ｐ２とが上下対称の同一形状で同一の面積となり、右側方映像Ｐ３と左側方映像Ｐ４とが左右対称の同一形状で同一の面積となるように切り出し処理を行い、合成境界Ｂ１、Ｂ２、Ｂ３、Ｂ４を設定して、標準の俯瞰映像Ｐを生成する。本実施形態において、表示制御部７８は、イベント検出部８０が取得したイベントに起因しないときの映像を再生する場合は、俯瞰映像生成部７６が生成した俯瞰映像Ｐとして映像を表示部４０に表示する。

イベント検出部８０が取得したイベントに起因するときの映像を再生する場合、例えば図２に示すような俯瞰映像を生成して再生すると、俯瞰映像生成部７６は、複数の撮影データから、車両の近傍の範囲を切り出して俯瞰映像を生成するため、イベントの原因となる状況が表示されない場合がある。

このため、俯瞰映像生成部７６は、イベントデータが再生された場合、俯瞰映像Ｐの生成を行わないようにする。本実施形態において、表示制御部７８は、イベント検出部８０が取得したイベントに起因するときの映像を再生する場合には、俯瞰映像生成部７６による俯瞰映像Ｐを生成せずに撮影データ取得部７１が取得した撮影データの映像を表示部４０に表示させる。

図３を用いて、再生制御部７４によりイベントデータが再生され、表示制御部７８によって表示部４０に表示される場合の例について説明する。図３は、イベントデータとして記録された撮影データが表示された撮影映像の一例を示す説明図である。表示制御部７８は、俯瞰映像Ｐと切り替わるように撮影映像Ｑを表示部４０に表示させる。図３に示すように、撮影映像Ｑは、前方カメラ映像Ｑ１、後方カメラ映像Ｑ２、右側方カメラ映像Ｑ３及び左側方カメラ映像Ｑ４を含む。前方カメラ映像Ｑ１、後方カメラ映像Ｑ２、右側方カメラ映像Ｑ３及び左側方カメラ映像Ｑ４は、いずれも視点変換処理は行われていない映像である。

前方カメラ映像Ｑ１は、前方カメラ１１により撮影された映像である。前方カメラ映像Ｑ１は、撮影映像Ｑにおいて図中上部に表示される。後方カメラ映像Ｑ２は、後方カメラ１２により撮影された映像である。後方カメラ映像Ｑ２は、撮影映像Ｑにおいて図中下部に表示される。右側方カメラ映像Ｑ３は、右側方カメラ１３により撮影された映像である。右側方カメラ映像Ｑ３は、撮影映像Ｑにおいて、図中の前方カメラ映像Ｑ１と後方カメラ映像Ｑ２との間の領域の右側半分に表示される。左側方カメラ映像Ｑ４は、左側方カメラ１４により撮影された映像である。左側方カメラ映像Ｑ４は、撮影映像Ｑにおいて、図中の前方カメラ映像Ｑ１と後方カメラ映像Ｑ２との間の領域の左側半分に表示される。各映像をこのような配置にすることにより、俯瞰映像Ｐを表示していた縦長の表示部４０に対して撮影映像Ｑを適切かつ効率的に表示することができる。

表示制御部７８は、イベント検出方向が取得された場合、撮影映像Ｑを構成する複数の映像のうちイベント検出方向に対応する映像を主として表示させることができる。この場合、表示制御部７８は、イベント検出方向に対応する映像を他の映像より大きく表示させる。

図４は、イベント検出方向に対応する映像を拡大した撮影映像の一例を示す図である。図４では、イベント検出方向が前方である場合を例としている。図４に示すように、表示制御部７８は、イベント検出方向に対応する映像として、イベント検出方向である前方を映した前方カメラ映像Ｑ１を特定する。表示制御部７８は、特定した前方カメラ映像Ｑ１を図中の下方に広げて表示することができる。この場合、表示制御部７８は、前方カメラ映像Ｑ１以外の他の映像（後方カメラ映像Ｑ２、右側方カメラ映像Ｑ３、左側方カメラ映像Ｑ４）については、前方カメラ映像Ｑ１の拡大に伴って下方に縮小することができる。また、表示制御部７８は、他の映像を縮小することなく、前方カメラ映像Ｑ１を他の映像に重ねて表示させてもよい。また、表示制御部７８は、表示部４０の画面全体に前方カメラ映像Ｑ１を表示させてもよい。

図５は、撮影データが表示された撮影映像の他の例を示す説明図である。図５に示すように、表示制御部７８は、表示部４０をマトリクス状（例えば２行×２列）に区切り、前方カメラ映像Ｑ１、後方カメラ映像Ｑ２、右側方カメラ映像Ｑ３、左側方カメラ映像Ｑ４を各領域に表示させるようにしてもよい。図５に示す例において、表示制御部７８は、前方カメラ映像Ｑ１を左上の領域に表示させ、後方カメラ映像Ｑ２を右下の領域に表示させ、右側方カメラ映像Ｑ３を右上の領域に表示させ、左側方カメラ映像Ｑ４左下の領域に表示させる場合を示している。なお、４つの各映像の配置については、上記に限定されず、他の配置としてもよい。

図６及び図７は、図５に示す撮影映像Ｑにおいてイベント検出方向に対応する映像を拡大する場合の例を示す図である。図６及び図７では、イベント検出方向が前方である場合を例としている。

図６に示すように、表示制御部７８は、イベント検出方向に対応する前方カメラ映像Ｑ１を、例えば図中の右方及び下方に広げて表示することができる。この場合、表示制御部７８は、前方カメラ映像Ｑ１を他の映像（後方カメラ映像Ｑ２、右側方カメラ映像Ｑ３、左側方カメラ映像Ｑ４）の上に重ねて表示させることができる。なお、表示制御部７８は、表示部４０の画面全体に前方カメラ映像Ｑ１を表示させてもよい。

また、図７に示すように、表示制御部７８は、イベント検出方向に対応する前方カメラ映像Ｑ１を、例えば図中の右方に広げて表示することができる。この場合、表示制御部７８は、前方カメラ映像Ｑ１とは異なる他の映像（後方カメラ映像Ｑ２、右側方カメラ映像Ｑ３、左側方カメラ映像Ｑ４）を前方カメラ映像Ｑ１の図中の下方側に配置し、適宜縮小して表示させることができる。

なお、表示制御部７８は、撮影映像Ｑとして表示される複数の映像のうちイベント検出方向に対応する映像以外の映像については、例えば車両から見て遠方側となる範囲を撮影した映像として表示させることができる。図８は、撮影部１０による垂直方向の撮影範囲の一例を示す図である。図８では、前方カメラ１１及び後方カメラ１２を例に挙げて説明するが、右側方カメラ１３及び左側方カメラ１４についても同様の説明が可能である。

図８に示す例では、前方カメラ１１の垂直方向の撮影可能範囲Ｒｆと、撮影映像Ｑにおいて前方カメラ映像Ｑ１として表示される表示範囲Ｒｆ１とを比較して示している。また、後方カメラ１２の垂直方向の撮影可能範囲Ｒｒと、撮影映像Ｑにおいて後方カメラ映像Ｑ２として表示される表示範囲Ｒｒ１とを比較して示している。図８に示すように、撮影映像Ｑにおいて表示される表示範囲Ｒｆ１、Ｒｒ１は、それぞれ撮影可能範囲Ｒｆ、Ｒｒの一部が用いられている。なお、表示範囲Ｒｆ１、Ｒｒ１は、撮影可能範囲Ｒｆ、Ｒｒの全部が用いられてもよい。

図９は、撮影部１０による垂直方向の撮影範囲の他の例を示す図である。図９では、図８と同様に、前方カメラ１１及び後方カメラ１２を例に挙げて説明するが、右側方カメラ１３及び左側方カメラ１４についても同様の説明が可能である。図９では、イベント検出方向が前方であり、イベント検出方向に対応する映像が前方カメラ映像Ｑ１である場合を例とする。図９に示すように、表示制御部７８は、前方カメラ映像Ｑ１を撮影する前方カメラ１１とは異なる後方カメラ１２について、上方の撮影範囲をカットした表示範囲Ｒｒ２を設定することができる。この場合、後方カメラ映像Ｑ２としては、イベントデータの確認時に必要な範囲の映像が表示される。

次に、図１０を用いて、記録再生装置１００における記録処理の流れについて説明する。図１０は、第１実施形態に係る記録再生装置１００における記録処理の流れを示すフローチャートである。ここでは、ループ記録処理を行う場合について説明する。

記録再生装置１００は、イベント検出およびループ記録を開始する（ステップＳ１０１）。より詳しくは、記録再生装置１００は、イベント検出部８０によって、加速度センサ５０の検出結果に基づいて、イベントを検出する。記録再生装置１００は、撮影データ処理部７３によって、バッファメモリ７２に記録された撮影データから、所定期間の映像ごとのループ記録撮影データを生成する。記録再生装置１００は、記録制御部７４によって、ループ記録撮影データを記録部２０に記録させる。記録再生装置１００は、ステップＳ１０２に進む。

記録再生装置１００は、イベント検出部８０によって、イベントを検出したか否かを判定する（ステップＳ１０２）。より詳しくは、記録再生装置１００は、イベント検出部８０によって、イベントが検出された場合（ステップＳ１０２でＹｅｓ）、ステップＳ１０３に進む。記録再生装置１００は、イベント検出部８０によって、イベントが検出されなかった場合（ステップＳ１０２でＮｏ）、ステップＳ１０５に進む。

イベントが検出された場合（ステップＳ１０２でＹｅｓ）、記録再生装置１００は、イベント検出方向取得部８１によって、イベント検出方向を取得する（ステップＳ１０３）。記録再生装置１００は、ステップＳ１０４に進む。

記録再生装置１００は、イベント検出前後の撮影データであるイベントデータと、イベント検出方向を保存する（ステップＳ１０４）。より詳しくは、記録再生装置１００は、撮影データ処理部７３によって、記録部２０に記録されたループ記録撮影データから、少なくともイベントの発生時点を含む撮影データをイベントデータとして生成する。記録再生装置１００は、記録制御部７４によって、イベントデータを記録部２０に保存する。記録再生装置１００は、イベントデータとともに、イベント検出方向を示す情報を保存する。記録再生装置１００は、イベントデータを上書き禁止の状態として保存する。記録再生装置１００は、ステップＳ１０５に進む。ステップＳ１０３において、イベントが検出されたにもかかわらずイベント検出方向が取得できない場合は、ステップＳ１０４においては、イベント検出方向を取得せずにイベントデータを保存する。

記録再生装置１００は、イベント検出およびループ記録を終了するか否かを判定する（ステップＳ１０５）。より詳しくは、記録再生装置１００は、操作制御部７７によって、終了操作情報が出力された場合や、車両の動作が終了するなど、任意の条件で、イベント検出およびループ記録を終了すると判定して（ステップＳ１０５でＹｅｓ）、処理を終了する。記録再生装置１００は、操作制御部７７によって、終了操作情報が出力されていないと、イベント検出およびループ記録を終了しないと判定して（ステップＳ１０５でＮｏ）、ステップＳ１０２の処理を再度実行する。

次に、図１１を用いて、記録再生装置１００における再生処理の流れについて説明する。図１１は、第１実施形態に係る記録再生装置１００における再生処理の流れを示すフローチャートである。

記録再生装置１００は、撮影データの再生指示があるか否かを判定する（ステップＳ２０１）。記録再生装置１００は、操作制御部７７が撮影データの再生指示を示す操作情報を取得した場合、撮影データの再生指示があると判定して（ステップＳ２０１でＹｅｓ）、ステップＳ２０２に進む。記録再生装置１００は、操作制御部７７が撮影データの再生指示を示す操作情報を取得しない場合、撮影データの再生指示がないと判定して（ステップＳ２０１でＮｏ）、本処理を終了する、又はステップＳ２０１の処理を再度実行してもよい。

撮影データの再生指示があると判定した場合（ステップＳ２０１でＹｅｓ）、記録再生装置１００は、撮影対象がイベントデータであるか否かを判定する（ステップＳ２０２）。撮影対象がイベントデータであると判定した場合（ステップＳ２０２でＹｅｓ）、ステップＳ２０３に進む。撮影対象がイベントデータではないと判定した場合（ステップＳ２０２でＮｏ）、ステップＳ２０５に進む。

撮影対象がイベントデータであると判定した場合（ステップＳ２０２でＹｅｓ）、記録再生装置１００は、俯瞰映像Ｐを生成せず、撮影データ取得部７１が取得した撮影データを撮影映像Ｑとして表示して（ステップＳ２０３）、ステップＳ２０４に進む。

記録再生装置１００は、イベントデータの再生を終了するか否かを判定する（ステップＳ２０４）。イベントデータを最後まで再生した場合、または、再生を停止する操作が行われた場合、記録再生装置１００は、イベントデータの再生を終了すると判定して（ステップＳ２０４でＹｅｓ）、処理を終了する。上記に該当しない場合、記録再生装置１００は、イベントデータの再生を終了しないと判定して（ステップＳ２０４でＮｏ）、ステップＳ２０４の処理を再度実行する。

ステップＳ２０２において、撮影対象がイベントデータではないと判定した場合（ステップＳ２０２でＮｏ）、記録再生装置１００は、標準の俯瞰映像Ｐ（図２参照）を生成し、生成した俯瞰映像Ｐを表示部４０に表示して（ステップＳ２０５）、ステップＳ２０６に進む。イベントデータではない撮影対象とは、例えばループ記録データである。

記録再生装置１００は、ループ記録データの再生を終了するか否かを判定する（ステップＳ２０６）。ループ記録データを最後まで再生した場合、または、再生を停止する操作が行われた場合、記録再生装置１００は、ループ記録データの再生を終了すると判定して（ステップＳ２０６でＹｅｓ）、処理を終了する。上記に該当しない場合、記録再生装置１００は、ループ記録データの再生を終了しないと判定して（ステップＳ２０６でＮｏ）、ステップＳ２０６の処理を再度実行する。

以上のように、本実施形態では、イベントに起因しないときの映像を再生する場合は俯瞰映像Ｐが表示部４０に表示され、イベントに起因するときの映像を再生する場合には俯瞰映像Ｐが生成されずに撮影データ取得部７１が取得した撮影映像Ｑが表示されるため、イベントの状態を適切に確認することができる。

本実施形態において、イベントに起因するときの映像を再生する場合には、イベント検出方向に対応する映像が主として表示されるため、イベントの状態をより適切に確認することができる。本実施形態において、イベントに起因するときの映像を再生する場合には、イベント検出方向に対応する映像が主として表示される他の例としては、イベント検出方向に対応する映像を表示させ、イベント検出方向に対応しない映像を表示させないようにしてもよい。

本実施形態において、イベントに起因するときの映像を再生する場合には、イベント検出方向に対応する映像が他の映像よりも大きく表示されるためイベントの状態をより適切に確認することができる。

［第２実施形態］
図１２を参照しながら、本実施形態に係る映像再生装置２００について説明する。図１２は、第２実施形態に係る映像再生装置２００の一例を示すブロック図である。

映像再生装置２００は、例えば第１実施形態に記載の記録再生装置１００で保存された撮影データを再生することができる。映像再生装置２００は、記録部１１０と、操作部１２０と、表示部１３０と、制御部１４０とを有する。映像再生装置２００は、例えば、パーソナルコンピュータ、スマートフォン、タブレット端末、ナビゲーション装置などを含む電子機器である。

記録部１１０は、記録再生装置１００などによって記録された、イベントデータ、イベント検出方向を示す情報、ループ記録データなどが格納されている。記録部１１０は、例えば、フラッシュメモリなどの半導体メモリ素子、または、メモリカードなどの記録部である。または、図示しない通信装置を介して無線接続される外部記録部であってもよい。

操作部１２０は、映像再生装置２００に対する各種操作を受付可能である。例えば、操作部１２０は、記録部１１０に記録したイベントデータまたはループ記録データを再生する操作を受付可能である。例えば、操作部１２０は、記録部１１０に記録したイベントデータを消去する操作を受付可能である。操作部１２０は、操作情報を制御部１４０の操作制御部１４４に出力する。

操作部１２０は、表示部１３０に備えられているタッチパネルであり、記録部１１０に保存されているイベントデータを再生する操作を、表示部１３０に表示されたサムネイル画像をタッチすることで、イベントデータの選択、再生指示を行う。

表示部１３０は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含むディスプレイである。表示部１３０は、制御部１４０の表示制御部１４５から出力された映像信号に基づいて、映像を表示する。表示部１３０は、記録部１１０に記録された映像を表示する。

制御部１４０は、例えば、ＣＰＵなどで構成された演算処理装置（制御装置）である。制御部１４０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。制御部１４０には図示しない内部メモリが含まれ、内部メモリは制御部１４０におけるデータの一時記憶などに用いられる。制御部１４０は、バス１４６に接続された、情報取得部１４１と、再生制御部１４２と、俯瞰映像生成部１４３と、操作制御部１４４と、表示制御部１４５とを有する。

情報取得部１４１は、車両の周囲を撮影する複数のカメラが撮影した複数の映像、車両に対するイベントを示す情報、および車両に対するイベントの検出方向を示す情報を取得する。

再生制御部１４２は、選択されたイベントデータまたはループ記録データを記録部１１０から取得して再生する。再生制御部１４２は、操作制御部１４４から出力された選択操作および再生操作の制御信号に基づいて、記録部１１０に記録されたイベントデータまたはループ記録データを再生するよう制御する。再生制御部１４２は、撮影データを再生するとき、俯瞰映像生成部１４３が生成した俯瞰映像を表示部１３０に表示させる。

俯瞰映像生成部１４３は、情報取得部１４１が取得した複数の撮影データに対して車両の上方から見たように視点変換処理を行い、複数の映像を合成する境界をイベント検出方向に応じて変更して合成した俯瞰映像を生成する。

操作制御部１４４は、操作部１２０が受け付けた操作の操作情報を取得する。例えば、操作制御部１４４は、映像データの選択操作を示す選択操作情報、映像データの再生操作を示す再生操作情報、または、映像データの消去操作を示す消去操作情報を取得して制御信号を出力する。

映像再生装置２００における再生処理の流れは、図１１に示す記録再生装置１００における再生処理の流れと同一である。

表示制御部１４５は、再生制御部１４２からの制御信号に基づいて、表示部１３０における映像データの表示を制御する。表示制御部１４５は、映像データを表示部１３０に出力させる映像信号を出力する。表示制御部１４５は、情報取得部１４１が取得したイベントに起因しないときの映像を再生する場合は、俯瞰映像生成部１４３が生成した俯瞰映像を表示し、情報取得部１４１が取得したイベントに起因するときの映像を再生する場合には、俯瞰映像生成部１４３による俯瞰映像を生成せずに情報取得部１４１が取得した映像を表示させる。表示制御部１４５は、イベントに起因するときの映像を再生する場合には、複数の映像のうちイベントの検出方向に対応する映像を主として表示させる。表示制御部１４５は、イベントに起因するときの映像を再生する場合には、複数の映像のうちイベントの検出方向に対応する映像を他の映像より大きく表示させる。表示制御部１４５は、イベントに起因するときの映像を再生する場合には、複数の映像のうちイベントの検出方向に対応する映像以外の映像については車両の遠方側を表示させる。

このように、記録再生装置１００で保存された撮影データを再生する映像再生装置２００においても、イベントに起因しないときの映像を再生する場合は俯瞰映像Ｐが表示部４０に表示され、イベントに起因するときの映像を再生する場合には俯瞰映像Ｐが生成されずに撮影データ取得部７１が取得した撮影映像Ｑが表示されるため、イベントの状態を適切に確認することができる。

これまで本発明に係る記録再生装置１００および映像再生装置２００について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよい。

図示した記録再生装置１００および映像再生装置２００の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

記録再生装置１００および映像再生装置２００の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

上記では、ループ記録処理を行う場合について説明したが、イベントが検出されてから撮影を開始する場合についても同様である。

Ｂ１，Ｂ２，Ｂ３，Ｂ４…合成境界、Ｍ…自車両アイコン、Ｐ…俯瞰映像、Ｐ１…前方映像、Ｐ２…後方映像、Ｐ３…右側方映像、Ｐ４…左側方映像、Ｑ…撮影映像、Ｑ１…前方カメラ映像、Ｑ２…後方カメラ映像、Ｑ３…右側方カメラ映像、Ｑ４…左側方カメラ映像、Ｒｆ，Ｒｒ…撮影可能範囲、Ｒｆ１，Ｒｆ２，Ｒｒ１…表示範囲、１０…撮影部、１１…前方カメラ、１２…後方カメラ、１３…右側方カメラ、１４…左側方カメラ、２０，１１０…記録部、２３…設定操作部、３０，１２０…操作部、４０，１３０…表示部、４２，７１…撮影データ取得部、５０…加速度センサ、ＧＰＳ受信部、７０，１４０…制御部、７２…バッファメモリ、７３…撮影データ処理部、７４…記録制御部、７５，１４２…再生制御部、７６，１４３…俯瞰映像生成部、７７，１４４…操作制御部、７８，８０，１４５…表示制御部、７９…加速度情報取得部、８０…イベント検出部、８１…イベント検出方向取得部、８２…位置情報取得部、８３，１４６…バス、１００…記録再生装置、１４１…情報取得部、２００…映像再生装置

Claims (8)

1. 車両の周囲を撮影する複数のカメラが撮影した複数の映像、および前記車両に対するイベントを示す情報を取得する情報取得部と、
   前記情報取得部が取得した複数の映像を、前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成部と、
   前記情報取得部が取得したイベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成部が生成した俯瞰映像を表示し、前記情報取得部が取得したイベントに起因するときの映像を再生する場合には、俯瞰映像を生成せずに、前記情報取得部が取得した映像を表示させる、表示制御部と、
   を備える映像再生装置。
2. 前記情報取得部は、前記車両に対するイベントを示す情報として前記車両に対するイベントの検出方向を示す情報をさらに取得し、
   前記表示制御部は、前記情報取得部が取得したイベントに起因するときの映像を再生する場合には、前記情報取得部が取得した複数の映像のうちイベントの検出方向に対応する映像を主として表示させる、
   請求項１に記載の映像再生装置。
3. 前記表示制御部は、前記情報取得部が取得したイベントに起因するときの映像を再生する場合には、前記情報取得部が取得した複数の映像のうちイベントの検出方向に対応する映像を他の映像より大きく表示させる、
   請求項２に記載の映像再生装置。
4. 車両に加わる加速度に基づいて前記車両に対するイベントを検出するイベント検出部と、
   前記車両の周囲を撮影する複数のカメラが撮影した複数の撮影データを取得する情報取得部と、
   前記情報取得部が取得した複数の映像を記録するとともに、前記イベント検出部が前記車両に対するイベントを検出した場合、検出したイベントに関する所定期間の複数の映像を記録する記録制御部と、
   前記情報取得部が取得した複数の撮影データに対して前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成部と、
   前記撮影データを再生するとき、イベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成部が生成した俯瞰映像を表示し、イベントに起因するときの映像を再生する場合には、俯瞰映像を生成せずに、前記情報取得部が取得した映像を表示させる、表示制御部と
   を備える記録再生装置。
5. 前記情報取得部は、前記車両に対するイベントを示す情報として前記車両に対するイベントの検出方向を示す情報をさらに取得し、
   前記表示制御部は、前記情報取得部が取得したイベントに起因するときの映像を再生する場合には、前記情報取得部が取得した複数の映像のうちイベントの検出方向に対応する映像を主として表示させ、前記複数の映像のうちイベントの検出方向に対応する前記映像以外の映像については前記車両から見て遠方側となる範囲を表示させる
   請求項４に記載の記録再生装置。
6. 車両の周囲を撮影する複数のカメラが撮影した複数の映像、および前記車両に対するイベントを示す情報を取得する情報取得ステップと、
   前記情報取得ステップにおいて取得した複数の映像を、前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成ステップと、
   前記情報取得ステップにおいて取得したイベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成ステップにおいて生成した俯瞰映像を表示し、前記情報取得ステップにおいて取得したイベントに起因するときの映像を再生する場合には、俯瞰映像を生成せずに、前記情報取得ステップで取得した映像を表示させる、表示制御ステップと、
   を含む映像再生方法。
7. 車両の周囲を撮影する複数のカメラが撮影した複数の映像、および前記車両に対するイベントを示す情報を取得する情報取得ステップと、
   前記情報取得ステップにおいて取得した複数の映像を、前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成ステップと、
   前記情報取得ステップにおいて取得したイベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成ステップにおいて生成した俯瞰映像を表示し、前記情報取得ステップにおいて取得したイベントに起因するときの映像を再生する場合には、俯瞰映像を生成せずに、前記情報取得ステップで取得した映像を表示させる、表示制御ステップと、
   をコンピュータに実行させる映像再生プログラム。
8. 車両の周囲を撮影する複数のカメラが撮影した複数の映像、前記車両に対するイベントを示す情報、および前記車両に対するイベントの検出方向を示す情報を取得する情報取得部と、
   前記情報取得部が取得した複数の映像を、前記車両の上方から見たように視点変換処理を行い合成した俯瞰映像を生成する俯瞰映像生成部と、
   前記情報取得部が取得したイベントに起因しないときの映像を再生する場合は、前記俯瞰映像生成部が生成した俯瞰映像を表示し、前記情報取得部が取得したイベントに起因するときの映像を再生する場合には、前記情報取得部が取得した映像のうちイベントの検出方向に対応する映像を主として表示させ、前記複数の映像のうちイベントの検出方向に対応する前記映像以外の映像については前記車両から見て遠方側となる範囲を表示させる、表示制御部と、
   を備える映像再生装置。

Images