JP2014134912A - 再生装置、再生システム、再生方法及びプログラム - Google Patents

再生装置、再生システム、再生方法及びプログラム Download PDF

Info

Publication number
JP2014134912A
JP2014134912A JP2013001601A JP2013001601A JP2014134912A JP 2014134912 A JP2014134912 A JP 2014134912A JP 2013001601 A JP2013001601 A JP 2013001601A JP 2013001601 A JP2013001601 A JP 2013001601A JP 2014134912 A JP2014134912 A JP 2014134912A
Authority
JP
Japan
Prior art keywords
vehicle
playback
video
event
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013001601A
Other languages
English (en)
Other versions
JP6095985B2 (ja
Inventor
Ryuichi Morimoto
竜一 森本
Yasuyoshi Sawada
康嘉 澤田
Miki Murakado
美紀 村角
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2013001601A priority Critical patent/JP6095985B2/ja
Publication of JP2014134912A publication Critical patent/JP2014134912A/ja
Application granted granted Critical
Publication of JP6095985B2 publication Critical patent/JP6095985B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Image Processing (AREA)

Abstract

【課題】イベントが発生した時点の車両の周辺の状況を事後的に的確に把握できるようにする。
【解決手段】再生装置のデータ取得部が、車両の走行中に得られた車両の周辺を示す周辺映像と、該走行中に車両の各種センサで得られた検知データとを取得する。また、イベント検出部が検知データに基いて車両の走行中のイベントを検出し、映像生成部が周辺映像に基いて再生するための再生映像7を生成する。そして、映像生成部は、イベントの発生時点に相当する再生時点において該イベントに応じて特定される対象に向いた再生映像7を生成する。これにより、再生映像7は、イベントの発生時点に相当する再生時点において、当該イベントにおいて観察すべき対象に自動的に向くことになる。このため、ユーザは、イベントが発生した時点の車両の周辺の状況を事後的に的確に把握できる。
【選択図】図10

Description

本発明は、車両の走行中に得られた映像を再生する技術に関する。
従来より、車両で用いられ、車両の走行中に車両の周辺を撮影するカメラを用いて得られた周辺映像を、メモリカードなどの記録媒体に記録する記録装置であるドライブレコーダが知られている。
ユーザは、ドライブレコーダで記録された周辺映像を再生する再生装置を用いて周辺映像の内容を確認することで、走行中における車両の周辺の状況を事後的に把握できる。これにより、ユーザは、車両と他の物体との衝突などのイベントが発生した場合にも、そのイベントの発生時点の状況を事後的に把握することができる。
また、近年では、自車両の全周囲のデータを含む周辺映像をドライブレコーダで記録し、カメラとは別の視点からみた車両の周辺の状況を示す再生映像を再生装置において生成する技術も提案されている(例えば、特許文献1参照。)。このような技術を利用することで、ユーザは、ドライバの視点や他の車両からの視点で、走行中における車両の周辺の状況を事後的に把握することができる。
特開2011−227571号公報
ところで、上記の再生装置においては、特許文献1の技術を利用したとしても、再生映像の視点の位置及び方向は、再生中にわたって固定される。このため、再生映像の視点から死角となる領域で、車両と他の物体との衝突などのイベントが生じた場合には、その時点の状況を的確に把握できない。
仮に、ユーザが再生映像の視点の位置や方向を再生前に設定できたとしても、ユーザは車両の周辺のいずれの領域でイベントが発生したかを再生映像の再生前には把握できない。このため、ユーザが、再生映像の再生前に適切な視点を設定することは困難である。
本発明は、上記課題に鑑みてなされたものであり、イベントが発生した時点の車両の周辺の状況を事後的に的確に把握できる技術を提供することを目的とする。
上記課題を解決するため、請求項1の発明は、映像を再生する再生装置であって、車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する取得手段と、前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する検出手段と、前記周辺映像に基いて、表示装置で再生するための再生映像を生成する生成手段と、を備え、前記生成手段は、前記イベントの発生時点に相当する再生時点において該イベントに応じて特定される対象に向いた前記再生映像を生成する。
また、請求項2の発明は、請求項1に記載の再生装置において、前記周辺映像は、前記車両の周辺の互いに異なる方向を示す複数の方向画像を含み、前記生成手段は、前記複数の方向画像に基いて、仮想視点からみた前記車両の周辺を示す合成画像を前記再生映像として生成する。
また、請求項3の発明は、請求項2に記載の再生装置において、前記再生映像は、前記イベントの発生時点の所定時間前に相当する再生時点から前記車両を周回しながら前記車両の周辺を示す動画表現を行う。
また、請求項4の発明は、請求項2に記載の再生装置において、前記再生映像は、前記イベントの発生時点の所定時間前に相当する再生時点から前記車両の周囲全体の領域を分割した複数の分割領域を順次に拡大して示す動画表現を行う。
また、請求項5の発明は、請求項1ないし4のいずれかに記載の再生装置において、前記検知データは、前記車両にかかる加速度を含み、前記検出手段は、前記加速度に基づいて前記車両と他の物体との衝突を検出し、前記生成手段は、前記衝突の時点に相当する再生時点において前記衝突の発生箇所に向いた前記再生映像を生成する。
また、請求項6の発明は、請求項1ないし4のいずれかに記載の再生装置において、前記検出手段は、前記周辺映像及び前記検知データのいずれかに基いて、前記車両と他の物体との近接を検出し、前記生成手段は、前記近接の時点に相当する再生時点において前記他の物体に向いた前記再生映像を生成する。
また、請求項7の発明は、請求項1または2に記載の再生装置において、前記検知データは、前記車両の位置を含み、前記検出手段は、前記車両の位置に基いて予め定められた登録地点への前記車両の接近を検出し、前記生成手段は、前記登録地点に向いた前記再生映像を生成する。
また、請求項8の発明は、請求項1または2に記載の再生装置において、前記検知データは、前記車両のドライバの視線の方向を含み、前記検出手段は、前記視線の方向の変化を検出し、前記生成手段は、前記視線の先の対象に向いた前記再生映像を生成する。
また、請求項9の発明は、再生システムであって、車両で用いられ、前記車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを記録する記録装置と、前記記録装置で記録された前記周辺映像を再生する請求項1ないし8のいずれかに記載の再生装置と、を備えている。
また、請求項10の発明は、映像を再生する再生方法であって、(a)車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する工程と、(b)前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する工程と、(c)前記周辺映像に基いて、表示装置で再生するための再生映像を生成する工程と、を備え、前記工程(c)は、前記イベントの発生時点に相当する再生時点において該イベントに応じて特定される対象に向いた前記再生映像を生成する。
また、請求項11の発明は、コンピュータによって実行可能なプログラムであって、前記コンピュータに、(a)車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する工程と、(b)前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する工程と、(c)前記周辺映像に基いて、表示装置で再生するための再生映像を生成する工程と、を実行させ、前記工程(c)は、前記イベントの発生時点に相当する再生時点において該イベントに応じて特定される対象に向いた前記再生映像を生成する。
請求項1ないし11の発明によれば、再生映像は、イベントの発生時点に相当する再生時点においてイベントに応じて特定される対象に向く。このため、ユーザは、イベントが発生した時点に相当する適切なタイミングで観察すべき対象に向いた再生映像を視認できるため、イベントが発生した時点の車両の周辺の状況を事後的に的確に把握できる。
また、特に請求項2の発明によれば、仮想視点からみた車両の周辺を示す合成画像を再生映像として生成するため、イベントの発生時点の状況をさらに的確に把握できる。
また、特に請求項3の発明によれば、再生映像は、イベントの発生時点の所定時間前に相当する再生時点から車両を周回しながら車両の周辺を示す動画表現を行う。このため、イベントの発生前における車両の周囲全体の状況を的確に把握することができる。
また、特に請求項4の発明によれば、再生映像は、イベントが発生時点の所定時間前に相当する再生時点から車両の周囲全体の領域を分割した複数の分割領域を順次に拡大して示す動画表現を行う。このため、イベントの発生前における車両の周囲全体の状況を的確に把握することができる。
また、特に請求項5の発明によれば、再生映像は、他の物体との衝突の時点に相当する再生時点において衝突の発生箇所に向く。このため、再生映像を視認するユーザは、車両と他の物体とが衝突したときの状況を事後的に的確に把握できる。
また、特に請求項6の発明によれば、再生映像は、車両と他の物体との近接の時点に相当する再生時点において当該他の物体に向く。このため、再生映像を視認するユーザは、車両と他の物体とが近接したときの状況を事後的に的確に把握できる。
また、特に請求項7の発明によれば、再生映像を視認するユーザは、登録地点の様子を事後的に把握できる。
また、特に請求項8の発明によれば、再生映像を視認するユーザは、ドライバの視線の先の対象を事後的に把握できる。
図1は、再生システムの概要を示す図である。 図2は、第1の実施の形態のドライブレコーダの構成を主に示す図である。 図3は、カメラが撮影する方向を示す図である。 図4は、画像処理部による画像処理の概要を示す図である。 図5は、メモリカードに記録されたデータの概要を示す図である。 図6は、再生装置の構成を主に示す図である。 図7は、合成画像を生成する手法を説明する図である。 図8は、ディスプレイに表示されるウィンドウの一例を示す図である。 図9は、合成画像の仮想視点の変化を示す図である。 図10は、再生映像の変化を示す図である。 図11は、衝突の時点前後の加速度データの一例を示す図である。 図12は、第1の実施の形態の再生装置の処理の流れを示す図である。 図13は、第1の実施の形態のイベント対応処理の流れを示す図である。 図14は、合成画像の仮想視点の変化を示す図である。 図15は、再生映像の変化を示す図である。 図16は、第2の実施の形態のドライブレコーダの構成を示す図である。 図17は、クリアランスソナーが配置される位置を示す図である。 図18は、再生映像の変化を示す図である。 図19は、第3の実施の形態の再生装置の構成を示す図である。 図20は、第4の実施の形態の再生装置の構成を示す図である。 図21は、地点テーブルの一例を示す図である。 図22は、走行中の車両の位置の遷移例を示す図である。 図23は、再生映像の変化を示す図である。 図24は、合成画像の仮想視点の変化を示す図である。 図25は、再生映像の変化を示す図である。 図26は、第5の実施の形態のイベント対応処理の流れを示す図である。 図27は、再生映像の変化を示す図である。 図28は、第6の実施の形態のイベント対応処理の流れを示す図である。 図29は、第7の実施の形態のドライブレコーダの構成を示す図である。 図30は、合成画像の仮想視点の変化を示す図である。 図31は、再生映像の変化を示す図である。 図32は、第7の実施の形態の再生装置の処理の流れを示す図である。 図33は、合成画像を生成する手法を説明する図である。 図34は、ディスプレイに表示されるウィンドウの一例を示す図である。 図35は、初期視点を示す図である。 図36は、通常状態の時点に相当する再生時点の再生映像を示す図である。 図37は、初期視点を示す図である。 図38は、通常状態の時点に相当する再生時点の再生映像を示す図である。 図39は、再生映像の変化を示す図である。
以下、図面を参照しつつ本発明の実施の形態について説明する。
<1.第1の実施の形態>
<1−1.システムの概要>
図1は、本実施の形態に係る再生システム1の概要を示す図である。再生システム1は、車両9の走行中に得られた映像を記録するドライブレコーダ2と、ドライブレコーダ2で記録された映像を再生する再生装置3とを備えている。
ドライブレコーダ2は、自動車などの車両9で用いられ、車両9の走行中に得られた車両9の周辺を示す周辺映像を記録する。動画像である周辺映像には、車両9の周辺を撮影するカメラにより時間的に連続して得られた複数の静止画像が、そのフレームとして含まれている。ドライブレコーダ2は、イベントの発生の有無にかかわらず常時に周辺映像を記録する常時記録方式を採用している。
また、ドライブレコーダ2は、車両9の走行中に周辺映像とともに得られた検知データも記録する。検知データには、車両9に搭載される各種のセンサで時間的に連続して得られた時系列のデータが含まれている。
ドライブレコーダ2は、周辺映像及び検知データなどのデータを可搬性の記録媒体であるメモリカード8に記録する。ドライブレコーダ2で記録されたデータは、このメモリカード8を介して、再生装置3に受け渡される。なお、通信ケーブル、無線通信、及び、ネットワークなどを介して、ドライブレコーダ2で記録されたデータが再生装置3に受け渡されてもよい。
再生装置3は、メモリカード8から周辺映像を取得し、周辺映像を再生する。再生装置3は、ディスプレイ31を備えており、周辺映像に基いて再生用の動画像である再生映像を生成して、その再生映像をディスプレイ31において表示する。
また、再生装置3は、メモリカード8から検知データを取得し、検知データに基いて車両9の走行中に所定のイベントが発生したか否かを検出する。そして、再生装置3は、そのイベントの発生時点に相当する再生時点において、再生映像の視線をイベントに応じて特定される対象に向ける。
本実施の形態では、再生装置3は、車両9と他の物体との衝突をイベントとして検出する。再生装置3は、衝突の時点に相当する再生時点において、再生映像の視線を衝突の発生箇所に向ける。したがって、このような再生映像を視認するユーザは、車両9と他の物体とが衝突したときの状況を事後的に的確に把握できるようになっている。以下、このような再生システム1の構成及び動作について詳細に説明する。
<1−2.ドライブレコーダの構成>
まず、ドライブレコーダ2について説明する。図2は、ドライブレコーダ2の構成を主に示す図である。図2に示すように、ドライブレコーダ2は、画像を記憶する画像メモリ21を備えている。
画像メモリ21は、例えば、揮発性の記憶装置であり、車両9に搭載される4つのカメラ4F,4B,4L,4Rのそれぞれで得られた画像を記憶する。4つのカメラ4F,4B,4L,4Rはそれぞれ、レンズと撮像素子とを備えており、電子的に画像を取得する。各カメラ4F,4B,4L,4Rは、所定の周期(例えば、1/30秒周期)で繰り返し静止画像を取得する。各カメラ4F,4B,4L,4Rで取得された画像は、信号線を介してドライブレコーダ2に入力され、画像メモリ21に記憶される。
これら4つのカメラ4F,4B,4L,4Rは、車両9において互いに異なる位置に配置され、車両9の周辺の異なる方向を撮影する。図3は、4つのカメラ4F,4B,4L,4Rがそれぞれ撮影する方向を示す図である。フロントカメラ4Fは、車両9の前端に設けられ、その光軸4Faは車両9の前後方向(Y軸方向)に沿って前方に向けられる。リアカメラ4Bは、車両9の後端に設けられ、その光軸4Baは車両9の前後方向に沿って後方に向けられる。左サイドカメラ4Lは左側の左サイドミラー90Lに設けられ、その光軸4Laは車両9の車両9の左右方向(X軸方向)に沿って左側方に向けられる。また、右サイドカメラ4Rは右側の右サイドミラー90Rに設けられ、その光軸4Raは車両9の左右方向に沿って右側方に向けられる。
したがって、これら4つのカメラ4F,4B,4L,4Rにより、車両9の周辺の互いに異なる方向を示す4つの静止画像が取得される。また、各カメラ4F,4B,4L,4Rのレンズには魚眼レンズなどの広角レンズが採用され、各カメラ4F,4B,4L,4Rは180度以上の画角θを有している。このため、4つのカメラ4F,4B,4L,4Rを利用することで、車両9の全周囲を撮影することが可能である。以下、4つのカメラ4F,4B,4L,4Rのそれぞれで取得される静止画像を「方向画像」という。
図2に戻り、ドライブレコーダ2は、また、画像処理部22、及び、カードスロット23を備えている。画像処理部22は、例えば、所定の画像処理を行うハードウェア回路であり、画像メモリ21に記憶された方向画像に基いて周辺映像を生成する。また、カードスロット23は、メモリカード8を着脱可能であり、装着されたメモリカード8へ周辺映像及び検知データを書き込む。
また、ドライブレコーダ2は、計時回路24、及び、GPS受信部25を備えている。計時回路24は、現時点の日付及び時刻を示す時刻データを取得する。また、GPS受信部25は、車両9の位置を示す位置データを取得する。GPS受信部25は、複数のGPS衛星からの信号を受信して、車両9の位置を緯度経度で示す位置データを取得する。
また、ドライブレコーダ2は、車両9に設けられた加速度センサ91、車速センサ92及び舵角センサ93のそれぞれと信号線を介して接続されている。加速度センサ91は、車両9の車体にかかる加速度を示す加速度データを取得する。加速度センサ91は、車両9の略中央部に配置され(図3参照。)、車両9の左右方向(X軸方向)、及び、車両9の前後方向(Y軸方向)のそれぞれの加速度を検出する。X軸方向とY軸方向とは互いに直交している。これにより、加速度データには、車両9の左右方向(X軸方向)及び前後方向(Y軸方向)それぞれの加速度が含まれる。
車速センサ92は、車両9の走行速度を示す車速データを取得する。車速センサ92は、車両9のアウトプットシャフトの回転数に基いて車両9の走行速度を検出する。また、舵角センサ93は、車両9のステアリングホイールの角度である舵角を示す舵角データを取得する。舵角センサ93は、車両9のステアリングシャフトの回転数に基いて舵角を検出する。
また、ドライブレコーダ2は、制御部20、及び、記憶部26を備えている。制御部20は、例えば、CPU、RAM及びROMなどを備えたコンピュータであり、ドライブレコーダ2の全体の動作を統括的に制御する。計時回路24で得られた時刻データ、GPS受信部25で得られた位置データ、加速度センサ91で得られた加速度データ、車速センサ92で得られた車速データ、及び、舵角センサ93で得られた舵角データは全て、制御部20に入力される。制御部20に入力されたこれら位置データ、加速度データ、車速データ、及び、舵角データは、メモリカード8に記録すべき検知データとなる。
また、記憶部26は、例えば、フラッシュメモリなどの不揮発性の記憶装置であり、ドライブレコーダ2の動作に必要なデータや、ファームウェアとしてのプログラム26aを記憶する。
制御部20の各種の機能は、記憶部26に記憶されたプログラム26aに従ったCPUの演算処理(すなわち、プログラム26aの実行)によって実現される。図中の記録制御部20aは、プログラム26aの実行により実現される機能の一部である。
記録制御部20aは、周辺映像及び検知データをメモリカード8に記録するための制御を行う。具体的には、記録制御部20aは、時間的に連続して取得され画像メモリ21に記憶された方向画像に基いて、画像処理部22に周辺映像を生成させる。
図4は、画像処理部22による画像処理の概要を示す図である。フロントカメラ4F、リアカメラ4B、左サイドカメラ4L、及び、右サイドカメラ4Rのそれぞれで撮影が行われると、車両9の前方、後方、左側方及び右側方をそれぞれ示す4つの方向画像SF,SB,SL,SRが取得される。これら4つの方向画像SF,SB,SL,SRには、車両9の全周囲のデータが含まれている。同時期に取得された4つの方向画像SF,SB,SL,SRは、画像メモリ21に記憶される。
画像処理部22は、このように同時期に取得された4つの方向画像SF,SB,SL,SRを画像メモリ21から読み出し、4つの方向画像SF,SB,SL,SRを結合する。これにより、画像処理部22は、4つの方向画像SF,SB,SL,SRを縦2×横2に配列して含む結合画像61を生成する。画像処理部22は、このような結合画像61を周辺映像のフレームとして時間的に連続して生成する。
また、記録制御部20aは、このような周辺映像の生成と並行して検知データを生成する。記録制御部20aは、時間的に連続して取得される位置データ、加速度データ、車速データ、及び、舵角データを用いて、検知データを生成する。そして、記録制御部20aは、カードスロット23を介して、周辺映像と検知データとをメモリカード8に記録する。
ドライブレコーダ2では、駆動開始から駆動終了まで、このような記録制御部20aの制御が継続して実行される。これにより、車両9の走行中に得られた車両9の周辺を示す周辺映像6と、その車両9の走行中に車両9の各種のセンサで得られた検知データ5とがメモリカード8に記録される。図5は、メモリカード8に記録されたデータの概要を示す図である。
図5に示すようにメモリカード8には、検知データ5と周辺映像6とが記録されている。検知データ5には、位置データ51、加速度データ52、車速データ53、及び、舵角データ54が含まれている。これらのデータ51〜54はそれぞれ、時系列のデータであり、取得された時刻を示す時刻データと関連付けられている。
また、周辺映像6には、フレームとして複数の結合画像61が含まれている。これらの複数の結合画像61はそれぞれ、4つの方向画像SF,SB,SL,SRを含んでいる。すなわち、各結合画像61には、車両9の全周囲のデータが含まれている。これら各結合画像61も、撮影された時刻を示す時刻データと関連付けられている。
<1−3.再生装置の構成>
次に、再生装置3について説明する。図6は、再生装置3の構成を主に示す図である。再生装置3のハードウェアとしての構成は一般的なコンピュータと同様である。具体的には、再生装置3は、CPU、ROM及びRAMなどを含む制御部30と、不揮発性の記憶装置であるハードディスク34と、各種の情報を表示するディスプレイ31と、ユーザが操作するキーボード及びマウスなどを含む操作部32とを備えている。
また、再生装置3は、メモリカード8を着脱可能なカードスロット33を備えている。カードスロット33は、装着されたメモリカード8からのデータの読み取りや、メモリカード8へのデータの書き込みを行う。
また、ハードディスク34には、プログラム34aが記憶されている。このプログラム34aに従った制御部30のCPUの演算処理(すなわち、プログラム34aの実行)によって、再生装置3として必要な各種機能が実現される。このようなプログラム34aは、プログラムを記録したコンピュータ読み取り可能な記録媒体(例えば、メモリカード8など)からの読み取りや、ネットワークを介した通信などによって取得され、ハードディスク34に予め記憶される。
図中のデータ取得部30a、イベント検出部30b、及び、映像生成部30cは、このようなプログラム34aの実行により実現される機能の一部である。
データ取得部30aは、車両9の走行中に得られた車両9の周辺を示す周辺映像6と、その車両9の走行中に車両9の各種のセンサで得られた検知データ5とを取得する。データ取得部30aは、カードスロット33を介して、周辺映像6及び検知データ5をメモリカード8から読み出して取得する。
イベント検出部30bは、データ取得部30aが取得した検知データ5に基いて、車両9の走行中のイベントを検出する。イベント検出部30bは、検知データ5に含まれる加速度データ52に基いて、車両9と他の物体との衝突を検出する。
映像生成部30cは、データ取得部30aが取得した周辺映像6に基いて、ディスプレイ31で再生するための動画像である再生映像を生成する。周辺映像6を再生する場合には、この再生映像がディスプレイ31に表示される。映像生成部30cは、周辺映像6に含まれる結合画像61を用いて、仮想視点からみた車両9の周辺を示す合成画像を再生映像のフレームとして生成する。映像生成部30cは、この合成画像の仮想視点を任意に設定できる。
<1−4.合成画像の生成>
次に、映像生成部30cが、再生映像のフレームとなる合成画像を生成する手法について説明する。図7は、合成画像CPを生成する手法を説明する図である。前述のように、周辺映像6のフレームである結合画像61には、4つの方向画像SF,SB,SL,SRが含まれている。そして、これら4つの方向画像SF,SB,SL,SRには、車両9の全周囲のデータが含まれている。映像生成部30cは、これら4つの方向画像SF,SB,SL,SRを用いて合成画像CPを生成する。
映像生成部30cは、まず、4つの方向画像SF,SB,SL,SRに含まれるデータ(画素の値)を、仮想的な三次元空間における立体曲面TSに投影する。立体曲面TSは、車両9の周辺の領域に相当する仮想の投影面である。
立体曲面TSは、例えば、略半球状(お椀形状)をしており、その中心領域(お椀の底部分)は車両9の位置となる車両領域R0として定められている。映像生成部30cは、立体曲面TSのうち車両領域(車両9の位置)R0には方向画像のデータを投影せず、車両領域R0の外側の領域である投影領域R1に方向画像のデータを投影する。投影領域の各位置は、4つの方向画像SF,SB,SL,SRのいずれかのデータと対応付けられる。映像生成部30cは、4つの方向画像SF,SB,SL,SRのデータをそれぞれ投影領域R1の対応する位置に投影する。
映像生成部30cは、投影領域R1において車両9の前方に相当する部分PFに、フロントカメラ4Fの方向画像SFのデータを投影する。また、映像生成部30cは、投影領域R1において車両9の後方に相当する部分PBに、リアカメラ4Bの方向画像SBのデータを投影する。さらに、映像生成部30cは、投影領域R1において車両9の左側方に相当する部分PLに左サイドカメラ4Lの方向画像SLのデータを投影し、投影領域R1において車両9の右側方に相当する部分PRに右サイドカメラ4Rの方向画像SRのデータを投影する。
このように立体曲面TSの投影領域R1に方向画像のデータを投影すると、次に、映像生成部30cは、車両9の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両9のモデルは、立体曲面TSが設定される三次元空間における車両9の位置である車両領域R0に配置される。このような車両9の三次元形状を示すデータは、ハードディスク34などに予め記憶される。
次に、映像生成部30cは、三次元空間に対して仮想視点VPを設定する。この仮想視点VPは、視点位置と視線方向とで規定される。映像生成部30cは、任意の視点位置、かつ、任意の視線方向の仮想視点VPを三次元空間に設定できる。
次に、映像生成部30cは、立体曲面TSのうち、設定した仮想視点VPからみて所定の視野角に含まれる領域に投影されたデータを画像として切り出す。また、映像生成部30cは、設定した仮想視点VPに応じて車両9のモデルに関してレンダリングを行い、その結果となる二次元の車両像90を、切り出した画像に対して重畳する。これにより、映像生成部30cは、仮想視点VPからみた車両9及び車両9の周辺の領域を示す合成画像CPを生成する。
例えば図に示すように、視点位置を車両9の直上、視線方向を直下とした仮想視点VPaを設定した場合には、映像生成部30cは、車両9及び車両9の周辺を俯瞰する合成画像CPaを生成できる。また、視点位置を車両9の左後方、視線方向を車両9の前方とした仮想視点VPbを設定した場合には、映像生成部30cは、車両9の左後方からみた車両9及び車両9の周辺を示す合成画像CPbを生成できる。
以下、図中の仮想視点VPaのように、視点位置を車両9の直上、視線方向を直下とした仮想視点VPを「俯瞰視点」という。
映像生成部30cは、周辺映像6のフレームである結合画像61を順次に利用して、この合成画像CPを再生映像7のフレームとして順次に生成する。したがって、再生映像7を表示する際には、ディスプレイ31には、時間的に連続して生成された合成画像CPが順次に表示されることになる。
図8は、再生映像7を表示する場合において、ディスプレイ31に表示されるウィンドウ70の一例を示す図である。ウィンドウ70には、映像生成部30cが生成した再生映像7が含まれている。そして、この再生映像7のフレームとして、車両9及び車両9の周辺を示す合成画像CPが表示されている。ユーザは、このような再生映像7を視認することで、カメラとは異なる仮想視点VPから、走行中の車両9の周辺の状況を事後的に確認することができる。
<1−5.イベントの発生>
映像生成部30cは、再生映像7の表示中(すなわち、周辺映像6の再生中)に、再生映像7のフレームとなる合成画像の仮想視点VPを変更できる。この機能を利用して、映像生成部30cは、車両9の走行中にイベントが発生した場合は、そのイベントに応じて特定される対象に仮想視点VPの視線方向を向ける。すなわち、映像生成部30cは、車両9の走行中に車両9と他の物体との衝突が発生した場合は、衝突が発生した箇所に仮想視点VPの視線方向を向ける。
図9は、映像生成部30cが設定する仮想視点VPを説明する図である。イベント(衝突)が発生していない通常状態においては、映像生成部30cは、仮想視点VPを初期の仮想視点(以下、「初期視点」という。)VP0に設定する。本実施の形態では、初期視点VP0は俯瞰視点となっている。このため、通常状態では、映像生成部30cは、車両9及び車両9の周辺を俯瞰する合成画像CPである俯瞰画像を生成する。
これに対して、車両9の走行中にイベント(衝突)が発生した場合は、映像生成部30cは、仮想視点VPを初期視点VP0から変更し、イベントに応じて特定される対象に視線方向が向いた仮想視点(以下、「変更視点」という。)VP1に設定する。イベントに応じて特定される対象は衝突の発生箇所TPであり、図9の例では、衝突の発生箇所TPは車両9の前方右端部のコーナーとなっている。映像生成部30cは、衝突の発生箇所TPが見やすいように、変更視点VP1の視点位置も初期視点VP0から変更することが望ましい。これにより、映像生成部30cは、衝突の発生箇所TPに視線が向いた合成画像CPを生成する。
このような映像生成部30cの処理により、再生映像7の表示中において、再生映像7の視線が変化する。図10は、車両9の前方右端部のコーナーで衝突が発生した場合における再生映像7の視線の変化を示す図である。
図10の上部に示すように、通常状態の時点に相当する再生時点ST0においては、再生映像7の視線は、車両9及び車両9の周辺を俯瞰している。その後、図10の下部に示すように、衝突の時点に相当する再生時点ST1においては、再生映像7の視線は、衝突の発生箇所である車両9の前方右端部に向くことになる。すなわち、再生映像7は、衝突の発生箇所である車両9の前方右端部の像を略中央部に含むことになる。ユーザは、このような再生映像7を視認することで、車両9と他の物体とが衝突したときの状況を事後的に的確に把握できる。
衝突の発生箇所は、イベント検出部30bが加速度データ52に基いて特定する。図11は、衝突の時点前後の加速度データ52の一例を示す図である。図中の横軸は時間を示し、縦軸は加速度を示している。また、実線は車両9の左右方向(X軸方向)の加速度を示し、破線は車両9の前後方向(Y軸方向)の加速度を示している。
イベント検出部30bは、このような加速度データ52の各時点において、左右方向の加速度と前後方向の加速度との合成値を導出する。イベント検出部30bは、この合成値が所定の閾値を超えた時点で、車両9と他の物体との衝突が生じたと判定する。そして、イベント検出部30bは、合成値のピーク時点における左右方向及び前後方向それぞれの加速度のベクトルの和となるベクトルの方向に基いて、車両9の車体における衝突の発生箇所を特定する。なお、このようにイベント検出部30bが衝突の発生箇所を特定する際に、車速データ53及び舵角データ54をさらに考慮してもよい。
<1−6.再生装置の処理の流れ>
次に、再生装置3の処理の流れについて説明する。図12は、周辺映像6を再生するための再生装置3の処理の流れを示す図である。この処理は、再生対象とする周辺映像6を操作部32を介してユーザが選択した後に開始される。
まず、データ取得部30aが、再生対象として選択された周辺映像6と、該周辺映像6とともに記録された検知データ5とを取得する(ステップS11)。データ取得部30aは、カードスロット33を介して、周辺映像6及び検知データ5をメモリカード8から読み出して取得する。
次に、イベント検出部30bが、検知データ5に基いて、周辺映像6が記録された際の車両9の走行中におけるイベントを検出する(ステップS12)。イベント検出部30bは、検知データ5に含まれる加速度データ52に基いて、車両9と他の物体との衝突をイベントとして検出する。イベント検出部30bは、衝突を検出した場合は、加速度データ52に関連付けられた時刻データに基いて、その衝突の時点を特定する。
イベント検出部30bは、このように衝突の時点を特定すると、衝突の時点から所定時間前(例えば、3秒前)をイベント開始時点として設定し、衝突の時点から所定時間後(例えば、10秒後)をイベント終了時点として設定する。さらに、イベント検出部30bは、加速度データ52に基いて衝突の発生箇所を特定する。イベント検出部30bは、これらイベント開始時点、イベント終了時点及び衝突の発生箇所を、制御部30のRAMに記憶する。
また、車両9と他の物体との衝突が複数回生じた場合(複数回のイベントが発生した場合)は、イベント検出部30bは、複数回の衝突それぞれの時点を特定する。そして、イベント検出部30bは、複数回の衝突のそれぞれに関するイベント開始時点、イベント終了時点及び衝突の発生箇所を導出して、RAMに記憶する。
次に、映像生成部30cが合成画像CPを生成する(ステップS13)。映像生成部30cは、周辺映像6の一のフレームである結合画像61を用いて、仮想視点VPからみた車両9の周辺を示す合成画像CPを再生映像7の一のフレームとして生成する。このステップS13が実行される再生時点は、衝突が発生していない通常状態の時点に相当する。このため、映像生成部30cは、仮想視点VPを初期視点(俯瞰視点)VP0に設定し、車両9及び車両9の周辺を俯瞰する合成画像CPである俯瞰画像を生成する。生成された合成画像CPは、ディスプレイ31に表示される。
次に、周辺映像6の再生を終了するか否かが判定される(ステップS14)。ユーザから終了の指示がなされた場合、あるいは、再生対象とする周辺映像6を最後まで再生した場合は、周辺映像6の再生を終了する(ステップS14にてYes)。
また、周辺映像6の再生を終了しない場合は、イベント開始時点に相当する再生時点となったか否かが判定される(ステップS15)。イベント開始時点に相当する再生時点となるまでの期間は(ステップS15にてNo)、再生映像7の一のフレームとなる合成画像CPを生成する処理(ステップS13)が繰り返される。
そして、イベント開始時点に相当する再生時点となった場合は、映像生成部30cがイベント対応処理(ステップS16)を実行する。このイベント対応処理が終了した後は、再び、合成画像CPを生成する処理(ステップS13)が繰り返されることになる。
複数回のイベントが発生した場合は、複数回のイベントのそれぞれに関してイベント対応処理(ステップS16)が実行される。すなわち、車両9と他の物体との衝突が複数回生じた場合は、複数回の衝突のそれぞれに関してイベント対応処理が実行されることになる。
図13は、このイベント対応処理(ステップS16)の詳細な流れを示す図である。まず、映像生成部30cは、以降生成する合成画像CPの仮想視点VPをイベントに応じて特定される対象に向ける(ステップS21)。すなわち、映像生成部30cは、合成画像CPの仮想視点VPを、制御部30のRAMに記憶された衝突の発生箇所に視線方向が向いた変更視点VP1に設定する(図9参照。)。
次に、映像生成部30cが、再生映像7の一のフレームとして合成画像CPを生成する(ステップS22)。仮想視点VPは変更視点VP1であるため、映像生成部30cは、衝突の発生箇所に視線が向いた合成画像CPを生成する。生成された合成画像CPは、ディスプレイ31に表示される。
このような合成画像CPを生成する処理(ステップS22)は、イベント終了時点に相当する再生時点となるまでの期間(ステップS23にてNo)、繰り返されることになる。したがって、再生映像7の視線は、衝突の時点に相当する再生時点において衝突の発生箇所に向くことになる。ユーザは、このような再生映像7を視認することで、衝突の時点に相当する適切なタイミングで観察すべき対象である衝突の発生箇所を確認することができる。このため、ユーザは、車両9と他の物体とが衝突したときの状況を事後的に的確に把握できることになる。
イベント終了時点に相当する再生時点となると(ステップS23にてYes)、映像生成部30cは、合成画像CPの仮想視点VPを初期視点(俯瞰視点)VP0に戻し(ステップS24)、イベント対応処理を終了する。
以上のように、第1の実施の形態においては、再生装置3のデータ取得部30aが、車両9の走行中に得られた車両9の周辺を示す周辺映像6と、該走行中に車両9の各種センサで得られた検知データ5とを取得する。また、イベント検出部30bが検知データ5に基いて車両9の走行中のイベントを検出し、映像生成部30cが周辺映像6に基いてディスプレイ31で再生するための再生映像7を生成する。そして、映像生成部30cは、イベントの発生時点に相当する再生時点において該イベントに応じて特定される対象に向いた再生映像7を生成する。
したがって、ディスプレイ31に表示される再生映像7は、イベントの発生時点に相当する再生時点において、当該イベントにおいて観察すべき対象に自動的に向くことになる。このため、ユーザは、イベントが発生した時点に相当する適切なタイミングで観察すべき対象に向いた再生映像7を視認できる。したがって、ユーザは、視点の設定などの煩雑な操作を行わなくても、イベントが発生した時点の車両9の周辺の状況を事後的に的確に把握できる。
また、イベント検出部30bは、加速度データ52に基づいて車両9と他の物体との衝突を検出し、映像生成部30cは、衝突の時点に相当する再生時点において衝突の発生箇所に向いた再生映像7を生成する。このため、再生映像7を視認するユーザは、車両9と他の物体とが衝突したときの状況を事後的に的確に把握できる。
なお、上記では、イベント開始時点に相当する再生時点に、合成画像CPの仮想視点VPを初期視点VP0から変更視点VP1に瞬時に変更している。これに対して、初期視点VP0から変更視点VP1まで合成画像CPを生成するごとに段階的に仮想視点VPを変更してもよい。この場合においても、衝突の時点に相当する再生時点までには、再生映像7の視線が衝突の発生箇所に向くようにする。これによれば、再生映像7は、被写体として含まれる車両9の周辺の領域を段階的に変更する動画表現(アニメーション)を行うことになる。このような動画表現を行うことで、再生映像7の視線がいずれの対象に向いているかをユーザが直感的に把握できることになる。
また、上記では、変更視点VP1の視点位置は車両9の右側方に設定されていたが、衝突の発生箇所TPが見やすい位置であれば他の位置でもよい。例えば、図14に示すように、変更視点VP1の視点位置を車両9の前方に設定してもよい。この場合は、図15に示すように、衝突の時点に相当する再生時点ST1において、再生映像7の視線は、車両9の前方から衝突の発生箇所TPである車両9の前方右端部に向くことになる。この場合も、再生映像7は、衝突の発生箇所TPである車両9の前方右端部の像を略中央部に含んでいる。また、このような変更視点VP1の視点位置をユーザが任意に変更できるようにしてもよい。
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態の再生システム1の構成及び処理は第1の実施の形態と略同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第1の実施の形態では、車両9と他の物体との衝突をイベントとして検出していた。これに対して、第2の実施の形態では、車両9と他の物体とが衝突せずとも、車両9と他の物体とが近接した場合には、その近接をイベントとして検出する。
図16は、第2の実施の形態のドライブレコーダ2の構成を示す図である。図に示すように、第2の実施の形態のドライブレコーダ2は、車両9に設けられたクリアランスソナー94と信号線を介して接続されている。ドライブレコーダ2の他の構成は、図2に示す第1の実施の形態と同じである。
クリアランスソナー94は、超音波を発射し、その超音波が物体で反射した反射波を受信することで、車両9の近傍に存在する物体を検知する。また、クリアランスソナー94は、超音波を発射してから戻ってくるまでの時間に基づいて物体の距離を導出可能である。
図17は、クリアランスソナー94が車両9に配置される位置を示す図である。車両9には、複数のクリアランスソナー94が設けられている。図17に示すように、車両9の前方左端部、前方右端部、後方左端部、及び、後方右端部の4つのコーナーにそれぞれクリアランスソナー94が設けられている。
これらのクリアランスソナー94はそれぞれ、車両9のコーナー近傍の領域Anに向けて超音波を発信し、その領域Anに存在する物体を検知する。このような4つのクリアランスソナー94を利用することで、車両9のコーナー近傍の4つの領域Anのいずれかに存在する物体の検知が可能となっている。
これらのクリアランスソナー94の検知結果である物体データはドライブレコーダ2の制御部20に入力される。物体データには、物体が存在した領域Anの識別情報と、検知した物体の距離とが含まれる。この物体データも、時系列のデータであり、取得された時刻を示す時刻データと関連付けられる。
そして、物体データは、位置データ、加速度データ、車速データ、及び、舵角データとともに検知データ5に含まれて、メモリカード8に記録される。したがって、物体データは、メモリカード8を介して、再生装置3に受け渡される。
本実施の形態の再生装置3のイベント検出部30bは、図12のステップS12において、検知データ5に含まれる物体データを利用して、車両9と他の物体とが近接したことをイベントとして検出する。
イベント検出部30bは、このような近接を検出した場合は、物体データに関連付けられた時刻データに基いて、その近接の時点を特定する。イベント検出部30bは、この近接の時点から所定時間前(例えば、3秒前)をイベント開始時点として設定し、近接の時点から所定時間後(例えば、10秒後)をイベント終了時点として設定する。さらに、イベント検出部30bは、物体データに含まれる領域Anの識別情報と物体の距離とに基いて、車両9に近接した物体の位置を特定する。イベント検出部30bは、これらイベント開始時点、イベント終了時点及び物体の位置を、制御部30のRAMに記憶する。
また、車両9と他の物体との近接が複数回生じた場合(複数回のイベントが発生した場合)は、イベント検出部30bは、複数回の近接それぞれの時点を特定する。そして、イベント検出部30bは、複数回の近接のそれぞれに関するイベント開始時点、イベント終了時点及び物体の位置を導出して、RAMに記憶する。
そして、イベント対応処理(図13)のステップS21において、映像生成部30cは、合成画像CPの仮想視点VPを初期視点VP0から変更し、近接した物体の位置に視線方向が向いた変更視点VP1に設定する。
このような処理により、図18の上部に示すように、通常状態の時点に相当する再生時点ST0においては、再生映像7の視線は、車両9及び車両9の周辺を俯瞰している。その後、図18の下部に示すように、近接の時点に相当する再生時点ST3においては、再生映像7の視線は、車両9に近接した物体Sb1の位置に向くことになる。すなわち、再生映像7は、車両9に近接した物体Sb1の像を略中央部に含むことになる。
ユーザは、このような再生映像7を視認することで、車両9に他の物体が近接した時点に相当する適切なタイミングで観察すべき対象である近接した物体(車両等)を確認することができる。このため、ユーザは、車両9と他の物体とが近接したときの状況を事後的に的確に把握できることになる。
なお、上記では、クリアランスソナー94を利用して、車両9の近傍に存在する物体を検知していた。これに対して、例えば、レーダーなどの他の物体検知装置を利用して、車両9の近傍に存在する物体を検知してもよい。
<3.第3の実施の形態>
次に、第3の実施の形態について説明する。第3の実施の形態の再生システム1の構成及び処理は第2の実施の形態と略同様であるため、以下、第2の実施の形態との相違点を中心に説明する。第2の実施の形態では、イベント検出部30bは、検知データ5に含まれる物体データに基いて車両9と他の物体との近接を検出していた。これに対して、第3の実施の形態では、イベント検出部30bは、周辺映像6に基いて車両9と他の物体との近接を検出する。
図19は、第3の実施の形態の再生装置3の構成を示す図である。図に示すように、再生装置3は、イベント検出部30bが、画像認識部30dを備えている。再生装置3の他の構成は、図6に示す第1の実施の形態と同じである。
画像認識部30dは、プログラム34aの実行により実現される機能の一部である。画像認識部30dは、周辺映像6に基いて画像認識を行なって、車両9の近傍に存在する他の物体を検出する。
画像認識部30dは、例えば、オプティカルフロー方式などの周知の手法を用いて他の物体を検出することができる。オプティカルフロー方式は、時間的に連続する複数の画像(フレーム)のそれぞれから特徴点を抽出し、それら複数の画像間での特徴点の動きを示すオプティカルフローに基づいて物体を検出する。自ら移動する物体のオプティカルフローは、共通の動きをする背景のオプティカルフローとは異なる向きとなる。この原理を利用して、画像認識部30dは、周辺映像6に含まれる複数の結合画像61を用いてオプティカルフローを導出し、背景のオプティカルフローとは異なる向きのオプティカルフローを抽出することで、車両9の近傍に存在する他の物体を検出できる。
本実施の形態のイベント検出部30bは、図12のステップS12において、画像認識部30dのこのような物体を検出する機能を利用して、車両9と他の物体との近接をイベントとして検出する。以降の処理は、第2の実施の形態と同じである。これにより、再生映像7は、車両9が他の物体と近接した時点に相当する再生時点において、近接した物体に向くことになる。したがって、本実施の形態においても、ユーザは、車両9と他の物体とが近接したときの状況を事後的に的確に把握できることになる。
本実施の形態では、イベント検出部30bは、検知データ5に含まれる物体データではなく、周辺映像6に基いて車両9と他の物体との近接を検出する。このため、検知データ5に物体データが含まれていなくてもよい。また、イベント検出部30bは、検知データ5に含まれる物体データと周辺映像6との双方に基づいて、車両9と他の物体との近接を検出するようにしてもよい。このようにすれば、より正確に車両9と他の物体との近接を検出することができる。
また、上記では、再生装置3が画像認識を行なって他の物体を検出しているが、ドライブレコーダ2が方向画像もしくは結合画像61に基いて画像認識を行なって他の物体を検出するようにしてもよい。この場合は、検知データ5が画像認識に基づく物体データを含むようにし、再生装置3は第2の実施の形態と同様の処理を行えばよい。
<4.第4の実施の形態>
次に、第4の実施の形態について説明する。第4の実施の形態の再生システム1の構成及び処理は第1の実施の形態と略同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第1の実施の形態では、車両9と他の物体との衝突をイベントとして検出していた。これに対して、第4の実施の形態では、車両9が予め定められた登録地点に接近した場合には、その接近をイベントとして検出する。
図20は、第4の実施の形態の再生装置3の構成を示す図である。図に示すように、再生装置3のハードディスク34には、地点テーブル34bが記憶されている。再生装置3の他の構成は、図6に示す第1の実施の形態と同じである。地点テーブル34bには、登録地点に関するデータが登録されている。
図21は、地点テーブル34bの一例を示す図である。図21に示すように、地点テーブル34bは、複数のレコードrを含むテーブル形式のデータである。各レコードrは、一の登録地点のデータを示している。各レコードrは、「地点名称」「位置」及び「判定距離」を含んでいる。
「地点名称」は、当該登録地点の名称を示している。「位置」は当該登録地点の緯度経度を示している。また、「判定距離」は、当該登録地点に車両9が接近したと判定する際の閾値となる距離である。この「判定距離」は一般に、登録地点にある建築物が高いほど長く設定される。このような地点テーブル34bの登録地点の情報は、地図などを用いてユーザによって予め登録される。
本実施の形態の再生装置3のイベント検出部30bは、図12のステップS12において、この地点テーブル34bと検知データ5に含まれる位置データとを利用して、登録地点への車両9の接近をイベントとして検出する。
図22は、走行中の車両9の位置の遷移例を示す図である。図の例においては、車両9は道路Rに沿って移動しており、車両9の位置は、位置Pv1、位置Pv2、位置Pv3及び位置Pv4の順で変化する。また、図中の位置Ptは、地点テーブル34bに基づく登録地点の「位置」を示している。
この登録地点の「位置」Ptから「判定距離」Dまでの範囲AP、すなわち、地点テーブル34bの「位置」Ptを中心とし「判定距離」Dを半径とする円の範囲APに車両9が入った場合に、イベント検出部30bは、車両9が登録地点に接近したと判定する。
車両9の位置が位置Pv1の場合は、車両9の位置は範囲APの外部となるため、車両9が登録地点に接近していない通常状態と判定される。その後、車両9の位置が位置Pv2,Pv3となると、車両9の位置が範囲APの内部となるため、車両9が登録地点に接近したと判定される。その後、車両9の位置が位置Pv4となると、再び、車両9の位置は範囲APの外部となるため、車両9が登録地点に接近していない通常状態と判定される。
イベント検出部30bは、このようにして登録地点への車両9の接近をイベントとして検出する。地点テーブル34bに複数の登録地点が登録されている場合は、イベント検出部30bは、いずれの登録地点に車両9が接近した場合であっても、その接近をイベントとして検出する。
イベント検出部30bは、このような登録地点への接近を検出した場合は、位置データに関連付けられた時刻データに基いて、車両9の位置が範囲APの内部に入った時点をイベント開始時点、車両9の位置が範囲APの外部に出た時点をイベント終了時点として特定して、制御部30のRAMに記憶する。また、登録地点への車両9の接近が複数回生じた場合(複数回のイベントが発生した場合)は、イベント検出部30bは、複数回の接近それぞれのイベント開始時点及びイベント開始時点を特定して、RAMに記憶する。
そして、イベント対応処理(図13)のステップS21において、映像生成部30cは、合成画像CPの仮想視点VPを初期視点VP0から変更し、登録地点に視線方向が向いた変更視点VP1に設定する。この変更視点VP1の視線方向は、図22において矢印ARで示す方向に相当する。
このような処理により、図23の上部に示すように、通常状態の時点に相当する再生時点ST0においては、再生映像7の視線は、車両9及び車両9の周辺を俯瞰している。その後、図23の下部に示すように、登録地点に車両9が接近した時点に相当する再生時点ST4においては、再生映像7の視線は、登録地点に向くことになる。すなわち、再生映像7は、登録地点に存在する建築物Sb2の像を略中央部に含むことになる。ユーザは、このような再生映像7を視認することで、所望の登録地点の様子を事後的に把握することができる。例えば、ユーザは、車両9の走行中に近くに存在した観光名所などを、事後的に確認することができる。
<5.第5の実施の形態>
次に、第5の実施の形態について説明する。第5の実施の形態の再生システム1の構成及び処理は第1の実施の形態と略同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第1の実施の形態では、映像生成部30cは、イベント開始時点に相当する再生時点に、合成画像CPの仮想視点VPを初期視点VP0から変更視点VP1に瞬時に変更していた。これに対して、第5の実施の形態では、映像生成部30cは、イベント開始時点に相当する再生時点から、仮想視点VPを車両9を周回させた後に、変更視点VP1に変更するようになっている。
具体的には、イベント開始時点に相当する再生時点から、図24に示すように、映像生成部30cは、車両9の略中央部に視線方向を向けた仮想視点VPを設定し、この仮想視点VPの視点位置を車両9の周辺を周回するように連続的に移動する。仮想視点VPの視点位置は、例えば、最初に車両9の後方に配置され、右回りで車両9の周辺を周回し、車両9の左側、前方及び右側を経由して再び後方まで移動する。
映像生成部30cは、このように仮想視点VPを周回させつつ、再生映像7のフレームとなる合成画像CPを時間的に連続して生成する。これにより、図25に示すように、再生映像7は、車両9を周回しながら車両9の周辺を示す動画表現(アニメーション)を行うことになる。図25に示す例では、再生映像7のフレームとして合成画像CP1,CP2,CP3,CP4,CP5がこの順で表示される。
このような動画表現がなされた後、映像生成部30cは、衝突の時点に相当する再生時点ST1において、仮想視点VPを、衝突の発生箇所に視線方向が向いた変更視点VP1に設定する。これにより、衝突の時点に相当する再生時点ST1においては、再生映像7の視線は、衝突の発生箇所に向くことになる。
図26は、本実施の形態のイベント対応処理(ステップS16)の詳細な流れを示す図である。まず、映像生成部30cは、仮想視点VPを車両9を周回するように移動させつつ(ステップS31)、再生映像7のフレームとして合成画像CPを生成する(ステップS32)。生成された合成画像CPは、ディスプレイ31に表示される。映像生成部30cは、このような処理を、仮想視点VPの周回が完了するまで(ステップS33にてNo)繰り返す。
その結果、再生映像7は、車両9を周回しながら車両9の周辺を示す動画表現を行う。このような動画表現は、衝突の時点に相当する再生時点より前に完了する。
上記の動画表現が完了すると、映像生成部30cは、仮想視点VPを、衝突の発生箇所に視線方向が向いた変更視点VP1に設定する(ステップS34)。その後、映像生成部30cは、合成画像CPを生成する処理(ステップS35)を、イベント終了時点に相当する再生時点となるまでの期間(ステップS36にてNo)繰り返す。これにより、再生映像7の視線は、衝突の時点に相当する再生時点ST1において衝突の発生箇所に向くことになる。
イベント終了時点に相当する再生時点となると(ステップS36にてYes)、映像生成部30cは、仮想視点VPを初期視点(俯瞰視点)VP0に戻し(ステップS37)、イベント対応処理を終了する。
このように再生映像7は、イベント開始時点(衝突の時点の所定時間前)に相当する再生時点から、車両9を周回しながら車両9の周辺を示す動画表現を行う。このため、ユーザは、このような再生映像7を視認することで、衝突の発生前における車両9の周囲全体の状況を的確に把握することができる。ユーザは、衝突の発生前に車両9の周囲で、衝突の相手となった物体が、どの位置からどの方向に移動したか等を事後的に確認することが可能である。
なお、上記では第1の実施の形態と同様に、車両9と他の物体との衝突をイベントとして検出しているが、車両9と他の物体との近接などの他の事象をイベントとして検出してもよい。
<6.第6の実施の形態>
次に、第6の実施の形態について説明する。第6の実施の形態の再生システム1の構成及び処理は第5の実施の形態と略同様であるため、以下、第5の実施の形態との相違点を中心に説明する。第5の実施の形態では、再生映像7は、車両9を周回しながら車両9の周辺を示す動画表現を行なっていた。これに対して、第6の実施の形態では、再生映像7は、車両9の周囲全体の領域を分割した複数の分割領域を順次に拡大して示す動画表現を行なうようになっている。
具体的には、イベント開始時点に相当する再生時点から、映像生成部30cは、仮想視点VPを俯瞰視点のまま維持しつつ、再生映像7のフレームとして、俯瞰画像の一部の領域を拡大した拡大画像を生成する。図27に示すように、この拡大画像DPは、俯瞰画像が示す車両9の周囲全体の領域を分割した4つの分割領域A11〜A14のいずれかを拡大して示す。すなわち、拡大画像DPは、車両9の前方左側の分割領域A11、車両9の後方左側の分割領域A12、車両9の後方右側の分割領域A13、及び、車両9の前方右側の分割領域A14のいずれかを拡大して示すことになる。
イベント開始時点に相当する再生時点から、映像生成部30cは、再生映像7のフレームとして、このような拡大画像DPを、通常の合成画像CPと同一サイズで生成する。そして、映像生成部30cは、所定時間毎(例えば、0.5秒毎)に、拡大画像DPが示す領域を切り替える。このような切り替えにより、拡大画像DPが示す領域が、4つの分割領域A11〜A14を一巡する。
これにより、再生映像7は、車両9の周囲全体の領域を分割した複数の分割領域A11〜A14を順次に拡大して示す動画表現(アニメーション)を行うことになる。図27に示す例では、再生映像7のフレームとして拡大画像DP1,DP2,DP3,DP4がこの順で表示される。
このような動画表現がなされた後、映像生成部30cは、衝突の時点に相当する再生時点ST1において、仮想視点VPを、衝突の発生箇所に視線方向が向いた変更視点VP1に設定する。これにより、衝突の時点に相当する再生時点ST1においては、再生映像7の視線は、衝突の発生箇所に向くことになる。
図28は、本実施の形態のイベント対応処理(ステップS16)の詳細な流れを示す図である。まず、映像生成部30cは、拡大画像DPが示すべき領域を、4つの分割領域A11〜A14のうちの一つに設定する(ステップS41)。次に、映像生成部30cは、再生映像7のフレームとして、設定された分割領域を示す拡大画像DPを生成する(ステップS42)。生成された拡大画像DPは、ディスプレイ31に表示される。映像生成部30cは、このような処理を、拡大画像DPが示す領域が4つの分割領域A11〜A14を一巡するまでの期間(ステップS43にてNo)繰り返す。ステップS41において、拡大画像DPが示す領域は所定時間毎(例えば、0.5秒毎)に切り替えられる。
その結果、再生映像7は、4つの分割領域A11〜A14を順次に拡大して示す動画表現を行う。このような動画表現は、衝突の時点に相当する再生時点より前に完了する。
上記の動画表現が完了すると、映像生成部30cは、仮想視点VPを、衝突の発生箇所に視線方向が向いた変更視点VP1に設定する(ステップS44)。その後、映像生成部30cは、合成画像CPを生成する処理(ステップS45)を、イベント終了時点に相当する再生時点となるまでの期間(ステップS46にてNo)繰り返す。これにより、再生映像7の視線は、衝突の時点に相当する再生時点ST1において衝突の発生箇所に向くことになる。
イベント終了時点に相当する再生時点となると(ステップS46にてYes)、映像生成部30cは、仮想視点VPを初期視点(俯瞰視点)VP0に戻し(ステップS47)、イベント対応処理を終了する。
このように再生映像7は、イベント開始時点(衝突の時点の所定時間前)に相当する再生時点から、車両9の周囲全体の領域を分割した複数の分割領域A11〜A14を順次に拡大して示す動画表現を行う。このため、ユーザは、このような再生映像7を視認することで、衝突の発生前における車両9の周囲全体の状況を的確に把握することができる。ユーザは、衝突の発生前に車両9の周囲で、衝突の相手となった物体が、どの位置からどの方向に移動したか等を事後的に確認することが可能である。
なお、上記では第1の実施の形態と同様に、車両9と他の物体との衝突をイベントとして検出しているが、車両9と他の物体との近接などの他の事象をイベントとして検出してもよい。
また、上記では、拡大画像DPが示す領域を4つの分割領域A11〜A14のうちの一つから他の一つに瞬時に切り替えているが、拡大画像DPを生成するごとに段階的に切り替えてもよい。また、上記では、車両9の周囲全体の領域を4つに分割しているが、4以外の数で分割してもよい。
<7.第7の実施の形態>
次に、第7の実施の形態について説明する。第7の実施の形態の再生システム1の構成及び処理は第1の実施の形態と略同様であるため、以下、第1の実施の形態との相違点を中心に説明する。第1の実施の形態では、車両9と他の物体との衝突をイベントとして検出していた。これに対して、第7の実施の形態では、車両9のドライバの視線の方向の変化をイベントとして検出する。
図29は、第7の実施の形態のドライブレコーダ2の構成を示す図である。図に示すように、第7の実施の形態のドライブレコーダ2は、車両9に設けられた視線センサ95と信号線を介して接続されている。ドライブレコーダ2の他の構成は、図2に示す第1の実施の形態と同じである。
視線センサ95は、車両9のドライバの視線の方向を検知する。視線センサ95は、例えば、車両9のバックミラーに配置され、撮像手段によりドライバの目の近傍の画像を取得する。視線センサ95は、取得した画像に基いてドライバの目の目頭と虹彩との距離を計測することで、ドライバの視線の方向を示す視線データを取得する。
視線センサ95の検知結果である視線データはドライブレコーダ2の制御部20に入力される。この視線データも、時系列のデータであり、取得された時刻を示す時刻データと関連付けられる。そして、視線データは、位置データ、加速度データ、車速データ、及び、舵角データとともに検知データ5に含まれて、メモリカード8に記録される。したがって、視線データは、メモリカード8を介して、再生装置3に受け渡される。
本実施の形態の再生装置3のイベント検出部30bは、この検知データ5に含まれる視線データを利用して、車両9のドライバの視線の方向の変化をイベントとして検出する。
また、本実施の形態の映像生成部30cは、図30に示すように、合成画像CPの仮想視点VPの視点位置を、車両9のドライバの視点の位置に設定する。これにより、図31に示すように、再生映像7のフレームとなる合成画像CPは、車両9のドライバの視点からみた様子を示すものとなる。この合成画像CPは、ドライバの視点からみた車両9の周辺の被写体の像に、ドライバの視点からみた車両9の内装を示す車両像90が重畳されたものとなる。
そして、映像生成部30cは、ドライバの視線の方向が変化した場合は、仮想視点VPの視点位置を維持しつつ、仮想視点VPの視線方向をドライバの視線の先の対象に向ける(図30参照。)。したがって、再生映像7の視線は、ドライバの視線の方向に応じて変化し、ドライバの視線の先の対象に常に向く。すなわち、再生映像7は、ドライバの視線の先の対象の像を略中央部に含むことになる。これにより、再生映像7は、ドライバが車両9の運転中に視認したものと同様の様子を示すことになる。
ユーザは、このような再生映像7を視認することで、車両9のドライバの視線の先の対象を事後的に把握できる。すなわち、ユーザは、ドライバが車両9の運転中において視認していた対象を容易に確認できる。これにより、衝突などのイベントの発生時点において、ドライバがどこを見ていたかを事後的に確認することが可能である。
図32は、第7の実施の形態の再生装置3の処理の流れを示す図である。この処理も、再生対象とする周辺映像6を操作部32を介してユーザが選択した後に開始される。
まず、データ取得部30aが、再生対象として選択された周辺映像6と、該周辺映像6とともに記録された検知データ5とを取得する(ステップS51)。そして以降、周辺映像6の再生が終了するまでの期間は(ステップS53にてNo)、映像生成部30cが再生映像7の一のフレームとなる合成画像CPを生成する処理(ステップS52)が繰り返される。生成された合成画像CPは、ディスプレイ31に表示される。この合成画像CPは、ドライバの視点からみた様子を示すものとなる。
そして、このような合成画像CPの生成を繰り返している間に、イベント検出部30bは、検知データ5に含まれる視線データを利用して、車両9のドライバの視線の方向の変化をイベントとして検出する(ステップS54)。イベント検出部30bは、直近の合成画像CPの生成に用いた結合画像61と略同時刻の時刻データに関連付けられた視線データを利用して、車両9のドライバの視線の方向の変化を検出する。
ドライバの視線の方向の変化があった場合は(ステップS54にてYes)、イベント検出部30bは、ドライバの視線の方向に基いてドライバの視線の先の対象を特定する。そして、映像生成部30cが、仮想視点VPの視線方向をドライバの視線の先の対象に向ける(ステップS55)。これにより、次のステップS52の処理において生成される合成画像CPの視線は、変更後のドライバの視線の先の対象に向く。このような処理により、再生映像7の視線は、ドライバの視線の方向に応じて変化し、ドライバの視線の先の対象に常に向くことになる。
なお、ドライバの視線の方向は比較的頻繁に変わるため、視線データが示すドライバの視線の方向を直接的に再生映像7の視線に反映させると、再生映像7の視線が頻繁に変わって再生映像7の視認性が悪化する可能性がある。このため、視線データが示す値の過去所定時間分(例えば、1秒間分)の平均値を、ドライバの視線の方向として定めるようにしてもよい。
また、上記では、周辺映像6の再生の開始時点から、ドライバの視点からみた様子を示す再生映像7を生成している。これに対して、通常状態の時点に相当する再生時点ST0においては俯瞰画像などを生成し、衝突などのイベントの発生時点の所定時間前(例えば、10秒前)の再生時点から、ドライバの視点からみた様子を示す再生映像7を生成するようにしてもよい。
また、仮想視点VPの視線方向は車両9の前方などに固定しておき、ドライバの視線の方向に基いてその視線の先の対象を明示する指標を、合成画像CP中にプロットするようにしてもよい。
<8.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
上記実施の形態では、ドライブレコーダ2で記録される周辺映像6は、4つの方向画像SF,SB,SL,SRを結合した結合画像61を含むと説明した。これに対して、周辺映像6は、4つの方向画像SF,SB,SL,SRを結合していない状態で含んでいてもよい。この場合も、同時期に取得された4つの方向画像SF,SB,SL,SRがグループ化されていることが望ましい。
また、ドライブレコーダ2が合成画像CPを生成する機能を有している場合は、周辺映像はフレームとして結合画像61でなく合成画像を含むようにしてもよい。周辺映像6のフレームとする合成画像は、車両9の全周囲のデータを含む俯瞰画像とすることが望ましい。この場合は、再生装置3の映像生成部30cは、図33に示すように、周辺映像6のフレームである合成画像(俯瞰画像)CP11のデータを立体曲面TSに再投影する。これにより、映像生成部30cは、再生映像7のフレームとして、任意の仮想視点VPからみた合成画像CP12を生成できる。
また、ドライブレコーダ2は、周辺映像6及び検知データ5とともに、走行中の車両9の周辺の音を示す音声データをメモリカード8に記録するようにしてもよい。そして、再生装置3が、周辺映像6を再生する際に、音声データに基づく音を出力するようにしてもよい。
また、上記実施の形態では、ウィンドウ70には一つの再生映像7のみが表示されていた。これに対して、図34に示すように、ウィンドウ70aに2つの表示領域Da1,Da2を設け、互いに視線が異なる2種類の再生映像71,72を2つの表示領域Da1,Da2にそれぞれ表示するようにしてもよい。この場合は、例えば、一方の表示領域Da1には、車両9及び車両9の周辺を俯瞰する再生映像71が、イベントの発生の有無にかかわらず常に表示される。そして、他方の表示領域Da2には、通常状態の時点に相当する再生時点ST0においては何も表示されず、イベントの発生時点に相当する再生時点ST1において該イベントに応じて特定される対象に向いた再生映像72が表示される。
また、上記実施の形態では、初期視点VP0は俯瞰視点となっていたが、他の視点であってもよい。例えば、図35に示すように、初期視点VP0を、車両9のドライバの視点としてもよい。この場合は、図36に示すように、通常状態の時点に相当する再生時点ST0において、ドライバの視点からみた様子を示す再生映像7が表示される。また、例えば、図37に示すように、初期視点VP0を、視点位置を車両9の後方、視線方向を車両9の前方とした視点としてもよい。この場合は、図38に示すように、通常状態の時点に相当する再生時点ST0において、車両9の後方からみた車両9及び車両9の周辺を示す再生映像7が表示される。また、このような初期視点VP0を、複数の候補からユーザが選択できるようにしてもよい。
また、上記実施の形態では、映像生成部30cは、再生映像7のフレームとして合成画像を用いていた。これに対して、映像生成部30cは、再生映像7のフレームとして合成していない方向画像を用いてもよい。この場合は例えば、図39に示すように、通常状態の時点に相当する再生時点ST0においては、映像生成部30cは、フロントカメラ4Fで得られた前方の方向画像SFを再生映像7のフレームとして用いる。そして、イベントの発生時点に相当する再生時点においては、映像生成部30cは、当該イベントに応じて特定される対象の像を含む方向画像を、再生映像7のフレームとして用いる。これによりこの場合も、再生映像7はイベントに応じて特定される対象に向くことになる。図39の例では、登録地点に車両9が接近した時点に相当する再生時点ST4において、右サイドカメラ4Rで得られた方向画像SRが再生映像7のフレームとして用いられている。この方向画像SRは、登録地点に存在する建築物Sb2の像を含んでいる。
また、上記実施の形態のドライブレコーダ2は、イベントの発生の有無にかかわらず常時に周辺映像を記録する常時記録方式を採用していたが、衝突などのイベントが発生した場合にそのイベント前後の周辺映像を記録するイベント記録方式を採用してもよい。
また、上記実施の形態では、イベントの発生時点から所定時間前(N秒前とする)をイベント開始時点、イベントの発生時点から所定時間後(M秒後とする)をイベント終了時点としていた。このようなN秒、及び、M秒をユーザが設定できるようにしてもよい。
また、上記実施の形態では、ドライブレコーダ2と再生装置3とは別個の装置として説明したが、ドライブレコーダ2と再生装置3とを一体化した一つの装置であってもよい。
また、上記実施の形態では、プログラムの実行によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
1 再生システム
2 ドライブレコーダ
3 再生装置
5 検知データ
6 周辺映像
7 再生映像
8 メモリカード
9 車両
90 車両像
CP 合成画像

Claims (11)

  1. 映像を再生する再生装置であって、
    車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する取得手段と、
    前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する検出手段と、
    前記周辺映像に基いて、表示装置で再生するための再生映像を生成する生成手段と、
    を備え、
    前記生成手段は、前記イベントの発生時点に相当する再生時点において該イベントに応じて特定される対象に向いた前記再生映像を生成することを特徴とする再生装置。
  2. 請求項1に記載の再生装置において、
    前記周辺映像は、前記車両の周辺の互いに異なる方向を示す複数の方向画像を含み、
    前記生成手段は、前記複数の方向画像に基いて、仮想視点からみた前記車両の周辺を示す合成画像を前記再生映像として生成することを特徴とする再生装置。
  3. 請求項2に記載の再生装置において、
    前記再生映像は、前記イベントの発生時点の所定時間前に相当する再生時点から前記車両を周回しながら前記車両の周辺を示す動画表現を行うことを特徴とする再生装置。
  4. 請求項2に記載の再生装置において、
    前記再生映像は、前記イベントの発生時点の所定時間前に相当する再生時点から前記車両の周囲全体の領域を分割した複数の分割領域を順次に拡大して示す動画表現を行うことを特徴とする再生装置。
  5. 請求項1ないし4のいずれかに記載の再生装置において、
    前記検知データは、前記車両にかかる加速度を含み、
    前記検出手段は、前記加速度に基づいて前記車両と他の物体との衝突を検出し、
    前記生成手段は、前記衝突の時点に相当する再生時点において前記衝突の発生箇所に向いた前記再生映像を生成することを特徴とする再生装置。
  6. 請求項1ないし4のいずれかに記載の再生装置において、
    前記検出手段は、前記周辺映像及び前記検知データのいずれかに基いて、前記車両と他の物体との近接を検出し、
    前記生成手段は、前記近接の時点に相当する再生時点において前記他の物体に向いた前記再生映像を生成することを特徴とする再生装置。
  7. 請求項1または2に記載の再生装置において、
    前記検知データは、前記車両の位置を含み、
    前記検出手段は、前記車両の位置に基いて予め定められた登録地点への前記車両の接近を検出し、
    前記生成手段は、前記登録地点に向いた前記再生映像を生成することを特徴とする再生装置。
  8. 請求項1または2に記載の再生装置において、
    前記検知データは、前記車両のドライバの視線の方向を含み、
    前記検出手段は、前記視線の方向の変化を検出し、
    前記生成手段は、前記視線の先の対象に向いた前記再生映像を生成することを特徴とする再生装置。
  9. 再生システムであって、
    車両で用いられ、前記車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを記録する記録装置と、
    前記記録装置で記録された前記周辺映像を再生する請求項1ないし8のいずれかに記載の再生装置と、
    を備えることを特徴とする再生システム。
  10. 映像を再生する再生方法であって、
    (a)車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する工程と、
    (b)前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する工程と、
    (c)前記周辺映像に基いて、表示装置で再生するための再生映像を生成する工程と、
    を備え、
    前記工程(c)は、前記イベントの発生時点に相当する再生時点において該イベントに応じて特定される対象に向いた前記再生映像を生成することを特徴とする再生方法。
  11. コンピュータによって実行可能なプログラムであって、
    前記コンピュータに、
    (a)車両の走行中に得られた前記車両の周辺を示す周辺映像と、該走行中に前記車両の検知手段で得られた検知データとを取得する工程と、
    (b)前記周辺映像及び前記検知データの少なくとも一つに基いて、前記車両の走行中のイベントを検出する工程と、
    (c)前記周辺映像に基いて、表示装置で再生するための再生映像を生成する工程と、
    を実行させ、
    前記工程(c)は、前記イベントの発生時点に相当する再生時点において該イベントに応じて特定される対象に向いた前記再生映像を生成することを特徴とするプログラム。
JP2013001601A 2013-01-09 2013-01-09 再生装置、再生システム、再生方法及びプログラム Active JP6095985B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013001601A JP6095985B2 (ja) 2013-01-09 2013-01-09 再生装置、再生システム、再生方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013001601A JP6095985B2 (ja) 2013-01-09 2013-01-09 再生装置、再生システム、再生方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014134912A true JP2014134912A (ja) 2014-07-24
JP6095985B2 JP6095985B2 (ja) 2017-03-15

Family

ID=51413137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013001601A Active JP6095985B2 (ja) 2013-01-09 2013-01-09 再生装置、再生システム、再生方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6095985B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016057490A (ja) * 2014-09-10 2016-04-21 スズキ株式会社 運転支援システム
US20160134808A1 (en) * 2014-11-07 2016-05-12 Papago Inc. 360-degree panorama driving recorder system and method
WO2018066282A1 (ja) * 2016-10-04 2018-04-12 アイシン精機株式会社 周辺監視装置
JP2018186389A (ja) * 2017-04-26 2018-11-22 株式会社デンソーテン 映像再生装置、映像再生システム、及び映像再生方法
KR20190010645A (ko) * 2016-05-25 2019-01-30 캐논 가부시끼가이샤 디폴트 파라미터들이 스포츠 이벤트의 선택된 타입에 연관되는 카메라 어레이로부터, 유저에 의해 선택된 시점으로부터의 가상 화상을 생성하는 방법 및 장치
JP2019080158A (ja) * 2017-10-24 2019-05-23 株式会社デンソーテン 画像処理装置及び画像処理方法
WO2019167342A1 (ja) * 2018-03-02 2019-09-06 株式会社Jvcケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP2020017077A (ja) * 2018-07-25 2020-01-30 株式会社デンソーテン 事故通報装置及び事故通報方法
JP2020052801A (ja) * 2018-09-27 2020-04-02 三菱自動車工業株式会社 車両の運転支援装置
WO2020204016A1 (ja) * 2019-03-29 2020-10-08 5Kサポート株式会社 ドライブレコーダの設置方法、ドライブレコーダ及び自動車
JP2020175890A (ja) * 2020-06-30 2020-10-29 株式会社クボタ 作業車
JP2021071780A (ja) * 2019-10-29 2021-05-06 大日本印刷株式会社 情報処理装置、情報処理方法及びプログラム
JP2021087037A (ja) * 2019-11-25 2021-06-03 パイオニア株式会社 表示制御装置、表示制御方法及び表示制御用プログラム
CN112955937A (zh) * 2019-02-27 2021-06-11 Jvc建伍株式会社 记录再现装置、记录再现方法和程序
WO2021149316A1 (ja) * 2020-01-24 2021-07-29 株式会社Jvcケンウッド 記録再生制御装置、再生制御装置、表示制御方法およびプログラム
JP7490959B2 (ja) 2020-01-08 2024-05-28 株式会社Jvcケンウッド 映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114049750B (zh) * 2022-01-13 2022-04-26 南斗六星***集成有限公司 一种自动驾驶车辆预警视频生成方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2441389A (en) * 2006-09-01 2008-03-05 Christopher John Brummell Vehicle video recording system
JP2008221906A (ja) * 2007-03-09 2008-09-25 Alpine Electronics Inc 車両損傷箇所報知システム
JP2012253609A (ja) * 2011-06-03 2012-12-20 Fujitsu Ten Ltd 運転情報記録装置及び車両周囲画像再現システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2441389A (en) * 2006-09-01 2008-03-05 Christopher John Brummell Vehicle video recording system
JP2008221906A (ja) * 2007-03-09 2008-09-25 Alpine Electronics Inc 車両損傷箇所報知システム
JP2012253609A (ja) * 2011-06-03 2012-12-20 Fujitsu Ten Ltd 運転情報記録装置及び車両周囲画像再現システム

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016057490A (ja) * 2014-09-10 2016-04-21 スズキ株式会社 運転支援システム
US20160134808A1 (en) * 2014-11-07 2016-05-12 Papago Inc. 360-degree panorama driving recorder system and method
JP2016092814A (ja) * 2014-11-07 2016-05-23 研勤科技股▲分▼有限公司 360度全景ドライブレコーダー
CN105730335A (zh) * 2014-11-07 2016-07-06 研勤科技股份有限公司 360度环景行车记录器及其记录方法
KR102270429B1 (ko) 2016-05-25 2021-06-29 캐논 가부시끼가이샤 디폴트 파라미터들이 스포츠 이벤트의 선택된 타입에 연관되는 카메라 어레이로부터, 유저에 의해 선택된 시점으로부터의 가상 화상을 생성하는 방법 및 장치
KR20190010645A (ko) * 2016-05-25 2019-01-30 캐논 가부시끼가이샤 디폴트 파라미터들이 스포츠 이벤트의 선택된 타입에 연관되는 카메라 어레이로부터, 유저에 의해 선택된 시점으로부터의 가상 화상을 생성하는 방법 및 장치
US11190673B2 (en) 2016-05-25 2021-11-30 Canon Kabushiki Kaisha Control device, control method, and program
WO2018066282A1 (ja) * 2016-10-04 2018-04-12 アイシン精機株式会社 周辺監視装置
JP2018061113A (ja) * 2016-10-04 2018-04-12 アイシン精機株式会社 周辺監視装置
US11302076B2 (en) 2016-10-04 2022-04-12 Aisin Corporation Periphery monitoring apparatus
JP2018186389A (ja) * 2017-04-26 2018-11-22 株式会社デンソーテン 映像再生装置、映像再生システム、及び映像再生方法
DE102018106039B4 (de) 2017-04-26 2024-01-04 Denso Ten Limited Bildreproduktionsvorrichtung, bildreproduktionssystem und bildreproduktionsverfahren
JP2019080158A (ja) * 2017-10-24 2019-05-23 株式会社デンソーテン 画像処理装置及び画像処理方法
JP7112191B2 (ja) 2017-10-24 2022-08-03 株式会社デンソーテン 画像処理装置及び画像処理方法
CN111201550A (zh) * 2018-03-02 2020-05-26 Jvc建伍株式会社 车辆用记录装置、车辆用记录方法以及程序
WO2019167342A1 (ja) * 2018-03-02 2019-09-06 株式会社Jvcケンウッド 車両用記録装置、車両用記録方法及びプログラム
US10999532B2 (en) 2018-03-02 2021-05-04 Jvckenwood Corporation Vehicle recording device, vehicle recording method and non-transitory computer readable medium
JP2019153035A (ja) * 2018-03-02 2019-09-12 株式会社Jvcケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP7168367B2 (ja) 2018-07-25 2022-11-09 株式会社デンソーテン 事故通報装置
JP2020017077A (ja) * 2018-07-25 2020-01-30 株式会社デンソーテン 事故通報装置及び事故通報方法
JP2020052801A (ja) * 2018-09-27 2020-04-02 三菱自動車工業株式会社 車両の運転支援装置
CN112955937A (zh) * 2019-02-27 2021-06-11 Jvc建伍株式会社 记录再现装置、记录再现方法和程序
CN112955937B (zh) * 2019-02-27 2023-06-02 Jvc建伍株式会社 记录再现装置、记录再现方法和存储介质
JP2020164067A (ja) * 2019-03-29 2020-10-08 5Kサポート株式会社 ドライブレコーダの設置方法、ドライブレコーダ及び自動車
WO2020204016A1 (ja) * 2019-03-29 2020-10-08 5Kサポート株式会社 ドライブレコーダの設置方法、ドライブレコーダ及び自動車
JP2021071780A (ja) * 2019-10-29 2021-05-06 大日本印刷株式会社 情報処理装置、情報処理方法及びプログラム
JP2021087037A (ja) * 2019-11-25 2021-06-03 パイオニア株式会社 表示制御装置、表示制御方法及び表示制御用プログラム
JP7332445B2 (ja) 2019-11-25 2023-08-23 パイオニア株式会社 表示制御装置、表示制御方法及び表示制御用プログラム
JP7490959B2 (ja) 2020-01-08 2024-05-28 株式会社Jvcケンウッド 映像再生装置、記録再生装置、映像再生方法及び映像再生プログラム
WO2021149316A1 (ja) * 2020-01-24 2021-07-29 株式会社Jvcケンウッド 記録再生制御装置、再生制御装置、表示制御方法およびプログラム
JP7076501B2 (ja) 2020-06-30 2022-05-27 株式会社クボタ 作業車
JP2020175890A (ja) * 2020-06-30 2020-10-29 株式会社クボタ 作業車

Also Published As

Publication number Publication date
JP6095985B2 (ja) 2017-03-15

Similar Documents

Publication Publication Date Title
JP6095985B2 (ja) 再生装置、再生システム、再生方法及びプログラム
JP7052174B2 (ja) 将来経路を推定するシステム及び方法
JP4818816B2 (ja) 駐車支援プログラム及び駐車支援装置
JP5057936B2 (ja) 鳥瞰画像生成装置および方法
JP5182042B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP6548900B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP6543313B2 (ja) 移動体用画像生成記録表示装置及びプログラム
CN104427260A (zh) 运动图像生成***及运动图像生成方法
JP6425991B2 (ja) 牽引車両周囲画像生成装置および牽引車両周囲画像生成方法
JP2007198962A (ja) 車両用案内表示装置
JP5914114B2 (ja) 駐車支援装置、及び駐車支援方法
JP2012253609A (ja) 運転情報記録装置及び車両周囲画像再現システム
JP6349640B2 (ja) 情報提供装置及び方法
JP6890288B2 (ja) 画像処理装置、画像表示システムおよび画像処理方法
KR102288950B1 (ko) 차량 및 그 제어 방법
JP2005208857A (ja) 画像生成方法
JP2004120661A (ja) 移動体周辺監視装置
JP6697115B2 (ja) 移動体用画像生成記録表示装置及びプログラム
JP2010079454A (ja) 運転支援装置
KR20170076506A (ko) 어라운드뷰 생성방법과 이를 수행하는 장치
JP2010273178A (ja) ステレオ測定システムおよび動画再生システム
JP4857159B2 (ja) 車両運転支援装置
KR20180094717A (ko) Avm을 이용한 운전 지원 장치 및 시스템
JP2008128867A (ja) タイヤ向き特定装置
JP6411100B2 (ja) 車両周囲画像生成装置および車両周囲画像生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170215

R150 Certificate of patent or registration of utility model

Ref document number: 6095985

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250