JP2021071780A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】煩雑な作業を行うことなく、車両から車両の周囲を撮影した映像から、事故の状況を容易に確認することが可能な情報処理装置等を提供する。【解決手段】情報処理装置は、車両から撮影した映像データ、及び／又は、車両から車両の周囲の物体までの距離を計測する距離センサによる計測データから、物体を検出する。情報処理装置は、映像データを解析し、及び／又は、計測データを用いることにより得られる距離データを時系列に複数取得する。また情報処理装置は、車両の物体との衝突時点を推定及び／又は取得し、衝突時点において車両に最近接している衝突物体を、距離データに基づいて特定する。そして情報処理装置は、衝突時点からの各時間におけるデータに対して衝突物体を追跡する処理を行う。【選択図】図１

Description

本発明は、事故発生時の解析を行うための情報処理装置、情報処理方法及びプログラムに関する。

例えば車両の進行方向（前方）をカメラにて撮影し、得られた映像データを記憶（記録）するドライブレコーダーが、四輪車及び二輪車等の車両に搭載されている。特許文献１には、水平平面の３６０度及び垂直平面の３６０度の全方位を撮影するドライブレコーダーが開示されている。ドライブレコーダーは、例えば車両が動作（走行）を開始した場合、車両に何らかの衝撃が加わった場合、撮影開始を指示するための操作を受け付けた場合等に、カメラによる撮影を開始して映像データを記憶するように構成されている。

特開２０１８−１９６０６６号公報

近年、交通事故が発生した場合に、事故が発生した際の車両周囲の状況を把握するために、ドライブレコーダーで事故の状況を撮影した事故映像が用いられている。そこで、ドライブレコーダーで撮影した録画映像から、事故の状況が撮影された箇所（事故映像）を特定する必要があるが、一般的に、録画映像から事故映像（事故が撮影された箇所）を探す作業は手作業で行われることが多い。例えば、ドライブレコーダーによる録画映像を再生させて、事故の撮影箇所を目視で特定する作業が行われている。ドライブレコーダーが数時間〜数十時間の録画が可能である場合、数時間〜数十時間の録画映像から、事故が撮影された数秒〜数十秒の事故映像を特定する必要があり、また、事故映像を正確に特定するために録画映像を繰り返し確認する必要があり、煩雑な作業が強いられる。

本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、車両の周囲を撮影した録画映像から、事故の状況を容易に確認することを可能にする情報処理装置等を提供することにある。

本発明の一態様に係る情報処理装置は、車両から該車両の周囲の物体を撮影して得られた映像データ、及び／又は、車両から該車両の周囲の物体までの距離を計測する距離センサによる計測データから物体を検出する物体検出部と、前記映像データを解析し、及び／又は、前記計測データを用いることにより得られる距離データを時系列に複数取得する取得部と、前記車両の物体との衝突時点を推定及び／又は取得する衝突特定部と、前記距離データに基づいて、衝突時点における前記車両に最近接している衝突物体を特定する特定部と、前記衝突時点からの各時間におけるデータの前記衝突物体を衝突時点のデータを基に特定して追跡する追跡部とを備える。

本発明の一態様にあっては、煩雑な作業を行うことなく、車両の周囲を撮影した録画映像から、事故の状況を容易に確認することが可能となる。

ドライブレコーダーの構成例を示すブロック図である。 ドライブレコーダーによる記憶処理手順の一例を示すフローチャートである。 ドライブレコーダーによる撮影箇所の抽出処理手順の一例を示すフローチャートである。 撮影箇所の抽出処理を説明するための模式図である。 実施形態２のドライブレコーダーによる撮影箇所の抽出処理手順の一例を示すフローチャートである。 撮影箇所の抽出処理を説明するための模式図である。 実施形態３のドライブレコーダーによる撮影箇所の抽出処理手順の一例を示すフローチャートである。 撮影箇所の抽出処理を説明するための模式図である。

以下に、本開示の情報処理装置、情報処理方法及びプログラムについて、その実施形態を示す図面に基づいて詳述する。

（実施形態１）
本開示の情報処理装置をドライブレコーダーに適用した実施形態について説明する。図１は、ドライブレコーダーの構成例を示すブロック図である。本実施形態のドライブレコーダー１０は、四輪車及び二輪車等の車両、あるいはドライバが装着するヘルメット等に設置され、車両の進行方向の風景を撮影して記憶する撮影装置である。なお、ドライブレコーダー１０は、車両の後ろ方向又は全方向の風景を撮影するように構成されていてもよい。

本実施形態のドライブレコーダー１０は、制御部１１、記憶部１２、カメラ１３、加速度センサ１４、距離センサ１５、記憶読出部１６、入力部１７、通信部１８等を含み、これらの各部はバスを介して相互に接続されている。制御部１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。制御部１１は、記憶部１２に記憶してある制御プログラム１２Ｐを適宜実行することにより、本開示の情報処理装置が行うべき種々の情報処理及び制御処理をドライブレコーダー１０に行わせる。制御部１１には、日時（年／月／日／時／分／秒）を示す時計１１ａが接続してあり、制御部１１は、時計１１ａから現在日時を取得する。

記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive）等を含む。記憶部１２は、制御部１１が実行する制御プログラム１２Ｐ及び制御プログラム１２Ｐの実行に必要な各種のデータ等を予め記憶している。また記憶部１２は、制御部１１が制御プログラム１２Ｐを実行する際に発生するデータ等を一時的に記憶する。

カメラ１３は、レンズ及び撮像素子等を有する撮像装置であり、レンズを介して被写体像の画像データを取得する。カメラ１３は、制御部１１からの指示に従って撮影を行い、１枚（１フレーム）の画像データ（撮影画像）を順次取得する。カメラ１３は、例えば１秒間に６０フレーム、３０フレーム又は１５フレームの映像データを取得するように構成されており、カメラ１３にて取得された映像データ１３ａは、順次記憶読出部１６へ送出され、記憶読出部１６によって記憶媒体１６ａに記憶される。本実施形態のドライブレコーダー１０は、搭載された車両の進行方向の風景をカメラ１３にて撮影するので、カメラ１３のレンズは、車両の進行方向に向けて配置されている。なお、カメラ１３は、ドライブレコーダー１０に内蔵された構成のほかに、ドライブレコーダー１０に外付けされる構成でもよい。この場合、ドライブレコーダー１０は、外部カメラの接続が可能な接続部又は外部カメラとの無線通信が可能な無線通信部を備え、外部カメラが撮影した映像データを接続部又は無線通信部を介して取得する。また、カメラ１３は、車両の進行方向（前方）だけでなく、車両の後方、左側、右側、又は周囲の風景を撮影するように構成されていてもよい。

加速度センサ１４は、例えば３次元の直交座標系におけるｘｙｚ軸の３方向のそれぞれの加速度を検知する３軸加速度センサである。加速度センサ１４は例えば、ドライブレコーダー１０が搭載された車両の進行方向と、進行方向に交差する２方向との３方向における加速度を検知できるように設けてある。進行方向に交差する２方向は、具体的には、鉛直方向及び水平方向であり、車両内から進行方向を向いて上下方向及び左右方向である。なお、加速度センサ１４は、互いに直交する２方向における加速度を検知する２軸加速度センサであってもよい。加速度センサ１４は、制御部１１からの指示に従って加速度の検知処理を行って検知データ（加速度データ）を順次取得し、加速度センサ１４による検知データ１４ａは、順次記憶読出部１６へ送出され、記憶読出部１６によって記憶媒体１６ａに記憶される。加速度センサ１４は、ドライブレコーダー１０に内蔵された構成のほかに、ドライブレコーダー１０に外付けされる構成でもよい。この場合、ドライブレコーダー１０は、外部の加速度センサの接続が可能な接続部又は外部の加速度センサとの無線通信が可能な無線通信部を備え、外部の加速度センサにて検知された加速度を接続部又は無線通信部を介して取得する。例えば、衝突検知等を行うための加速度センサが車両に搭載されている場合、この加速度センサによる検知データがドライブレコーダー１０に入力されるように構成してもよい。

距離センサ１５は、近赤外光又は赤外光等の光を出射する発光部と、発光部が出射した光の対象物による反射光を受光する受光部とを有し、受光した反射光に基づいて対象物までの距離を計測するセンサである。距離センサ１５は、例えば車両の前方、後方、左側、右側、又は周囲の対象物までの距離を計測するように設けてある。距離センサ１５は、制御部１１からの指示に従って距離の計測処理を行って検知データ（距離データ、計測データ）を順次取得し、距離センサ１５による検知データ１５ａは、順次記憶読出部１６へ送出され、記憶読出部１６によって記憶媒体１６ａに記憶される。距離センサ１５は、ドライブレコーダー１０に内蔵された構成のほかに、ドライブレコーダー１０に外付けされる構成でもよい。この場合、ドライブレコーダー１０は、外部の距離センサの接続が可能な接続部又は外部の距離センサとの無線通信が可能な無線通信部を備え、外部の距離センサにて検知された対象物までの距離を接続部又は無線通信部を介して取得する。例えば、衝突検知又は近接検知等を行うための距離センサが車両に搭載されている場合、この距離センサによる検知データがドライブレコーダー１０に入力されるように構成してもよい。

記憶読出部１６は、例えば記憶媒体１６ａの着脱が可能に構成してあり、装着された記憶媒体１６ａに対してデータの記憶処理（書き込み処理）及び読み出し処理を行う。記憶媒体１６ａは例えば、ＳＤ（Secure Digital）メモリカード、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記憶媒体である。記憶媒体１６ａはドライブレコーダー１０に着脱可能である必要はないが、着脱可能に構成した場合、ドライブレコーダー１０から取り外した記憶媒体１６ａを他の装置に装着することにより、記憶媒体１６ａに記憶したデータを他の装置で処理することができる。本実施形態のドライブレコーダー１０では、カメラ１３にて撮影した映像データ１３ａ、加速度センサ１４にて検知した加速度の検知データ１４ａ、距離センサ１５にて計測した距離の検知データ１５ａが逐次記憶媒体１６ａに記憶される。

入力部１７は、ドライブレコーダー１０を操作するユーザによる操作入力を受け付け、操作内容に対応した制御信号を制御部１１へ送出する。通信部１８は、有線通信又は無線通信によってインターネット等のネットワークに接続するためのインタフェースであり、ネットワークを介して他の装置との間で情報の送受信を行う。

本実施形態のドライブレコーダー１０は、上述した構成のほかに、液晶ディスプレイ又は有機ＥＬディスプレイ等の表示部を備えてもよく、表示部を備える場合、表示部及び入力部１７を一体として構成したタッチパネルが設けられてもよい。また、ドライブレコーダー１０は、記憶媒体１６ａに記憶する映像データ１３ａに対して所定の圧縮規格に従った圧縮処理及び伸張処理を行う圧縮伸張部、集音して音声データを取得するマイク、音声データ及び音楽データを出力するスピーカ等を備えてもよい。また、本実施形態のドライブレコーダー１０において、記憶部１２に記憶される制御プログラム１２Ｐ及び各種のデータは、制御部１１が通信部１８を介して他の装置からダウンロードして記憶部１２に記憶してもよく、制御部１１が記憶読出部１６にて記憶媒体１６ａから読み取って記憶部１２に記憶してもよい。

上述した構成を有する本実施形態のドライブレコーダー１０は、例えばドライブレコーダー１０が搭載された車両のエンジンがオンされた場合に、カメラ１３による撮影、加速度センサ１４による加速度の検知、距離センサ１５による距離の計測等の処理を開始する。なお、ドライブレコーダー１０は、車両が走行を開始した場合、カメラ１３による撮影の開始指示を受け付けた場合等に、上述した各処理を開始するように構成されていてもよく、上述した各処理を常時行うように構成されていてもよい。そして、ドライブレコーダー１０は、例えば車両のエンジンがオフされた場合に、上述した各処理を終了する。なお、ドライブレコーダー１０は、車両が走行を終了した場合、カメラ１３による撮影の終了が指示された場合等に、上述した各処理を終了するように構成されていてもよい。

以下に、本実施形態のドライブレコーダー１０による各種データの記憶処理について説明する。図２は、ドライブレコーダー１０による記憶処理手順の一例を示すフローチャートである。以下の処理は、ドライブレコーダー１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。

本実施形態のドライブレコーダー１０は、例えば車両のエンジンがオンされた場合、又は撮影開始の指示を受け付けた場合等に、カメラ１３による撮影等の各処理を実行する。よって、制御部１１は、カメラ１３による撮影等の各処理を実行すべきタイミングが到来したか否かを判断し（Ｓ１１）、到来していないと判断した場合（Ｓ１１：ＮＯ）、待機する。各処理を実行すべきタイミングが到来したと判断した場合（Ｓ１１：ＹＥＳ）、制御部１１は、カメラ１３による撮影処理を開始し（Ｓ１２）、加速度センサ１４による加速度の検知処理を開始し（Ｓ１３）、距離センサ１５による距離の計測処理を開始する（Ｓ１４）。これにより、カメラ１３による撮影処理によって得られる映像データ１３ａ、加速度センサ１４による検知処理によって得られる加速度の検知データ１４ａ、距離センサ１５による計測処理によって得られる距離の検知データ１５ａのそれぞれが逐次記憶媒体１６ａに記憶される。なお、カメラ１３は、撮影処理を終了するまで、例えば１秒間に６０フレーム、３０フレーム又は１５フレームの映像データ１３ａの取得を継続する。加速度センサ１４は、検知処理を終了するまで定期的に加速度の取得を継続し、距離センサ１５は、計測処理を終了するまで定期的に距離の取得を継続する。なお、カメラ１３が１フレームの映像データを取得するタイミング（例えば１秒間に６０回、３０回又は１５回）で、加速度センサ１４が加速度を検知し、距離センサ１５が距離を計測した場合、１フレームの映像データ毎の加速度及び距離を取得できる。なお、映像データ１３ａ、加速度の検知データ１４ａ及び距離の検知データ１５ａは、各データの取得日時（撮影日時又は検知日時）に対応付けて記憶される。

本実施形態のドライブレコーダー１０は、例えば車両のエンジンがオフされた場合、又は撮影終了の指示を受け付けた場合等に、カメラ１３による撮影等の各処理を終了する。よって、制御部１１は、カメラ１３による撮影処理、加速度センサ１４による検知処理、及び距離センサ１５による計測処理を行いつつ、これらの処理を終了すべきタイミングが到来したか否かに応じ、処理を終了すべきか否かを判断する（Ｓ１５）。処理を終了すべきでないと判断した場合（Ｓ１５：ＮＯ）、制御部１１は、カメラ１３による撮影処理、加速度センサ１４による検知処理、及び距離センサ１５による計測処理を継続する。処理を終了すべきであると判断した場合（Ｓ１５：ＹＥＳ）、制御部１１は処理を終了する。具体的には、制御部１１は、カメラ１３による撮影処理、加速度センサ１４による検知処理、距離センサ１５による計測処理を終了する。

上述した処理により、ドライブレコーダー１０は、車両の走行中にカメラ１３で撮影した映像データ１３ａ、加速度センサ１４で検知した加速度の検知データ１４ａ、距離センサ１５で計測した距離の検知データ１５ａを記憶媒体１６ａに記憶することができる。このように映像データ１３ａ等が記憶媒体１６ａに記憶されたドライブレコーダー１０は、映像データ１３ａに、この車両に発生した事故（衝突）の状況が撮影されている場合に、映像データ１３ａから事故の状況が撮影された箇所を抽出する処理を行う。

なお、ドライブレコーダー１０において、車両が物体に衝突した場合又は衝突しそうになった場合に衝突したこと又は衝突しそうになったことを入力するための入力ボタン（図示せず）を入力部１７に設けておいてもよい。この場合、制御部１１は、この入力ボタンを介して、車両が物体に衝突したこと又は衝突しそうになったことの通知を受け付け、通知を受け付けた日時を記憶しておく。これにより、車両が物体に衝突したタイミング（日時）又は衝突しそうになったタイミング（日時）をドライブレコーダー１０に記憶させることができる。

以下に、本実施形態のドライブレコーダー１０によって衝突の状況が撮影された箇所を抽出する処理について説明する。図３は、ドライブレコーダー１０による撮影箇所の抽出処理手順の一例を示すフローチャート、図４は、撮影箇所の抽出処理を説明するための模式図である。以下の処理は、ドライブレコーダー１０の記憶部１２に記憶してある制御プログラム１２Ｐに従って制御部１１によって実行される。以下の処理の一部を専用のハードウェア回路で実現してもよい。

本実施形態のドライブレコーダー１０において、記憶媒体１６ａに記憶された映像データ１３ａから、車両が物体に衝突した状況が撮影された箇所を抽出する場合、制御部１１（衝突特定部）はまず、車両が衝突した可能性が高いタイミング（衝突時点の日時）があるか否かを検出する（Ｓ２１）。例えば制御部１１は、記憶媒体１６ａに記憶された加速度センサ１４の検知データ１４ａに基づいて、加速度が所定閾値以上のタイミング（日時）があるか否かに応じて、車両が衝突した可能性が高いタイミングがあるか否かを推定する。所定閾値は、車両が物体に衝突した場合又は急ブレーキがかけられた場合に相当する加速度であり、予め記憶部１２に記憶しておく。例えば車両の上下方向及び左右方向における加速度が共に所定閾値以上の値である場合、車両が物体に衝突した可能性が高いと判定できる。これに対して、上下方向及び左右方向における加速度の少なく一方が所定閾値未満の値である場合、車両が通常の走行状態である可能性が高いと判定できる。よって、制御部１１は、車両の上下方向及び左右方向における加速度が共に所定閾値以上となった場合に、車両が物体に衝突した可能性が高いと推定する。

また制御部１１は、記憶媒体１６ａに記憶された距離センサ１５の検知データ１５ａに基づいて、物体（対象物）までの距離が所定閾値未満のタイミング（日時）があるか否かに応じて、車両が衝突した可能性が高いタイミングがあるか否かを判定してもよい。所定閾値は、例えば０であってもよく、車両が物体に衝突した場合に相当する距離であり、予め記憶部１２に記憶しておく。よって、制御部１１は、物体までの距離が所定閾値未満となった場合に、車両が物体に衝突した可能性が高いと推定する。また制御部１１は、記憶媒体１６ａに記憶された映像データ１３ａに基づいて、車両が衝突したか否かを推定してもよい。この場合、例えば制御部１１は、映像データ１３ａの各フレームに対して、物体を検出する処理を行い、検出した物体の領域（面積）が所定サイズ以上となった場合に、この物体に衝突した可能性が高いと判定する。なお、制御部１１は、例えば機械学習によって衝突瞬間の映像（画像）を学習させた学習モデルを用いて、映像データ１３ａの各フレームが、車両が物体に衝突した瞬間の画像であるか否かを判定してもよい。また例えば車両に衝突検知センサが取り付けられている場合、制御部１１は、衝突検知センサからの出力信号に基づいて、車両が衝突したか否かを判定してもよい。また例えば車両のドライバ等が衝突日時を把握している場合、ドライバ等が入力部１７を介して衝突日時を入力してもよく、この場合、制御部１１は入力部１７を介して衝突タイミング（衝突日時）が入力されたか否かに応じて、車両が衝突したか否かを判定してもよい。なお、ドライバ等は入力部１７を介して映像データ１３ａ中の任意のフレームを指定することによって衝突日時を入力してもよい。また制御部１１は、車両の走行中に入力部１７を介して、車両が物体に衝突したこと又は衝突しそうになったことの通知を受け付け、車両が物体に衝突したタイミング（日時）又は衝突しそうになったタイミング（日時）を記憶している場合、車両が衝突したと判定してもよい。更に、制御部１１は、上述した処理のいくつかを組み合わせて、車両が物体に衝突したか否かを判定してもよく、上述したいくつかの処理によって取得された衝突タイミング（衝突日時）を統合して衝突タイミングを特定してもよい。

制御部１１は、衝突タイミング（衝突日時）を検出しないと判断した場合（Ｓ２１：ＮＯ）、即ち、車両が衝突した可能性が高いタイミングがないと判断した場合、処理を終了する。制御部１１は、衝突タイミング（衝突時点）を検出したと判断した場合（Ｓ２１：ＹＥＳ）、即ち、車両が衝突した可能性が高いタイミングがあると判断した場合、検出した衝突タイミング（衝突日時）に対応するフレームを映像データ１３ａから抽出する（Ｓ２２）。例えば図４Ａ〜Ｃに示すフレームがＡ〜Ｃの順に撮影されたフレームであり、図４Ｃに示すフレームが衝突タイミングに撮影されたフレームである場合、制御部１１は、図４Ｃに示すフレームを映像データ１３ａから抽出する。このとき制御部１１は、衝突タイミング（衝突時点）に対応するフレームだけでなく、このフレームの前後数枚ずつのフレームも抽出してもよい。衝突時点の前後のフレームを抽出しておくことにより、衝突時点のフレームがぶれた映像であっても、前後のフレームを用いて以降の処理を行うことができる。

制御部１１（物体検出部）は、抽出したフレームに対して物体検出処理を行い、フレーム中の物体を検出する（Ｓ２３）。制御部１１は、フレーム中に撮影された自動車（四輪車）、二輪車、自転車、人、ガードレール、信号機、電柱、壁等の物体を検出する。例えば制御部１１は、検出すべき各物体について予め機械学習等で学習済みの判別モデルを用いて、フレーム中に、判別モデルで判別可能な物体が存在するか否かを検出してもよい。また制御部１１は、テンプレートマッチング技術によって、フレーム中に含まれる物体を検出してもよい。この場合、検出すべき各物体の画像特徴量を示すテンプレートを予め記憶部１２に記憶しておき、制御部１１は、フレームに、いずれかのテンプレートに一致する領域が存在するか否かに応じて、物体が存在するか否かを検出してもよい。例えば図４Ｃに示すフレームの場合、制御部１１は、フレーム中に車両Ｃ（物体）が存在することを検出する。なお、制御部１１は、物体を検出した場合、図４Ｃに示すように、検出した物体の領域を囲む矩形のバウンディングボックス（図４Ｃ中の破線）にて物体を特定してもよく、また、検出した物体の領域の輪郭線（図４Ｃ中の実線）にて物体を特定してもよい。

衝突タイミングに対応するフレームには、車両（ドライブレコーダー１０が搭載された車両）が衝突した物体が撮影されている可能性が高い。よって、ステップＳ２２で抽出されたフレーム中には少なくとも１つの物体（衝突相手の物体）が撮影されている可能性が高く、制御部１１は、このフレームから物体を検出できる。しかし、ステップＳ２２で抽出したフレームに物体が含まれない場合、制御部１１は、ステップＳ２３でフレーム中に物体を検出できない。この場合、制御部１１は例えば、このフレーム（物体を検出できなかったフレーム）の前後のフレームを映像データ１３ａから抽出し、抽出したフレームに対して物体検出処理を実行してもよい。このような構成とした場合、衝突タイミングに撮影された物体を確実に検出できる。また、衝突タイミングに対応するフレームは、ぶれた映像である可能性があり、この場合、ステップＳ２２で衝突タイミングの前後のフレームも抽出していれば、抽出したフレーム中のより良好な画質のフレームに基づいて、フレーム中の物体を検出してもよい。

制御部１１（特定部）は、フレーム中の物体を検出した後、検出（認識）した物体から、車両が衝突した可能性の高い物体（以下、衝突物体という）を特定する（Ｓ２４）。例えば制御部１１は、ステップＳ２３で検出したフレーム中の物体のうちで、撮影領域（検出領域）が最大の物体を衝突物体に特定する。車両に最近接している物体は、他の物体よりも撮影領域が大きく撮影されるので、フレーム中の撮影領域の大きさに応じて衝突物体を特定できる。即ち、フレーム中の撮影領域の大きさによって、衝突物体までの距離が推定でき、衝突物体までの距離データは、映像データを解析することによって得られる、時系列における衝突物体の撮影領域の大きさの変化によって推定できる。また制御部１１は、フレーム中の下側の位置に撮影されている物体を衝突物体に特定してもよい。例えば車両の前方を撮影範囲とするドライブレコーダー１０では、車両の前面に最近接している物体は撮影画像（フレーム）の最も下側に撮影されるので、フレーム中の撮影位置に応じて衝突物体を特定できる。制御部１１は、フレーム中の衝突物体を特定した場合、衝突物体を特定したフレームの撮影日時を特定し、特定した撮影日時を衝突タイミング（衝突日時）として記憶部１２に記憶する（Ｓ２５）。

次に制御部１１（追跡部）は、記憶部１２に記憶した衝突タイミングに対応するフレームから時間軸の逆方向（過去に遡る過去方向）に衝突物体の追跡処理を行う。具体的には、制御部１１は、衝突タイミングに対応するフレームの直前のフレーム（以下では直前フレームという）を映像データ１３ａから抽出する（Ｓ２６）。そして制御部１１は、直前フレーム中の衝突物体を特定する（Ｓ２７）。例えば制御部１１は、ステップＳ２４で特定した衝突物体の領域をフレームから抽出して追跡領域に設定しておき、設定した追跡領域が、ステップＳ２６で抽出した直前フレーム中に含まれる箇所（領域）を特定する。なお、制御部１１は、追跡領域における画像の特徴量を抽出し、特徴量に基づいて、直前フレーム中に含まれる追跡領域を特定してもよい。これにより、追跡領域（衝突物体）を時系列方向の逆方向（過去に遡る過去方向）に追跡する処理を行うことができる。

制御部１１は、直前フレームにおける衝突物体（追跡領域）を特定した場合、特定した衝突物体の撮影領域（追跡領域）に基づいて、追跡処理を終了する条件を満たすか否かを判断する（Ｓ２８）。例えば制御部１１は、直前フレーム中に特定した衝突物体の撮影領域の大きさが所定値未満となった場合に、追跡処理を終了する条件を満たすと判断する。また制御部１１は、直前フレーム中に特定した衝突物体の撮影領域が、他の物体に隠れた状態となった場合に、追跡処理を終了する条件を満たすと判断してもよい。なお、衝突物体が他の物体に隠れた状態となったか否かは、例えば衝突物体の領域を示すバウンディングボックス内に他の物体が含まれるか否か（進入したか否か）に応じて判断してもよい。また制御部１１は、直前フレームの撮影タイミング（撮影日時）における距離センサ１５の検知データ１５ａを抽出し、撮影タイミングにおける衝突物体までの距離が所定距離以上（所定値以上）となった場合に、追跡処理を終了する条件を満たすと判断してもよい。

制御部１１は、追跡処理を終了する条件を満たしていないと判断した場合（Ｓ２８：ＮＯ）、ステップＳ２６の処理に戻り、ステップＳ２６〜Ｓ２８の処理を繰り返す。具体的には、制御部１１は、直近のステップＳ２６で抽出した直前フレームに対して更に直前のフレームを映像データ１３ａから抽出し（Ｓ２６）、抽出した直前フレーム中の衝突物体を特定する（Ｓ２７）。ここでは、制御部１１は、直近のステップＳ２７で特定した衝突物体の領域を追跡領域として設定し、設定した追跡領域が、ステップＳ２６で新たに抽出した直前フレーム中に含まれる箇所を特定する。そして制御部１１は、新たに抽出した直前フレームにおける衝突物体（追跡領域）を特定した場合、特定した衝突物体の撮影領域（追跡領域）に基づいて、追跡処理を終了する条件を満たすか否かを判断する（Ｓ２８）。

制御部１１は、追跡処理を終了する条件を満たすと判断するまで、ステップＳ２６〜Ｓ２８の処理を繰り返す。追跡処理を終了する条件を満たすと判断した場合（Ｓ２８：ＹＥＳ）、制御部１１は、ここでのフレーム（即ち、追跡処理を終了する条件を満たすと判断したフレーム）の撮影日時を、衝突前タイミング（衝突が発生する前の日時）として記憶部１２に記憶する（Ｓ２９）。制御部１１は、ステップＳ２６〜Ｓ２８の処理を繰り返すことにより、衝突物体との衝突が発生する前の所定のタイミング（例えば車両から衝突物体までの距離が所定距離以上であるタイミング）まで衝突物体の追跡処理を行うことができ、衝突前タイミングを特定することができる。

上述した処理により、衝突物体との衝突が発生したタイミング（衝突日時）と、衝突が発生する前の所定のタイミング（衝突前タイミング）の日時とを特定することができる。よって、制御部１１は、ステップＳ２９で記憶部１２に記憶した衝突前タイミングから、ステップＳ２５で記憶部１２に記憶した衝突日時までの時間（期間）に対応するフレームを、衝突の状況を撮影した衝突撮影フレームとして映像データ１３ａから抽出する（Ｓ３０）。例えば図４Ａに示すフレームが、追跡処理を終了する条件を満たしたフレームである場合、即ち、衝突前タイミングに対応するフレームである場合、制御部１１は、図４Ａに示すフレームから図４Ｃに示すフレームまでの複数のフレームを抽出する。このように抽出された衝突撮影フレームは、例えば通信部１８を介して外部の装置へ送信され、又は記憶媒体１６ａに記憶され、記憶媒体１６ａを介して外部の装置に入力される。なお、制御部１１は、ステップＳ２１で、車両が衝突した可能性が高いタイミング（日時）を複数検出した場合、それぞれ検出したタイミングについて、ステップＳ２２〜Ｓ３０の処理を行うことにより、それぞれの衝突撮影フレームを抽出してもよい。

上述した処理により、ドライブレコーダー１０は、車両の走行中にカメラ１３で撮影した映像データ１３ａ、加速度センサ１４で検知した加速度の検知データ１４ａ、距離センサ１５で計測した距離の検知データ１５ａに基づいて、車両が物体に衝突したタイミングを特定することができる。また、ドライブレコーダー１０は、特定した衝突タイミングから、時間軸の逆方向（過去に遡る方向）のフレームに対して衝突物体を追跡処理することにより、衝突前の所定のタイミングまで遡ることができ、衝突前の所定のタイミングから、衝突が発生した衝突タイミングまでの衝突撮影フレームを抽出することができる。よって、ユーザが煩雑な作業を行うことなく、ドライブレコーダー１０による撮影映像から、ドライブレコーダー１０が搭載された車両に発生した事故（衝突）の状況が撮影されている箇所（衝突撮影フレーム）を抽出することができる。このような衝突撮影フレームは、衝突相手との衝突までの状況を把握する際に用いることができる。従って、衝突の状況を把握する際に、ドライブレコーダー１０の録画映像（映像データ１３ａ）から、衝突の瞬間が撮影された箇所を探し出すための操作負担を削減できる。また、衝突撮影フレームは、映像データ（画像データ）が入力された場合に、衝突物体に衝突した瞬間の画像であるか否かを判別する学習モデルを学習させる際の教師データに用いることができる。

本実施形態において、ドライブレコーダー１０が、車両の走行中に撮影した映像データ１３ａ、加速度センサ１４による検知データ１４ａ、距離センサ１５による検知データ１５ａに基づいて、車両が物体に衝突したタイミングを特定し、特定した衝突タイミングに基づいて衝突撮影フレームを抽出する構成に限定されない。例えばドライブレコーダー１０が記憶媒体１６ａに記憶した映像データ１３ａ、加速度センサ１４の検知データ１４ａ、距離センサ１５の検知データ１５ａを、通信部１８又は記憶媒体１６ａ経由で他の装置に入力し、他の装置が、映像データ１３ａ、加速度センサ１４の検知データ１４ａ、距離センサ１５の検知データ１５ａに基づいて、車両が物体に衝突したタイミングを特定し、特定した衝突タイミングに基づいて衝突撮影フレームを抽出する処理を行う構成でもよい。この場合にも、ドライブレコーダー１０による大量の撮影映像からドライブレコーダー１０が搭載された車両に発生した事故（衝突）の状況が撮影されている箇所（フレーム）を抽出することができる。なお、他の装置は、例えばクラウドサーバ、車両内に搭載された車載コンピュータ等を用いることができる。車載コンピュータを用いる場合、車両に設けられたカメラ、加速度センサ、距離センサからの出力データが車載コンピュータに入力されるように構成してもよい。これにより、カメラで撮影した映像データ、加速度センサで検知した加速度データ、距離センサで計測した距離データに基づいて、車載コンピュータが、車両が物体に衝突したタイミングを特定し、特定した衝突タイミングに対応する衝突撮影フレームを生成できる。また、本実施形態の構成は、ドライブレコーダー１０のほかに、カメラ及び加速度センサを備えたスマートフォンに適用できる。スマートフォンに適用した場合、スマートフォンのカメラで例えば車両の前方を撮影した映像データと、加速度センサで検知した加速度とを蓄積し、車両が物体に衝突したタイミングに基づく衝突撮影フレームを生成する構成を実現できる。

本実施形態のドライブレコーダー１０において、例えば加速度センサ１４による検知データ１４ａ、距離センサ１５による検知データ１５ａ等に基づいて、車両が衝突物体と衝突したことを検出するように構成し、衝突の発生を検出した場合に、検出時点から所定時間遡った日時までの期間の映像データ１３ａ及び検知データ１４ａ，１５ａを自動的に抽出して所定のサーバに送信するように構成してもよい。この場合、衝突が発生した時点で、それまでにドライブレコーダー１０で撮影した映像データ１３ａ、加速度センサ１４で検知した検知データ１４ａ、距離センサ１５で検知した検知データ１５ａが、所定のサーバに確保されるので、衝突の発生後に映像データ１３ａ及び検知データ１４ａ，１５ａが改ざん又は削除されることを防止できる。

（実施形態２）
カメラ１３で撮影した映像データ１３ａから抽出した衝突撮影フレームに対して、各フレーム中の衝突物体にマークを付加するアノテーション処理を行うドライブレコーダーについて説明する。本実施形態のドライブレコーダーは、実施形態１のドライブレコーダー１０と同様の構成を有するので、構成についての説明は省略する。また、本実施形態のドライブレコーダー１０は、図２に示す処理と同様の処理を行う。これにより、本実施形態のドライブレコーダー１０においても、車両の走行中にカメラ１３で撮影した映像データ１３ａ、加速度センサ１４で検知した加速度の検知データ１４ａ、距離センサ１５で計測した距離の検知データ１５ａが記憶媒体１６ａに記憶される。

図５は、実施形態２のドライブレコーダー１０による撮影箇所の抽出処理手順の一例を示すフローチャート、図６は、撮影箇所の抽出処理を説明するための模式図である。図５に示す処理は、図３に示す処理において、ステップＳ２５の代わりにステップＳ４１〜Ｓ４２を追加し、ステップＳ２７，Ｓ２８の間にステップＳ４３〜Ｓ４４を追加し、ステップＳ２９〜Ｓ３０を削除したものである。図３と同じステップについては説明を省略する。以下の処理においても一部を専用のハードウェア回路で実現してもよい。

本実施形態のドライブレコーダー１０において、制御部１１は、図３中のステップＳ２１〜Ｓ２４と同様の処理を行う。これにより、制御部１１は、ドライブレコーダー１０が搭載された車両が衝突物体と衝突した可能性が高い衝突タイミングを検出することができ、衝突タイミングに対応するフレームから衝突相手の物体（衝突物体）を特定することができる。制御部１１は、衝突タイミングに対応するフレーム中の衝突物体を特定した後、このフレームに対して、衝突物体を示すマークを付加するアノテーション処理を行う（Ｓ４１）。なお、制御部１１（付加部）は、フレーム中の衝突物体を特定した場合、例えばフレーム中の衝突物体の位置及び領域を示すメタデータを生成し、フレームに対してメタデータを付加する。これにより、制御部１１は、衝突タイミングに対応するフレームに対して、衝突物体にマークを付加することができる。例えば図６Ｃに示すように、制御部１１は、フレーム中の衝突物体の領域を覆うように、フレーム中の衝突物体に縁取りを付加する。また、制御部１１は、フレーム中の衝突物体を囲むバウンディングボックスを付加してもよく、このようにフレーム中の衝突物体にマークを付加することにより、フレーム中のどの物体が衝突物体であることを明示することができる。

制御部１１は、衝突物体を示すマークを付加したフレームの撮影日時を特定し、マークを付加したフレームと、特定した撮影日時とを記憶部１２に記憶する（Ｓ４２）。次に制御部１１は、図３中のステップＳ２６〜Ｓ２７と同様の処理を行い、マークを付加したフレームの直前のフレームを抽出し（Ｓ２６）、直前フレーム中の衝突物体を特定する（Ｓ２７）。これにより、マークを付加したフレームから時間軸の逆方向（過去に遡る方向）に衝突物体の追跡処理を行うことができる。そして制御部１１は、直前フレームに対して、衝突物体を示すマークを付加し（Ｓ４３）、マークを付加した直前フレームと、直前フレームの撮影日時とを記憶部１２に記憶する（Ｓ４４）。ここでも、制御部１１は、特定した直前フレーム中の衝突物体に縁取り又はバウンディングボックス等のマークを付加する。

そして制御部１１は、マークを付加した直前フレームにおける衝突物体の撮影領域（追跡領域）に基づいて、追跡処理を終了する条件を満たすか否かを判断し（Ｓ２８）、追跡処理を終了する条件を満たしていないと判断した場合（Ｓ２８：ＮＯ）、ステップＳ２６の処理に戻り、ステップＳ２６〜Ｓ２７，Ｓ４３〜Ｓ４４及びＳ２８の処理を繰り返す。これにより、時間軸の逆方向（過去に遡る方向）に各フレーム中の衝突物体を追跡することができ、追跡した各フレーム中の衝突物体にマークを付加することができ、衝突物体にマークを付加したフレームを記憶部１２に記憶することができる。追跡処理を終了する条件を満たすと判断した場合（Ｓ２８：ＹＥＳ）、制御部１１は処理を終了する。

上述した処理により、ドライブレコーダー１０は、車両が物体と衝突したタイミングから、時間軸の逆方向に、衝突物体と衝突する前の所定タイミング（追跡処理の終了条件を満たすフレームの撮影タイミング）まで各フレーム中の衝突物体を追跡することができる。そして、ドライブレコーダー１０は、衝突物体を追跡した各フレーム（衝突の状況が撮影された衝突撮影フレーム）を抽出することができ、抽出した各フレーム中の衝突物体にマークを付加した衝突撮影フレームを生成することができる。例えば図６Ａに示すフレームが、衝突物体との衝突前の所定タイミングに撮影されたフレームであり、図６Ｃに示すフレームが、衝突タイミングに撮影されたフレームであり、図６Ｂに示すフレームが、その中間のタイミングで撮影されたフレームであるとする。この場合、ドライブレコーダー１０は、図６Ａに示すフレームから図６Ｃに示すフレームまでの複数のフレームを抽出し、それぞれのフレーム中の衝突物体にマークを付加した衝突撮影フレームを生成する。

本実施形態においても、ドライブレコーダー１０が生成した衝突撮影フレームは、例えば通信部１８を介して外部の装置へ送信され、又は記憶媒体１６ａを介して外部の装置に入力することができる。また、本実施形態においても、制御部１１は、ステップＳ２１で、車両が衝突した可能性が高いタイミングを複数検出した場合、それぞれ検出したタイミングについて、上述した処理を行うことにより、それぞれの衝突撮影フレームを抽出してもよい。

本実施形態では、上述した実施形態１と同様の効果が得られる。また本実施形態では、カメラ１３で撮影した映像データ１３ａから抽出された衝突撮影フレームに、各フレーム中の衝突物体にマークを付加できるので、フレーム中の衝突物体を把握し易い衝突撮影フレームを生成できる。本実施形態のドライブレコーダー１０においても、実施形態１で適宜説明した変形例の適用が可能である。例えば、ドライブレコーダー１０が取得した映像データ１３ａ、加速度センサ１４の検知データ１４ａ、距離センサ１５の検知データ１５ａに基づいて、車両が物体に衝突したタイミングを特定し、特定した衝突タイミングに基づいて衝突撮影フレームを抽出する処理を他の装置が実行するように構成してもよい。また、ドライブレコーダー１０を、ドライブレコーダー１０が搭載された車両が衝突物体と衝突したことを検出するように構成し、衝突の発生を検出した場合に、検出時点から所定時間遡った日時までの期間の映像データ１３ａ及び検知データ１４ａ，１５ａを自動的に抽出して所定のサーバ（他の装置）に送信するように構成してもよい。

（実施形態３）
衝突タイミングから時間軸の逆方向（過去に遡る方向）のフレームだけでなく、時間軸の順方向（時間の経過方向）のフレームについても衝突物体の追跡処理を行うドライブレコーダーについて説明する。本実施形態のドライブレコーダーは、実施形態１のドライブレコーダー１０と同様の構成を有するので、構成についての説明は省略する。また、本実施形態のドライブレコーダー１０は、図２に示す処理と同様の処理を行う。これにより、本実施形態のドライブレコーダー１０においても、車両の走行中にカメラ１３で撮影した映像データ１３ａ、加速度センサ１４で検知した加速度の検知データ１４ａ、距離センサ１５で計測した距離の検知データ１５ａが記憶媒体１６ａに記憶される。

図７は、実施形態３のドライブレコーダー１０による撮影箇所の抽出処理手順の一例を示すフローチャート、図８は、撮影箇所の抽出処理を説明するための模式図である。図７に示す処理は、図３に示す処理において、ステップＳ２９，Ｓ３０の間にステップＳ５１〜Ｓ５４を追加したものである。図３と同じステップについては説明を省略する。以下の処理においても一部を専用のハードウェア回路で実現してもよい。

本実施形態のドライブレコーダー１０において、制御部１１は、図３中のステップＳ２１〜Ｓ２９と同様の処理を行う。これにより、制御部１１は、ドライブレコーダー１０が搭載された車両が衝突物体と衝突した可能性が高い衝突タイミングを検出し、検出した衝突タイミングから、衝突発生前の所定タイミング（衝突前タイミング）まで、時間軸の逆方向のフレームに対して衝突物体を追跡処理する。よって、制御部１１は、衝突発生前の所定タイミング（追跡処理の終了条件を満たすタイミング）を衝突前タイミングとして特定できる。

次に制御部１１は、ステップＳ２５で記憶部１２に記憶した衝突タイミングに対応するフレームから時間軸の順方向（時系列方向）に衝突物体の追跡処理を行う。具体的には、制御部１１は、衝突タイミングに対応するフレームの直後のフレーム（以下では直後フレームという）を映像データ１３ａから抽出する（Ｓ５１）。そして制御部１１は、直後フレーム中の衝突物体を特定する（Ｓ５２）。ここでは、制御部１１は、ステップＳ２７と同様の処理によって、直後フレーム中の衝突物体の領域を特定する。これにより、制御部１１は、衝突物体を時系列方向の順方向に追跡することができる。

制御部１１は、直後フレームにおいて特定した衝突物体の撮影領域（追跡領域）に基づいて、追跡処理を終了する条件を満たすか否かを判断する（Ｓ５３）。ここでは、制御部１１は、ステップＳ２８と同様の処理によって判断する。即ち、衝突物体までの距離が所定距離以上となった場合、又は、衝突物体の撮影領域が他の物体に隠れた状態となった場合に、追跡処理を終了する条件を満たすと判断できる。また制御部１１は、衝突物体が撮影範囲内に存在しなくなった場合、又は、衝突タイミングから所定時間が経過した場合に、追跡処理を終了する条件を満たすと判断してもよい。

制御部１１は、追跡処理を終了する条件を満たしていないと判断した場合（Ｓ５３：ＮＯ）、ステップＳ５１の処理に戻り、ステップＳ５１〜Ｓ５３の処理を繰り返す。具体的には、制御部１１は、直近のステップＳ５１で抽出した直後フレームに対して更に直後のフレームを映像データ１３ａから抽出し（Ｓ５１）、抽出した直後フレーム中の衝突物体を特定する（Ｓ５２）。制御部１１は、追跡処理を終了する条件を満たすと判断するまで、ステップＳ５１〜Ｓ５３の処理を繰り返し、追跡処理を終了する条件を満たすと判断した場合（Ｓ５３：ＹＥＳ）、ここでのフレーム（即ち、追跡処理を終了する条件を満たすと判断した直後フレーム）の撮影日時を、衝突後タイミング（衝突が発生した後の日時）として記憶部１２に記憶する（Ｓ５４）。制御部１１は、ステップＳ５１〜Ｓ５３の処理を繰り返すことにより、衝突物体との衝突が発生した後の所定のタイミング（例えば衝突物体が撮影範囲内に存在しなくなったタイミング）まで衝突物体の追跡処理を行うことができ、衝突後タイミングを特定することができる。

上述した処理により、本実施形態では、衝突物体との衝突が発生する前の所定のタイミング（衝突前タイミング）の日時と、衝突が発生した後の所定のタイミング（衝突後タイミング）とを特定することができる。よって、制御部１１は、ステップＳ２９で記憶部１２に記憶した衝突前タイミングから、ステップＳ５４で記憶部１２に記憶した衝突後タイミングまでの時間（期間）に対応するフレームを、衝突の状況を撮影した衝突撮影フレームとして映像データ１３ａから抽出し（Ｓ３０）、処理を終了する。例えば図８Ａに示すフレームが衝突前タイミングで撮影されたフレームであり、図８Ｃに示すフレームが衝突タイミングで撮影されたフレームであり、図８Ｄに示すフレームが衝突後タイミングで撮影されたフレームであるとする。この場合、制御部１１は、図８Ａに示すフレームから図８Ｄに示すフレームまでの複数のフレームを抽出する。

上述した処理により、本実施形態のドライブレコーダー１０は、車両が物体と衝突したタイミングから、時間軸の逆方向に衝突前の所定タイミングまで各フレーム中の衝突物体を追跡すると共に、時間軸の順方向に衝突後の所定タイミングまで各フレーム中の衝突物体を追跡する。そして、ドライブレコーダー１０は、衝突物体を追跡した各フレームを、衝突の状況が撮影された衝突撮影フレームとして抽出することができる。これにより、車両が物体と衝突する前から、車両が物体と衝突した後までの状況を撮影した衝突撮影フレームを抽出できる。

本実施形態においても、ドライブレコーダー１０が生成した衝突撮影フレームは、例えば通信部１８を介して外部の装置へ送信され、又は記憶媒体１６ａを介して外部の装置に入力することができる。また、本実施形態においても、制御部１１は、ステップＳ２１で、車両が衝突した可能性が高いタイミングを複数検出した場合、それぞれ検出したタイミングについて、上述した処理を行うことにより、それぞれの衝突撮影フレームを抽出してもよい。本実施形態の構成は、上述した実施形態２のドライブレコーダー１０にも適用できる。実施形態２のドライブレコーダー１０に適用した場合、車両が物体と衝突する前から、車両が物体と衝突した後までの衝突撮影フレームにおいて、各フレーム中の衝突物体にマークが付加された衝突撮影フレームを生成できる。

本実施形態では、上述した各実施形態と同様の効果が得られる。また本実施形態では、車両が物体と衝突する前から衝突するまでのフレームに加えて、車両が物体と衝突してから所定時間までのフレームも抽出するので、衝突前の状況だけでなく衝突後の状況も把握できる衝突撮影フレームを生成できる。本実施形態のドライブレコーダー１０においても、上述した各実施形態で適宜説明した変形例の適用が可能である。なお、ドライブレコーダー１０を、ドライブレコーダー１０が搭載された車両が物体と衝突したことを検出するように構成し、衝突の発生を検出した場合に、映像データ１３ａ及び検知データ１４ａ，１５ａを自動的に抽出して他の装置に送信するように構成する場合、衝突発生時点から所定時間遡った日時から、衝突発生時点から所定時間経過した日時までの期間の映像データ１３ａ及び検知データ１４ａ，１５ａを他の装置に送信するように構成してもよい。

（実施形態４）
上述した実施形態１〜３のドライブレコーダー１０は、近赤外光又は赤外光等の光を用いて車両の周囲の対象物までの距離を計測する距離センサ１５を備える構成であった。このような距離センサ１５に加えて、又は距離センサ１５の代わりに、ミリ波レーダー又は超音波センサを用いて距離を計測するように構成された距離センサを備えるドライブレコーダーについて説明する。距離センサ以外の構成は、実施形態１〜３のドライブレコーダー１０と同様の構成であるので、構成についての説明は省略する。なお、ミリ波レーダー又は超音波センサによって構成された距離センサを備えるドライブレコーダー１０においても、上述した実施形態１〜３の各ドライブレコーダー１０と同様の処理を実行でき、同様の効果が得られる。

ミリ波レーダーは、例えば７７ＧＨｚ、７９ＧＨｚ等の周波数帯の電波を送信する送信器と、送信器が送信した電波の対象物による反射波を受信する受信器とを有し、受信した反射波に基づいて対象物までの距離を計測する距離センサである。超音波センサは、超音波を発信する送波器と、送波器が送信した超音波の対象物による反射波を受信する受波器とを有し、超音波の発信から反射波の受信までに要した時間に基づいて対象物までの距離を計測するセンサである。ミリ波レーダー又は超音波センサは、例えば車両の前方、後方、左側、右側、又は周囲の対象物までの距離を計測するように設けられる。以下では、代表してミリ波レーダーを備える構成について説明するが、超音波センサを備える場合であっても同様の処理が可能である。

ミリ波レーダーを備える本実施形態のドライブレコーダー１０は、図２に示す処理と同様の処理を行う。なお、図２中のステップＳ１４において、制御部１１は、ミリ波レーダーによる距離の計測処理を開始する。即ち、制御部１１（取得部）は、ミリ波レーダーを用いて、車両の周囲の対象物までの距離を計測することによって時系列の距離データを取得する。これにより、本実施形態のドライブレコーダー１０においても、車両の走行中にカメラ１３による映像データ１３ａ、加速度センサ１４による検知データ１４ａ、ミリ波レーダーによる計測処理によって得られる距離データが逐次記憶媒体１６ａに記憶される。なお、ミリ波レーダーは、計測処理を終了するまで定期的に距離の検知を継続し、距離の検知データは検知日時に対応付けて記憶される。

また、本実施形態のドライブレコーダー１０は、図３に示す処理と同様の処理を行う。なお、図３中のステップＳ２２において、制御部１１は、車両が衝突した可能性が高い衝突タイミング（衝突日時）に検知された距離データを、記憶媒体１６ａに記憶された距離データから抽出する。そして、ステップＳ２３において、制御部１１（物体検出部）は、抽出した距離データに対して物体検出処理を行い、距離データ中の物体を検出する。なお、ミリ波レーダーによって検知された距離データによれば、周囲の物体の形状及びサイズを特定できる。ここでも、制御部１１は、検出すべき各物体について予め機械学習等で学習済みの判別モデルを用いて、距離データ中に、判別モデルで判別可能な物体が存在するか否かを検出してもよく、テンプレートマッチング技術によって、距離データ中に含まれる物体を検出してもよい。更に、ステップＳ２４において、制御部１１（特定部）は、距離データ中に検出した物体から衝突物体を特定する。

本実施形態のドライブレコーダー１０では、制御部１１（追跡部）は、ミリ波レーダーによる距離データに対して、ステップＳ２６〜Ｓ２８の処理を繰り返すことにより、距離データに対して、衝突タイミングから時間軸の逆方向に衝突物体の追跡処理を行うことができる。よって、本実施形態においても、衝突タイミングから、衝突物体との衝突が発生する前の所定のタイミング（例えば車両から衝突物体までの距離が所定距離以上であるタイミング）まで衝突物体を追跡することができる。従って、本実施形態では、ユーザが煩雑な作業を行うことなく、ミリ波レーダーによって検知した距離データに基づいて、衝突前タイミングから衝突タイミングまでの期間にミリ波レーダーによって検知された距離データを抽出することができる。このように抽出された距離データによっても、衝突相手との衝突までの状況を把握することができる。従って、衝突の状況を把握する際に、ドライブレコーダー１０（ミリ波レーダー）による検知データ（距離データ）から、衝突の瞬間に検知された箇所を探し出すための操作負担を削減できる。また、このように抽出された距離データも、距離データが入力された場合に、衝突物体に衝突した瞬間の距離データであるか否かを判別する学習モデルを学習させる際の教師データに用いることができる。

本実施形態のドライブレコーダー１０では、上述した処理を行う場合、カメラ１３、加速度センサ１４、近赤外光又は赤外光等の光を用いて距離を計測する距離センサ１５を備えていなくてもよい。この場合、ミリ波レーダーによる距離データに基づいて、衝突タイミング及び衝突前タイミングを検知し、衝突前タイミングから衝突タイミングまでの期間にミリ波レーダーによって検知された距離データを提供できる。なお、本実施形態のドライブレコーダー１０は、ミリ波レーダーによる距離データに基づいて衝突タイミング及び衝突前タイミングを特定した後、カメラ１３で撮影した映像データ１３ａから、特定した衝突前タイミングから衝突タイミングまでの期間におけるフレーム（衝突撮影フレーム）を抽出する構成とすることもできる。

本実施形態の構成は、上述した実施形態２，３のドライブレコーダー１０にも適用できる。実施形態２のドライブレコーダー１０に適用した場合、ミリ波レーダーによる距離データから抽出された、衝突の前後に検知された距離データにおいて、距離データ中の衝突物体にマークを付加することができ、衝突物体を把握し易い距離データを生成できる。また、実施形態３のドライブレコーダー１０に適用した場合、車両が衝突物体と衝突する前から衝突した後までの距離データを抽出でき、衝突前の状況だけでなく衝突後の状況も把握できる距離データを生成できる。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１０ ドライブレコーダー
１１ 制御部
１２ 記憶部
１３ カメラ
１４ 加速度センサ
１５ 距離センサ
１６ 記憶読出部
１７ 入力部
１６ａ 記憶媒体

Claims (8)

1. 車両から該車両の周囲の物体を撮影して得られた映像データ、及び／又は、車両から該車両の周囲の物体までの距離を計測する距離センサによる計測データから物体を検出する物体検出部と、
   前記映像データを解析し、及び／又は、前記計測データを用いることにより得られる距離データを時系列に複数取得する取得部と、
   前記車両の物体との衝突時点を推定及び／又は取得する衝突特定部と、
   前記距離データに基づいて、衝突時点における前記車両に最近接している衝突物体を特定する特定部と、
   前記衝突時点からの各時間におけるデータの前記衝突物体を衝突時点のデータを基に特定して追跡する追跡部と
   を備える情報処理装置。
2. 前記追跡部は、前記衝突時点から過去方向の各時間におけるデータの前記衝突物体を追跡する
   請求項１に記載の情報処理装置。
3. 前記追跡部が前記衝突物体を追跡する各時間におけるデータに対して、前記衝突物体を示すメタデータを付加する付加部
   を更に備える請求項１又は２に記載の情報処理装置。
4. 前記距離データは、前記映像データから認識した物体の時系列における大きさの変化により推定する
   請求項１から３までのいずれかひとつに記載の情報処理装置。
5. 前記衝突特定部は、前記車両に取り付けられたセンサにより前記衝突時点を取得する
   請求項１から４までのいずれかひとつに記載の情報処理装置。
6. 前記追跡部は、前記各時間におけるデータにおける前記衝突物体の大きさが所定値未満となった場合、又は前記各時間におけるデータに基づく前記衝突物体までの距離が所定値以上となった場合、前記衝突物体の追跡を終了する
   請求項１から５までのいずれかひとつに記載の情報処理装置。
7. 車両から該車両の周囲の物体を撮影して得られた映像データ、及び／又は、車両から該車両の周囲の物体までの距離を計測する距離センサによる計測データから物体を検出し、
   前記映像データを解析し、及び／又は、前記計測データを用いることにより得られる距離データを時系列に複数取得し、
   前記車両の物体との衝突時点を推定及び／又は取得し、
   前記距離データに基づいて、衝突時点における前記車両に最近接している衝突物体を特定し、
   前記衝突時点からの各時間におけるデータの前記衝突物体を衝突時点のデータを基に特定して追跡する
   処理を情報処理装置が実行する情報処理方法。
8. 車両から該車両の周囲の物体を撮影して得られた映像データ、及び／又は、車両から該車両の周囲の物体までの距離を計測する距離センサによる計測データから物体を検出し、
   前記映像データを解析し、及び／又は、前記計測データを用いることにより得られる距離データを時系列に複数取得し、
   前記車両の物体との衝突時点を推定及び／又は取得し、
   前記距離データに基づいて、衝突時点における前記車両に最近接している衝突物体を特定し、
   前記衝突時点からの各時間におけるデータの前記衝突物体を衝突時点のデータを基に特定して追跡する
   処理を情報処理装置に実行させるプログラム。

Images