JP7148390B2

JP7148390B2 - 接近物検出装置及び接近物検出方法

Info

Publication number: JP7148390B2
Application number: JP2018245056A
Authority: JP
Inventors: 宏海老原; 徹夫山本
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2018-12-27
Filing date: 2018-12-27
Publication date: 2022-10-05
Anticipated expiration: 2038-12-27
Also published as: JP2020107064A

Description

本発明は、接近物検出装置及び接近物検出方法に関する。

車両に搭載された接近物検出装置は、車両に搭載されたカメラによって撮影された画像を用いて接近物を検出する。しかし、車両はドアの開閉等によって揺れる。この車両の揺れがカメラによって撮影された画像に反映されると、接近物検出装置は、正確に接近物を検出することができない。このため、接近物検出装置は、ドアが開閉されると、接近物の検出を一時的に中止している。

同様に、特許文献１に記載のドライブレコーダにおいても、ドア開閉等の記録する必要のないエラーイベントが発生すると、所定の期間、不揮発性メモリへの画像の記録を禁止する。

しかしながら、車両のドアが閉じられた場合、その後、車両が発進する可能性がある。また、車両のドアが開けられた場合、その後、人が車両に乗降する可能性がある。

したがって、ドアが開閉された場合においても、接近物検出を継続できるようにすることが望ましい。

特開２０１８－５８８４号公報

本発明の目的は、ドアが開閉された場合であっても、接近物を検出することができる接近物検出装置及び接近物検出方法を提供することである。

（第１の発明）
第１の発明は、接近する接近物を検出する接近物検出装置であって、カメラによって撮影された第１撮影画像と、前記第１撮影画像が撮影された時刻よりも後の時刻に前記カメラによって撮影された第２撮影画像とを比較することによって、物体の移動ベクトルを検出する移動ベクトル検出部と、前記物体の移動ベクトルに基づいて、前記カメラの揺れベクトルを検出する揺れ検出部と、ドアが閉まっているか否かを示す開閉情報を取得し、取得した開閉情報に基づいて前記ドアが閉まった時刻を特定する時刻特定部と、前記ドアが閉まった時刻における前記カメラの揺れベクトルに基づいて前記物体の移動ベクトルを補正し、補正された前記物体の移動ベクトルに基づいて、前記接近物の位置を検出する接近物検出部と、を備える。

第１の発明は、物体の移動ベクトルを、ドアが閉まった時刻におけるカメラの揺れベクトルに基づいて補正することで、接近している接近物を検出する。したがって、第１の発明は、ドアが閉まった直後であっても、接近物を検出することができる。

（第２の発明）
第２の発明に係る接近物検出装置は、前記時刻特定部が特定したドアが閉まった時刻から所定の条件が満たされるまでの間、前記カメラの揺れベクトルを検出し、前記接近物検出部は、前記時刻特定部が特定したドアが閉まった時刻から所定の条件が満たされるまでの間、前記カメラの揺れベクトルに基づいて前記物体の移動ベクトルを補正する。

第２の発明は、カメラの揺れを考慮した接近物の検出を、ドアが閉まった後、所定の条件が満たされるまで継続する。このため、第２の発明は、ドアが閉まった後に揺れが継続している場合であっても、接近物を検出することができる。

（第３の発明）
第３の発明に係る接近物検出装置は、前記揺れ検出部は、前記カメラの揺れベクトルの大きさが所定の値を超えると、前記接近物検出部による接近物の検出を停止させる。

第３の発明は、カメラの揺れが所定の値を超えた場合に、接近物の検出を停止する。このため、カメラが大きく揺れた場合の誤検出を防止できる。

（第４の発明）
第４の発明に係る接近物検出方法は、接近する接近物を検出する接近物検出方法であって、カメラによって撮影された第１撮影画像と、前記第１撮影画像が撮影された時刻よりも後の時刻に前記カメラによって撮影された第２撮影画像とを比較することによって、物体の移動ベクトルを検出する移動ベクトル検出工程と、前記物体の移動ベクトルに基づいて、前記カメラの揺れベクトルを検出する揺れ検出工程と、ドアが閉まっているか否かを示す開閉情報を取得し、取得した開閉情報に基づいて前記ドアが閉まった時刻を特定する時刻特定工程と、前記ドアが閉まった時刻における前記カメラの揺れベクトルに基づいて前記物体の移動ベクトルを補正し、補正された前記物体の移動ベクトルに基づいて、前記接近物の位置を検出する接近物検出工程と、を備える。

第４の発明に係る接近物検出方法は、物体の移動ベクトルを、ドアが閉まった時刻におけるカメラの揺れベクトルに基づいて補正することで、カメラに接近している接近物を検出する。したがって、本発明に係る接近物検出方法は、ドアが閉まった直後であっても、接近物を検出することができる。

本発明の接近物検出装置及び接近物検出方法は、ドアが閉まった直後であっても、接近物を検出することができる。

本発明の実施形態に係る接近物検出装置の構成を示す機能ブロック図である。接近物検知に用いる撮影画像の第１例を示す。接近物検知に用いる撮影画像の第２例を示す。図３に示した画像の一部を拡大した画像を示す。図４に示した画像の一部を拡大した画像を示す。検出した物体の移動ベクトルの一例を示す。物体の移動ベクトルの角度を説明する図を示す。物体の移動ベクトルを向きごとに集計したグラフの一例を示す。物体の移動ベクトルを大きさごとに集計したグラフの一例を示す。ベクトルの減算を説明する図を示す。補正後の物体の移動ベクトルの向きを示すグラフの一例を示す。補正後の物体の移動ベクトルの大きさを示すグラフの一例を示す。補正後の物体の移動ベクトルと画像を重ね合わせた図の第１例を示す。補正後の物体の移動ベクトルと画像を重ね合わせた図の第２例を示す。接近物検出方法を説明するフローチャートの一例を示す。ＣＰＵ等を接続するバス構成図の一例を示す。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は、以下に示す実施形態に限定されるものではない。また、これらの実施の例は例示に過ぎず、本発明は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のもの、又は相当するものを示すものとする。

（実施形態）
図１に本発明の実施形態に係る接近物検出装置の構成を示す機能ブロック図を示す。本実施形態に係る接近物検出装置２０は車両に搭載されている。また、接近物検出装置２０を搭載した車両は、停止している。

接近物検出装置２０は、接近する接近物を検出する。接近物検出装置２０は、車両に搭載されたカメラ１１が撮影した動画像を取得する。接近物検出装置２０は、カメラ１１によって撮影された動画像を用いて、カメラ１１に接近する接近物を検出する。接近物検出装置２０は、検出結果を通知部３１に出力する。接近物検出装置２０は、ドアセンサ１２から、車両のドアが閉まっているか否かの情報を取得する。

カメラ１１は、映像を撮影するための装置である。カメラ１１は、動画像を撮影する。カメラ１１は、車両に搭載されているので、車両の揺れに伴って揺れる。

ドアセンサ１２は、ドアが閉まっているか否かを示す開閉情報を出力する。

通知部３１は、接近物検出装置２０から取得した検出結果に基づいて、接近物が接近していることを車両の運転者等に通知する。通知部３１は、例えば、ディスプレイ、スピーカを備える。通知部３１は、接近物検出装置２０が接近物を検出すると、例えば、ディスプレイに警告画像を表示させ、スピーカに警告音を発させる。

接近物検出装置２０は、移動ベクトル検出部２１と、揺れ検出部２２と、時刻特定部２３と、接近物検出部２４と、を備える。

移動ベクトル検出部２１は、カメラ１１によって撮影された動画像をフレーム単位で取得する。以下、取得した動画像に含まれるフレームを「撮影画像」と記載する。移動ベクトル検出部２１は、時刻Ｔ１に撮影された第１撮影画像と、時刻Ｔ１よりも後の時刻である時刻Ｔ２に撮影された第２撮影画像を取得する。カメラ１１が動画像を３０ｆｐｓ（ｆｒａｍｅｓｐｅｒｓｅｃｏｎｄ）で出力する場合、時刻Ｔ２は、例えば、時刻Ｔ１の約３３ｍＳ後である。

移動ベクトル検出部２１は、第１撮影画像における物体の位置を基準として、第２撮影画像における物体の位置がどれだけ変化したかを検出し、物体の移動ベクトルを検出する。移動ベクトル検出部２１は、検出した物体の移動ベクトルと、その物体が撮影された時刻とを関連付けて出力する。

揺れ検出部２２は、移動ベクトル検出部２１が検出した物体の移動ベクトルを取得する。揺れ検出部２２は、取得した物体の移動ベクトルを用いて、揺れベクトルの検出を行う。

揺れベクトルについて説明する。揺れベクトルとは、カメラ１１の揺れの影響で発生した物体の移動ベクトルである。例えば、静止物を撮影しているカメラ１１が、時刻Ｔ１から時刻Ｔ２までの期間において、鉛直方向に揺れたとする。この場合、第２撮影画像における物体は、第１撮影画像における物体を基準として鉛直方向に移動する。このため、第１撮影画像及び第２撮影画像を用いて物体の移動ベクトルを抽出すると、静止物は、鉛直方向の物体の移動ベクトルを示す。このような、カメラ１１の揺れの影響で検出される物体の移動ベクトルが、揺れベクトルである。

揺れ検出部２２は、取得したドアが閉じた時刻から、所定の条件が満たされるまで、カメラ１１の揺れベクトルの検出を行う。揺れ検出部２２は、後述する時刻特定部２３からドアが閉じた時刻を取得する。また、揺れ検出部２２は、後述する時刻特定部２３から揺れベクトルの検出を停止する条件を取得する。揺れ検出部２２が揺れベクトルの検出を停止する条件とは、例えば、揺れ検出部２２によって決定される揺れ検出終了時刻を過ぎることや、カメラ１１が搭載された車両が発進することである。揺れ検出終了時刻は、例えば、ドアが閉じた時刻から１０秒である。

揺れ検出部２２は、移動ベクトル検出部２１によって検出された物体の移動ベクトルと、その物体が撮影された時刻とが関連付けられたデータとを取得する。揺れ検出部２２は、物体の移動ベクトルの向き及び大きさごとに、物体の移動ベクトルの数を集計する。揺れ検出部２２は、物体の移動ベクトルの向き及び大きさの両方において、最も数が大きな成分を揺れベクトルとして検出する。具体的な揺れベクトルの検出については、後述する。揺れ検出部２２は、揺れベクトルの大きさが所定の値を超えたと判断すると、接近物検出部２４に接近物の位置の検出を中止させる。接近物検出部２４による接近物の位置の検出については、後述する。

時刻特定部２３は、ドアセンサ１２から、ドアが閉まっているか否かを示す開閉情報を取得する。時刻特定部２３は、開閉信号を用いて、ドアが閉じた時刻Ｔ１を特定する。時刻特定部２３は、特定した時刻Ｔ１に基づいて、揺れ検出部２２が揺れベクトルの検出を停止する条件を出力する。

接近物検出部２４は、移動ベクトル検出部２１によって検出された物体の移動ベクトルと、その物体が撮影された時刻とが関連付けられたデータとを取得する。接近物検出部２４は、取得した物体の移動ベクトルを用いて、カメラ１１に接近する接近物と接近物の位置とを検出する。

接近物検出部２４は、揺れ検出部２２から取得した揺れベクトルを用いて、移動ベクトル検出部２１から取得した物体の移動ベクトルを補正する。接近物検出部２４は、ドアが閉じた時刻Ｔ１から、所定の条件が満たされるまでの間、物体の移動ベクトルを補正する。

接近物検出部２４は、ドアが閉じられた時刻Ｔ１における物体の移動ベクトルから、ドアが閉じられた時刻Ｔ１における揺れベクトルを減算することで、物体の移動ベクトルを補正する。また、接近物検出部２４は、補正された物体の移動ベクトルに基づいて、接近物と、接近物の位置とを検出する。接近物検出部２４は、カメラ１１の揺れが所定の大きさを超えると、接近物の検出を停止する。

＜動作概略＞
車両に搭載された接近物検出装置２０は、車両に搭載されたカメラ１１から取得した動画像を用いて接近物検知を行う。接近物検出装置２０は、車両が停止している場合に接近物検知を行う。車両のドアが閉じられると、接近物検出装置２０は、カメラ１１の揺れを考慮した接近物検知を行う。先ず、車両のドアが閉じられた場合について説明する。

（車両のドアが閉じられた場合の動作）
ドアセンサ１２は、時刻Ｔ１にドアが閉じられると、時刻特定部２３にドアが閉じられたことを開閉情報として通知する。時刻特定部２３は、ドアセンサ１２によってドアが閉じられたことを開閉情報として通知されると、ドアが閉じられた時刻を特定する。時刻特定部２３は、特定したドアが閉じられた時刻Ｔ１を出力する。時刻特定部２３は、揺れベクトルの検出を終了する時刻である揺れ検出終了時刻を決定する。時刻特定部２３は、揺れ検出終了時刻を出力する。

移動ベクトル検出部２１は、カメラ１１によって撮影された動画像を取得する。移動ベクトル検出部２１は、時刻特定部２３からドアが閉じられた時刻Ｔ１を取得すると、取得した動画像から、時刻Ｔ１における第１撮影画像と、時刻Ｔ２における第２撮影画像を取得する。時刻Ｔ２は時刻Ｔ１よりも後の時刻である。

図２に、第１撮影画像に相当する画像２００を示す。画像２００は、物体１０１から物体１１１を含む。以後の説明では、物体１０１を、車両１０１ということがある。図３に、第２撮影画像に相当する画像２０１を示す。画像２０１は、車両１０１と、物体１０２から物体１１１を有する。画像２００では、画像２００の左上端を原点としたＸ軸、Ｙ軸を用いて、位置、及び方向を示す。画像２０１についても同様である。

画像２００の物体１０１から物体１１１を基準とすると、画像２０１の物体１０１から物体１１１は、全体的にＹ軸の負方向に移動している。このため、画像２０１における物体１０２及び物体１１０の上部は、画像２０１に映っていない。ただし、物体１０５を基準とすると、画像２０１の車両１０１は、画像２００の車両１０１と比較してＹ軸の正方向に移動している。これらは、時刻Ｔ１から時刻Ｔ２の間に、走行による車両１０１の移動と、ドアが閉じられたことによるカメラ１１の揺れが生じたことが原因である。

車両１０１の移動、及びカメラ１１の揺れとの影響を、車両１０１周辺を抽出した画像を用いて説明する。図４に示した画像２０２は、画像２００の一部であり、図２に点線で囲んだ部分である。図５に示した画像２０３は、画像２０１の一部であり、図３に点線で囲んだ部分である。画像２０２及び画像２０３は、車両１０１と、物体１０４と、物体１０５とを有する。

移動ベクトル検出部２１は、画像２０２が有する特徴点と、画像２０３が有する特徴点を抽出する。特徴点の抽出は、例えば、Ｈａｒｒｉｓオペレータ等のコーナー検出法を用いる。移動ベクトル検出部２１は、抽出した特徴点の位置を比較し、特徴点の移動方向、移動量を求める。移動ベクトル検出部２１は、特徴点の移動方向、移動量から、特徴点の物体の移動ベクトルを検出する。つまり、移動ベクトル検出部２１は、画像２０２を画像２０３と比較してオプティカルフローを算出し、その取得したオプティカルフローを物体の移動ベクトルとして取得する。

図６に、移動ベクトル検出部２１が検出した物体の移動ベクトルを有する画像２０４を示す。画像２０４では、物体の移動ベクトルを２点鎖線で示す。また、画像２０４では、画像２０２の車両１０１等を実線で示し、画像２０３の車両１０１等を点線で示す。画像２０４に示すように、物体の移動ベクトルは、画像２０２の特定の点と、画像２０３のうちの画像２０２の特定の点に対応する点とを結ぶベクトルである。

図６に、物体の移動ベクトルｖ＿６１０１、ｖ＿６１０４、ｖ＿６１０５を示す。物体の移動ベクトルｖ＿６１０１は、車両１０１から検出された物体の移動ベクトルを代表する物体の移動ベクトルである。物体の移動ベクトルｖ＿６１０４は、物体１０４から検出された物体の移動ベクトルを代表する物体の移動ベクトルである。物体の移動ベクトルｖ＿６１０５は、物体１０５から検出された物体の移動ベクトルを代表する物体の移動ベクトルである。図６では、車両１０１、物体１０４、１０５に対して１個の物体の移動ベクトルのみを示している。しかし、実際には車両１０１、物体１０４、１０５の輪郭線に沿った複数の物体の移動ベクトルが検出される。

図６に示すように、車両１０１の物体の移動ベクトルｖ＿６１０１と、車両１０１以外の物体の移動ベクトルｖ＿６１０４、ｖ＿６１０５は大きさが異なる。この大きさの相違は、車両１０１がカメラ１１の揺れとは逆の方向に移動しているために生じる。移動ベクトル検出部２１は、検出した物体の移動ベクトルと、時刻Ｔ１とを関連付けて出力する。

揺れ検出部２２は、移動ベクトル検出部２１によって検出された物体の移動ベクトルを取得する。揺れ検出部２２は、時刻特定部２３によって決定された揺れ検出終了時刻を取得する。揺れ検出部２２は、取得した物体の移動ベクトルを、向きごとに集計する。また、揺れ検出部２２は、取得した物体の移動ベクトルを、大きさごとに集計する。

図７に物体の移動ベクトルの向きの定義を示す。図７に示したＸ軸及びＹ軸は、図２に示した画像の座標を示す際に用いたＸ軸及びＹ軸と同じである。物体の移動ベクトルの向きは、Ｙ軸の負方向を０度として、時計回りを正方向の角度とする。例えば、図７に示したベクトルｖ４の向きは４５度である。

図８に、画像２０４に示した物体の移動ベクトルを、向きごとに集計した結果を示す。画像２０４が有する物体の移動ベクトルは、向きが－１５度から１５度の範囲において、数がＡ１である。画像２０４には、向きが－１５度から１５度の範囲以外の物体の移動ベクトルはない。

図９に、画像２０４に示した物体の移動ベクトルを、大きさごとに集計した結果を示す。図９では、物体の移動ベクトルの大きさの単位はピクセルである。画像２０４が有する物体の移動ベクトルは、大きさが６において数がＡ２１であり、大きさが９において数がＡ２２である。図９に示すグラフは、大きさが９において数がＡ２２の物体の移動ベクトルが最も数が多いことを示している。

揺れ検出部２２は、向きが－１５度から１５度の範囲であり、大きさが９において数がＡ２２の物体の移動ベクトルを、揺れベクトルとして検出する。つまり、揺れ検出部２２は、向き、大きさの数が最も多い物体の移動ベクトルを、揺れベクトルとして検出する。

接近物検出部２４は、移動ベクトル検出部２１から物体の移動ベクトルと、物体の移動ベクトルを検出した時刻Ｔ１とを取得する。接近物検出部２４は、時刻特定部２３からドアが閉じられた時刻Ｔ１を取得する。接近物検出部２４は、ドアが閉じられた時刻から所定の条件が満たされるまでの間、揺れベクトルに基づいて物体の移動ベクトルを補正する。接近物検出部２４は、物体の移動ベクトルを検出した時刻はＴ１であり、ドアが閉じられた時刻Ｔ１であるため、揺れベクトルに基づいて、物体の移動ベクトルを補正する。

接近物検出部２４は、物体の移動ベクトルから、揺れベクトルを減算することで、物体の移動ベクトルを補正する。図１０を用いて、ベクトルの減算について説明する。物体の移動ベクトルｖ３１から、揺れベクトルｖ３２を減算すると、ベクトルｖ３３となる。このベクトルｖ３３の始点を物体の移動ベクトルｖ３１と一致させるために、ベクトルｖ３３を平行移動させて、ベクトルｖ３４とする。このベクトルｖ３４が、補正後の物体の移動ベクトルである。

なお、揺れが発生していない場合、揺れベクトルｖ３２はゼロベクトルである。このため、揺れが発生していない場合、補正後の物体の移動ベクトルｖ３４は、物体の移動ベクトルｖ３１と一致する。

図１１に、接近物検出部２４によって補正された、補正後の物体の移動ベクトルの向きを示す。補正後の物体の移動ベクトルは、向きが１６５度から１９５度の範囲において、数がＡ３である。

図１２に、接近物検出部２４によって補正された、補正後の物体の移動ベクトルの大きさを示す。補正後の物体の移動ベクトルは、大きさが３において、数がＡ４である。図１１に示したＡ３が示す数と、図１２に示したＡ４が示す数は等しい。

図１３に、接近物検出部２４によって補正された、補正後の物体の移動ベクトルｖ＿１３１０１を２点鎖線で示す。補正後の物体の移動ベクトルｖ＿１３１０１は、車両１０１から検出された物体の移動ベクトルを代表する物体の移動ベクトルである。図１３では、車両１０１に対して１個の物体の移動ベクトルのみを示しているが、実際には車両１０１の輪郭線に沿った複数の物体の移動ベクトルが検出される。図１３に示すように、補正後の物体の移動ベクトルｖ＿１３１０１はＹ軸の正方向を向いている。また、図１３に、画像２０２での車両１０１、及び画像２０３での車両１０１を示す。車両１０１は、時刻Ｔ１の画像２０２を基準とすると、時刻Ｔ２の画像２０３ではＹ軸の負方向に移動している。

図１４に、補正後の物体の移動ベクトルｖ＿１３１０１から求めた補正後の車両１０１の位置を、車両１０１（補正後）として示す。車両１０１（補正後）は、時刻Ｔ１の画像２０２を基準とすると、Ｙ軸の正方向に移動している。

接近物検出部２４は、補正後の物体の移動ベクトルの向きに基づいて、物体が検出したカメラ１１の位置に向かっているか否かを検出する。言い換えれば、車両１０１が、検出したカメラ１１の位置に向かっているか否かを検出する。

接近物検出部２４は、車両１０１が検出したカメラ１１の位置に向かっていると判定すると、車両１０１を接近物として検出する。また、接近物検出部２４は、補正後の物体の移動ベクトルの先端の位置を、車両１０１の位置として検出する。通知部３１は、接近物検出部２４によって検出された接近物である車両１０１の位置を通知する。

（車両のドアが閉じられた後、所定の条件が満たされるまでの動作）
接近物検出装置２０は、車両のドアが閉じられた後、所定の条件が満たされるまでの間、接近物検出部２４による接近物検出の際に、揺れベクトルを用いて物体の移動ベクトルを補正する。ここで、所定の条件とは、揺れ検出終了時刻が過ぎることである。つまり、接近物検出装置２０は、車両のドアが閉じられた後、揺れ検出終了時刻が過ぎるまで、接近物検出部２４による接近物検出の際に、揺れベクトルを用いて物体の移動ベクトルを補正する。

（車両のドアが閉じられた後、所定の条件が満たされた後の動作）
接近物検出装置２０は、車両のドアが閉じられた後、所定の条件が満たされると、接近物検出部２４による接近物検出の際に、揺れベクトルによる補正を行わない。ここで、所定の条件とは、揺れ検出終了時刻が過ぎることである。所定の条件は、例えば、車両の駐車後であり、揺れ検出終了時刻が過ぎた後に満たされる。つまり、接近物検出装置２０に備わる接近物検出部２４は、揺れ検出終了時刻が過ぎると、移動ベクトル検出部２１によって検出された物体の移動ベクトルを取得して接近物検出を行う。なお、車両のドアが閉じられる前も、同じ動作を行う。

＜フローチャート＞
図１５に、接近物検出装置２０のフローチャートを示す。接近物検出装置２０は、車両が停止しているときに、定期的にこのフローチャートを実行する。また、本実施形態に係る接近物検出方法は、このフローチャートに沿って実行される。

先ず、時刻特定部２３は、ドアが閉じたか否かを確認する（ステップＳ１０１）。ステップＳ１０１において、ドアが閉じた場合（ステップＳ１０１でＹｅｓ）、時刻特定部２３は、ドアが閉じた時刻を特定する時刻特定工程を実行する（ステップＳ１０２）。時刻特定部２３は、時刻Ｔ１を、ドアが閉じられた時刻とする。

ステップＳ１０２の後、時刻特定部２３は、揺れベクトルの検出を終了する時刻である揺れ検出終了時刻を決定する（ステップＳ１０３）。

ステップＳ１０３の後、移動ベクトル検出部２１は、時刻Ｔ１に撮影された第１撮影画像と、時刻Ｔ２に撮影された第２撮影画像とを取得する。移動ベクトル検出部２１は、第１撮影画像と、第２撮影画像とを比較することによって、物体の移動ベクトルを検出する移動ベクトル検出工程を実行する（ステップＳ１０４）。

ステップＳ１０１において、ドアが閉じていない場合（ステップＳ１０１でＮｏ）、移動ベクトル検出部２１は、移動ベクトル検出工程を実行する（ステップＳ１０４）。その際、移動ベクトル検出部２１は、時刻Ｔ１を、本フローチャートを開始した時刻とする。

ステップＳ１０４の後、揺れ検出終了時刻の前である場合（ステップＳ１０５でＹｅｓ）、揺れ検出部２２は、カメラ１１の揺れベクトルを検出する揺れ検出工程を実行する（ステップＳ１０６）。ステップＳ１０６の後、揺れ検出部２２は、揺れベクトルが所定の大きさを超えているか否かを確認する（ステップＳ１０７）。ステップＳ１０７において、揺れベクトルが所定の大きさを超えている場合、（ステップＳ１０７においてＹｅｓ）、本フローチャートは終了する。

ステップＳ１０７において、揺れベクトルが所定の大きさを超えていない場合（ステップＳ１０７においてＮｏ）、接近物検出部２４は、揺れベクトルに基づいて、物体の移動ベクトルを補正する（ステップＳ１０８）。ステップＳ１０８の後、接近物検出部２４は、接近する物体を検出する接近物検出工程を実行する（ステップＳ１０９）。ステップＳ１０９の後、本フローチャートは終了する。

ステップＳ１０５において、揺れ検出終了時刻の前ではない場合（ステップＳ１０５でＮｏ）、接近物検出部２４は、接近物検出工程を実行する（ステップＳ１０９）。ステップＳ１０９の後、本フローチャートは終了する。

（車両が揺れていない場合の動作）
図１５に示したフローチャートを用いて、車両が揺れていない場合における接近物検出装置２０の動作について説明する。車両が揺れていない場合とは、例えば、車両の駐車後であり、揺れ検出終了時刻が過ぎた後である。

時刻特定部２３は、ドアが閉じたか否かを確認する（ステップＳ１０１）。ドアは閉じていないので（ステップＳ１０１でＮｏ）、移動ベクトル検出部２１は、移動ベクトル検出工程を実行する（ステップＳ１０４）。

ステップＳ１０４の後、接近物検出装置２０は、ステップＳ１０５を実行する。揺れ検出時刻が過ぎているか、揺れ検出時刻が設定されていないため（ステップＳ１０５でＮｏ）、接近物検出部２４は、接近物検出工程を実行する（ステップＳ１０９）。この場合、揺れ補正（ステップＳ１０８）が行われないため、接近物検出部２４は、揺れベクトルを用いた接近物検出を行わない。ステップＳ１０９の後、本フローチャートは終了する。

本実施形態に係る接近物検出装置２０は、物体の移動ベクトルを、ドアが閉まった時刻におけるカメラ１１の揺れベクトルに基づいて補正することで、カメラ１１に接近している接近物を検出する。したがって、本実施形態に係る接近物検出装置２０は、ドアが閉まった直後であっても、接近物を検出することができる。

また、本実施形態に係る接近物検出装置２０は、カメラ１１の揺れを考慮した接近物の検出を、ドアが閉まった後、所定の条件が満たされるまで継続する。このため、ドアが閉まった後、揺れが継続している場合であっても、接近物を検出することができる。

また、本実施形態に係る接近物検出装置２０は、カメラ１１の揺れが所定の値を超えた場合に、接近物の検出を停止する。このため、カメラ１１が大きく揺れた場合の誤検出を防止できる。

また、本実施形態に係る接近物検出方法は、物体の移動ベクトルを、ドアが閉まった時刻におけるカメラの揺れベクトルに基づいて補正することで、カメラに接近している接近物を検出する。したがって、本実施形態に係る接近物検出方法は、ドアが閉まった直後であっても、接近物を検出することができる。

（変形例１）
上記実施形態では、接近物検出装置２０は、物体１０１から物体１１１を検出する例を説明したが、本発明はこれに限定されない。１個の物体から物体の移動ベクトルが１個検出される場合、接近物検出装置２０が検出する物体は、３個以上であればよい。接近物検出装置２０は、揺れベクトルに基づいて物体の移動ベクトルを補正する。ここで、揺れベクトルは、物体の移動ベクトルのうち、物体の移動ベクトルの向き、大きさの数が最も多い物体の移動ベクトルである。言い換えれば、揺れベクトルは、物体の移動ベクトルの向き、大きさによる多数決で決まる。したがって、１個の物体から物体の移動ベクトルが１個検出される場合、接近物検出装置２０が検出する物体は、３個以上であればよい。

（変形例２）
上記実施形態では、接近物検出装置２０は、図２のＹ軸方向にのみ移動する物体を検出する場合について説明したが、本発明はこれに限定されない。接近物検出装置２０は、図２のＸ軸方向にのみ移動する物体、及び図２のＸ軸方向及びＹ軸方向の両方に移動する物体を検出してよい。

（変形例３）
上記実施形態では、ドアが閉じた後における揺れを補正した接近物検出について説明したが、本発明はこれに限定されない。接近物検出装置２０は、ドアが開いている間も、揺れ検出部２２を動作させて接近物検出を行ってもよい。例えば、ドアを開けて車両に荷物を搬入する場合、及び車両から荷物を搬出する場合には、車両が揺れると考えられる。また、車両に人が乗る場合、及び車両から人が降りる場合にも、車両が揺れると考えられる。このため、ドアが開いている間、揺れ検出部２２を動作させて接近物検出を行うことで、接近物検出装置２０を搭載した車両の安全性を高めることができる。

（変形例４）
上記実施形態では、ドアが閉じた後における接近物検出について説明したが、本発明はこれに限定されない。接近物検出装置２０は、ドアの開閉の途中に接近物検出を行ってよい。例えば、接近物検出装置２０は、ドアセンサ１２からドアが開いている角度を取得し、ドアの開閉の途中であることを検知し、接近物検出を行ってよい。また、接近物検出装置２０は、ドアが開いている角度の変化を検出し、揺れ検出部２２を動作させて接近物検出を行ってもよい。ドアの開閉の途中に揺れ検出部２２を動作させて接近物検出を行うことで、ドアの開閉中であっても、揺れを補償した正確な接近物検知を行うことができる。

（変形例５）
上記実施形態では、カメラ１１を搭載した車両に接近する他車両の検出について説明したが、本発明はこれに限定されない。接近物検出装置２０は、任意の接近物を検出してよい。例えば、接近物検出装置２０は、車両、人、犬等の動物を検出してよい。また、接近物検出装置２０は、カメラ１１を搭載した車両への接近物以外を検出してもよい。例えば、接近物検出装置２０は、カメラ１１等の映像撮影装置への接近物の接近、車両への接近物の接近、車両の搭乗者への接近物の接近を検出してよい。

（変形例６）
上記実施形態では、接近物検出装置２０が車両に搭載される場合について説明したが、本発明はこれに限定されない。接近物検出装置２０は、車両以外に搭載されても、取り付けられてもよい。また、接近物検出装置２０は、カメラ１１と離れた位置に配置されてもよい。例えば、カメラ１１は、住宅の玄関等に取り付けられてもよい。また、その際、カメラ１１は住宅の玄関等に取り付け、接近物検出装置２０は住宅内部に配置してもよい。

（変形例７）
上記実施形態では、接近物検出装置２０の近傍の人等に通知する場合について説明したが、本発明はこれに限定されない。車両に搭載された接近物検出装置２０は、通知部３１を用いて、自車両に接近する他車両に対して警告を発してもよい。例えば、接近物検出装置２０は、自車両に後退しながら接近する他車両に対して、音声で警告してもよい。本変形例では、他車両等に対して警告を行うことで、接近物検出装置２０を搭載した車両の安全性を高めることができる。

（変形例８）
上記実施形態では、車両等が停止した状態での接近物検出について説明したが、本発明はこれに限定されない。車両に搭載された接近物検出装置２０は、車両に搭載されたカメラ１１を用いて、車両の徐行中に接近物検知をしてもよい。車両の徐行中とは、例えば、車両が時速１０ｋｍ以下で走行している間である。その際、揺れ検出部２２は、揺れベクトルの検出を停止する条件として、例えば、走行速度が時速１０ｋｍを超えたことを入力される。

接近物検出装置２０を搭載した車両の徐行中において、車両は、住宅地等の見通しが悪い場所を走行することが考えられる。このため、車両の徐行中に接近物検知を行うことで、事故の発生を防止することができる。

（変形例９）
また、上記実施の形態において、接近物検出装置２０は、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）などの半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、接近物検出装置２０により実行される処理の一部または全部は、プログラムにより実現されてもよい。そして、上記各実施の形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

例えば、接近物検出装置２０を、ソフトウェアにより実現する場合、図１１に示したハードウェア構成（例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部等をバスＢｕｓにより接続したハードウェア構成）を用いて、各機能部をソフトウェア処理により実現するようにしてもよい。

また、上記実施の形態における処理方法の実行順序は、上記実施の形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で実行順序を入れ替えてもよい。

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。

以上、本発明の実施形態を説明したが、上述した実施形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。

１１：カメラ
１２：ドアセンサ
１０１：車両
１０２、１０３、１０４、１０５、１０６、１０７、１０８、１０９、１１０、１１１：物体
２０：接近物検出装置
２００、２０１、２０２、２０３、２０４：画像
２１：移動ベクトル検出部
２２：揺れ検出部
２３：時刻特定部
２４：接近物検出部
３１：通知部
Ｂｕｓ：バス

Claims

接近する接近物を検出する接近物検出装置であって、
カメラによって撮影された第１撮影画像と、前記第１撮影画像が撮影された時刻よりも後の時刻に前記カメラによって撮影された第２撮影画像とを比較することによって、物体の移動ベクトルを検出する移動ベクトル検出部と、
前記物体の移動ベクトルに基づいて、前記カメラの揺れベクトルを検出する揺れ検出部と、
ドアが閉まっているか否かを示す開閉情報を取得し、取得した開閉情報に基づいて前記ドアが閉まった時刻を特定する時刻特定部と、
前記ドアが閉まった時刻における前記カメラの揺れベクトルに基づいて前記物体の移動ベクトルを補正し、補正された前記物体の移動ベクトルに基づいて、前記接近物の位置を検出する接近物検出部と、
を備える接近物検出装置。
前記揺れ検出部は、前記時刻特定部が特定したドアが閉まった時刻から所定の条件が満たされるまでの間、前記カメラの揺れベクトルを検出し、
前記接近物検出部は、前記時刻特定部が特定したドアが閉まった時刻から所定の条件が満たされるまでの間、前記カメラの揺れベクトルに基づいて前記物体の移動ベクトルを補正する、
請求項１に記載の接近物検出装置。
前記揺れ検出部は、前記カメラの揺れベクトルの大きさが所定の値を超えると、前記接近物検出部による接近物の検出を停止させる、
請求項１又は２に記載の接近物検出装置。
接近する接近物を検出する接近物検出方法であって、
カメラによって撮影された第１撮影画像と、前記第１撮影画像が撮影された時刻よりも後の時刻に前記カメラによって撮影された第２撮影画像とを比較することによって、物体の移動ベクトルを検出する移動ベクトル検出工程と、
前記物体の移動ベクトルに基づいて、前記カメラの揺れベクトルを検出する揺れ検出工程と、
ドアが閉まっているか否かを示す開閉情報を取得し、取得した開閉情報に基づいて前記ドアが閉まった時刻を特定する時刻特定工程と、
前記ドアが閉まった時刻における前記カメラの揺れベクトルに基づいて前記物体の移動ベクトルを補正し、補正された前記物体の移動ベクトルに基づいて、前記接近物の位置を検出する接近物検出工程と、
を備える接近物検出方法。