JP6188592B2 - Object detection apparatus, object detection method, and object detection program - Google Patents
Object detection apparatus, object detection method, and object detection program Download PDFInfo
- Publication number
- JP6188592B2 JP6188592B2 JP2014008472A JP2014008472A JP6188592B2 JP 6188592 B2 JP6188592 B2 JP 6188592B2 JP 2014008472 A JP2014008472 A JP 2014008472A JP 2014008472 A JP2014008472 A JP 2014008472A JP 6188592 B2 JP6188592 B2 JP 6188592B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- region
- image
- detected
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、カメラによって撮影された画像から物体領域を検出する物体検出装置、物体検出方法、および物体検出プログラムに関する。 The present invention relates to an object detection device, an object detection method, and an object detection program for detecting an object region from an image photographed by a camera.
自動車などの車両の運転を支援するために、例えば車両にカメラを設置し、カメラで撮影された画像から車両の障害となりうる物体を検出する技術がある。 In order to support driving of a vehicle such as an automobile, for example, there is a technique in which a camera is installed in a vehicle and an object that can be an obstacle of the vehicle is detected from an image captured by the camera.
特許文献１には、カメラにより撮像された複数の画像間の動きベクトルを検出し、検出された動きベクトルから自車の移動パラメータと背景ベクトルとを検出し、背景ベクトルとして検出されなかった動きベクトルを物体ベクトルとして扱い、この物体ベクトルから物体を検出し、得られた物体の接近状況に応じて運転者に警告を行う技術が開示されている。
In
しかし、カメラにより撮影された複数の画像から動きベクトルを検出し、検出された動きベクトルのみに基づいて物体領域を検出する構成では、物体領域を正確に検出することができない。 However, in a configuration in which a motion vector is detected from a plurality of images taken by a camera and an object region is detected based only on the detected motion vector, the object region cannot be accurately detected.
本発明は、動きベクトルのみに基づいて物体領域を検出する場合と比べて、正確に物体領域を検出することができる物体検出装置、物体検出方法、および物体検出プログラムを提供することを目的とする。 It is an object of the present invention to provide an object detection device, an object detection method, and an object detection program that can detect an object region more accurately than when detecting an object region based only on a motion vector. .
本発明に係る物体検出装置は、カメラにより順次撮影された複数の画像を取得する画像取得部と、前記画像取得部により取得された複数の画像のうちの対象画像および少なくとも１つの参照画像から、前記対象画像の各部分の動きベクトルを検出する動きベクトル検出部と、前記画像取得部により取得された複数の画像のうちの２つの画像間の差分画像を算出する差分算出部と、前記動きベクトル検出部により検出された動きベクトルと、前記差分算出部により算出された差分画像とに基づいて、物体が存在する物体領域を検出する物体検出部とを備え、前記物体検出部は、前記動きベクトルに基づいて前記対象画像から物体の領域を検出する領域検出部と、前記差分画像から物体の輪郭を抽出する輪郭抽出部と、前記領域検出部により検出された領域に対応する、前記輪郭抽出部により抽出された輪郭で囲まれた領域を、前記物体領域として検出する物体領域検出部とを有することを特徴とする。 An object detection device according to the present invention includes an image acquisition unit that acquires a plurality of images sequentially captured by a camera, and a target image and at least one reference image among the plurality of images acquired by the image acquisition unit, A motion vector detection unit that detects a motion vector of each part of the target image, a difference calculation unit that calculates a difference image between two images of the plurality of images acquired by the image acquisition unit, and the motion vector An object detection unit that detects an object region in which an object exists based on the motion vector detected by the detection unit and the difference image calculated by the difference calculation unit ; and the object detection unit includes the motion vector Based on the target image, a region detection unit that detects a region of the object, a contour extraction unit that extracts a contour of the object from the difference image, and a detection by the region detection unit Corresponding to the region, the region surrounded by the contour extracted by the contour extracting unit, and having a body area detection unit for detecting as the object region.
本発明に係る物体検出方法は、カメラにより順次撮影された複数の画像を取得する画像取得ステップと、前記画像取得ステップで取得された複数の画像のうちの対象画像および少なくとも１つの参照画像から、前記対象画像の各部分の動きベクトルを検出する動きベクトル検出ステップと、前記画像取得ステップで取得された複数の画像のうちの２つの画像間の差分画像を算出する差分算出ステップと、前記動きベクトル検出ステップで検出された動きベクトルと、前記差分算出ステップで算出された差分画像とに基づいて、物体が存在する物体領域を検出する物体検出ステップとを含み、前記物体検出ステップは、前記動きベクトルに基づいて前記対象画像から物体の領域を検出する領域検出ステップと、前記差分画像から物体の輪郭を抽出する輪郭抽出ステップと、前記領域検出ステップで検出された領域に対応する、前記輪郭抽出ステップで抽出された輪郭で囲まれた領域を、前記物体領域として検出する物体領域検出ステップとを有することを特徴とする。 The object detection method according to the present invention includes an image acquisition step of acquiring a plurality of images sequentially captured by a camera, a target image and at least one reference image among the plurality of images acquired in the image acquisition step, A motion vector detection step for detecting a motion vector of each part of the target image, a difference calculation step for calculating a difference image between two images of the plurality of images acquired in the image acquisition step, and the motion vector a motion vector detected in the detection step, the based on the difference image calculated by the difference calculation step, seen including a object detection step of detecting an object area where an object exists, the object detection step, the motion A region detecting step of detecting a region of the object from the target image based on the vector; and extracting an outline of the object from the difference image. To a contour extraction step, corresponding to the detected in the area detecting step region, a region surrounded by the extracted at the contour extraction step contour, in that it has an object area detection step of detecting as said object area Features.
本発明に係る物体検出プログラムは、カメラにより順次撮影された複数の画像を取得する画像取得ステップと、前記画像取得ステップで取得された複数の画像のうちの対象画像および少なくとも１つの参照画像から、前記対象画像の各部分の動きベクトルを検出する動きベクトル検出ステップと、前記画像取得ステップで取得された複数の画像のうちの２つの画像間の差分画像を算出する差分算出ステップと、前記動きベクトル検出ステップで検出された動きベクトルと、前記差分算出ステップで算出された差分画像とに基づいて、物体が存在する物体領域を検出する物体検出ステップとをコンピュータに実行させ、前記物体検出ステップは、前記動きベクトルに基づいて前記対象画像から物体の領域を検出する領域検出ステップと、前記差分画像から物体の輪郭を抽出する輪郭抽出ステップと、前記領域検出ステップで検出された領域に対応する、前記輪郭抽出ステップで抽出された輪郭で囲まれた領域を、前記物体領域として検出する物体領域検出ステップとを有することを特徴とする。 The object detection program according to the present invention includes an image acquisition step of acquiring a plurality of images sequentially captured by a camera, a target image and at least one reference image among the plurality of images acquired in the image acquisition step, A motion vector detection step for detecting a motion vector of each part of the target image, a difference calculation step for calculating a difference image between two images of the plurality of images acquired in the image acquisition step, and the motion vector Based on the motion vector detected in the detection step and the difference image calculated in the difference calculation step, the computer executes an object detection step for detecting an object region where the object exists , and the object detection step includes: A region detecting step of detecting a region of an object from the target image based on the motion vector; and the difference An object region for detecting, as the object region, a region surrounded by the contour extracted in the contour extraction step, which corresponds to the region detected in the region detection step and a contour extraction step for extracting the contour of the object from the image And a detecting step .
本発明によれば、動きベクトルに加えて差分画像に基づいて物体領域を検出することにより、動きベクトルのみに基づいて物体領域を検出する場合と比べて、正確に物体領域を検出することができる。 According to the present invention, by detecting an object region based on a difference image in addition to a motion vector, the object region can be detected more accurately than when detecting an object region based only on a motion vector. .
以下、本発明の実施の形態を図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る物体検出装置２０を含む物体検出システム１の構成の一例を示すブロック図である。この物体検出システム１は、カメラにより撮影された画像から物体を検出するシステムである。本実施の形態では、物体検出システム１は、自動車などの車両に搭載されたカメラによって撮影された画像から車両周辺の障害物を検出する障害物検出システムである。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating an example of a configuration of an
図１に示されるように、物体検出システム１は、カメラ１０、物体検出装置２０、および障害物通知部３０を備えている。
As shown in FIG. 1, the
カメラ１０は、撮影対象領域を順次撮影し、撮影された複数の画像を物体検出装置２０に出力する。ここで、画像は、画像データ（または画像信号）である。画像データは、画像を構成する各画素の画素値を表すデータであり、具体的には２次元状に配列された複数の画素の各々の画素値を表すデータである。本実施の形態では、カメラ１０は、画像データである画像フレーム（以下、単に「フレーム」という）を出力する。例えば、カメラ１０は、所定のフレームレートで撮影を行い、得られたフレームを物体検出装置２０に順次出力する。また、カメラ１０は、車両に設置されており、車両の周囲を撮影する。例えば、カメラ１０は、車両のサイドミラーの位置に車両後方を撮像する方向に取り付けられる。サイドミラーの位置に設置することで、サイドミラーをカメラに置き換えることが可能となる。この場合、サイドミラーよりも広角のカメラを使用することにより、後側方の死角をなくすことが可能となる。
The
物体検出装置２０は、カメラ１０により撮影された画像を取得し、取得された画像から物体を検出する。本例では、物体検出装置２０は、取得された画像から車両周辺の障害物を検出する障害物検出装置である。図１において、物体検出装置２０は、画像取得部２１、動きベクトル検出部２２、差分算出部２３、および物体検出部２４を有する。
The
画像取得部２１は、カメラ１０により順次撮影された複数のフレームを取得する。画像取得部２１は、カメラ１０から出力されるフレームをすべて取り込んでもよいし、間引いて取り込んでもよい。例えば、画像取得部２１は、３０ｆｐｓのフレームレートで撮影された複数のフレームを、撮影時と同じフレームレート（すなわちフレーム間隔１／３０秒）で取得してもよいし、撮影時と異なるフレームレート（例えば、３フレームに１フレームの割合、すなわちフレーム間隔１／１０秒）で取得してもよい。画像取得部２１は、取得した複数のフレームを動きベクトル検出部２２と差分算出部２３とに出力する。
The
動きベクトル検出部２２は、画像取得部２１により取得された複数の画像から画像の各部分の動きベクトルを検出する。具体的には、動きベクトル検出部２２は、入力された複数の画像のうちの対象画像および少なくとも１つの参照画像から、対象画像の各部分の動きベクトルを検出する。動きベクトル検出部２２は、検出結果を物体検出部２４に出力する。
The motion
差分算出部２３は、画像取得部２１により取得された複数の画像のうちの２つの画像間の差分画像を算出する。差分算出部２３は、算出結果を物体検出部２４に出力する。
The
物体検出部２４は、動きベクトル検出部２２により検出された動きベクトルと、差分算出部２３により算出された差分画像とに基づいて、物体が存在する物体領域を検出する。また、物体検出部２４は、物体領域を検出した場合に、当該物体領域の位置と当該物体領域内の動きベクトルとに基づき、当該物体領域に存在する物体が車両に対する障害物であるか否かを判定し、これにより車両周辺の障害物を検出する。物体検出部２４は、障害物を検出した場合、その旨を障害物通知部３０に通知する。このとき、物体検出部２４は、障害物と判定された物体の物体領域を通知してもよいし、物体領域から特定される物体の位置または形状を通知してもよい。
The
障害物通知部３０は、物体検出部２４からの通知を受けると、障害物が存在することを車両の運転者に対して通知または警告する。このとき、障害物通知部３０は、物体検出部２４からの通知に基づき、障害物の物体領域、位置、または形状を運転者に通知してもよい。障害物通知部３０は、例えば、表示装置による表示や音声出力装置による音声出力により通知を行う。
When the
上記構成において、画像取得部２１は、カメラ１０からの画像を記憶する画像記憶部２１ａを含んでもよく、動きベクトル検出部２２および差分算出部２３は、処理に用いる画像を画像記憶部２１ａから取得してもよい。
In the above configuration, the
以下、動きベクトル検出部２２、差分算出部２３、および物体検出部２４の構成および処理について、具体的に説明する。
Hereinafter, the configuration and processing of the motion
動きベクトル検出部２２は、画像取得部２１から入力された複数のフレームのうちの対象フレームおよび参照フレームから、対象フレームの各部分の動きベクトルを検出する。例えば、対象フレームは現在のフレーム（以下、「現フレーム」という）であり、参照フレームは現フレームよりも時間的に前に撮影されたフレーム（以下、「前フレーム」という）である。本実施の形態では、対象フレームを複数のブロックに分割し、動きベクトル検出部２２は、対象フレームのブロック単位で動きベクトルを検出し、検出されたブロック単位の動きベクトルを用いて、対象フレームの画素単位で動きベクトルを検出する。各ブロックは、対象フレームの複数の画素により構成され、例えば矩形状の画素領域である。ブロックのサイズは、適宜決められればよいが、ここでは１６×１６画素である。
The motion
図１の例では、動きベクトル検出部２２は、ブロック動きベクトル検出部２２ａと、画素動きベクトル検出部２２ｂとを有する。
In the example of FIG. 1, the motion
ブロック動きベクトル検出部２２ａは、対象フレームの各ブロックの動きベクトルを検出する。動きベクトルを検出する方法としては、公知の方法を含む様々な方法を利用することができるが、ここではブロックマッチング法を用いる。ブロック動きベクトル検出部２２ａは、複数のブロックのうちの対象ブロックの動きベクトルを求める場合、参照フレームに探索範囲を設定し、この探索範囲内で対象ブロックと最も類似するブロックを探索し、探索されたブロックの位置から対象ブロックの位置へのベクトルを対象ブロックの動きベクトルとして求める。ブロック動きベクトル検出部２２ａは、検出結果として、対象フレームの各ブロックの動きベクトルを画素動きベクトル検出部２２ｂに出力する。
The block motion
画素動きベクトル検出部２２ｂは、ブロック動きベクトル検出部２２ａからの対象フレームの各ブロックの動きベクトルに基づき、対象フレームの各画素の動きベクトルを検出する。画素動きベクトル検出部２２ｂは、ブロック単位の動きベクトルを画素単位の動きベクトルに詳細化する。具体的には、画素動きベクトル検出部２２ｂは、対象フレームのブロックを段階的に小さくしていきながら、ブロック単位の動きベクトルの検出を行い、最終的に画素単位の動きベクトルを検出する。この場合、ブロック単位または画素単位の動きベクトルを検出するとき、その前の段階で検出された動きベクトルに基づいて探索範囲を決定することができる。例えば、画素動きベクトル検出部２２ｂは、１６×１６画素の各ブロックを８×８画素のブロックに４分割し、８×８画素の各ブロックの動きベクトルを求める。このとき、動きベクトルを求める対象となる８×８画素のブロックが属する１６×１６画素のブロックの動きベクトルに基づき、動きベクトルを求める際の探索範囲を絞り込む。同様に、８×８画素の各ブロックを４×４画素のブロックに４分割して４×４画素の各ブロックの動きベクトルを求め、４×４画素の各ブロックを２×２画素のブロックに４分割して２×２画素の各ブロックの動きベクトルを求める。そして、２×２画素の各ブロックの動きベクトルに基づき、対象フレームの各画素の動きベクトルを求める。以下、この処理について、図２（ａ）〜（ｃ）を参照して説明する。
The pixel motion vector detection unit 22b detects the motion vector of each pixel of the target frame based on the motion vector of each block of the target frame from the block motion
ここでは、図２（ａ）に示される対象フレーム４０の対象画素４１の動きベクトルを求める場合について説明する。図２（ｂ）に示されるように、対象画素４１が属する２×２画素のブロックの動きベクトル４２に基づき、参照フレーム４３に探索範囲４４を設定する。具体的には、対象画素４１に対応する参照フレーム４３上の画素の位置４５を動きベクトル４２から求め、位置４５を中心とする所定サイズの領域を探索範囲４４として設定する。そして、参照フレーム４３において、参照画素４６を探索範囲４４内の各画素位置に移動させる。このとき、各画素位置において、参照画素４６およびその周辺画素の画素値と対象画素４１の画素値との差分値の和を算出する。例えば、図２（ｃ）のように、対象画素４１の画素値をｐとし、参照画素４６を中心とする３×３の画素群４７の各画素の画素値をｐ１〜ｐ９とした場合、差分値の和Ｓを下記式（１）により算出する。そして、探索範囲４４内において和Ｓが最小となる参照画素の位置４８を特定し、特定された参照画素の位置４８から対象画素４１の位置へのベクトル４９を、対象画素４１の動きベクトルとして決定する。
Ｓ＝（ｐ１−ｐ）＋（ｐ２−ｐ）＋・・・＋（ｐ９−ｐ） …（１）
Here, a case where the motion vector of the
S = (p1−p) + (p2−p) +... + (P9−p) (1)
図３は、動きベクトル検出部２２の検出結果の一例を示す図である。図３には、参照フレーム５０を参照して対象フレーム５１の各画素の動きベクトルを検出した場合の結果が示されている。一例では、対象フレーム５１は現フレームであり、参照フレーム５０は前フレームである。図３において、対象フレーム５１内には、検出結果である各画素の動きベクトルのうちの一部が矢印で示されている。矢印の長さは動きベクトルの大きさを示し、矢印の方向は動きベクトルの方向を示し、矢印の始点は動きベクトルに対応する画素の位置を示す。参照フレーム５０の領域５２には物体が写っており、これと同じ物体が対象フレーム５１の領域５３に写っている。対象フレーム５１の座標（ｘ２，ｙ２）の画素について、差分値の和Ｓが最小となる参照画素の位置として座標（ｘ１，ｙ１）が算出された場合、座標（ｘ１，ｙ１）から座標（ｘ２，ｙ２）へのベクトル（ｘ２−ｘ１，ｙ２−ｙ１）が動きベクトル５４として検出される。座標（ｘ２，ｙ２）は物体の位置に相当し、動きベクトル５４は、物体の動きの方向と大きさを表す。図３において動きベクトル５４と同様に実線矢印で示される他の動きベクトルも、物体の動きの方向と大きさを表す。これらの実線矢印で示される動きベクトルは、互いに同じ大きさおよび方向を有し、物体の動きベクトルと呼べる。一方、図３において、動きベクトル５５を含む一点鎖線矢印で示される複数の動きベクトルは、物体の背景の動きの方向と大きさを表し、物体の動きベクトルとは異なる大きさおよび方向を有する。これらの一点鎖線矢印で示される動きベクトルは、背景の動きベクトルと呼べる。
FIG. 3 is a diagram illustrating an example of a detection result of the motion
なお、動きベクトルを検出するためには、対象フレームと参照フレームとの少なくとも２つのフレームが必要であるが、より多くの参照フレームが用いられてもよい。例えば、動きベクトル検出部２２は、対象フレームとその前後の参照フレームとの合計３枚のフレームを使用して動きベクトルを検出してもよい。対象フレームの前後のフレームを使用することで、より精度の高い動きベクトルを検出することができる。
Note that in order to detect a motion vector, at least two frames of a target frame and a reference frame are necessary, but more reference frames may be used. For example, the motion
また、動きベクトルの検出に用いられる対象フレームと参照フレームとの間隔は、適宜決められればよい。対象フレームの１フレーム前のフレームが参照フレームとして用いられてもよいし、対象フレームのＮフレーム（Ｎは２以上の整数）前のフレームが参照フレームとして用いられてもよい。例えば、３０ｆｐｓで撮影される場合、隣接するフレーム間の間隔は１／３０秒であるが、この間隔では画像の変化が小さすぎて動きベクトルが検出されにくい場合がある。このような場合、動きベクトルの検出に用いられるフレーム間の間隔を１／３０秒ではなく、１／１５秒としてもよい。ただし、フレーム間の間隔が大きすぎると、接近速度が非常に速い障害物など、動きが速い物体の動きベクトルを適切に検出できない可能性がある。動きベクトルの検出に用いられるフレーム間の間隔は、以上のような事情を考慮して最適化されることが望ましい。 The interval between the target frame and the reference frame used for motion vector detection may be determined as appropriate. A frame one frame before the target frame may be used as a reference frame, or a frame N frames (N is an integer of 2 or more) before the target frame may be used as a reference frame. For example, in the case of shooting at 30 fps, the interval between adjacent frames is 1/30 second. However, at this interval, the change in the image is too small and it may be difficult to detect the motion vector. In such a case, the interval between frames used for motion vector detection may be 1/15 seconds instead of 1/30 seconds. However, if the interval between frames is too large, there is a possibility that a motion vector of a fast moving object such as an obstacle with a very fast approach speed cannot be detected properly. It is desirable that the interval between frames used for motion vector detection be optimized in consideration of the above situation.
また、動きベクトルの検出の対象となる対象フレームの間隔も、適宜決められればよい。例えば、動きベクトル検出部２２は、撮影されたフレーム毎に動きベクトルを検出してもよいし、Ｎフレーム（Ｎは２以上の整数）に１フレームの割合で動きベクトルを検出してもよい。例えば、３０ｆｐｓで撮影される場合、フレーム毎に動きベクトルを検出しようとすると、１／３０秒毎に動きベクトルの検出を行わなければならず、速い演算速度が必要となる。そこで、動きベクトルの検出を行う間隔を１／３０秒ではなく、１／１５秒としてもよい。ただし、動きベクトルを検出するフレームの間隔が大きすぎると、障害物の接近速度が非常に速い場合に、危険通知が遅れる可能性がある。動きベクトルを検出するフレームの間隔は、以上のような事情を考慮して最適化されることが望ましい。
In addition, the interval between target frames for which motion vectors are to be detected may be determined as appropriate. For example, the motion
差分算出部２３は、画像取得部２１から入力された複数のフレームのうちの２つのフレーム間の差分を算出して差分画像を生成する。具体的には、差分算出部２３は、２つのフレーム間の各画素の画素値の差分を算出し、算出された各画素の差分を画素値として有する差分画像を生成する。一つの態様では、２つのフレームのうちの一方は、動きベクトルの検出に用いられる対象フレームと同じフレームである。２つのフレームのうちの他方は、例えば動きベクトルの検出に用いられる参照フレームと同じフレームであるが、異なるフレームであってもよい。差分算出部２３は、例えば、動きベクトル検出の対象フレーム毎に、当該対象フレームを含む２つのフレーム間の差分画像を算出する。
The
図４は、差分算出部２３の処理の一例を示す図である。図４の例では、差分算出部２３は、第１のフレーム６１と第２のフレーム６２との差分画像６３を生成する。例えば、第１のフレーム６１は前フレームであり、第２のフレーム６２は現フレームである。各フレームは、座標（ｘ，ｙ）（ｘ＝１，２，・・・，Ｘ、ｙ＝１，２，・・・，Ｙ）に位置する合計Ｘ×Ｙ個の画素で構成され、第１のフレーム６１の座標（ｘ，ｙ）の画素の画素値はｐ１（ｘ，ｙ）で表され、第２のフレーム６２の座標（ｘ，ｙ）の画素の画素値はｐ２（ｘ，ｙ）で表されるものとする。このとき、差分画像６３は、座標（ｘ，ｙ）（ｘ＝１，２，・・・，Ｘ、ｙ＝１，２，・・・，Ｙ）に位置する合計Ｘ×Ｙ個の画素で構成され、差分画像６３の座標（ｘ，ｙ）の画素の画素値ｐ３（ｘ，ｙ）は、下記式（２）で表される。
ｐ３（ｘ，ｙ）＝ｐ１（ｘ，ｙ）−ｐ２（ｘ，ｙ） …（２）
FIG. 4 is a diagram illustrating an example of processing of the
p3 (x, y) = p1 (x, y) -p2 (x, y) (2)
図４において、第１のフレーム６１の領域６１ａには物体が写っており、これと同じ物体が第２のフレーム６２の領域６２ａに写っている。２つのフレーム間では、フレーム内の物体の位置が移動しており、物体の輪郭がずれている。この輪郭のずれにより、２つのフレーム間の差分画像６３には物体の輪郭が現れる。具体的には、差分画像６３には、第１のフレーム６１の領域６１ａの輪郭Ｌ１と、第２のフレーム６２の領域６２ａの輪郭Ｌ２とが現れる。より詳しく説明すると、差分画像６３において、領域６３ａは、第１のフレーム６１の物体の領域６１ａと第２のフレーム６２の背景の領域６２ｂとの差分領域であり、この領域の画素値の絶対値は比較的大きい。領域６３ｂは、第１のフレーム６１の背景の領域６１ｂと第２のフレーム６２の物体の領域６２ａとの差分領域であり、この領域の画素値の絶対値は比較的大きい。領域６３ｃは、第１のフレーム６１の物体の領域６１ａと第２のフレーム６２の物体の領域６２ａとの差分領域であり、この領域の画素値の絶対値は比較的小さい。領域６３ｄは、第１のフレーム６１の背景の領域６１ｂと第２のフレーム６２の背景の領域６２ｂとの差分領域であり、この領域の画素値の絶対値は比較的小さい。このような領域間の画素値の違いにより、領域間の境界に輪郭Ｌ１およびＬ２が現れる。
In FIG. 4, an object is shown in the
なお、差分画像の算出に用いられる２つのフレームの間隔は適宜決められればよく、隣接する２つのフレーム間の差分画像が算出されてもよいし、１以上のフレームを間に挟む２つのフレーム間の差分画像が算出されてもよい。例えば、３０ｆｐｓで撮影される場合、隣接するフレーム間の間隔は１／３０秒であるが、この間隔では画像の変化が小さすぎて輪郭が検出されにくい場合がある。このような場合、２枚のフレーム間の間隔を１／３０秒ではなく、１／１５秒としてもよい。ただし、フレーム間の間隔が大きすぎると、接近速度が非常に速い障害物など、動きが速い物体の輪郭を適切に検出できない可能性がある。差分画像の算出に用いられる２枚のフレーム間の間隔は、以上のような事情を考慮して最適化されることが望ましい。 The interval between two frames used for calculating the difference image may be determined as appropriate, a difference image between two adjacent frames may be calculated, or between two frames sandwiching one or more frames in between. The difference image may be calculated. For example, in the case of shooting at 30 fps, the interval between adjacent frames is 1/30 second. However, at this interval, the change in the image is too small and the contour may not be detected. In such a case, the interval between two frames may be 1/15 seconds instead of 1/30 seconds. However, if the interval between frames is too large, there is a possibility that the contour of an object that moves fast, such as an obstacle with a very fast approach speed, cannot be detected properly. It is desirable that the interval between the two frames used for calculating the difference image be optimized in consideration of the above situation.
また、差分画像を算出するフレームの間隔（例えば第２のフレームとなるフレームの間隔）についても、適宜決められればよい。例えば、差分算出部２３は、撮影された各フレームを第２のフレームとして差分画像を算出してもよいし、Ｎフレーム（Ｎは２以上の整数）毎に１つのフレームを第２のフレームとして差分画像を算出してもよい。例えば、３０ｆｐｓで撮影される場合、フレーム毎に差分画像を算出しようとすると、１／３０秒毎に算出を行わなければならず、速い演算速度が必要となる。そこで、差分画像の算出を行う間隔を１／３０秒ではなく、１／１５秒としてもよい。ただし、差分画像を算出するフレームの間隔が大きすぎると、障害物の接近速度が非常に速い場合に、危険通知が遅れる可能性がある。差分画像を算出するフレームの間隔は、以上のような事情を考慮して最適化されることが望ましい。
In addition, the frame interval for calculating the difference image (for example, the interval between the frames serving as the second frames) may be determined as appropriate. For example, the
物体検出部２４は、動きベクトル検出部２２の検出結果と、差分算出部２３の算出結果とに基づいて、フレーム中の物体が存在する物体領域を検出する。物体検出部２４は、例えば、動きベクトル検出の対象フレームの各々について、物体領域の検出を行う。以下に詳しく説明するように、物体検出部２４は、対象フレーム中の同じ動きベクトルを有する複数の部分で構成される領域（または対象フレーム中の動きベクトルが均一な領域）に対応する、差分画像中の輪郭で囲まれた領域を物体領域として検出する。
The
図１の例では、物体検出部２４は、領域検出部２４ａ、輪郭抽出部２４ｂ、物体領域検出部２４ｃ、および障害物判定部２４ｄを有する。
In the example of FIG. 1, the
領域検出部２４ａは、動きベクトル検出部２２により検出された動きベクトルに基づいて対象フレームから物体の領域を検出する。具体的には、領域検出部２４ａは、対象フレーム中の同じ動きベクトルを有する複数の画素で構成される領域を物体の領域として検出する。具体的には、領域検出部２４ａは、同じ大きさおよび方向の動きベクトルを有する複数の画素によって構成される一塊の領域を物体の領域として検出する。上記の「同じ」とは、厳密な意味での同じに限られず、同じ物体の動きベクトルとみなせる程度に同じであればよく、略同じであってもよい。
The
例えば、動きベクトル検出部２２により図３に示される検出結果が得られた場合、領域検出部２４ａは、図５に示されるように、同じ大きさおよび方向の動きベクトルを有する複数の画素によって形成される一塊の領域７０を、物体の領域として検出する。図５において、検出された物体の領域７０は、実際に物体が写っている領域５３と概ね一致しているが、輪郭がずれている。
For example, when the detection result shown in FIG. 3 is obtained by the motion
輪郭抽出部２４ｂは、差分算出部２３により算出された差分画像から物体の輪郭を抽出する。例えば、差分算出部２３により図４に示される差分画像６３が得られた場合、輪郭抽出部２４ｂは、例えばラベリング処理によって、図６に示されるように、差分画像６３から領域６３ａ〜６３ｄを特定し、特定された領域間の境界線Ｂ１〜Ｂ４を物体の輪郭として抽出する。境界線Ｂ１およびＢ３は輪郭Ｌ１に相当し、境界線Ｂ２およびＢ４は輪郭Ｌ２に相当する。なお、画像から輪郭を抽出する方法としては、公知の方法を含む様々な方法を利用することができる。
The
物体領域検出部２４ｃは、領域検出部２４ａにより検出された領域に対応する、輪郭抽出部２４ｂにより抽出された輪郭で囲まれた領域を、物体領域として検出する。具体的には、物体領域検出部２４ｃは、領域検出部２４ａにより検出された領域と輪郭抽出部２４ｂにより抽出された輪郭とを重ね合わせることにより（または対象フレームと差分画像とを重ね合わせることにより）、検出された領域に対応する、抽出された輪郭で囲まれた領域を、物体領域として検出する。
The object
領域検出部２４ａにより図５の領域７０が検出され、輪郭抽出部２４ｂにより図６の輪郭Ｂ１〜Ｂ４が抽出された場合、物体領域検出部２４ｃは、図７に示されるように、領域７０に輪郭Ｂ１〜Ｂ４を重ね合わせて、領域７０に対応する輪郭Ｂ２およびＢ４（すなわち輪郭Ｌ２）で囲まれた領域８０を物体領域として検出する。
When the
一例では、物体領域検出部２４ｃは、抽出された輪郭Ｂ１〜Ｂ４により構成可能な領域のうち、検出された領域７０と最も一致する領域（ここでは輪郭Ｂ２およびＢ４で構成される領域）を物体領域として検出する。例えば、輪郭Ｂ１〜Ｂ４により構成可能な各候補領域について、領域７０との重複率Ｄを求め、重複率Ｄが最も高い候補領域を物体領域として検出する。重複率Ｄは、例えば、領域７０の面積をＳ１、候補領域の面積をＳ２、領域７０と候補領域とが重複する領域の面積をＳ３とした場合、下記式（３）により計算される。なお、計算された重複率の中で最も高い重複率が予め定められた閾値以下である場合には、物体領域検出部２４ｃは、領域７０に対応する物体領域を検出しないこととしてもよい。
Ｄ＝Ｓ３／（Ｓ１＋Ｓ２−Ｓ３） …（３）
In one example, the object
D = S3 / (S1 + S2-S3) (3)
別の例では、物体領域検出部２４ｃは、抽出された輪郭Ｂ１〜Ｂ４のそれぞれについて、領域７０の輪郭との一致度を計算し、一致度が閾値以上の輪郭を特定し、特定された輪郭（ここでは輪郭Ｂ２およびＢ４）で囲まれた領域を物体領域として検出する。なお、一致度が閾値以上の輪郭が存在しない場合や、特定された輪郭だけでは領域を構成できない場合には、物体領域検出部２４ｃは、領域７０に対応する物体領域を検出しないこととしてもよい。
In another example, the object
障害物判定部２４ｄは、物体領域検出部２４ｃにより物体領域が検出された場合に、当該物体領域の位置、当該物体領域内の動きベクトルの大きさおよび方向、ならびに車両の移動方向および速度に基づき、当該物体領域にある物体が車両に対する障害物であるか否かを判定する。ここで、車両に対する障害物とは、車両に障害となる物体であり、車両に障害となりうる物体を含んでもよい。上記物体領域内の動きベクトルとしては、動きベクトル検出部２２によって検出された動きベクトルが用いられる。具体的には、障害物判定部２４ｄは、物体と車両との相対速度および移動方向の関係に基づき、物体が車両に衝突する可能性があると判断した場合に、物体が障害物であると判定する。例えば、車両に対して一定以上の速度で接近してきている物体については、障害物であると判定する。
When the object region is detected by the object
図８は、物体検出装置２０による障害物検出処理（または実施の形態１に係る物体検出方法を含む障害物検出方法）の一例を示すフローチャートである。図８の処理は、物体検出装置２０によって繰り返し実行される。
FIG. 8 is a flowchart illustrating an example of an obstacle detection process (or an obstacle detection method including the object detection method according to Embodiment 1) by the
物体検出装置２０は、自車の走行状態を検知する（Ｓ１）。走行状態は、自車の移動方向および速度を含む。
The
次に、物体検出装置２０は、カメラ１０から撮影されたフレームを取得し、取得されたフレームを画像記憶部２１ａに記憶する（Ｓ２）。
Next, the
次に、物体検出装置２０は、ステップＳ２で取得されたフレームを対象フレームとして動きベクトル検出処理を行い、対象フレームの各画素の動きベクトルを検出し（Ｓ３）、検出された動きベクトルを用いて、対象フレーム中の物体が存在する領域を検出する（Ｓ４）。
Next, the
次に、物体検出装置２０は、ステップＳ２で取得されたフレームに対して差分算出処理を行って差分画像を算出し（Ｓ５）、得られた差分画像から物体の輪郭を抽出する（Ｓ６）。
Next, the
次に、物体検出装置２０は、ステップＳ４の領域検出結果とステップＳ６の輪郭抽出結果とを合わせて、物体領域を検出する（Ｓ７）。例えば、ステップＳ４で検出された物体の領域に、ステップＳ６で抽出された物体の輪郭を重ね合わせて、検出された物体の領域に対応する、抽出された物体の輪郭で囲まれた領域を物体領域として特定する。
Next, the
次に、物体検出装置２０は、ステップＳ１で検知された自車の走行状態と、ステップＳ７で検出された物体領域の位置と、当該物体領域内のステップＳ３で検出された動きベクトルとから、当該物体領域にある物体が自車の障害物であるか否かを判定する（Ｓ８）。例えば、物体検出装置２０は、物体領域にある物体の移動方向および速度と自車の移動方向および速度との関係から、衝突の危険があると判断した場合には、障害物であると判定する。また、物体領域の物体と自車とで移動方向および速度が等しく、物体と自車とが互いに平行に移動している場合にも、自車または物体の移動方向または速度が変化すれば、物体が自車の障害となる可能性があるので、障害物であると判定する。自車の移動方向と反対方向に移動している物体については、障害物でないと判定する。
Next, the
物体検出装置２０は、物体が障害物であると判定した場合（Ｓ８：Ｙｅｓ）、その旨を障害物通知部３０に通知し（Ｓ９）、物体が障害物でないと判定した場合には（Ｓ８：Ｎｏ）、処理を終了する。
When the
図９は、図８のステップＳ３の動きベクトル検出処理の内容を示すフローチャートである。以下、図９を参照して、動きベクトル検出処理について説明する。 FIG. 9 is a flowchart showing the contents of the motion vector detection process in step S3 of FIG. Hereinafter, the motion vector detection process will be described with reference to FIG.
まず、物体検出装置２０は、動きベクトルの検出に用いる複数のフレームを画像記憶部２１ａから取得する（Ｓ１１）。具体的には、物体検出装置２０は、今回のステップＳ２で取得されたフレームを対象フレームとして取り出し、前回のステップＳ２で取得されたフレームを参照フレームとして取り出す。
First, the
次に、物体検出装置２０は、ステップＳ１１で取得された各フレームに対して画像の解像度を下げる解像度変換処理を行い、各フレームの低解像度画像（または縮小画像）を生成する（Ｓ１２）。
Next, the
次に、物体検出装置２０は、ステップＳ１２で生成された各フレームの低解像度画像から動きベクトルを検出する。具体的には、まず、対象フレームの低解像度画像を複数のブロックに分割し、ブロック毎の動きベクトルを検出する（Ｓ１３）。そして、ブロック毎の動きベクトルの検出結果を用いて、画素毎の動きベクトルを検出する（Ｓ１４）。
Next, the
なお、上記の処理において、各フレームの解像度を下げて低解像度画像を使用するのは、動きベクトル検出の演算量を抑えるためである。撮影されたフレームの解像度が大きい場合には、フレームをそのまま使用すると動きベクトル検出の演算量が多くなる一方、解像度を下げても問題なく動きベクトル検出が可能であることから、上記のように解像度を下げることが有効である。一方、元のフレームの解像度が小さい場合には、ステップＳ１２の処理は省略されてもよい。 In the above processing, the reason why the resolution of each frame is lowered and the low-resolution image is used is to suppress the calculation amount of motion vector detection. If the resolution of the shot frame is large, using the frame as it is will increase the amount of motion vector detection, but the motion vector can be detected without any problem even if the resolution is lowered. Is effective. On the other hand, when the resolution of the original frame is small, the process of step S12 may be omitted.
また、ステップＳ１２において、複数段階の低解像度画像を生成して、解像度が低いものから順番に、各段階の低解像度画像に対して動きベクトルの検出（ステップＳ１３およびＳ１４の処理）を行ってもよい。この場合、２段階目以降の低解像度画像に対する動きベクトル検出においては、１段階前の低解像度画像に対する動きベクトル検出の結果を用いて、動きベクトル検出の探索範囲を絞り込むことができ、これにより演算量を削減することができる。 Alternatively, in step S12, a plurality of low-resolution images may be generated, and motion vectors may be detected for the low-resolution images at each level in order from the lowest resolution (steps S13 and S14). Good. In this case, in the motion vector detection for the low-resolution image after the second stage, the search range of the motion vector detection can be narrowed down by using the result of the motion vector detection for the low-resolution image one stage before. The amount can be reduced.
図１０は、図８のステップＳ５の差分算出処理の内容を示すフローチャートである。以下、図１０を参照して、差分算出処理について説明する。 FIG. 10 is a flowchart showing the contents of the difference calculation process in step S5 of FIG. Hereinafter, the difference calculation process will be described with reference to FIG.
まず、物体検出装置２０は、差分画像の算出に用いる複数のフレームを画像記憶部２１ａから取得する（Ｓ２１）。例えば、物体検出装置２０は、図８のステップＳ３の動きベクトル検出処理に使用される複数のフレームと同じものを取得する。具体的には、物体検出装置２０は、今回のステップＳ２で取得されたフレームと、前回のステップＳ２で取得されたフレームとを取り出す。ただし、物体検出装置２０は、動きベクトル検出処理に使用されるフレームとは異なるタイミングで取得されたフレームを使用してもよい。例えば、物体検出装置２０は、今回のステップＳ２で取得されたフレームと、前々回のステップＳ２で取得されたフレームとを取り出してもよい。
First, the
次に、物体検出装置２０は、ステップＳ２１で取得した２つのフレームの各画素の差分を算出して、２つのフレーム間の差分画像を生成する（Ｓ２２）。
Next, the
以上のとおり、本実施の形態では、物体検出装置２０は、動きベクトルと差分画像とに基づいて物体領域を検出する。これにより、動きベクトルのみに基づいて物体領域を検出する場合と比べて、正確に物体領域を検出することができる。具体的には、動きベクトルのみに基づいて物体領域を検出する構成では、１つの物体内で動きベクトルが異なる方向を示す場合があり、また、背景部分であっても物体領域として誤検出される場合もあることなどから、物体領域の輪郭を正確に検出することができず、物体領域を精度良く検出することができないという問題がある。これに対し、本実施の形態では、動きベクトルから検出された物体の領域と、差分画像から抽出された物体の輪郭とを重ね合わせることで、物体領域を輪郭まで正確に検出することができる。つまり、動きベクトルによって大まかに物体の領域を検出し、この領域の輪郭を差分画像によって詳細に決定することで、精度良く物体領域を検出することができる。また、物体の輪郭を把握するためには、エッジ検出を行う方法もあるが、この方法では演算量が多くなってしまう。これに対し、差分画像の算出は、画像の各画素値の差分を計算するだけの非常に単純な演算であり、演算量が非常に少ない。このため、本実施の形態によれば、演算量を大きく増やすことなく、物体領域の検出精度を上げることが可能となる。
As described above, in the present embodiment, the
また、本実施の形態では、物体検出装置２０は、物体領域が検出された場合に、当該物体領域の位置と当該物体領域内の動きベクトルとに基づき、当該物体領域に存在する物体が車両に対する障害物であるか否かを判定する。このため、障害物を正確に検出することができる。
Further, in the present embodiment, when the object region is detected, the
なお、上記の処理の順序は、一例であり、適宜変更されてもよい。例えば、動きベクトルから検出された物体の領域に対して障害物であるか否かの判定を行い、障害物であると判定された物体の領域と、差分画像から抽出された輪郭とから物体領域を検出してもよい。以下、この変形例について説明する。 Note that the order of the above processes is an example, and may be changed as appropriate. For example, it is determined whether or not the object area detected from the motion vector is an obstacle, and the object area is determined from the object area determined to be an obstacle and the contour extracted from the difference image. May be detected. Hereinafter, this modification will be described.
障害物判定部２４ｄは、領域検出部２４ａにより物体の領域が検出された場合に、当該検出された領域の位置と当該検出された領域内の動きベクトルとに基づき、当該検出された領域に存在する物体が車両に対する障害物であるか否かを判定する。
The
物体領域検出部２４ｃは、障害物判定部２４ｄにより上記検出された領域に存在する物体が障害物であると判定された場合に、当該検出された領域に対応する、輪郭抽出部２４ｂにより抽出された輪郭で囲まれた領域を、物体領域として検出する。
The object
図１１は、変形例における物体検出装置２０による障害物検出処理の一例を示すフローチャートである。図１１の処理は、物体検出装置２０によって繰り返し実行される。
FIG. 11 is a flowchart illustrating an example of an obstacle detection process performed by the
物体検出装置２０は、図８のステップＳ１〜Ｓ４と同様に、自車の走行状態を検知し（Ｓ３１）、カメラ１０からフレームを取得し（Ｓ３２）、動きベクトル検出処理を行い（Ｓ３３）、検出された動きベクトルを用いて物体の領域を検出する（Ｓ３４）。
The
そして、物体検出装置２０は、図８のステップＳ８と同様に、ステップＳ３１で検知された自車の走行状態と、ステップＳ３４で検出された領域の位置と、当該領域内の動きベクトルとから、当該領域にある物体が自車の障害物であるか否かを判定する（Ｓ３５）。
Then, similarly to step S8 in FIG. 8, the
物体検出装置２０は、物体が障害物であると判定した場合（Ｓ３５：Ｙｅｓ）、ステップＳ３６に進み、物体が障害物でないと判定した場合には（Ｓ３５：Ｎｏ）、処理を終了する。
If the
ステップＳ３６では、物体検出装置２０は、図８のステップＳ５と同様に、差分画像を算出する。そして、物体検出装置２０は、図８のステップＳ６〜Ｓ７と同様に、差分画像から物体の輪郭を抽出し（Ｓ３７）、物体領域を検出する（Ｓ３８）。この場合に検出される物体領域は、障害物が存在する領域である。そして、物体検出装置２０は、障害物が存在する物体領域を障害物通知部３０に通知する（Ｓ３９）。
In step S36, the
実施の形態２．
図１２は、実施の形態２に係る物体検出装置２２０を含む物体検出システム２の構成の一例を示すブロック図である。以下、図１２を参照して、物体検出システム２について説明する。以下の説明では、実施の形態１と同様の部分については説明を省略または簡略化し、実施の形態１と同一または対応する要素については同一の符号を付す。
Embodiment 2. FIG.
FIG. 12 is a block diagram illustrating an example of the configuration of the object detection system 2 including the
図１２に示されるように、物体検出システム２は、図１の物体検出システム１と略同様の構成を有するが、画素動きベクトル検出部２２ｂが省略されている。
As shown in FIG. 12, the object detection system 2 has substantially the same configuration as the
本実施の形態では、動きベクトル検出部２２２は、対象フレームのブロック単位で動きベクトルを検出する。具体的には、動きベクトル検出部２２２において、ブロック動きベクトル検出部２２２ａは、対象フレームの各ブロックの動きベクトルを検出し、検出された各ブロックの動きベクトルを物体検出部２４に出力する。画素単位の動きベクトルの検出は省略される。
In the present embodiment, the motion
物体検出部２４は、動きベクトル検出部２２２から入力されるブロック単位の動きベクトルを用いて、物体領域の検出および障害物の判定を行う。物体検出部２４の処理は、画素単位の動きベクトルの代わりにブロック単位の動きベクトルを用いる点を除いて、実施の形態１と同様である。
The
物体検出装置２２０の動作は、図８に示される物体検出装置２０の動作と略同様であるが、ステップＳ３の動きベクトル検出処理が異なる。
The operation of the
図１３は、実施の形態２における動きベクトル検出処理の内容を示すフローチャートである。以下、図１３を参照して、動きベクトル検出処理について説明する。 FIG. 13 is a flowchart showing the contents of motion vector detection processing in the second embodiment. Hereinafter, the motion vector detection process will be described with reference to FIG.
物体検出装置２２０は、図９のステップＳ１１〜Ｓ１２と同様に、動きベクトルの検出に用いる複数のフレームを取得し（Ｓ４１）、各フレームの解像度を下げる解像度変換処理を行う（Ｓ４２）。
The
次に、物体検出装置２２０は、ステップＳ４２で生成された各フレームの低解像度画像から、対象フレームのブロック毎の動きベクトルを検出する（Ｓ４３）。実施の形態１ではブロック単位の動きベクトルを詳細化することによって画素単位の動きベクトルの検出を行ったが、本実施の形態では、画素単位の動きベクトルの検出は行われず、ブロック単位の動きベクトルの検出結果を用いて以降の処理が行われる。
Next, the
以上のとおり、本実施の形態では、物体検出装置２２０は、ブロック単位で動きベクトルを検出し、ブロック単位の動きベクトルを用いて物体領域の検出を行う。本構成によれば、画素単位で動きベクトルを検出する場合と比較して、動きベクトル検出の処理負荷または演算量を軽減することができ、処理速度を上げることができる。また、ブロック単位の動きベクトルを用いる場合、動きベクトルのみから物体の詳細な形状を検出することはできないが、画素単位の差分値を有する差分画像を用いることによって、物体の詳細な形状を検出することが可能となる。したがって、本実施の形態によれば、物体検出の精度を維持しながら、処理負荷を軽減することができる。
As described above, in the present embodiment, the
実施の形態３．
図１４は、実施の形態３に係る物体検出装置３２０を含む物体検出システム３の構成の一例を示すブロック図である。以下、図１４を参照して、物体検出システム３について説明する。以下の説明では、実施の形態１と同様の部分については説明を省略または簡略化し、実施の形態１と同一または対応する要素については同一の符号を付す。
FIG. 14 is a block diagram illustrating an example of the configuration of the
図１４に示されるように、物体検出システム３は、図１の物体検出システム１と略同様の構成を有するが、動きベクトル検出部３２２と差分算出部３２３とが接続されている。
As shown in FIG. 14, the
本実施の形態では、差分算出部３２３は、２つのフレーム間の各画素の画素値の差分を算出し、算出された各画素の差分を画素値として有する画像を差分画像として生成し、生成された差分画像を物体検出部２４に出力するとともに、動きベクトル検出部３２２にも出力する。
In the present embodiment, the
動きベクトル検出部３２２は、差分算出部３２３から差分画像を受け、対象フレームのうち、差分画像中の画素値の絶対値が閾値以下である部分に対応する部分を除いて、動きベクトルの検出を行う。
The motion
図１５は、実施の形態３における物体検出装置３２０による障害物検出処理の一例を示すフローチャートである。図１５の処理は、物体検出装置３２０によって繰り返し実行される。
FIG. 15 is a flowchart illustrating an example of an obstacle detection process performed by the
物体検出装置３２０は、図８のステップＳ１〜Ｓ２と同様に、自車の走行状態を検知し（Ｓ５１）、カメラ１０からフレームを取得する（Ｓ５２）。
The
次に、物体検出装置３２０は、図８のステップＳ５〜Ｓ６と同様に、ステップＳ５２で取得されたフレームに対して差分算出処理を行って差分画像を算出し（Ｓ５３）、得られた差分画像から物体の輪郭を抽出する（Ｓ５４）。
Next, similarly to steps S5 to S6 in FIG. 8, the
次に、物体検出装置３２０は、ステップＳ５３で得られた差分画像を用いて、ステップＳ５２で取得されたフレームに対して背景フィルタ処理（または遠景フィルタ処理）を行う（Ｓ５５）。この背景フィルタ処理では、差分画像のうち、画素値の絶対値が予め定められた閾値以下である部分を背景部分（または遠景部分）として検出する。そして、ステップＳ５２で取得されたフレームから背景部分を除去し、背景除去後のフレームを生成する。
Next, the
次に、物体検出装置３２０は、ステップＳ５５で生成された背景除去後のフレームを対象フレームとして、動きベクトル検出処理を行う（Ｓ５６）。すなわち、物体検出装置３２０は、ステップＳ５２で取得されたフレームのうち背景部分を除去した残りの部分について、動きベクトルの検出を行う。ステップＳ５６の動きベクトル検出処理では、実施の形態１と同様に画素単位の動きベクトルまで算出してもよいし、実施の形態２と同様にブロック単位の動きベクトルの算出で処理をとどめてもよい。
Next, the
次に、物体検出装置３２０は、ステップＳ５６で検出された動きベクトルを用いて、対象フレーム中の物体が存在する領域を検出する（Ｓ５７）。
Next, the
次に、物体検出装置３２０は、ステップＳ５７の領域検出結果とステップＳ５４の輪郭抽出結果とを合わせて、物体領域を検出する（Ｓ５８）。
Next, the
次に、物体検出装置３２０は、ステップＳ５１で検知された自車の走行状態と、ステップＳ５８で検出された物体領域の位置と、当該物体領域内のステップＳ５６で検出された動きベクトルとから、当該物体領域にある物体が自車の障害物であるか否かを判定する（Ｓ５９）。
Next, the
物体検出装置３２０は、物体が障害物であると判定した場合（Ｓ５９：Ｙｅｓ）、その旨を障害物通知部３０に通知し（Ｓ６０）、物体が障害物でないと判定した場合には（Ｓ５９：Ｎｏ）、処理を終了する。
If the
以上のとおり、本実施の形態では、物体検出装置３２０は、差分画像から背景部分を検出し、対象フレームから当該背景部分を除いて動きベクトル検出を行う。これにより、動きベクトル検出処理の負荷を軽減することができる。
As described above, in the present embodiment, the
上記実施の形態１〜３において、物体検出装置の機能は、電子回路などのハードウェア資源のみにより実現されてもよいし、ハードウェア資源とソフトウェアとの協働により実現されてもよい。後者の場合、物体検出装置の機能は、例えば、物体検出プログラムがコンピュータにより実行されることによって実現され、より具体的には、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体に記録された物体検出プログラムが主記憶装置に読み出されて中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により実行されることによって実現される。物体検出プログラムは、光ディスク等のコンピュータ読み取り可能な記録媒体に記録されて提供されてもよいし、インターネット等の通信回線を介して提供されてもよい。 In the first to third embodiments, the function of the object detection apparatus may be realized only by hardware resources such as an electronic circuit, or may be realized by cooperation of hardware resources and software. In the latter case, the function of the object detection device is realized by, for example, an object detection program being executed by a computer, more specifically, an object detection program recorded on a recording medium such as a ROM (Read Only Memory). Is read out to the main memory and executed by a central processing unit (CPU). The object detection program may be provided by being recorded on a computer-readable recording medium such as an optical disk, or may be provided via a communication line such as the Internet.
なお、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の態様で実施することができる。例えば、差分画像の算出に用いられる２つのフレームのうちの一方は、動きベクトル検出の対象フレームと同じフレームであることが望ましいが、対象フレームと略同じタイミングまたは十分に近いタイミングで撮影されたフレームであってもよい。また、物体検出装置は、車両以外の移動体に搭載されてもよく、当該移動体の障害物を検出してもよい。また、物体検出装置は、障害物の検出以外の用途に適用されてもよい。 In addition, this invention is not limited to the said embodiment, In the range which does not deviate from the summary of this invention, it can implement with a various aspect. For example, one of the two frames used for calculating the difference image is preferably the same frame as the target frame for motion vector detection, but the frame is captured at substantially the same timing as the target frame or sufficiently close to the target frame. It may be. Further, the object detection device may be mounted on a moving body other than the vehicle, and may detect an obstacle on the moving body. Further, the object detection device may be applied to uses other than the detection of an obstacle.
１〜３ 物体検出システム、 １０ カメラ、 ２０，２２０，３２０ 物体検出装置、 ２１ 画像取得部、 ２２，２２２，３２２ 動きベクトル検出部、 ２３，３２３ 差分算出部、 ２４ 物体検出部、 ２４ａ 領域検出部、 ２４ｂ 輪郭抽出部、 ２４ｃ 物体領域検出部、 ２４ｄ 障害物判定部、 ３０ 障害物通知部。
1 to 3 object detection system, 10 cameras, 20, 220, 320 object detection device, 21 image acquisition unit, 22, 222, 322 motion vector detection unit, 23, 323 difference calculation unit, 24 object detection unit, 24a
Claims (9)
前記画像取得部により取得された複数の画像のうちの対象画像および少なくとも１つの参照画像から、前記対象画像の各部分の動きベクトルを検出する動きベクトル検出部と、
前記画像取得部により取得された複数の画像のうちの２つの画像間の差分画像を算出する差分算出部と、
前記動きベクトル検出部により検出された動きベクトルと、前記差分算出部により算出された差分画像とに基づいて、物体が存在する物体領域を検出する物体検出部と
を備え、
前記物体検出部は、
前記動きベクトルに基づいて前記対象画像から物体の領域を検出する領域検出部と、
前記差分画像から物体の輪郭を抽出する輪郭抽出部と、
前記領域検出部により検出された領域に対応する、前記輪郭抽出部により抽出された輪郭で囲まれた領域を、前記物体領域として検出する物体領域検出部と
を有することを特徴とする物体検出装置。 An image acquisition unit for acquiring a plurality of images sequentially taken by the camera;
A motion vector detection unit that detects a motion vector of each part of the target image from the target image and at least one reference image of the plurality of images acquired by the image acquisition unit;
A difference calculating unit that calculates a difference image between two images of the plurality of images acquired by the image acquiring unit;
An object detection unit for detecting an object region where an object exists based on the motion vector detected by the motion vector detection unit and the difference image calculated by the difference calculation unit ;
The object detection unit is
An area detection unit for detecting an area of an object from the target image based on the motion vector;
A contour extraction unit that extracts a contour of an object from the difference image;
An object region detection unit for detecting, as the object region, a region surrounded by the contour extracted by the contour extraction unit corresponding to the region detected by the region detection unit;
An object detection apparatus comprising:
前記物体検出部は、前記物体領域が検出された場合に、当該物体領域の位置と当該物体領域内の前記動きベクトルとに基づき、当該物体領域に存在する物体が前記移動体に対する障害物であるか否かを判定する障害物判定部を有することを特徴とする請求項１または２に記載の物体検出装置。 The camera is provided on a moving body,
When the object area is detected, the object detection unit is configured such that an object existing in the object area is an obstacle to the moving body based on the position of the object area and the motion vector in the object area. object detection apparatus according to claim 1 or 2 characterized by having a determining obstacle determining unit that determines whether.
前記物体検出部は、
前記動きベクトルに基づいて前記対象画像から物体の領域を検出する領域検出部と、
前記差分画像から物体の輪郭を抽出する輪郭抽出部と、
前記領域検出部により領域が検出された場合に、前記検出された領域の位置と前記検出された領域内の前記動きベクトルとに基づき、前記検出された領域に存在する物体が前記移動体に対する障害物であるか否かを判定する障害物判定部と、
前記障害物判定部により前記検出された領域に存在する物体が障害物であると判定された場合に、前記検出された領域に対応する、前記輪郭抽出部により抽出された輪郭で囲まれた領域を、前記物体領域として検出する物体領域検出部と
を有することを特徴とする請求項１または２に記載の物体検出装置。 The camera is provided on a moving body,
The object detection unit is
An area detection unit for detecting an area of an object from the target image based on the motion vector;
A contour extraction unit that extracts a contour of an object from the difference image;
When an area is detected by the area detection unit, an object present in the detected area is an obstacle to the moving body based on the position of the detected area and the motion vector in the detected area. An obstacle determination unit for determining whether the object is an object,
A region surrounded by the contour extracted by the contour extraction unit corresponding to the detected region when the obstacle determination unit determines that the object existing in the detected region is an obstacle. the object detection apparatus according to claim 1 or 2, characterized in that it has a object area detection unit for detecting as the object region.
前記動きベクトル検出部は、前記対象画像のうち、前記差分画像中の画素値の絶対値が閾値以下である部分に対応する部分を除いて、前記動きベクトルの検出を行うことを特徴とする請求項１から６のいずれか１項に記載の物体検出装置。 The difference calculation unit calculates a difference between pixel values of each pixel between the two images, generates an image having the calculated difference between the pixels as a pixel value as the difference image,
The said motion vector detection part detects the said motion vector except the part corresponding to the part whose absolute value of the pixel value in the said difference image is below a threshold value among the said target images. Item 7. The object detection device according to any one of Items 1 to 6 .
前記画像取得ステップで取得された複数の画像のうちの対象画像および少なくとも１つの参照画像から、前記対象画像の各部分の動きベクトルを検出する動きベクトル検出ステップと、
前記画像取得ステップで取得された複数の画像のうちの２つの画像間の差分画像を算出する差分算出ステップと、
前記動きベクトル検出ステップで検出された動きベクトルと、前記差分算出ステップで算出された差分画像とに基づいて、物体が存在する物体領域を検出する物体検出ステップと
を含み、
前記物体検出ステップは、
前記動きベクトルに基づいて前記対象画像から物体の領域を検出する領域検出ステップと、
前記差分画像から物体の輪郭を抽出する輪郭抽出ステップと、
前記領域検出ステップで検出された領域に対応する、前記輪郭抽出ステップで抽出された輪郭で囲まれた領域を、前記物体領域として検出する物体領域検出ステップと
を有することを特徴とする物体検出方法。 An image acquisition step of acquiring a plurality of images sequentially taken by the camera;
A motion vector detection step of detecting a motion vector of each part of the target image from the target image and at least one reference image of the plurality of images acquired in the image acquisition step;
A difference calculating step of calculating a difference image between two images of the plurality of images acquired in the image acquiring step;
A motion vector detected by said motion vector detection step, the based on the difference image calculated by the difference calculation step, seen including a object detection step of detecting an object area where an object is present,
The object detection step includes
A region detecting step of detecting a region of an object from the target image based on the motion vector;
A contour extracting step of extracting a contour of the object from the difference image;
An object region detection step for detecting, as the object region, a region surrounded by the contour extracted in the contour extraction step corresponding to the region detected in the region detection step;
An object detection method characterized by comprising:
前記画像取得ステップで取得された複数の画像のうちの対象画像および少なくとも１つの参照画像から、前記対象画像の各部分の動きベクトルを検出する動きベクトル検出ステップと、
前記画像取得ステップで取得された複数の画像のうちの２つの画像間の差分画像を算出する差分算出ステップと、
前記動きベクトル検出ステップで検出された動きベクトルと、前記差分算出ステップで算出された差分画像とに基づいて、物体が存在する物体領域を検出する物体検出ステップと
をコンピュータに実行させ、
前記物体検出ステップは、
前記動きベクトルに基づいて前記対象画像から物体の領域を検出する領域検出ステップと、
前記差分画像から物体の輪郭を抽出する輪郭抽出ステップと、
前記領域検出ステップで検出された領域に対応する、前記輪郭抽出ステップで抽出された輪郭で囲まれた領域を、前記物体領域として検出する物体領域検出ステップと
を有することを特徴とする物体検出プログラム。 An image acquisition step of acquiring a plurality of images sequentially taken by the camera;
A motion vector detection step of detecting a motion vector of each part of the target image from the target image and at least one reference image of the plurality of images acquired in the image acquisition step;
A difference calculating step of calculating a difference image between two images of the plurality of images acquired in the image acquiring step;
Based on the motion vector detected in the motion vector detection step and the difference image calculated in the difference calculation step, causing the computer to execute an object detection step of detecting an object region where an object exists ,
The object detection step includes
A region detecting step of detecting a region of an object from the target image based on the motion vector;
A contour extracting step of extracting a contour of the object from the difference image;
An object region detection step for detecting, as the object region, a region surrounded by the contour extracted in the contour extraction step corresponding to the region detected in the region detection step;
An object detection program characterized by comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014008472A JP6188592B2 (en) | 2014-01-21 | 2014-01-21 | Object detection apparatus, object detection method, and object detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014008472A JP6188592B2 (en) | 2014-01-21 | 2014-01-21 | Object detection apparatus, object detection method, and object detection program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015138319A JP2015138319A (en) | 2015-07-30 |
| JP6188592B2 true JP6188592B2 (en) | 2017-08-30 |
Family
ID=53769298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014008472A Expired - Fee Related JP6188592B2 (en) | 2014-01-21 | 2014-01-21 | Object detection apparatus, object detection method, and object detection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6188592B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017018310A (en) * | 2015-07-10 | 2017-01-26 | 京楽産業．株式会社 | Game machine |
| JP6884219B2 (en) * | 2017-02-06 | 2021-06-09 | イデアル・インダストリーズ・ライティング・エルエルシー | Image analysis technique |
| JP6681965B2 (en) * | 2018-04-19 | 2020-04-15 | クラウドワークス インコーポレイテッドＣｒｏｗｄＷｏｒｋｓ， Ｉｎｃ． | Apparatus and method for extracting learning target image for autonomous driving |
| KR102015939B1 (en) * | 2018-09-27 | 2019-08-28 | 주식회사 크라우드웍스 | Method, apparatus and program for sampling a learning target frame image of video for image learning of artificial intelligence and image learning method thereof |
| US20220148283A1 (en) * | 2019-03-28 | 2022-05-12 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
| DE112020001581T5 (en) | 2019-03-28 | 2021-12-30 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM |
| CN113379985B (en) * | 2020-02-25 | 2022-09-27 | 北京君正集成电路股份有限公司 | Nursing electronic fence alarm device |
| CN113379984B (en) * | 2020-02-25 | 2022-09-23 | 北京君正集成电路股份有限公司 | Electronic nursing fence system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0737099A (en) * | 1993-07-22 | 1995-02-07 | Nippondenso Co Ltd | Moving object detector |
| JP4330914B2 (en) * | 2003-04-09 | 2009-09-16 | 株式会社エヌ・ティ・ティ・データ | Moving object detection apparatus and moving object detection method |
| JP4704998B2 (en) * | 2006-10-26 | 2011-06-22 | 本田技研工業株式会社 | Image processing device |
| JP5507014B2 (en) * | 2011-08-10 | 2014-05-28 | 富士フイルム株式会社 | Moving object detection apparatus and method |
-
2014
- 2014-01-21 JP JP2014008472A patent/JP6188592B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015138319A (en) | 2015-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6188592B2 (en) | Object detection apparatus, object detection method, and object detection program | |
| CN107851318B (en) | System and method for object tracking | |
| JP6525545B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND COMPUTER PROGRAM | |
| JP6230751B1 (en) | Object detection apparatus and object detection method | |
| JP6569385B2 (en) | Vehicle detection device, vehicle detection system, vehicle detection method, and vehicle detection program | |
| JP2014137815A (en) | System and method for correcting camera image with distortion | |
| JP2006338272A (en) | Vehicle behavior detector and vehicle behavior detection method | |
| WO2014002692A1 (en) | Stereo camera | |
| JP6592991B2 (en) | Object detection apparatus, object detection method, and program | |
| JP6194604B2 (en) | Recognizing device, vehicle, and computer executable program | |
| WO2018211930A1 (en) | Object detection device, object detection method, and computer-readable recording medium | |
| JP6795224B2 (en) | Mobile detection device, mobile detection method, and program | |
| JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
| JP2018142828A (en) | Deposit detector and deposit detection method | |
| JP2008026999A (en) | Obstacle detection system and obstacle detection method | |
| JP6221283B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6577595B2 (en) | Vehicle external recognition device | |
| JP5541099B2 (en) | Road marking line recognition device | |
| JP2020201876A (en) | Information processing device and operation support system | |
| JP2007233487A (en) | Pedestrian detection method, device, and program | |
| JP6949090B2 (en) | Obstacle detection device and obstacle detection method | |
| KR101628931B1 (en) | Method and apparatus for controlling view angle of blackbox | |
| JP2011203766A (en) | Image processing apparatus for vehicle | |
| JP2008040724A (en) | Image processing device and image processing method | |
| JP2021051348A (en) | Object distance estimation apparatus and object distance estimation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160120 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170801 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6188592 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |