JP2012185555A - Object detecting device and method, and program - Google Patents
Object detecting device and method, and program Download PDFInfo
- Publication number
- JP2012185555A JP2012185555A JP2011046616A JP2011046616A JP2012185555A JP 2012185555 A JP2012185555 A JP 2012185555A JP 2011046616 A JP2011046616 A JP 2011046616A JP 2011046616 A JP2011046616 A JP 2011046616A JP 2012185555 A JP2012185555 A JP 2012185555A
- Authority
- JP
- Japan
- Prior art keywords
- video
- object detection
- division
- image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、物体検出装置に関し、特に、車両周辺に存在する歩行者等の物体を検出可能な物体検出装置に関する。 The present invention relates to an object detection device, and more particularly to an object detection device capable of detecting an object such as a pedestrian existing around a vehicle.
近年、自動車の安全運転を支援する目的で、車載カメラの搭載が拡大している。例えば、車両の前方部分や後方部分に設置した撮像装置により車両周辺の映像を撮影し、撮影された映像を運転席に設置したディスプレイに表示することで、運転手は、車両の走行時に、車両周辺に存在する歩行者等の物体の有無を確認することができる。 In recent years, in-vehicle cameras have been increasingly installed for the purpose of supporting safe driving of automobiles. For example, by capturing an image around the vehicle with an imaging device installed in the front part or rear part of the vehicle and displaying the captured image on a display installed in the driver's seat, the driver can The presence or absence of objects such as pedestrians in the vicinity can be confirmed.
また、車両周辺の映像を単にディスプレイに表示するのではなく、歩行者等の物体をあらかじめ何らかの手段で検出しておき、検出結果の情報を映像に付加したうえで表示したり、音声による警告を発したりすることで運転手の注意を喚起する取組みもなされている。 Also, instead of simply displaying the video around the vehicle on the display, an object such as a pedestrian is detected in advance by some means, and the information on the detection result is added to the video and displayed, or an audio warning is given. There are also efforts to raise the driver's attention by launching.
歩行者等の物体を検出する手段としては、例えば熱源や距離を関知するセンサを車載カメラとは別に搭載するものがこれまでの主流であった。しかし、コストや汎用性の点で別センサの搭載にはデメリットがあり、車載カメラの映像だけで物体を検出する画像認識手段の実用化が望まれている。 As a means for detecting an object such as a pedestrian, for example, a sensor equipped with a heat source and a distance sensing sensor is installed separately from the in-vehicle camera. However, there is a demerit in mounting another sensor in terms of cost and versatility, and there is a demand for practical use of an image recognition means that detects an object only from an on-vehicle camera image.
画像認識による物体検出手法として、研究分野においては以前より映像中のエッジ特徴を利用する手法が有効とされている。また、検出対象物体の映像をあらかじめ大量に学習して統計データとして活用するブースティング手法が確立されている。エッジ特徴を利用する手法とブースティングを組み合わせた物体検出手法は、研究分野においては検出精度の点で既に実用レベルに至っている。 As an object detection method based on image recognition, a method using edge features in video has been effective in the research field. In addition, a boosting method has been established in which a large amount of images of detection target objects are learned in advance and used as statistical data. The object detection method combining the technique using the edge feature and boosting has already reached a practical level in terms of detection accuracy in the research field.
しかし、実用化の点で上記の画像認識による物体検出手法には、処理時間の課題が残されている。画像認識の場合、映像処理が複雑であるのと同時に画像中を一通り走査する必要があるため、物体検出した結果を得るまでに時間がかかる。これにより、カメラのフレームレートに対して物体検出処理のフレームレートが低くなることや、映像に対して物体検出結果を得るまでの遅延時間が生じるという問題がある。 However, the problem of processing time remains in the object detection method based on the above image recognition in terms of practical use. In the case of image recognition, since video processing is complicated and it is necessary to scan through the image at the same time, it takes time to obtain an object detection result. As a result, there are problems that the frame rate of the object detection process becomes lower than the frame rate of the camera, and that a delay time is required until an object detection result is obtained for the video.
このような処理時間の課題に対して、特許文献１では、入力画像を縮小した縮小画像を作成し、まず縮小画像上で物体の有無を粗く検出し、縮小画像上で物体を検出したときだけ元の入力画像に再度検出処理をかける二段階検出を行う物体検出装置が開示されている。これにより、実質的には縮小画像サイズでの走査になるので検出処理の高速化ができる。
In order to deal with such a problem of processing time, in
しかしながら、上記特許文献１に記載の方法では、縮小画像を使って検出処理を行っているため、物体検出処理で利用している画像特徴が縮小化によって失われる。このため、特に物体検出対象が元々画像中で小さく撮影されている場合において、検出性能が十分に発揮できないという課題がある。物体検出対象が小さく撮影される要因としては、検出対象物体として元々小さいものを対象としていること、もしくは検出対象物体がカメラから距離が遠い位置に存在していること、またはその両方の要因が考えられるが、前者の場合は検出対象とする物体によっては検出精度が十分得られず、後者の場合は検出できる物体までの距離範囲が短縮化する弊害を生じた。
However, in the method described in
本発明は、上記背景に鑑みなされたものであり、物体検出を画像認識だけで行いながら検出性能を犠牲にすることなく、検出処理時間を高速化することが可能な物体検出装置及び方法、並びにプログラムを提供することを目的とする。 The present invention has been made in view of the above background, and an object detection apparatus and method capable of speeding up the detection processing time without sacrificing detection performance while performing object detection only by image recognition, and The purpose is to provide a program.
本発明の物体検出装置は、車両周辺の映像から画像特徴を抽出した特徴映像へと変換する映像変換部と、前記特徴映像を複数の領域に分割して合成する映像分割合成部と、前記映像分割合成部で合成した合成映像を走査して第一の物体検出処理を行う第一物体検出処理部と、前記第一物体検出処理部で物体が検出された合成映像上の位置を基に分割前の映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定部と、前記物体候補位置検出部で求めた物体候補位置に対して第二の物体検出処理を行い分割前の映像における物***置を特定する第二物体検出処理部とを備えた構成を有する。 The object detection device according to the present invention includes a video conversion unit that converts a video around a vehicle into a feature video obtained by extracting an image feature, a video division and synthesis unit that divides and synthesizes the feature video into a plurality of regions, and the video A first object detection processing unit that performs a first object detection process by scanning a composite video synthesized by the division synthesis unit, and a division based on a position on the composite video where the object is detected by the first object detection processing unit An object candidate position specifying unit that obtains an object candidate position where an object may exist in the previous image, and a second object detection process on the object candidate position obtained by the object candidate position detecting unit And a second object detection processing unit that identifies an object position in the video.
この構成により、画像特徴を損なわないので検出性能を犠牲にせずに検出処理時間を高速化することが可能な物体検出装置を提供することが可能になる。 With this configuration, it is possible to provide an object detection apparatus that can speed up the detection processing time without sacrificing the detection performance because the image characteristics are not impaired.
本発明の物体検出装置において、前記映像変換部は、画像特徴としてエッジ特徴を抽出することを特徴とする。この構成により、物体検出処理で用いるエッジ特徴だけを残した映像に変換できる。 In the object detection apparatus of the present invention, the video conversion unit extracts an edge feature as an image feature. With this configuration, it is possible to convert to an image that retains only the edge features used in the object detection process.
本発明の物体検出装置において、前記映像変換部は、映像に対してエンボス加工を施すことを特徴とする。この構成により、映像中のエッジ特徴を簡易に求めることができる。 In the object detection device of the present invention, the video conversion unit performs embossing on the video. With this configuration, the edge feature in the video can be easily obtained.
本発明の物体検出装置において、前記映像分割合成部は、映像を複数の短冊状の領域に分割した分割領域を合成し、分割前の映像よりも小さい合成映像を生成することを特徴とする。この構成により、検出処理時に走査する映像の大きさを小さくできるので検出処理を高速化できる。 In the object detection apparatus of the present invention, the video division / synthesis unit synthesizes divided areas obtained by dividing the video into a plurality of strip-shaped areas, and generates a synthesized video smaller than the video before the division. With this configuration, the size of the image scanned during the detection process can be reduced, so that the detection process can be speeded up.
本発明の物体検出装置において、前記映像分割合成部は、フレーム毎に分割位置が異なることを特徴とする。この構成により、映像の分割によって検出対象の物体が切れてしまうことで検出ができなくなる弊害を防ぐことができる。 In the object detection device of the present invention, the video division / synthesis unit is characterized in that a division position differs for each frame. With this configuration, it is possible to prevent the adverse effect that the detection cannot be performed because the detection target object is cut off due to the division of the video.
本発明の物体検出装置において、前記映像分割合成部は、前記分割領域をαブレンディングで合成することを特徴とする。この構成により、合成係数を調整することによって合成映像における各分割映像領域の影響度を調整することができる。 In the object detection apparatus of the present invention, the video division / synthesis unit synthesizes the divided areas by α blending. With this configuration, it is possible to adjust the degree of influence of each divided video area in the synthesized video by adjusting the synthesis coefficient.
本発明の物体検出装置において、前記映像分割合成部は、前記分割領域に含まれる画像特徴量に応じてαブレンディングの合成係数を調整して合成することを特徴とする。この構成により、画像特徴が多く含まれる映像領域の合成係数を高めることで、合成映像にしたときに画像特徴を保持した状態にできる。 In the object detection apparatus of the present invention, the video division / synthesis unit adjusts an α blending synthesis coefficient in accordance with an image feature amount included in the divided region, and synthesizes the image. With this configuration, by increasing the synthesis coefficient of a video area that includes many image features, the image features can be maintained when the composite video is created.
本発明の物体検出装置において、前記第一物体検出処理部は、前記合成映像を拡大もしくは縮小した合成映像に対して物体検出処理を行うことを特徴とする。この構成により、映像中に存在する検出対象物体の大きさの違いに対応できる。 In the object detection device of the present invention, the first object detection processing unit performs object detection processing on a composite image obtained by enlarging or reducing the composite image. With this configuration, it is possible to cope with the difference in the size of the detection target object existing in the video.
本発明の物体検出装置において、前記第一物体検出処理部は、前記映像分割合成部で分割した分割領域の大きさに基づいて前記合成映像の拡大率もしくは縮小率を決定することを特徴とする。この構成により、分割した映像領域内で存在しえない大きさの検出対象物を対象とした走査をしないので検出処理を高速化することができる。 In the object detection device of the present invention, the first object detection processing unit determines an enlargement rate or a reduction rate of the synthesized video based on the size of the divided area divided by the video division and synthesis unit. . With this configuration, since the scanning is not performed on the detection target having a size that cannot exist in the divided video area, the detection process can be speeded up.
本発明の物体検出装置において、前記第一物体検出処理部は、物体検出を行う検出判定基準を前記第二物体検出処理部とは別々に調整可能であり、前記第二物体検出処理部よりも物体であると判定しやすくなるように検出基準を調整することを特徴とする。この構成により、第一物体検出処理部では検出を粗く（検出しやすく）して合成映像上における検出漏れを防ぎ、第二物体検出処理部で検出物体が存在することを最終的に判断して誤検出を防ぐことができる。 In the object detection device of the present invention, the first object detection processing unit is capable of adjusting a detection determination criterion for performing object detection separately from the second object detection processing unit, and more suitable than the second object detection processing unit. The detection reference is adjusted so that it can be easily determined that the object is an object. With this configuration, the first object detection processing unit coarsely detects (easier to detect) to prevent omission of detection on the composite image, and the second object detection processing unit finally determines that the detection object exists. False detection can be prevented.
本発明の物体検出装置において、前記第一物体検出処理部は、前記合成映像上で画像特徴が存在する部分だけを対象に第一の物体検出処理を行うことを特徴とする。この構成により検出物体が存在しえない箇所の走査をしないので、検出処理を高速化することができる。 In the object detection apparatus of the present invention, the first object detection processing unit performs a first object detection process only on a portion where an image feature exists on the synthesized video. Since this configuration does not scan a portion where a detection object cannot exist, the detection process can be speeded up.
本発明の物体検出方法は、車両周辺の映像から画像特徴を抽出した特徴映像へと変換する映像変換ステップと、前記特徴映像を複数の領域に分割して合成する映像分割合成ステップと、前記映像分割合成ステップで合成した合成映像を走査して第一の物体検出処理を行う第一物体検出処理ステップと、前記第一物体検出処理ステップで物体が検出された合成映像上の位置を基に分割前の映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定ステップと、前記物体候補位置検出ステップで求めた物体候補位置に対して第二の物体検出処理を行い分割前の映像における物***置を特定する第二物体検出処理ステップとを備えた構成を有する。この構成によっても、上記と同様の効果を得ることができる。 The object detection method of the present invention includes a video conversion step of converting a video around a vehicle into a feature video obtained by extracting an image feature, a video division and synthesis step of dividing the feature video into a plurality of regions, and the video A first object detection processing step for performing a first object detection process by scanning the composite video synthesized in the division synthesis step, and a division based on the position on the composite video where the object is detected in the first object detection processing step An object candidate position designation step for obtaining an object candidate position where an object may exist in the previous image, and a second object detection process for the object candidate position obtained in the object candidate position detection step to And a second object detection processing step for specifying an object position in the video. With this configuration, the same effect as described above can be obtained.
本発明の物体検出方法において、前記映像変換ステップは、画像特徴としてエッジ特徴を抽出することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection method of the present invention, the video conversion step extracts an edge feature as an image feature. With this configuration, the same effect as described above can be obtained.
本発明の物体検出方法において、前記映像変換ステップは、映像に対してエンボス加工を施すことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection method of the present invention, the video conversion step is characterized by embossing the video. With this configuration, the same effect as described above can be obtained.
本発明の物体検出方法において、前記映像分割合成ステップは、映像を複数の短冊状の領域に分割した分割領域を合成し、分割前の映像よりも小さい合成映像を生成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection method of the present invention, the video division and synthesis step is characterized in that a divided area obtained by dividing the video into a plurality of strip-shaped areas is synthesized to generate a synthesized video smaller than the video before the division. With this configuration, the same effect as described above can be obtained.
本発明の物体検出方法において、前記映像分割合成ステップは、フレーム毎に分割位置が異なることを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection method of the present invention, the video division / synthesis step is characterized in that a division position is different for each frame. With this configuration, the same effect as described above can be obtained.
本発明の物体検出方法において、前記映像分割合成ステップは、前記分割領域をαブレンディングで合成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection method of the present invention, the video division and synthesis step is characterized in that the divided areas are synthesized by α blending. With this configuration, the same effect as described above can be obtained.
本発明の物体検出方法において、前記映像分割合成ステップは、前記分割領域に含まれる画像特徴量に応じてαブレンディングの合成係数を調整して合成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection method of the present invention, the video dividing / synthesizing step is characterized in that the image blending is performed by adjusting a blending coefficient of α blending according to an image feature amount included in the divided region. With this configuration, the same effect as described above can be obtained.
本発明の物体検出方法において、前記第一物体検出処理ステップは、前記合成映像を拡大もしくは縮小した合成映像に対して物体検出処理を行うことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection method of the present invention, the first object detection processing step is characterized in that object detection processing is performed on a composite video obtained by enlarging or reducing the composite video. With this configuration, the same effect as described above can be obtained.
本発明の物体検出方法において、前記第一物体検出処理ステップは、前記映像分割合成ステップで分割した分割領域の大きさに基づいて前記合成映像の拡大率もしくは縮小率を決定することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection method of the present invention, the first object detection processing step determines an enlargement rate or a reduction rate of the synthesized video based on the size of the divided area divided in the video division and synthesis step. . With this configuration, the same effect as described above can be obtained.
本発明の物体検出方法において、前記第一物体検出処理ステップは、物体検出を行う検出判定基準を前記第二物体検出処理ステップとは別々に調整可能であり、前記第二物体検出処理ステップよりも物体であると判定しやすくなるように検出基準を調整することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection method of the present invention, the first object detection processing step can adjust a detection determination criterion for performing object detection separately from the second object detection processing step, and is more effective than the second object detection processing step. The detection reference is adjusted so that it can be easily determined that the object is an object. With this configuration, the same effect as described above can be obtained.
本発明の物体検出方法において、前記第一物体検出処理ステップは、前記合成映像上で画像特徴が存在する部分だけを対象に第一の物体検出処理を行うことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection method of the present invention, the first object detection processing step is characterized in that the first object detection processing is performed only for a portion where an image feature exists on the synthesized video. With this configuration, the same effect as described above can be obtained.
本発明の物体検出プログラムは、車両周辺の映像から画像特徴を抽出した特徴映像へと変換する映像変換機能と、前記特徴映像を複数の領域に分割して合成する映像分割合成機能と、前記映像分割合成機能で合成した合成映像を走査して第一の物体検出処理を行う第一物体検出処理機能と、前記第一物体検出処理機能で物体が検出された合成映像上の位置を基に分割前の映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定機能と、前記物体候補位置検出機能で求めた物体候補位置に対して第二の物体検出処理を行い分割前の映像における物***置を特定する第二物体検出処理機能とをコンピュータに実現させるためのプログラムである。この構成によっても、上記と同様の効果を得ることができる。 The object detection program of the present invention includes a video conversion function for converting a video around a vehicle into a feature video obtained by extracting an image feature, a video division and synthesis function for dividing the feature video into a plurality of regions, and the video A first object detection processing function that performs a first object detection process by scanning a composite image synthesized by the division composition function, and a division based on a position on the composite image where an object is detected by the first object detection processing function An object candidate position specifying function for obtaining an object candidate position where an object may exist in the previous image, and a second object detection process for the object candidate position obtained by the object candidate position detection function to A program for causing a computer to realize a second object detection processing function for specifying an object position in an image. With this configuration, the same effect as described above can be obtained.
本発明の物体検出プログラムにおいて、前記映像変換機能は、画像特徴としてエッジ特徴を抽出することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection program of the present invention, the video conversion function extracts an edge feature as an image feature. With this configuration, the same effect as described above can be obtained.
本発明の物体検出プログラムにおいて、前記映像変換機能は、映像に対してエンボス加工を施すことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection program of the present invention, the video conversion function performs embossing on the video. With this configuration, the same effect as described above can be obtained.
本発明の物体検出プログラムにおいて、前記映像分割合成機能は、映像を複数の短冊状の領域に分割した分割領域を合成し、分割前の映像よりも小さい合成映像を生成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection program of the present invention, the video division / synthesis function synthesizes a divided area obtained by dividing the video into a plurality of strip-shaped areas, and generates a synthesized video smaller than the video before the division. With this configuration, the same effect as described above can be obtained.
本発明の物体検出プログラムにおいて、前記映像分割合成機能は、フレーム毎に分割位置が異なることを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection program of the present invention, the video division / synthesizing function is characterized in that a division position is different for each frame. With this configuration, the same effect as described above can be obtained.
本発明の物体検出プログラムにおいて、前記映像分割合成機能は、前記分割領域をαブレンディングで合成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection program of the present invention, the video division / synthesis function synthesizes the divided areas by α blending. With this configuration, the same effect as described above can be obtained.
本発明の物体検出プログラムにおいて、前記映像分割合成機能は、前記分割領域に含まれる画像特徴量に応じてαブレンディングの合成係数を調整して合成することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection program of the present invention, the video segmentation / synthesizing function adjusts a blending coefficient of α blending according to an image feature amount included in the segmented region, and synthesizes. With this configuration, the same effect as described above can be obtained.
本発明の物体検出プログラムにおいて、前記第一物体検出処理機能は、前記合成映像を拡大もしくは縮小した合成映像に対して物体検出処理を行うことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection program of the present invention, the first object detection processing function performs object detection processing on a composite video obtained by enlarging or reducing the composite video. With this configuration, the same effect as described above can be obtained.
本発明の物体検出プログラムにおいて、前記第一物体検出処理機能は、前記映像分割合成機能で分割した分割領域の大きさに基づいて前記合成映像の拡大率もしくは縮小率を決定することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection program of the present invention, the first object detection processing function determines an enlargement ratio or a reduction ratio of the synthesized video based on a size of a divided area divided by the video division and synthesis function. . With this configuration, the same effect as described above can be obtained.
本発明の物体検出プログラムにおいて、前記第一物体検出処理機能は、物体検出を行う検出判定基準を前記第二物体検出処理機能とは別々に調整可能であり、前記第二物体検出処理機能よりも物体であると判定しやすくなるように検出基準を調整することを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection program of the present invention, the first object detection processing function can adjust a detection determination criterion for performing object detection separately from the second object detection processing function, The detection reference is adjusted so that it can be easily determined that the object is an object. With this configuration, the same effect as described above can be obtained.
本発明の物体検出プログラムにおいて、前記第一物体検出処理機能は、前記合成映像上で画像特徴が存在する部分だけを対象に第一の物体検出処理を行うことを特徴とする。この構成によっても、上記と同様の効果を得ることができる。 In the object detection program of the present invention, the first object detection processing function performs a first object detection process only on a portion where an image feature exists on the synthesized video. With this configuration, the same effect as described above can be obtained.
本発明によれば、画像特徴を損なわずに映像を小さくできるので、検出性能を犠牲にすることなく、検出処理時間を高速化することができる物体検出装置を提供することが可能になるという優れた効果を有する。 According to the present invention, since an image can be reduced without impairing image characteristics, it is possible to provide an object detection device that can increase the detection processing time without sacrificing detection performance. It has the effect.
以下、本発明の実施形態における物体検出装置について、図面を参照して説明する。 Hereinafter, an object detection apparatus according to an embodiment of the present invention will be described with reference to the drawings.
図１は、本発明の実施の形態に係る物体検出装置の構成を示すブロック図である。物体検出装置１０は、外部より入力される映像を、その映像から画像特徴を抽出した特徴映像に変換する映像変換部２０と、特徴映像を複数の領域に分割した分割領域を合成して合成画像を生成する映像分割合成部３０と、合成映像から物体検出を行う第一物体検出処理部４０と、第一物体検出処理部４０の検出結果から分割前の映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定部５０と、分割前の映像上の物体候補位置に対して物体検出を行う第二物体検出処理部６０とを備える。
FIG. 1 is a block diagram showing a configuration of an object detection apparatus according to an embodiment of the present invention. The
外部より入力される映像は、例えば車両前側または後側のナンバープレート近くの所定位置に所定角度で取り付けられた車載カメラにより車両周辺を撮影した映像である。 The image input from the outside is, for example, an image obtained by photographing the periphery of the vehicle with a vehicle-mounted camera attached at a predetermined angle near a license plate on the front or rear side of the vehicle.
映像変換部２０は、外部より入力される映像を基に、画像特徴を映像上で抽出する映像変換処理を行う。本実施の形態では、外部より入力される映像に対してエンボス処理を行い、画像特徴としてエッジ特徴を抽出するものとし、後段の処理でエッジ特徴に注目した処理を行なっているが、本発明で対象とする画像特徴はエッジ特徴に限定されない。例えば、道路上の標識や信号機を検出する目的においては、画像特徴として特定の色を抽出する処理を行うことが有効である。また、本発明ではエッジ特徴を抽出する処理としてエンボス処理を行うが、エッジ特徴を抽出する映像変換処理もこれに限るものではない。例えば、エッジ特徴を抽出する手段としてはソーベルフィルタやＣａｎｎｙ法を利用してもよい。
The
映像分割合成部３０は、映像分割部３１、分割領域特徴量判定部３２、合成係数調整部３３、及び映像合成部３４を備える。映像分割部３１は、特徴映像を複数の領域に分割する。分割領域特徴判定部３２は、映像分割部３１で分割された各分割領域内に存在する画像特徴量を求める。合成係数調整部３３は、分割領域特徴量判定部３２で求めた各分割領域の画像特徴量を基に各領域に対応する合成係数を求める。映像合成部３４は、映像分割部３１で分割された各分割領域に対して合成係数調整部３３で求めた合成係数を乗じ、全ての分割領域を合成した合成映像を生成する。このとき、合成映像は分割前の映像よりも小さくなる。
The video division /
第一物体検出処理部４０は、映像拡大縮小部４１、合成映像特徴量判定部４２、合成映像物体検出部４３を備える。映像拡大縮小部４１は、合成映像を拡大または縮小する。ここでの拡大縮小処理は、映像上における物体検出対象の大きさの違いに対応するための処理であり、物体検出処理の高速化を目的としたものではない。例えば、物体検出対象がカメラから近距離に存在すれば物体は映像中で大きく映る。逆に物体が遠距離に存在すれば小さく映る。物体検出ではこのように生じる映像中における物体の大きさによらず同一の処理で物体検出処理を行うため、物体が大きく映っているときは映像を縮小し、小さく映っているときは映像を拡大して大きさの正規化を行い、そのうえで物体検出処理を行うのが常套手段である。合成映像特徴量判定部４２は、映像拡大縮小部４１から出力される映像上で画像特徴が存在する箇所を特定する。合成映像物体検出部４３は、映像拡大縮小部４１から出力される映像上で、合成映像特徴量判定部４２で画像特徴が存在するとした合成映像中の箇所に対して物体検出処理を行う（この物体検出処理を「第一の物体検出処理」という。）。画像特徴が存在しない箇所はそもそも検出対象物体が存在しないため、あらかじめ除外しておくことで物体検出処理の高速化が期待できる。
The first object detection processing unit 40 includes a video enlargement /
物体候補位置指定部５０は、第一物体検出処理部４０で物体検出された合成映像上の位置が、分割前の映像上のどこに該当するかを求める。例えば、合成映像が２つの領域を合成していたとき、合成映像上で１つの物体が検出されれば、分割前の映像上で物体が存在する可能性がある位置は２箇所となる。
The object candidate
第二物体検出処理部６０は、分割前の映像上で物体候補位置指定部５０において指定された位置のみを対象に物体検出を行い、最終的な物体検出結果を得る（この物体検出処理を「第二の物体検出処理」という。）。
The second object
以上が本発明の一実施形態に係る物体検出装置の構成と、処理の流れの説明である。 The above is the description of the configuration of the object detection device and the processing flow according to the embodiment of the present invention.
次に、映像分割合成部３０、第一物体検出処理部４０、物体候補位置指定部５０、第二物体検出処理部６０の一連の処理について、図面を参照して詳細に説明する。
Next, a series of processes of the video division /
映像分割部３１で特徴映像を複数の領域に分割する例を図２に示す。図２（ａ）は映像を２つの領域に分割した例、（ｂ）は４つの領域に分割した例を示している。この後の映像合成を考慮し、分割後の領域はそれぞれ同じ大きさであることが望ましいが、必ずしも同じである必要はない。また、分割数が大きいほど高速化の効果は大きくなる。具体的には、２分割の場合は分割なしの場合と比較して約１／２の処理時間、４分割の場合は約１／４の処理時間となる。ここでは、４分割を例にとって説明する。 An example in which the feature image is divided into a plurality of regions by the image dividing unit 31 is shown in FIG. FIG. 2A shows an example in which the video is divided into two areas, and FIG. 2B shows an example in which the video is divided into four areas. In consideration of the subsequent video composition, it is desirable that the divided areas have the same size, but they do not necessarily have to be the same. The effect of speeding up increases as the number of divisions increases. Specifically, in the case of two divisions, the processing time is about ½ compared to the case without division, and in the case of four divisions, the processing time is about ¼. Here, a description will be given by taking four divisions as an example.
図３は、映像を分割にした場合に生じる課題を示したものである。今、図３の映像上には被写体Ａと被写体Ｂの２つが存在している。映像を４分割したとき、被写体Ｂは領域３に収まるが、被写体Ａは領域１と領域２に分割されてしまう。このように被写体が複数の領域に分割されてしまうと後段の検出処理が困難になる。このとき、被写体Ａの位置が時間的に変化しない場合には被写体Ａが現在から未来において検出されないという課題を生じる。
FIG. 3 shows a problem that occurs when a video is divided. Now, there are two subjects A and B on the image of FIG. When the image is divided into four parts, the subject B fits in the
この課題に対して、本実施の形態では図４のようにフレームごとに分割位置が互い違いになる位置になるように調整する。これにより、Ｎフレーム目には被写体Ｂが検出でき、Ｎ＋１フレーム目には被写体Ａが検出できる。なお、図４（ｂ）の領域１〜３に含まれない左右の領域は後段の検出処理には使用していない。
In order to deal with this problem, in the present embodiment, adjustment is performed so that the division positions are staggered for each frame as shown in FIG. Thereby, the subject B can be detected in the Nth frame, and the subject A can be detected in the N + 1th frame. Note that the left and right regions that are not included in the
次に、分割領域特徴量判定部３２について説明する。ここでの特徴量判定は、映像分割部４１で分割された各分割領域にそれぞれどの程度の画像特徴が存在しているかをカウントする。本実施の形態では画像特徴としてエッジ特徴を用いる。エッジ量のカウント手段としては各種存在するが、本発明はその手段について限定するものではない。例えば、単純にエッジが存在する画素数や、エッジが存在する画素のエッジの大きさの総和をエッジ量としてカウントしてよい。あるいは、検出対象物体において特定の方向のエッジが多いとあらかじめ分かっているならば、特定の方向のエッジだけを対象にカウントする手段も有効である。また、本実施の形態ではエッジ特徴を対象にしているが、他の画像特徴を判定する処理に置き換えることも可能である。例えば、特定色の有無を判定してもよいし、一定以上の明るさの有無を判定するような処理でもよい。
Next, the divided region feature
合成係数調整部３３は、分割領域特徴量判定部３２で求めた各分割領域の画像特徴量に基づいて各領域の合成係数を算出する。本実施の形態の第一の物体検出処理はエッジ特徴に基づくため、映像を合成する際にはエッジが存在する領域の合成係数を大きく、エッジが存在しない領域の合成係数を小さくする。このような合成係数を算出する方法として一例を挙げると、領域１のエッジ量をＥ１、領域２のエッジ量をＥ２、領域３のエッジ量をＥ３、領域４のエッジ量をＥ４としたとき、領域１〜４の合成係数Ｍ１〜Ｍ４は下式のように求めることができる。
映像合成部３４は、合成係数調整部３３で求めた合成係数Ｍ１〜Ｍ４を用いて、映像分割部３１で分割した４つの分割領域を合成して、１つの合成映像を生成する。この合成は、合成係数Ｍ１〜Ｍ４に従った割合で複数の分割領域の重ねあわせを行なうものであり、αブレンディングと呼ばれる。図５は映像合成を説明する図である。図５（ａ）は映像分割前の特徴映像であり、図５（ｂ）は映像分割部３１で特徴映像を４分割した４つの分割領域と、分割領域特徴量判定部３２および合成係数調整部３３で求めた各分割領域に対応する合成係数Ｍ１〜Ｍ４を示している。ここで、合成係数Ｍ１〜Ｍ４の関係はエッジ量の大きさに比例するので、Ｍ３が一番大きく、次に大きいのがＭ１とＭ４でほぼ同じ大きさであり、一番小さいのがＭ２となる。このような大きさの関係にある合成係数を各分割領域に乗じたイメージが図５（ｃ）となる。最後に合成係数を乗じた各領域を合成したのが図５（ｄ）であり、最終的な合成映像としてはエッジ量が最も多い領域３が一番鮮明に残った形で合成されることになる。このようにエッジ量によって合成係数を調整することで、複数の分割領域を合成しても第一の物体検出に必要な画像特徴を残すことができる。
The
以上、映像分割合成部３０について説明した。次に、第一物体検出処理部４０について説明する。
Heretofore, the video division /
映像拡大縮小部４１は、後段の合成画像物体検出部４３に映像を出力するにあたって合成映像を拡大または縮小する。なお、映像を拡大または縮小する理由は前述したとおり、検出対象物体の映像上における大きさの違いに対応するためであり、高速化のためではない。次に、映像の分割数と拡大縮小の関係について説明する。まず、拡大縮小処理の基本概念について図６を用いて説明する。なお、以下の説明では、説明を具体化する目的で適宜数値を記載するが、本実施の形態はこれに限定されるものではない。
The video enlargement /
分割前の映像の大きさを水平６４０画素、垂直４８０画素とする（図６（ａ））。また、第一の物体検出処理で検出可能な物体の大きさを水平６４画素、垂直１２８画素とする（図６（ｂ））。図６（ｃ）に図示したように、拡大縮小処理とは、もともと映像上に撮影される様々な大きさの被写体を、第一の物体検出処理が対応できる大きさ相当に拡大または縮小して大きさを合わせる処理となる。つまり、拡大縮小によって映像中の検出対象の物体の大きさが水平６４画素、垂直１２８画素相当になれば検出可能となる。実際には映像中の検出対象物体の大きさがあらかじめ分からないので、拡大もしくは縮小の倍率をかえて複数回行うことになる。 The size of the video before the division is set to 640 pixels horizontally and 480 pixels vertically (FIG. 6A). In addition, the size of an object that can be detected by the first object detection processing is 64 pixels horizontal and 128 pixels vertical (FIG. 6B). As shown in FIG. 6C, the enlargement / reduction process is performed by enlarging or reducing an object of various sizes originally captured on a video image to a size corresponding to the first object detection process. It becomes processing to match the size. That is, if the size of the object to be detected in the video is equivalent to 64 pixels horizontally and 128 pixels vertically due to enlargement / reduction, detection is possible. Actually, since the size of the object to be detected in the video is not known in advance, it is performed a plurality of times while changing the enlargement or reduction magnification.
続いて、拡大縮小処理の拡大率および縮小率の限界値を考える。一般的に拡大率が大きすぎると拡大処理に伴って映像の鮮明度が低下するため、第一の物体検出処理にはおのずと限界が生じる。ここでは説明のために限界を拡大率１０倍とする。また、縮小率については拡縮前の映像の大きさと、第一の物体検出処理が対応できる大きさの関係によって求まる。図６の例では、拡縮前の垂直サイズ４８０画素を１２８画素に縮小するときが取りうる最小の縮小率となるためその倍率は０．２７倍となる。つまり、映像分割がない場合は、拡大縮小前の映像に対し、倍率０．２７〜１０倍の範囲で拡大縮小（１以下の場合は縮小）することになる。
Next, the enlargement ratio of the enlargement / reduction process and the limit value of the reduction ratio are considered. In general, when the enlargement ratio is too large, the sharpness of the image is reduced along with the enlargement process, and thus the first object detection process naturally has a limit. Here, for the sake of explanation, the limit is assumed to be 10 times magnification. Further, the reduction ratio is obtained from the relationship between the size of the video before enlargement and reduction and the size that can be handled by the first object detection process. In the example of FIG. 6, since the minimum reduction rate that can be taken when the
次に、映像を分割したときの拡大率および縮小率の限界について図７〜図９を参照しながら説明する。 Next, the limit of the enlargement ratio and reduction ratio when the video is divided will be described with reference to FIGS.
図７は２分割の例を示したものであり、図７（ａ）は２分割時の分割領域例、図７（ｂ）は各分割領域の縦横比をそれぞれ示したものである。２分割時の縦横比は横０．６７に対し縦１となる（以下では０．６７：１のように表記する）。一方で、第一の物体検出処理が対応できる大きさが水平６４画素、垂直１２８画素のとき縦横比は０．５：１であり、かつ前述したように映像分割がない場合の倍率範囲は垂直画素数によって規定されたので、２分割時も分割がない場合と同様に倍率値は０．２７〜１０の範囲を取る。 FIG. 7 shows an example of two divisions. FIG. 7A shows an example of divided areas when divided into two, and FIG. 7B shows the aspect ratio of each divided area. The aspect ratio at the time of the division into two is 1 for the horizontal 0.67 (hereinafter expressed as 0.67: 1). On the other hand, when the size that can be handled by the first object detection process is 64 pixels horizontally and 128 pixels vertically, the aspect ratio is 0.5: 1, and the magnification range when there is no image division as described above is vertical. Since it is defined by the number of pixels, the magnification value ranges from 0.27 to 10 as in the case where there is no division even when dividing into two.
図８は４分割の例を示したものであり、図８（ａ）は４分割時の分割領域例、図８（ｂ）は各分割領域の縦横比をそれぞれ示したものである。４分割時の縦横比は０．３３：１となる。このとき、第一の物体検出処理が対応できる対象物体の縦横比より水平の比率が小さくなるので、最小倍率は水平画素数により規定される。すなわち、合成映像の水平サイズ１６０画素を６４画素に縮小するときが最小の縮小率となるためその倍率は０．４倍となる。よって、４分割時の取りうる倍率は０．４〜１０となる。 FIG. 8 shows an example of four divisions, FIG. 8A shows an example of divided areas when dividing into four parts, and FIG. 8B shows the aspect ratio of each divided area. The aspect ratio at the time of four divisions is 0.33: 1. At this time, since the horizontal ratio is smaller than the aspect ratio of the target object that can be handled by the first object detection process, the minimum magnification is defined by the number of horizontal pixels. That is, when the horizontal size of the synthesized video is reduced from 160 pixels to 64 pixels, the minimum reduction ratio is obtained, and the magnification is 0.4 times. Therefore, the magnification that can be taken when dividing into four is 0.4-10.
図９は８分割の例を示したものであり、図９（ａ）は８分割時の分割領域例、図９（ｂ）は各領域の縦横比をそれぞれ示したものである。８分割時の縦横比は０．１７：１となる。このとき、第一の物体検出処理が対応できる対象物体の縦横比より水平の比率が小さくなるので、最小倍率は水平画素数により規定される。すなわち、合成映像の水平サイズ８０画素を６４画素に縮小するときが最小の縮小率となるためその倍率は０．８倍となる。よって、８分割時の取りうる倍率は０．８〜１０となる。 FIG. 9 shows an example of 8 divisions, FIG. 9A shows an example of divided areas at the time of 8 divisions, and FIG. 9B shows the aspect ratio of each area. The aspect ratio in 8 divisions is 0.17: 1. At this time, since the horizontal ratio is smaller than the aspect ratio of the target object that can be handled by the first object detection process, the minimum magnification is defined by the number of horizontal pixels. That is, since the minimum reduction ratio is obtained when the horizontal size of the synthesized video is reduced from 80 pixels to 64 pixels, the magnification is 0.8. Therefore, the magnification that can be taken in 8 divisions is 0.8-10.
ここまで説明した各分割数で取りうる倍率をまとめると、分割をしない時は０．２７〜１０倍、２分割時は０．２７〜１０倍、４分割時は０．４〜１０倍、８分割時は０．８〜１０倍となる。同じ倍率はいずれかの分割時に検出対象とすればよいので重複分を削除することができ、かつ、分割数が多いほど検出の高速化が可能であることを考慮すると、各分割数と取りうる倍率の関係は図１０のようにまとめられる。このように、分割数と拡大縮小の倍率を組み合わせて拡大縮小処理を実施することで検出処理を高速化することができる。 Summarizing the magnifications that can be obtained for each division number described so far, 0.27 to 10 times when division is not performed, 0.27 to 10 times when division is performed, 0.4 to 10 times when division is performed, 4 to 10 times when division is performed, 8 At the time of division, it becomes 0.8 to 10 times. Considering that the same magnification can be used as a detection target in any of the divisions, so that duplicates can be deleted, and that the higher the number of divisions, the faster the detection can be. The relationship of magnification is summarized as shown in FIG. In this way, the detection process can be speeded up by performing the enlargement / reduction process by combining the number of divisions and the enlargement / reduction ratio.
次に合成映像特徴量判定部４２について図１１を参照して説明する。ここでの判定処理は、映像拡大縮小部４１で拡大縮小された合成映像上において、第一の物体検出処理が検出可能な大きさの枠（例えば水平６４画素、垂直１２８画素の検出対象枠）内にどの程度の画像特徴が存在しているかをカウントする。本実施の形態ではエッジ特徴を対象とし、エッジのカウント方法は分割領域特徴量判定部３２と同様であるので説明は割愛する。
Next, the composite video feature
合成映像物体検出部４３は、合成映像に対して第一の物体検出処理を行う。物体検出処理は、合成映像上でラスタ走査し、検出対象枠内に検出対象物体が存在するかを判定する処理となる。このとき、ラスタ走査において全ての検出対象枠で検出処理を行うのではなく、合成映像特徴量判定部４２の結果を用いて検出処理を行うかどうかを判断する。すなわち、検出対象枠内に画像特徴が存在しない場合は物体が存在しえないので、検出処理を行わずに走査を進めることで全体の検出処理を高速化する。画像特徴が存在するかどうかの判定は、閾値を適宜に設定して一定以上の画像特徴が存在する場合にのみ検出処理を行うようにする。
The composite video
本実施の形態における物体検出処理は、エッジ特徴をベースにした物体検出手法を用いる。エッジ特徴を使う手法としては、エッジの強度と方向を用いるＨＯＧ（Histogram of Oriented Gradient）特徴を利用した手法が一般的であり、本発明にも適用できる。また、ＨＯＧ特徴を利用した手法に限らず、エッジ特徴を用いる物体検出ならばいずれも適用が可能である。また、本発明においては画像特徴としてエッジ特徴以外のものでも適用可能である。 The object detection process in this embodiment uses an object detection method based on edge features. As a method using an edge feature, a method using a HOG (Histogram of Oriented Gradient) feature that uses the strength and direction of an edge is common, and can be applied to the present invention. Further, the present invention is not limited to the method using the HOG feature, and any object detection using the edge feature can be applied. In the present invention, an image feature other than an edge feature can be applied.
次に、物体候補位置指定部５０について図１２を参照して説明する。図１２（ａ）は特徴映像を４分割した例、図１２（ｂ）は４分割した映像を合成した合成映像、図１２（ｃ）は合成映像上で第一の物体検出処理を行った結果、図１２（ｄ）は第一の物体検出処理より分割前の映像上における物体候補位置を指定した結果である。物体候補位置の個数は分割数と同じ数になり、図１２の例では４分割した合成映像を使って第一の物体検出処理を行っているので、分割前の映像上における物体候補位置は４つとなる。また、物体候補位置の座標位置は、図１３に示すように、合成映像上における検出結果位置から一意に求めることができる。図１３（ａ）は、合成映像上の検出結果座標を図示しており、合成映像の左上を座標（０，０）としたとき、検出結果枠の左上座標を（ｘｓ，ｙｓ）、右下座標を（ｘｅ，ｙｅ）とする。図１３（ｂ）は、図１３（ａ）の検出結果座標に対応する物***置候補座標を図示しており、映像の左上を座標（０，０）としたとき物***置候補１の左上座標は（ｘｓ，ｙｓ）、右下座標は（ｘｅ，ｙｅ）、物***置候補２の左上座標は（ｘｓ＋１６０，ｙｓ＋１６０）、右下座標は（ｘｅ＋１６０，ｙｅ＋１６０）、物***置候補３の左上座標は（ｘｓ＋３２０，ｙｓ＋３２０）、右下座標は（ｘｅ＋３２０，ｙｅ＋３２０）、物***置候補４の左上座標は（ｘｓ＋４８０，ｙｓ＋４８０）、右下座標は（ｘｅ＋４８０，ｙｅ＋４８０）となる。
Next, the object candidate
次に、第二物体検出処理部６０について図１４を参照して説明する。図１４（ａ）は物体候補位置、図１４（ｂ）は最終的な検出結果の位置を示している。第二の物体検出処理は、物体候補位置指定部５０で指定した物体候補位置に対して物体検出処理を行い、最終的な物体検出結果を求める。ここでは、既に検出処理を行う座標位置が指定されているため合成映像物体検出部４３で行ったようなラスタ走査の必要はない。また、物体検出処理については合成映像物体検出部４３と同様にエッジ特徴をベースにした物体検出手法を用いる。用いる手法としては合成映像物体検出部４３と同じ検出手法でもよいし、異なっていてもよい。さらに、合成映像物体検出部４３と第二物体検出処理部６０における物体検出の精度を変えてもよい。この場合、合成映像物体検出部４３よりも第二物体検出処理部６０の検出精度をより厳密にしておくとよい。合成部映像物体検出部４３は第二物体検出処理部６０と比較して処理量が多いので誤検出を多少許容する程度の簡易的な物体検出を行い、物体候補が限定されて処理量が少ない第二の物体検出処理で誤検出を除外し確実に検出対象物体だけを検出結果とする。これによって、検出精度を落とさずに検出処理の高速化が実現できる。
Next, the second object
図１５は、上記の物体検出装置１００を用いて車両周辺の映像に基づいて車両付近の物体を検出する物体検出方法のフロー図である。図１５のフロー図は、入力された１フレームの映像に対する処理であり、映像が連続的に入力される場合には、各フレームについて図１５のフローが繰り返される。映像変換部２０は、映像が入力されると、その映像を、その映像から画像特徴を抽出した特徴映像に変換する（ステップＳ１５１）。次に映像分割部３１は、特徴映像を複数の分割領域に分割する（ステップＳ１５２）。そして、分割領域特徴量判定部３２が、各分割領域について、その特徴量を判定する（ステップＳ１５３）。続いて、合成係数調整部３３が、分割領域特徴量判定部３２で求めた各分割領域の画像特徴量に基づいて各分割領域の合成係数を算出する（ステップＳ１５４）。次に、映像合成部３４は、合成係数調整部３３で求めた合成係数を用いて、映像分割部３１で分割した分割領域に対してαブレンディングによる合成をして、１つの合成映像を生成する（ステップＳ１５５）。
FIG. 15 is a flowchart of an object detection method for detecting an object in the vicinity of the vehicle based on an image around the vehicle using the object detection apparatus 100 described above. The flow diagram of FIG. 15 is a process for one frame of video input. When video is continuously input, the flow of FIG. 15 is repeated for each frame. When the video is input, the
映像拡大縮小部４１は、映像合成部３４で生成された合成映像を拡大または縮小する（ステップＳ１５６）。合成映像特徴量判定部４２は、合成映像上において、第一の物体検出処理で検出可能な大きさの枠内にどの程度の画像特徴が存在しているかを判定する（ステップＳ１５７）。そして、合成映像物体検出部４３は、第一の物体検出処理として、合成映像を走査して物体検出を行う（ステップＳ１５８）。なお、このとき、合成映像物体検出部４３は、合成映像特徴量判定部４２の結果を用いて、検出対象枠内に画像特徴が存在しない場合は物体検出処理を行わずに次のステップに進む。次に、物体候補位置指定部５０が、第一の物体検出処理において物体が検出された合成映像上の位置を基に分割前の前記映像において物体が存在する可能性がある位置を物体候補位置として指定する（ステップＳ１５９）。最後に、物体候補位置指定部５０で指定した物体候補位置に対して第二の物体検出処理を行い、最終的に、分割前の映像における物***置を特定する（ステップＳ１６０）。
The video enlargement /
上記の実施の形態にかかる物体検出装置によれば、カメラで撮影した映像から特徴映像に変換し、特徴映像を分割合成した映像上で第一の物体検出処理を行って物体候補位置を求め、さらに物体候補位置に対して第二の物体検出処理を行って最終的な物体検出結果を求めるので、物体検出性能を犠牲にすることなく物体検出処理を高速化することができる。 According to the object detection device according to the above-described embodiment, the image captured by the camera is converted into the feature image, the first object detection process is performed on the image obtained by dividing and combining the feature image, and the object candidate position is obtained. Further, since the second object detection process is performed on the object candidate position to obtain the final object detection result, the object detection process can be speeded up without sacrificing the object detection performance.
なお、上記で説明した物体検出装置は、コンピュータがプログラムを実行することにより、そのコンピュータが物体検出装置となり、また、コンピュータがプログラムを実行することにより上記の物体検出方法が実行されてよい。 The object detection device described above may be an object detection device when the computer executes a program, and the object detection method may be executed when the computer executes the program.
以上に現時点で考えられる本発明の好適な実施の形態を説明したが、本実施の形態に対して多様な変形が可能であり、そして、本発明の真実の精神と範囲内にあるそのようなすべての変形を請求の範囲が含むことが意図されている。 Although the presently preferred embodiments of the present invention have been described above, various modifications can be made to the present embodiments, and such modifications are within the true spirit and scope of the present invention. It is intended that the claims include all modifications.
以上のように、本発明に係る物体検出装置は、車両周辺を撮影した映像から画像特徴を抽出した特徴映像へ変換し、特徴映像を分割して合成した合成映像上で第一の物体検出処理を行って物体候補位置を求め、さらに物体候補位置に対して第二の物体検出処理を行うので、物体検出性能を犠牲にすることなく物体検出処理を高速化することができるという優れた効果を有し、車両周辺の物体を検出するための物体検出装置等として有用である。 As described above, the object detection device according to the present invention converts the feature image obtained by extracting the image feature from the image obtained by photographing the periphery of the vehicle, and performs the first object detection process on the synthesized image obtained by dividing and synthesizing the feature image. The object candidate position is obtained and the second object detection process is performed on the object candidate position, so that the object detection process can be accelerated without sacrificing the object detection performance. It is useful as an object detection device or the like for detecting objects around the vehicle.
１０ 物体検出装置
２０ 映像変換部
３０ 映像分割合成部
３１ 映像分割部
３２ 分割領域特徴量判定部
３３ 合成係数調整部
３４ 映像合成部
４０ 第一物体検出処理部
４１ 映像拡大縮小部
４２ 合成映像特徴量判定部
４３ 合成映像物体検出部
５０ 物体候補位置指定部
６０ 第二物体検出処理部
DESCRIPTION OF
Claims (33)
前記映像を、前記映像から画像特徴を抽出した特徴映像に変換する映像変換部と、
前記特徴映像を複数の領域に分割した分割領域を合成して合成画像を生成する映像分割合成部と、
前記映像分割合成部で合成した前記合成映像を走査して第一の物体検出処理を行う第一物体検出処理部と、
前記第一物体検出処理部で物体が検出された前記合成映像上の位置を基に分割前の前記映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定部と、
前記物体候補位置指定部で求めた前記物体候補位置に対して第二の物体検出処理を行い、分割前の前記映像における物***置を特定する第二物体検出処理部と、
を備えたことを特徴とする物体検出装置。 An object detection device that detects an object near a vehicle based on an image around the vehicle,
A video conversion unit for converting the video into a feature video obtained by extracting image features from the video;
A video division and synthesis unit that generates a composite image by combining divided regions obtained by dividing the feature video into a plurality of regions;
A first object detection processing unit that performs a first object detection process by scanning the synthesized video synthesized by the video division and synthesis unit;
An object candidate position specifying unit for obtaining an object candidate position where an object may exist in the image before division based on the position on the composite image where the object is detected by the first object detection processing unit;
A second object detection processing unit that performs a second object detection process on the object candidate position obtained by the object candidate position specifying unit, and identifies an object position in the video before division;
An object detection apparatus comprising:
前記映像を、前記映像から画像特徴を抽出した特徴映像に変換する映像変換ステップと、
前記特徴映像を複数の領域に分割した分割領域を合成して合成画像を生成する映像分割合成ステップと、
前記映像分割合成ステップで合成した前記合成映像を走査して第一の物体検出処理を行う第一物体検出処理ステップと、
前記第一物体検出処理ステップで物体が検出された前記合成映像上の位置を基に分割前の前記映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定ステップと、
前記物体候補位置指定ステップで求めた前記物体候補位置に対して第二の物体検出処理を行い、分割前の前記映像における物***置を特定する第二物体検出処理ステップと、
を備えたことを特徴とする物体検出方法。 An object detection method for detecting an object near a vehicle based on an image around the vehicle,
A video conversion step of converting the video into a feature video obtained by extracting image features from the video;
A video dividing and synthesizing step of generating a synthesized image by synthesizing divided areas obtained by dividing the feature video into a plurality of areas;
A first object detection processing step of performing a first object detection process by scanning the composite video synthesized in the video division synthesis step;
An object candidate position designation step for obtaining an object candidate position where an object may exist in the image before division based on the position on the composite image where the object is detected in the first object detection processing step;
A second object detection processing step for performing a second object detection process on the object candidate position obtained in the object candidate position specifying step, and specifying an object position in the video before the division;
An object detection method comprising:
前記映像を、前記映像から画像特徴を抽出した特徴映像に変換する映像変換機能と、
前記特徴映像を複数の領域に分割した分割領域を合成して合成画像を生成する映像分割合成機能と、
前記映像分割合成機能で合成した前記合成映像を走査して第一の物体検出処理を行う第一物体検出処理機能と、
前記第一物体検出処理機能で物体が検出された前記合成映像上の位置を基に分割前の前記映像において物体が存在する可能性がある物体候補位置を求める物体候補位置指定機能と、
前記物体候補位置指定機能で求めた前記物体候補位置に対して第二の物体検出処理を行い、分割前の前記映像における物***置を特定する第二物体検出処理機能と、
をコンピュータに実現させるための物体検出プログラム。 An object detection program for detecting an object near a vehicle based on an image around the vehicle,
A video conversion function for converting the video into a feature video obtained by extracting image features from the video;
A video dividing and synthesizing function for generating a synthesized image by synthesizing divided areas obtained by dividing the feature video into a plurality of areas;
A first object detection processing function for performing a first object detection process by scanning the composite video synthesized by the video division synthesis function;
An object candidate position designation function for obtaining an object candidate position where an object may exist in the image before division based on the position on the composite image where the object is detected by the first object detection processing function;
A second object detection processing function for performing a second object detection process on the object candidate position obtained by the object candidate position specifying function and specifying an object position in the video before the division;
Object detection program for realizing a computer.
The said 1st object detection process function performs said 1st object detection process only for the part in which the said image feature exists on the said synthetic | combination image | video, The any one of Claims 23-32 characterized by the above-mentioned. The object detection program described in 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011046616A JP2012185555A (en) | 2011-03-03 | 2011-03-03 | Object detecting device and method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011046616A JP2012185555A (en) | 2011-03-03 | 2011-03-03 | Object detecting device and method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012185555A true JP2012185555A (en) | 2012-09-27 |
Family
ID=47015613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011046616A Withdrawn JP2012185555A (en) | 2011-03-03 | 2011-03-03 | Object detecting device and method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012185555A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548163A (en) * | 2016-11-25 | 2017-03-29 | 青岛大学 | Method based on TOF depth camera passenger flow countings |
| WO2019087577A1 (en) * | 2017-10-31 | 2019-05-09 | ソニー株式会社 | Information processing device, information processing method, and information processing program |
| JP2021121710A (en) * | 2020-01-31 | 2021-08-26 | 株式会社小松製作所 | Monitoring device of work machine and monitoring method thereof |
| JP7383491B2 (en) | 2020-01-07 | 2023-11-20 | 日野自動車株式会社 | Object detection device and object detection method |
-
2011
- 2011-03-03 JP JP2011046616A patent/JP2012185555A/en not_active Withdrawn
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548163A (en) * | 2016-11-25 | 2017-03-29 | 青岛大学 | Method based on TOF depth camera passenger flow countings |
| CN106548163B (en) * | 2016-11-25 | 2019-04-16 | 青岛大学 | Method based on TOF depth camera passenger flow counting |
| WO2019087577A1 (en) * | 2017-10-31 | 2019-05-09 | ソニー株式会社 | Information processing device, information processing method, and information processing program |
| JPWO2019087577A1 (en) * | 2017-10-31 | 2020-12-17 | ソニー株式会社 | Information processing equipment, information processing methods and information processing programs |
| US11403057B2 (en) | 2017-10-31 | 2022-08-02 | Sony Corporation | Information processing device, information processing method, and information processing program |
| JP7302477B2 (en) | 2017-10-31 | 2023-07-04 | ソニーグループ株式会社 | Information processing device, information processing method and information processing program |
| JP7383491B2 (en) | 2020-01-07 | 2023-11-20 | 日野自動車株式会社 | Object detection device and object detection method |
| JP2021121710A (en) * | 2020-01-31 | 2021-08-26 | 株式会社小松製作所 | Monitoring device of work machine and monitoring method thereof |
| JP7465664B2 (en) | 2020-01-31 | 2024-04-11 | 株式会社小松製作所 | Work machine monitoring device and work machine monitoring method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5877376B2 (en) | Object detection apparatus, object detection method, and object detection program | |
| CN112106345B (en) | Stereo camera device | |
| JP4955096B2 (en) | DETECTING DEVICE, DETECTING METHOD, DETECTING PROGRAM, AND RECORDING MEDIUM | |
| EP3168810B1 (en) | Image generating method and apparatus | |
| JP5068134B2 (en) | Target area dividing method and target area dividing apparatus | |
| JP6642970B2 (en) | Attention area detection device, attention area detection method, and program | |
| JP6592991B2 (en) | Object detection apparatus, object detection method, and program | |
| JP2018180945A (en) | Object detection apparatus and program | |
| JP2008262333A (en) | Road surface discrimination device and road surface discrimination method | |
| JP2008117305A (en) | Image processor | |
| US8306335B2 (en) | Method of analyzing digital document images | |
| KR101699014B1 (en) | Method for detecting object using stereo camera and apparatus thereof | |
| JP2012185555A (en) | Object detecting device and method, and program | |
| JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
| KR101726692B1 (en) | Apparatus and method for extracting object | |
| JP5906696B2 (en) | Vehicle periphery photographing apparatus and vehicle periphery image processing method | |
| JP2009260671A (en) | Image processing apparatus and imaging device | |
| JP2012053663A (en) | Object kind determination device | |
| JP5664078B2 (en) | Imaging apparatus, image evaluation method, and focus adjustment control program | |
| US20240071104A1 (en) | Image processing device, image processing method, and recording medium | |
| JP6396840B2 (en) | Object detection device | |
| JP5891751B2 (en) | Inter-image difference device and inter-image difference method | |
| JP4598011B2 (en) | Vehicle display device | |
| US11900643B2 (en) | Object detection method and object detection system | |
| KR20150111611A (en) | Apparatus and method for detecting vehicle candidate |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |