JP2005293038A - Object detection device - Google Patents

Object detection device Download PDF

Info

Publication number
JP2005293038A
JP2005293038A JP2004104973A JP2004104973A JP2005293038A JP 2005293038 A JP2005293038 A JP 2005293038A JP 2004104973 A JP2004104973 A JP 2004104973A JP 2004104973 A JP2004104973 A JP 2004104973A JP 2005293038 A JP2005293038 A JP 2005293038A
Authority
JP
Japan
Prior art keywords
image
cylindrical lens
lens image
object detection
photographed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004104973A
Other languages
Japanese (ja)
Other versions
JP4445311B2 (en
Inventor
Akira Yoshizawa
顕 吉澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso IT Laboratory Inc
Original Assignee
Denso IT Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso IT Laboratory Inc filed Critical Denso IT Laboratory Inc
Priority to JP2004104973A priority Critical patent/JP4445311B2/en
Publication of JP2005293038A publication Critical patent/JP2005293038A/en
Application granted granted Critical
Publication of JP4445311B2 publication Critical patent/JP4445311B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an object detection device which can correctly perform objective detection even by an image photographed surrounding status broadly. <P>SOLUTION: This object detection device is provided with; a receiving means 101 to receive a cylindrical lens image or a fish-eye lens image; an image conversion means 102 which carries out image conversion of the fish-eye lens image to the cylindrical lens image when the received image is the fish-eye lens image; an extraction means 103 to extract edge information from the received cylindrical lens image, or the cylindrical lens image which is subjected to image conversion, based on contrast difference of the images; a computing means 104 which computes edge intensity for deciding whether a photographed object is approaching to oneself based on the extracted edge information and weighting factor information having the largest weight at the center of image; a decision means 105 to decide whether the edge intensity fulfills predetermined criteria; and a notification means 106 to inform that the photographed object approaches to a user when it is decided that the predetermined criteria are fulfilled. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、周辺の状況を撮影した画像に基づいて周辺の物体の存在を検知し、ユーザに通知する物体検知装置に関する。   The present invention relates to an object detection device that detects the presence of a surrounding object based on an image obtained by photographing a surrounding situation and notifies a user of the presence.

従来の物体検知装置では、主に標準レンズを用いて撮影された画像を用いて周辺に存在する物体を検知していた。このような物体検知装置が下記の非特許文献１に開示されている。
http://ne.nikkeibp.co.jp/vehicle21/991025ms_mazda-its.html In the conventional object detection device, an object existing in the vicinity is detected mainly using an image photographed using a standard lens. Such an object detection device is disclosed in Non-Patent Document 1 below.
http://ne.nikkeibp.co.jp/vehicle21/991025ms_mazda-its.html

しかしながら、非特許文献１に開示されている前方の物体を検知する装置は、標準レンズを装着したＣＣＤカメラによる画像を利用しているため、画角が比較的狭く、周囲の状況を広範囲に撮影できない。これにより、広範囲において物体の検知をすることができなかった。一方、周囲の状況を広範囲に撮影する場合には魚眼レンズを用いることができるが、レンズの縁に近づくにつれて垂直の物体像は弓なりに歪み、物体の検知が困難であるという問題があった。   However, since the device for detecting an object in front disclosed in Non-Patent Document 1 uses an image obtained by a CCD camera equipped with a standard lens, the angle of view is relatively narrow, and the surrounding situation is photographed over a wide range. Can not. As a result, the object could not be detected in a wide range. On the other hand, a fish-eye lens can be used when photographing the surroundings over a wide range, but there is a problem that the vertical object image is distorted like a bow as it approaches the edge of the lens, making it difficult to detect the object.

本発明は、上記問題を解決するためのものであり、周辺の状況を広範囲に撮影した画像によっても物体の検知を正確に行うことができる物体検知装置を提供することを目的とする。   An object of the present invention is to solve the above-described problem, and an object of the present invention is to provide an object detection apparatus that can accurately detect an object even from an image obtained by photographing the surrounding situation over a wide range.

上記目的を達成するために、本発明によれば、周辺の状況を撮影した画像に基づいて周辺の物体の存在を検知し、ユーザに通知する物体検知装置において、シリンドリカルレンズを装着した撮影手段によって撮影されたシリンドリカルレンズ画像、若しくは魚眼レンズを装着した撮影手段によって撮影された魚眼レンズ画像を受信する受信手段と、前記受信手段によって受信された画像が前記魚眼レンズ画像である場合に、前記魚眼レンズ画像を前記シリンドリカルレンズ画像へ画像変換する画像変換手段と、前記受信手段によって受信された前記シリンドリカルレンズ画像、若しくは前記画像変換手段によって画像変換された前記シリンドリカルレンズ画像からその画像の濃淡差に基づいて、撮影対象物の縦方向のエッジを示す情報であるエッジ情報を抽出する抽出手段と、前記抽出手段によって抽出された前記エッジ情報と、地面と平行な前記撮影手段の光軸を前記地面に対して垂直に横切る前記撮影対象物以外の撮影対象物の影響を除去するために、前記画像の中央に最大の重みを有する重み係数情報とに基づいて、前記撮影対象物が自身に接近しているか否かを判断するためのエッジ強度を算出する算出手段と、前記算出手段によって算出された前記エッジ強度が所定の条件を満たすか否かを判断する判断手段と、前記判断手段によって前記所定の条件を満たすと判断された場合に、前記ユーザに前記撮影対象物が接近していることを通知する通知手段とを備えることを特徴とする物体検知装置が提供される。   In order to achieve the above object, according to the present invention, in an object detection device that detects the presence of a surrounding object based on an image obtained by capturing a surrounding situation and notifies the user, the imaging unit equipped with a cylindrical lens is used. A receiving means for receiving a captured cylindrical lens image or a fisheye lens image taken by a photographing means equipped with a fisheye lens, and when the image received by the receiving means is the fisheye lens image, the fisheye lens image is converted to the cylindrical eye. An image conversion unit that converts an image into a lens image; and the cylindrical lens image received by the reception unit, or the cylindrical lens image that has been image-converted by the image conversion unit, based on a difference in lightness of the image, Is information indicating the vertical edge of A photographing object other than the photographing object that crosses the optical axis of the photographing means parallel to the ground and perpendicular to the ground, the extracting means for extracting the wedge information; the edge information extracted by the extracting means; In order to remove the influence of the calculation, an edge strength for determining whether or not the object to be photographed is approaching itself is calculated based on the weight coefficient information having the maximum weight in the center of the image. And means for determining whether or not the edge strength calculated by the calculating means satisfies a predetermined condition, and when the determining means determines that the predetermined condition is satisfied, There is provided an object detection device comprising notification means for notifying that a photographing object is approaching.

また、本発明によれば、周辺の状況を撮影した画像に基づいて周辺の物体の存在を検知し、ユーザに通知する物体検知装置において、シリンドリカルレンズを装着した撮影手段によって撮影されたシリンドリカルレンズ画像、若しくは魚眼レンズを装着した撮影手段によって撮影された魚眼レンズ画像を受信する受信手段と、前記受信手段によって受信された画像が前記魚眼レンズ画像である場合に、前記魚眼レンズ画像を前記シリンドリカルレンズ画像へ画像変換する画像変換手段と、前記受信手段によって受信された前記シリンドリカルレンズ画像、若しくは前記画像変換手段によって画像変換された前記シリンドリカルレンズ画像とあらかじめ撮影された背景画像との差分を取り、物体が存在する領域を抽出する抽出手段と、前記抽出手段によって抽出された物体が存在する領域を外接長方形近似する近似手段と、前記近似手段によって長方形に近似された領域の縦横比が規定範囲内にあるか否かを判断する判断手段と、前記判断手段によって縦横比が規定範囲内にあると判断された場合に、前記ユーザに物体が接近していることを通知する通知手段とを、備えることを特徴とする物体検知装置が提供される。   Further, according to the present invention, in the object detection device that detects the presence of a peripheral object based on an image obtained by capturing a surrounding situation and notifies the user, a cylindrical lens image captured by a photographing unit equipped with a cylindrical lens. Or a receiving means for receiving a fisheye lens image photographed by a photographing means equipped with a fisheye lens, and if the image received by the receiving means is the fisheye lens image, the fisheye lens image is converted into the cylindrical lens image. The difference between the image conversion means and the cylindrical lens image received by the reception means, or the cylindrical lens image image-converted by the image conversion means, and the background image taken in advance is obtained, and an area where the object exists is obtained. Extraction means for extracting and said extraction Approximating means for approximating a circumscribed rectangle to the area where the object extracted by the step exists, determining means for determining whether the aspect ratio of the area approximated to the rectangle by the approximating means is within a specified range, and the determination An object detection apparatus is provided, comprising: notification means for notifying the user that an object is approaching when the aspect ratio is determined to be within a specified range by the means.

また、本発明によれば、周辺の状況を撮影した画像に基づいて周辺の物体の存在を検知し、ユーザに通知する物体検知装置において、シリンドリカルレンズを装着した撮影手段によって撮影されたシリンドリカルレンズ画像、若しくは魚眼レンズを装着した撮影手段によって撮影された魚眼レンズ画像を受信する受信手段と、前記受信手段によって受信された画像が前記魚眼レンズ画像である場合に、前記魚眼レンズ画像を前記シリンドリカルレンズ画像へ画像変換する画像変換手段と、前記受信手段によって受信された前記シリンドリカルレンズ画像、若しくは前記画像変換手段によって画像変換された前記シリンドリカルレンズ画像において、前記シリンドリカルレンズ画像の全体若しくは一部分と、検知対象である物体の類型画像との類似度を算出する算出手段と、前記算出手段によって算出された前記類似度が所定の基準値を超えているか否かを判断する判断手段と、前記判断手段によって所定の基準値を超えていると判断された場合に、前記ユーザに物体が接近していることを通知する通知手段とを備えることを特徴とする物体検知装置が提供される。   Further, according to the present invention, in the object detection device that detects the presence of a peripheral object based on an image obtained by capturing a surrounding situation and notifies the user, a cylindrical lens image captured by a photographing unit equipped with a cylindrical lens. Or a receiving means for receiving a fisheye lens image photographed by a photographing means equipped with a fisheye lens, and if the image received by the receiving means is the fisheye lens image, the fisheye lens image is converted into the cylindrical lens image. In the image conversion means, the cylindrical lens image received by the reception means, or the cylindrical lens image converted by the image conversion means, the whole or a part of the cylindrical lens image and the type of the object to be detected With image A calculation means for calculating similarity, a determination means for determining whether the similarity calculated by the calculation means exceeds a predetermined reference value, and a predetermined reference value by the determination means; An object detection device is provided, comprising: notification means for notifying the user that an object is approaching when the determination is made.

本発明の物体検知装置は、上記構成を有し、周辺の状況を広範囲に撮影した画像によっても物体の検知を正確に行うことができる。   The object detection apparatus of the present invention has the above-described configuration, and can accurately detect an object even with an image obtained by photographing the surrounding situation over a wide range.

＜第１の実施の形態＞
以下、本発明の第１の実施の形態について、図１から図９を用いて説明する。図１は、本発明の第１の実施の形態に係る物体検知装置の構成を示す構成図である。図２は、本発明の第１の実施の形態に係る物体検知装置を車両に搭載した場合の模式図である。図３（ａ）は、本発明の第１の実施の形態に係る物体検知装置において用いられるシリンドリカルレンズ撮像面の模式図である。図３（ｂ）は、本発明の第１の実施の形態に係る物体検知装置において用いられるシリンドリカルレンズ画像について説明するための図である。図４（ａ）は、本発明の第１の実施の形態に係る物体検知装置において用いられる魚眼レンズ撮像面の模式図である。図４（ｂ）は、本発明の第１の実施の形態に係る物体検知装置において用いられる魚眼レンズ画像について説明するための図である。 <First Embodiment>
Hereinafter, a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a configuration diagram showing the configuration of the object detection device according to the first embodiment of the present invention. FIG. 2 is a schematic diagram when the object detection apparatus according to the first embodiment of the present invention is mounted on a vehicle. FIG. 3A is a schematic diagram of an imaging surface of a cylindrical lens used in the object detection device according to the first embodiment of the present invention. FIG. 3B is a diagram for explaining a cylindrical lens image used in the object detection device according to the first embodiment of the present invention. Fig.4 (a) is a schematic diagram of the fish-eye lens imaging surface used in the object detection apparatus based on the 1st Embodiment of this invention. FIG. 4B is a diagram for explaining a fisheye lens image used in the object detection device according to the first embodiment of the present invention.

図５は、本発明の第１の実施の形態に係る物体検知装置における魚眼レンズ画像からシリンドリカルレンズ画像への画像変換について説明するための図である。特に、図５（ａ）は、本発明の第１の実施の形態に係る物体検知装置における魚眼レンズ画像を示す図である。図５（ｂ）は、本発明の第１の実施の形態に係る物体検知装置における魚眼レンズ画像を画像変換した後のシリンドリカルレンズ画像を示す図である。図６は、本発明の第１の実施の形態に係る物体検知装置における魚眼レンズ画像からシリンドリカルレンズ画像への画像変換について説明するための図である。特に、図６（ａ）は、本発明の第１の実施の形態に係る物体検知装置におけるカメラの焦点へ入射した入射光を示す図である。図６（ｂ）は、本発明の第１の実施の形態に係る物体検知装置における魚眼レンズ撮像面に入射光が投影された様子を示す図である。図６（ｃ）は、本発明の第１の実施の形態に係る物体検知装置における魚眼レンズ撮像面上の点のシリンドリカルレンズ撮像面上への変換について説明するための図である。図７は、本発明の第１の実施の形態に係る物体検知装置におけるエッジ情報の抽出について説明するための図である。図８は、本発明の第１の実施の形態に係る物体検知装置における重み係数情報を説明するための図である。図９は、本発明の第１の実施の形態に係る物体検知装置における検知の動作フローについて説明するためのフローチャートである。   FIG. 5 is a diagram for explaining image conversion from a fisheye lens image to a cylindrical lens image in the object detection device according to the first embodiment of the present invention. In particular, FIG. 5A is a diagram showing a fisheye lens image in the object detection apparatus according to the first embodiment of the present invention. FIG. 5B is a diagram showing a cylindrical lens image after image conversion of the fisheye lens image in the object detection apparatus according to the first embodiment of the present invention. FIG. 6 is a diagram for explaining image conversion from a fisheye lens image to a cylindrical lens image in the object detection device according to the first embodiment of the present invention. In particular, FIG. 6A is a diagram showing incident light incident on the focal point of the camera in the object detection apparatus according to the first embodiment of the present invention. FIG. 6B is a diagram illustrating a state in which incident light is projected onto the fish-eye lens imaging surface in the object detection device according to the first embodiment of the present invention. FIG. 6C is a diagram for explaining conversion of a point on the fish-eye lens imaging surface onto the cylindrical lens imaging surface in the object detection device according to the first embodiment of the present invention. FIG. 7 is a diagram for explaining extraction of edge information in the object detection device according to the first embodiment of the present invention. FIG. 8 is a diagram for explaining weight coefficient information in the object detection device according to the first embodiment of the present invention. FIG. 9 is a flowchart for explaining a detection operation flow in the object detection apparatus according to the first embodiment of the present invention.

まず、本発明の第１の実施の形態に係る物体検知装置を車両に搭載した場合について図２を用いて説明する。図２に示すように、物体検知装置１００及び撮影手段２００は車両２０１に搭載されており、物体検知装置１００は撮影手段２００によって撮影された車両２０１の周囲の状況の画像に基づいて物体の検知を行う。すなわち、物体検知装置１００は、撮影手段２００の光軸２０２を遮る、例えば歩行者２０３の存在を検知する。ここで、撮影手段２００は、例えばシリンドリカルレンズを装着したカメラや魚眼レンズを装着したカメラなどである。以下、撮影手段２００を単にカメラ２００とも言う。なお、撮影手段２００は、光軸２０２を地面と平行、かつ四角形の撮像面の下辺を地面と平行にして設置されているものとする。また、ここでは、物体検知装置１００及び撮影手段２００は車両２０１に搭載されているが、車両２０１に搭載される場合に限られない。   First, the case where the object detection apparatus according to the first embodiment of the present invention is mounted on a vehicle will be described with reference to FIG. As shown in FIG. 2, the object detection apparatus 100 and the imaging unit 200 are mounted on a vehicle 201, and the object detection apparatus 100 detects an object based on an image of the situation around the vehicle 201 captured by the imaging unit 200. I do. That is, the object detection apparatus 100 detects the presence of, for example, a pedestrian 203 that blocks the optical axis 202 of the photographing unit 200. Here, the photographing means 200 is, for example, a camera equipped with a cylindrical lens or a camera equipped with a fisheye lens. Hereinafter, the photographing unit 200 is also simply referred to as a camera 200. It is assumed that the photographing unit 200 is installed with the optical axis 202 parallel to the ground and the lower side of the rectangular imaging surface parallel to the ground. In addition, here, the object detection device 100 and the photographing unit 200 are mounted on the vehicle 201, but are not limited to being mounted on the vehicle 201.

次に、本発明の第１の実施の形態に係る物体検知装置の構成について図１を用いて説明する。物体検知装置１００は、受信部１０１、画像変換部１０２、抽出部１０３、算出部１０４、判断部１０５、通知部１０６から構成されている。これらは、バス１０７によってつながれている。また、これらの動作を制御するための制御プログラムが不図示の所定の記憶領域に格納されている。また、物体検知装置１００は、情報通信を外部と行うための不図示のインターフェースを有している。受信部１０１は、シリンドリカルレンズを装着した撮影手段２００によって撮影されたシリンドリカルレンズ画像、若しくは魚眼レンズを装着した撮影手段２００によって撮影された魚眼レンズ画像を受信する。なお、通常のレンズ（標準レンズ）を用いて撮影された標準画像であっても、魚眼レンズ画像をシリンドリカルレンズ画像に変換するように、標準画像をシリンドリカルレンズ画像に画像変換して物体の検知を行うことも可能である。   Next, the configuration of the object detection apparatus according to the first embodiment of the present invention will be described with reference to FIG. The object detection apparatus 100 includes a reception unit 101, an image conversion unit 102, an extraction unit 103, a calculation unit 104, a determination unit 105, and a notification unit 106. These are connected by a bus 107. A control program for controlling these operations is stored in a predetermined storage area (not shown). Further, the object detection apparatus 100 has an interface (not shown) for performing information communication with the outside. The receiving unit 101 receives a cylindrical lens image photographed by the photographing means 200 equipped with a cylindrical lens or a fisheye lens image photographed by the photographing means 200 equipped with a fisheye lens. Even if a standard image is captured using a normal lens (standard lens), the standard image is converted into a cylindrical lens image to detect an object so that the fisheye lens image is converted into a cylindrical lens image. It is also possible.

ただし、物体の検知に関して以下のようなことが言える。まず、物体、例えば歩行者などは、車両の全周囲に存在し得るので撮影範囲としては水平方向に広範囲なほうが有利である。また、検知したい物体、例えば歩行者の高さ（身長）はある程度限定されるので、平坦路の場合には垂直方向にそれほど広範囲である必要はない。また、歩行者は、垂直方向に特徴のある対象なので、垂直物が画像上でも垂直に表現される方が画像処理の効率がよい。また、歩行者の位置により、画像上での見え方が大きく変形しないほうが画像処理により歩行者を検出しやすい。なお、ここでは、便宜上歩行者を対象に説明したが、歩行者に限られるものではない。このようなことから、シリンドリカルレンズ画像による検知が好ましいと言える。ここで、シリンドリカルレンズを装着した撮影手段２００によって撮影されたシリンドリカルレンズ画像、及び魚眼レンズを装着した撮影手段２００によって撮影された魚眼レンズ画像について図３及び図４を用いて説明する。   However, the following can be said with respect to object detection. First, since an object, such as a pedestrian, may exist around the entire vehicle, it is advantageous that the imaging range is wide in the horizontal direction. In addition, since the height (height) of an object to be detected, such as a pedestrian, is limited to some extent, it does not have to be so wide in the vertical direction on a flat road. In addition, since a pedestrian is an object having a feature in the vertical direction, it is more efficient to perform image processing if a vertical object is represented vertically even on the image. Moreover, it is easier to detect a pedestrian by image processing when the appearance on the image is not greatly deformed depending on the position of the pedestrian. In addition, although demonstrated to the pedestrian here for convenience, it is not restricted to a pedestrian. For this reason, it can be said that detection based on a cylindrical lens image is preferable. Here, the cylindrical lens image photographed by the photographing means 200 equipped with the cylindrical lens and the fisheye lens image photographed by the photographing means 200 equipped with the fisheye lens will be described with reference to FIGS.

まず、図３を用いてシリンドリカルレンズ画像について説明する。シリンドリカルレンズ画像は、略半円柱状のレンズを装着した図１、図２に示すようなカメラ２００によって撮影された画像である。模式的にはシリンドリカルレンズ画像は、半円柱状に曲がったシリンドリカルレンズ撮像面３００により撮影される画像と考えることができる。半円柱状のレンズにより、広画角を確保しながら垂直物体を画像上で垂直に撮影できる。すなわち、シリンドリカルレンズ撮像面３００を通して物体３０１ａ、３０１ｂ、３０１ｃを撮影しても、各物体３０１ａ、３０１ｂ、３０１ｃの撮像は、垂直方向の位置関係が保たれた画像を撮影できる。また、光軸が水平方向のどちらを向いても、撮影範囲内である限り、物体３０１ａ、３０１ｂ、３０１ｃ各々の撮像は同じである。   First, a cylindrical lens image will be described with reference to FIG. The cylindrical lens image is an image taken by a camera 200 as shown in FIGS. 1 and 2 with a substantially semi-cylindrical lens attached. The cylindrical lens image can be considered as an image photographed by the cylindrical lens imaging surface 300 bent in a semi-cylindrical shape. With a semi-cylindrical lens, a vertical object can be photographed vertically on an image while ensuring a wide angle of view. That is, even if the objects 301a, 301b, and 301c are photographed through the cylindrical lens imaging surface 300, the images of the objects 301a, 301b, and 301c can be photographed while maintaining the vertical positional relationship. In addition, the imaging of the objects 301a, 301b, and 301c is the same as long as the optical axis is in the horizontal direction as long as it is within the imaging range.

次に、図４を用いて魚眼レンズ画像について説明する。魚眼レンズ画像は、魚眼レンズを装着した図１、図２に示すようなカメラ２００によって撮影された画像である。模式的には魚眼レンズ画像は、等距離射影タイプの場合、半球状に曲がった魚眼レンズ撮像面４００により撮影される画像と考えることができる。半球状に曲がっているため、広画角を確保できるがレンズの縁にいくにつれて垂直物体が弓なりになってしまう。すなわち、魚眼レンズ撮像面４００を通して物体４０１ａ、４０１ｂ、４０１ｃを撮影すると、それらの撮像は弓なりに歪んでしまう。また、光軸の方向により、物体４０１ａ、４０１ｂ、４０１ｃ各々の撮像は異なる。これにより、物体の検知に正確性を欠く場合もある。したがって、垂直方向に特徴を持つような物体を検知する場合、シリンドリカルレンズ画像を用いることが好ましい。そこで、魚眼レンズ画像をシリンドリカルレンズ画像に変換したものを用いることを考える。   Next, a fish-eye lens image will be described with reference to FIG. The fisheye lens image is an image taken by a camera 200 as shown in FIGS. 1 and 2 with a fisheye lens attached. Typically, the fisheye lens image can be considered as an image photographed by the fisheye lens imaging surface 400 bent in a hemisphere in the case of the equidistant projection type. Since it is hemispherically bent, a wide angle of view can be secured, but the vertical object becomes a bow as it goes to the edge of the lens. That is, when the objects 401a, 401b, and 401c are photographed through the fisheye lens imaging surface 400, the imaging is distorted like a bow. Further, the imaging of each of the objects 401a, 401b, and 401c differs depending on the direction of the optical axis. As a result, the accuracy of object detection may be lacking. Therefore, when detecting an object having features in the vertical direction, it is preferable to use a cylindrical lens image. Therefore, consider using a fisheye lens image converted to a cylindrical lens image.

画像変換部１０２は、受信部１０１によって受信された画像が魚眼レンズ画像である場合に、魚眼レンズ画像をシリンドリカルレンズ画像へ画像変換する。この画像変換に関して図５及び図６を用いて説明する。図５（ａ）は、魚眼レンズ画像を示すものであり、図５（ｂ）は魚眼レンズ画像を画像変換した後のシリンドリカルレンズ画像を示すものである。ここで、魚眼レンズは等距離射影方式のものであるとする。また、魚眼レンズ画像の円形の像５００の半径をＲとする。具体的な変換の方法について図６を用いて説明する。   When the image received by the receiving unit 101 is a fisheye lens image, the image conversion unit 102 converts the fisheye lens image into a cylindrical lens image. This image conversion will be described with reference to FIGS. FIG. 5A shows a fisheye lens image, and FIG. 5B shows a cylindrical lens image after image conversion of the fisheye lens image. Here, it is assumed that the fish-eye lens is of an equidistant projection method. Also, let R be the radius of the circular image 500 of the fisheye lens image. A specific conversion method will be described with reference to FIG.

図６（ａ）は、カメラ２００の撮像面へ入射した入射光６０１を示すものである。図６（ｂ）は、図６（ａ）における入射光６０１が魚眼レンズ撮像面４００に入射した場合を示すものである。ここで、図６（ａ）に示すように、Ｘ軸、Ｙ軸、Ｚ軸の３次元空間で入射光６０１がカメラ２００の焦点（原点）へ入射した場合を考える。このとき、Ｚ軸と入射光６０１とのなす角６０２をθとし、入射光６０１のＸＹ平面への射影６０３とＸ軸とのなす角６０４をφとし、入射光６０１のＸＺ平面への射影６０５と入射光６０１とのなす角６０６をβとし、射影６０５とＺ軸とのなす角６０７をαとする。   FIG. 6A shows incident light 601 that has entered the imaging surface of the camera 200. FIG. 6B shows a case where the incident light 601 in FIG. 6A is incident on the fish-eye lens imaging surface 400. Here, as shown in FIG. 6A, consider a case where incident light 601 enters the focal point (origin) of the camera 200 in a three-dimensional space of the X axis, Y axis, and Z axis. At this time, an angle 602 formed between the Z axis and the incident light 601 is θ, and an angle 604 formed between the incident light 601 and the X axis is Φ, and a projection 605 of the incident light 601 onto the XZ plane is set. The angle 606 formed by the incident light 601 is β, and the angle 607 formed by the projection 605 and the Z axis is α.

ここで、図６（ｂ）における魚眼レンズ撮像面４００上の点６０８は、シリンドリカルレンズ撮像面３００上では、図６（ｃ）に示すような点６０９に相当する。以上のことから、魚眼レンズ撮像面４００上の点６０８である画素（ｘ、ｙ）からシリンドリカルレンズ撮像面３００上の対応する点６０９である画素（ｘ′、ｙ′）は、下記の式（１）及び（２）から求めることができる。   Here, a point 608 on the fish-eye lens imaging surface 400 in FIG. 6B corresponds to a point 609 as shown in FIG. 6C on the cylindrical lens imaging surface 300. From the above, the pixel (x ′, y ′) corresponding to the point 609 on the cylindrical lens imaging surface 300 from the pixel (x, y) corresponding to the point 608 on the fisheye lens imaging surface 400 is expressed by the following equation (1). ) And (2).

Figure 2005293038
Figure 2005293038

Figure 2005293038
Figure 2005293038

ここで、α、βは下記の式（３）から算出される。なお、式（３）のφ、θは下記の式（４）によって算出される。   Here, α and β are calculated from the following equation (3). In the equation (3), φ and θ are calculated by the following equation (4).

Figure 2005293038
Figure 2005293038

Figure 2005293038
Figure 2005293038

このようにして、魚眼レンズ画像の各画素についても、座標変換することによってシリンドリカルレンズ画像に画像変換することができる。   In this manner, each pixel of the fisheye lens image can also be converted into a cylindrical lens image by performing coordinate conversion.

抽出部１０３は、受信部１０１によって受信されたシリンドリカルレンズ画像、若しくは画像変換部１０２によって画像変換されたシリンドリカルレンズ画像からその画像の濃淡差に基づいて、撮影対象物の縦方向のエッジを示す情報であるエッジ情報を抽出する。ここで、エッジ情報の抽出について図７を用いて説明する。受信部１０１によって受信されたＸ軸及びＹ軸からなる濃淡差を有する撮影された画像７００に対して、抽出部１０３は濃淡差に基づいて撮影対象物の縦方向（Ｙ軸方向）のエッジ（縁）７０１を座標情報として抽出する。撮影された画像７００からエッジ７０１が抽出されたものが画像７０２である。   The extraction unit 103 is information indicating the vertical edge of the object to be photographed from the cylindrical lens image received by the reception unit 101 or the cylindrical lens image image-converted by the image conversion unit 102 based on the density difference of the image. The edge information is extracted. Here, extraction of edge information will be described with reference to FIG. For the photographed image 700 having a difference in density composed of the X axis and the Y axis received by the reception unit 101, the extraction unit 103 uses the edge ( Edge) 701 is extracted as coordinate information. An image 702 is obtained by extracting the edge 701 from the photographed image 700.

算出部１０４は、抽出部１０３によって抽出されたエッジ情報と、地面と平行な撮影手段２００の光軸２０２を地面に対して垂直に横切る撮影対象物以外の撮影対象物の影響を除去するために、画像の中央に最大の重みを有する重み係数情報とに基づいて、撮影対象物が自身に接近しているか否かを判断するためのエッジ強度を算出する。ここで、重み係数情報とは、地面と平行な撮影手段２００の光軸２０２を地面に対して垂直に横切る撮影対象物以外の撮影対象物の影響を除去するためものを言う。例えば、図８に示すような分布からなる係数であり、Ｙ軸（縦）方向において、画像の中心部に重みの中心８００を置き、その中心から遠ざかるにつれて重みが減少していく。これにより、カメラの光軸２０２を遮らない撮影対象物の影響を低減することができる。例えば、カメラの光軸２０２より低い位置にあるものやカメラの光軸２０２よりはるか上空にあるようなものは無視する。算出部１０４は、具体的に下記の式（５）によってエッジ強度Ｐ（ｘ）を算出する。なお、Ｗ（ｙ）は重み係数情報であり、Ｅ（ｘ、ｙ）はエッジ情報である。   The calculation unit 104 removes the influence of the edge information extracted by the extraction unit 103 and the shooting object other than the shooting object that crosses the optical axis 202 of the shooting unit 200 parallel to the ground perpendicularly to the ground. Then, based on the weight coefficient information having the maximum weight at the center of the image, the edge strength for determining whether or not the object to be photographed is approaching itself is calculated. Here, the weight coefficient information refers to information for removing the influence of an imaging object other than the imaging object that crosses the optical axis 202 of the imaging means 200 parallel to the ground perpendicularly to the ground. For example, it is a coefficient having a distribution as shown in FIG. 8, and in the Y-axis (vertical) direction, the weight center 800 is placed at the center of the image, and the weight decreases as the distance from the center increases. Thereby, it is possible to reduce the influence of the photographing object that does not block the optical axis 202 of the camera. For example, those that are lower than the optical axis 202 of the camera or those that are far above the optical axis 202 of the camera are ignored. Specifically, the calculation unit 104 calculates the edge strength P (x) by the following equation (5). W (y) is weighting factor information, and E (x, y) is edge information.

Ｐ(ｘ)＝Σy｛Ｗ（ｙ）×Ｅ（ｘ、ｙ）｝・・・（５） P (x) = Σ y {W (y) × E (x, y)} (5)

判断部１０５は、算出部１０４によって算出されたエッジ強度Ｐ（ｘ）が所定の条件を満たすか否かを判断する。ここで、所定の条件とは、例えばＰ（ｘ）があらかじめ設定された値Ｔより大きいという条件を言う。すなわち、判断部１０５は、Ｐ（ｘ）＞Ｔとなるようなｘが存在するか否かを判断する。通知部１０６は、判断部１０５によって所定の条件を満たすと判断された場合に、車両２０１を操作するユーザに撮影対象物が接近していることを通知する。この際、通知部１０６は、例えば警報音などを鳴らすことによって通知する。   The determination unit 105 determines whether or not the edge strength P (x) calculated by the calculation unit 104 satisfies a predetermined condition. Here, the predetermined condition refers to a condition that P (x) is larger than a preset value T, for example. That is, the determination unit 105 determines whether x exists such that P (x)> T. When the determination unit 105 determines that the predetermined condition is satisfied, the notification unit 106 notifies the user who operates the vehicle 201 that the photographing object is approaching. At this time, the notification unit 106 notifies the user, for example, by sounding an alarm sound.

次に、本発明の第１の実施の形態に係る物体検知装置における検知の動作フローについて図９を用いて説明する。図９に示すように、受信部１０１は、シリンドリカルレンズを装着した撮影手段２００によって撮影されたシリンドリカルレンズ画像、若しくは魚眼レンズを装着した撮影手段２００によって撮影された魚眼レンズ画像を受信する（ステップＳ９０１）。画像変換部１０２は、受信部１０１によって受信した画像が魚眼レンズ画像である場合に、魚眼レンズ画像をシリンドリカルレンズ画像へ画像変換する（ステップＳ９０２）。抽出部１０３は、受信部１０１によって受信されたシリンドリカルレンズ画像、若しくは画像変換部１０２によって画像変換されたシリンドリカルレンズ画像からその画像の濃淡差に基づいて、撮影対象物の縦方向のエッジを示す情報であるエッジ情報を抽出する（ステップＳ９０３）。   Next, a detection operation flow in the object detection apparatus according to the first embodiment of the present invention will be described with reference to FIG. As shown in FIG. 9, the receiving unit 101 receives a cylindrical lens image photographed by the photographing means 200 equipped with a cylindrical lens or a fisheye lens image photographed by the photographing means 200 equipped with a fisheye lens (step S901). When the image received by the receiving unit 101 is a fisheye lens image, the image conversion unit 102 converts the fisheye lens image into a cylindrical lens image (step S902). The extraction unit 103 is information indicating the vertical edge of the object to be photographed from the cylindrical lens image received by the reception unit 101 or the cylindrical lens image image-converted by the image conversion unit 102 based on the density difference of the image. Is extracted (step S903).

算出部１０４は、抽出部１０３によって抽出されたエッジ情報と、地面と平行な撮影手段２００の光軸２０２を地面に対して垂直に横切る撮影対象物以外の撮影対象物の影響を除去するために画像の中央に最大の重みを有する重み係数情報とに基づいて、撮影対象物が自身に接近しているか否かを判断するためのエッジ強度を算出する（ステップＳ９０４）。判断部１０５は、算出部１０４によって算出されたエッジ強度Ｐ（ｘ）が所定の条件を満たすか否かを判断する（ステップＳ９０５）。通知部１０６は、判断部１０５によって所定の条件を満たすと判断された場合に、車両２０１を操作するユーザに撮影対象物が接近していることを通知する（ステップＳ９０６）。なお、ステップＳ９０５において、所定の条件を満たさないと判断部１０５によって判断された場合は、通知せずに作業を終了する。   The calculation unit 104 removes the influence of the edge information extracted by the extraction unit 103 and the shooting object other than the shooting object that crosses the optical axis 202 of the shooting unit 200 parallel to the ground perpendicularly to the ground. Based on the weight coefficient information having the maximum weight at the center of the image, the edge strength for determining whether or not the object to be photographed is approaching itself is calculated (step S904). The determination unit 105 determines whether or not the edge strength P (x) calculated by the calculation unit 104 satisfies a predetermined condition (step S905). When the determination unit 105 determines that the predetermined condition is satisfied, the notification unit 106 notifies the user who operates the vehicle 201 that the photographing object is approaching (step S906). In step S905, if the determination unit 105 determines that the predetermined condition is not satisfied, the operation is terminated without notification.

＜第２の実施の形態＞
以下、本発明の第２の実施の形態に係る物体検知装置について図１０及び図１１を用いて説明する。図１０は、本発明の第２の実施の形態に係る物体検知装置の構成を示す構成図である。図１１は、本発明の第２の実施の形態に係る物体検知装置における検知の動作フローについて説明するためのフローチャートである。まず、本発明の第２の実施の形態に係る物体検知装置１０００について図１０を用いて説明する。物体検知装置１０００は、受信部１００１、画像変換部１００２、抽出部１００３、算出部１００４、判断部１００５、通知部１００６から構成されている。これらは、バス１００８によってつながれている。また、これらの動作を制御するための制御プログラムが不図示の所定の記憶領域に格納されている。また、物体検知装置１０００は、情報通信を外部と行うための不図示のインターフェースを有している。 <Second Embodiment>
Hereinafter, an object detection apparatus according to a second embodiment of the present invention will be described with reference to FIGS. FIG. 10 is a configuration diagram showing a configuration of the object detection device according to the second exemplary embodiment of the present invention. FIG. 11 is a flowchart for explaining an operation flow of detection in the object detection device according to the second embodiment of the present invention. First, an object detection apparatus 1000 according to a second embodiment of the present invention will be described with reference to FIG. The object detection apparatus 1000 includes a reception unit 1001, an image conversion unit 1002, an extraction unit 1003, a calculation unit 1004, a determination unit 1005, and a notification unit 1006. These are connected by a bus 1008. A control program for controlling these operations is stored in a predetermined storage area (not shown). Further, the object detection apparatus 1000 has an interface (not shown) for performing information communication with the outside.

受信部１００１は、シリンドリカルレンズを装着した撮影手段１００７によって撮影されたシリンドリカルレンズ画像、若しくは魚眼レンズを装着した撮影手段１００７によって撮影された魚眼レンズ画像を受信する。画像変換部１００２は、受信部１００１によって受信された画像が魚眼レンズ画像である場合に、魚眼レンズ画像をシリンドリカルレンズ画像へ画像変換する。ここで、画像変換については上述した第１の実施の形態と同様に行われる。抽出部１００３は、受信部１００１によって受信されたシリンドリカルレンズ画像、若しくは画像変換部１００２によって画像変換されたシリンドリカルレンズ画像とあらかじめ撮影された背景画像との差分を取り、物体が存在する領域を抽出する。   The receiving unit 1001 receives a cylindrical lens image photographed by the photographing means 1007 equipped with a cylindrical lens or a fisheye lens image photographed by the photographing means 1007 equipped with a fisheye lens. The image conversion unit 1002 converts the fisheye lens image into a cylindrical lens image when the image received by the reception unit 1001 is a fisheye lens image. Here, the image conversion is performed in the same manner as in the first embodiment described above. The extraction unit 1003 takes a difference between the cylindrical lens image received by the reception unit 1001 or the cylindrical lens image converted by the image conversion unit 1002 and a background image captured in advance, and extracts a region where an object exists. .

算出部１００４は、抽出部１００３によって抽出された物体が存在する領域を外接長方形近似する。なお、ここで、外接長方形近似をしているが、これに限られるものではなく、物体であると認識ができるような近似方法であればよい。判断部１００５は、算出部１００４によって長方形に近似された領域の縦横比が規定範囲内にあるか否かを判断する。通知部１００６は、判断部１００５によって縦横比が規定範囲内にあると判断された場合に、例えば車両２０１を操作するユーザに対して物体が接近していることを通知する。この際、通知部１００６は、例えば警報音などを鳴らすことによって通知する。   The calculation unit 1004 approximates a circumscribed rectangle in the area where the object extracted by the extraction unit 1003 exists. Here, circumscribed rectangle approximation is performed. However, the approximation method is not limited to this, and any approximation method can be used as long as it can be recognized as an object. The determination unit 1005 determines whether or not the aspect ratio of the region approximated to a rectangle by the calculation unit 1004 is within a specified range. When the determination unit 1005 determines that the aspect ratio is within the specified range, the notification unit 1006 notifies the user operating the vehicle 201 that the object is approaching, for example. At this time, the notification unit 1006 notifies the user, for example, by sounding an alarm sound.

次に、本発明の第２の実施の形態に係る物体検知装置における検知の動作フローについて図１１を用いて説明する。図１１に示すように、受信部１００１は、シリンドリカルレンズを装着した撮影手段１００７によって撮影されたシリンドリカルレンズ画像、若しくは魚眼レンズを装着した撮影手段１００７によって撮影された魚眼レンズ画像を受信する（ステップＳ１１０１）。画像変換部１００２は、受信部１００１によって受信された画像が魚眼レンズ画像である場合に、魚眼レンズ画像をシリンドリカルレンズ画像へ画像変換する（ステップＳ１１０２）。抽出部１００３は、受信部１００１によって受信されたシリンドリカルレンズ画像、若しくは画像変換部１００２によって画像変換されたシリンドリカルレンズ画像と、あらかじめ撮影され、不図示の記憶領域に格納された背景画像との差分を取り、物体が存在する領域を抽出する（ステップＳ１１０３）。   Next, a detection operation flow in the object detection apparatus according to the second embodiment of the present invention will be described with reference to FIG. As shown in FIG. 11, the receiving unit 1001 receives a cylindrical lens image photographed by the photographing means 1007 equipped with a cylindrical lens or a fisheye lens image photographed by the photographing means 1007 equipped with a fisheye lens (step S1101). When the image received by the receiving unit 1001 is a fisheye lens image, the image conversion unit 1002 converts the fisheye lens image into a cylindrical lens image (step S1102). The extraction unit 1003 calculates a difference between the cylindrical lens image received by the reception unit 1001 or the cylindrical lens image image-converted by the image conversion unit 1002 and a background image that is captured in advance and stored in a storage area (not shown). The region where the object exists is extracted (step S1103).

算出部１００４は、抽出部１００３によって抽出された物体が存在する領域を外接長方形近似する（ステップＳ１１０４）。判断部１００５は、算出部１００４によって近似された長方形の領域の縦横比が規定範囲内にあるか否かを判断する（ステップＳ１１０５）。通知部１００６は、判断部１００５によって縦横比が規定範囲内にあると判断された場合に、例えば車両２０１を操作するユーザに対して物体が接近していることを通知する（ステップＳ１１０６）。なお、ステップＳ１１０５において、近似された長方形の領域の縦横比が規定範囲内でないと判断部１００５によって判断された場合は通知せず終了する。   The calculation unit 1004 approximates a circumscribed rectangle in the area where the object extracted by the extraction unit 1003 exists (step S1104). The determination unit 1005 determines whether or not the aspect ratio of the rectangular area approximated by the calculation unit 1004 is within a specified range (step S1105). When the determination unit 1005 determines that the aspect ratio is within the specified range, the notification unit 1006 notifies the user operating the vehicle 201 that the object is approaching (step S1106). In step S1105, if the determination unit 1005 determines that the aspect ratio of the approximated rectangular area is not within the specified range, the process ends without notification.

＜第３の実施の形態＞
以下、本発明の第３の実施の形態に係る物体検知装置について図１２及び図１３を用いて説明する。図１２は、本発明の第３の実施の形態に係る物体検知装置の構成を示す構成図である。図１３は、本発明の第３の実施の形態に係る物体検知装置における検知の動作フローについて説明するためのフローチャートである。まず、本発明の第３の実施の形態に係る物体検知装置１２００について図１２を用いて説明する。物体検知装置１２００は、受信部１２０１、画像変換部１２０２、算出部１２０３、判断部１２０４、通知部１２０５から構成されている。これらは、バス１２０６によってつながれている。また、これらの動作を制御するための制御プログラムが不図示の所定の記憶領域に格納されている。この記録領域中には、検知対象である物体の不図示の類型画像も格納されている。また、物体検知装置１２００は、情報通信を外部と行うための不図示のインターフェースを有している。 <Third Embodiment>
Hereinafter, an object detection apparatus according to a third embodiment of the present invention will be described with reference to FIGS. FIG. 12 is a configuration diagram showing the configuration of the object detection device according to the third exemplary embodiment of the present invention. FIG. 13 is a flowchart for explaining an operation flow of detection in the object detection apparatus according to the third embodiment of the present invention. First, an object detection apparatus 1200 according to a third embodiment of the present invention will be described with reference to FIG. The object detection device 1200 includes a reception unit 1201, an image conversion unit 1202, a calculation unit 1203, a determination unit 1204, and a notification unit 1205. These are connected by a bus 1206. A control program for controlling these operations is stored in a predetermined storage area (not shown). In this recording area, a type image (not shown) of an object to be detected is also stored. Further, the object detection device 1200 has an interface (not shown) for performing information communication with the outside.

受信部１２０１及び画像変換部１２０２は、第１及び第２の実施の形態に係る物体検知装置の受信部１０１、１００１及び画像変換部１０２、１００２と同様の機能を有するため、説明を省略する。算出部１２０３は、受信部１２０１によって受信されたシリンドリカルレンズ画像、若しくは画像変換部１２０２によって画像変換されたシリンドリカルレンズ画像において、シリンドリカルレンズ画像の全体若しくは一部分と、検知対象である物体の類型画像との類似度を算出する。判断部１２０４は、算出部１２０３によって算出された類似度が所定の基準値を超えているか否かを判断する。通知部１２０５は、判断部１２０４によって所定の基準値を超えていると判断された場合に、ユーザに物体が接近していることを通知する。   Since the reception unit 1201 and the image conversion unit 1202 have the same functions as the reception units 101 and 1001 and the image conversion units 102 and 1002 of the object detection apparatus according to the first and second embodiments, description thereof will be omitted. In the cylindrical lens image received by the receiving unit 1201 or the cylindrical lens image converted by the image converting unit 1202, the calculating unit 1203 includes the whole or a part of the cylindrical lens image and the type image of the object to be detected. Calculate similarity. The determination unit 1204 determines whether or not the similarity calculated by the calculation unit 1203 exceeds a predetermined reference value. When the determination unit 1204 determines that the predetermined reference value is exceeded, the notification unit 1205 notifies the user that the object is approaching.

次に、本発明の第３の実施の形態に係る物体検知装置における検知の動作フローについて図１３を用いて説明する。図１３に示すように、受信部１２０１は、シリンドリカルレンズを装着した撮影手段１２０７によって撮影されたシリンドリカルレンズ画像、若しくは魚眼レンズを装着した撮影手段１２０７によって撮影された魚眼レンズ画像を受信する（ステップＳ１３０１）。画像変換部１２０２は、受信部１２０１によって受信された画像が魚眼レンズ画像である場合に、魚眼レンズ画像をシリンドリカルレンズ画像へ画像変換する（ステップＳ１３０２）。算出部１２０３は、受信部１２０１によって受信されたシリンドリカルレンズ画像、若しくは画像変換部１２０２によって画像変換されたシリンドリカルレンズ画像において、シリンドリカルレンズ画像の全体若しくは一部分と、検知対象である物体の類型画像との類似度を算出する（ステップＳ１３０３）。判断部１２０４は、算出部１２０３によって算出された類似度が所定の基準値を超えているか否かを判断する（ステップＳ１３０４）。通知部１２０５は、判断部１２０４によって所定の基準値を超えていると判断された場合に、ユーザに物体が接近していることを通知する（ステップＳ１３０５）。なお、ステップＳ１３０４で、判断部１２０４によって所定の基準値を超えていないと判断された場合は通知せず終了する。   Next, an operation flow of detection in the object detection apparatus according to the third embodiment of the present invention will be described with reference to FIG. As illustrated in FIG. 13, the reception unit 1201 receives a cylindrical lens image photographed by the photographing unit 1207 equipped with the cylindrical lens or a fisheye lens image photographed by the photographing unit 1207 equipped with the fisheye lens (step S1301). When the image received by the receiving unit 1201 is a fisheye lens image, the image conversion unit 1202 converts the fisheye lens image into a cylindrical lens image (step S1302). In the cylindrical lens image received by the receiving unit 1201 or the cylindrical lens image converted by the image converting unit 1202, the calculating unit 1203 includes the whole or a part of the cylindrical lens image and the type image of the object to be detected. The similarity is calculated (step S1303). The determination unit 1204 determines whether or not the similarity calculated by the calculation unit 1203 exceeds a predetermined reference value (step S1304). The notification unit 1205 notifies the user that the object is approaching when the determination unit 1204 determines that the predetermined reference value is exceeded (step S1305). In step S1304, if the determination unit 1204 determines that the predetermined reference value is not exceeded, the process ends without notification.

本発明に係る物体検知装置は、周辺の状況を広範囲に撮影した画像によっても物体の検知を正確に行うことができるため、周辺の状況を撮影した画像に基づいて周辺の物体の存在を検知し、ユーザに通知する物体検知装置などに有用である。   The object detection device according to the present invention can accurately detect an object even with an image obtained by photographing a surrounding situation over a wide range, and therefore detects the presence of a surrounding object based on an image obtained by photographing the surrounding situation. It is useful for an object detection device that notifies a user.

本発明の第１の実施の形態に係る物体検知装置の構成を示す構成図である。It is a block diagram which shows the structure of the object detection apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係る物体検知装置を車両に搭載した場合の模式図である。It is a schematic diagram at the time of mounting the object detection apparatus which concerns on the 1st Embodiment of this invention in a vehicle. （ａ）本発明の第１の実施の形態に係る物体検知装置において用いられるシリンドリカルレンズ撮像面の模式図である。 （ｂ）本発明の第１の実施の形態に係る物体検知装置において用いられるシリンドリカルレンズ画像について説明するための図である。(A) It is a schematic diagram of the cylindrical lens imaging surface used in the object detection apparatus which concerns on the 1st Embodiment of this invention. (B) It is a figure for demonstrating the cylindrical lens image used in the object detection apparatus based on the 1st Embodiment of this invention. （ａ）本発明の第１の実施の形態に係る物体検知装置において用いられる魚眼レンズ撮像面の模式図である。 （ｂ）本発明の第１の実施の形態に係る物体検知装置において用いられる魚眼レンズ画像について説明するための図である。(A) It is a schematic diagram of the fish-eye lens imaging surface used in the object detection apparatus which concerns on the 1st Embodiment of this invention. (B) It is a figure for demonstrating the fisheye lens image used in the object detection apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係る物体検知装置における魚眼レンズ画像からシリンドリカルレンズ画像への画像変換について説明するための図である。 （ａ）本発明の第１の実施の形態に係る物体検知装置における魚眼レンズ画像を示す図である。 （ｂ）本発明の第１の実施の形態に係る物体検知装置における魚眼レンズ画像を画像変換した後のシリンドリカルレンズ画像を示す図である。It is a figure for demonstrating the image conversion from the fisheye lens image to a cylindrical lens image in the object detection apparatus which concerns on the 1st Embodiment of this invention. (A) It is a figure which shows the fisheye lens image in the object detection apparatus based on the 1st Embodiment of this invention. (B) It is a figure which shows the cylindrical lens image after image-converting the fish-eye lens image in the object detection apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係る物体検知装置における魚眼レンズ画像からシリンドリカルレンズ画像への画像変換について説明するための図である。 （ａ）本発明の第１の実施の形態に係る物体検知装置におけるカメラの焦点へ入射した入射光を示す図である。 （ｂ）本発明の第１の実施の形態に係る物体検知装置における魚眼レンズ撮像面に入射光が投影された様子を示す図である。 （ｃ）本発明の第１の実施の形態に係る物体検知装置における魚眼レンズ撮像面上の点のシリンドリカルレンズ撮像面上への変換について説明するための図である。It is a figure for demonstrating the image conversion from the fisheye lens image to a cylindrical lens image in the object detection apparatus which concerns on the 1st Embodiment of this invention. (A) It is a figure which shows the incident light which injected into the focus of the camera in the object detection apparatus which concerns on the 1st Embodiment of this invention. (B) It is a figure which shows a mode that incident light was projected on the fish-eye lens imaging surface in the object detection apparatus which concerns on the 1st Embodiment of this invention. (C) It is a figure for demonstrating conversion to the point on a fish-eye lens imaging surface on the cylindrical lens imaging surface in the object detection apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係る物体検知装置におけるエッジ情報の抽出について説明するための図である。It is a figure for demonstrating extraction of the edge information in the object detection apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係る物体検知装置における重み係数情報を説明するための図である。It is a figure for demonstrating the weighting coefficient information in the object detection apparatus which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係る物体検知装置における検知の動作フローについて説明するためのフローチャートである。It is a flowchart for demonstrating the operation | movement flow of the detection in the object detection apparatus which concerns on the 1st Embodiment of this invention. 本発明の第２の実施の形態に係る物体検知装置の構成を示す構成図である。It is a block diagram which shows the structure of the object detection apparatus which concerns on the 2nd Embodiment of this invention. 本発明の第２の実施の形態に係る物体検知装置における検知の動作フローについて説明するためのフローチャートである。It is a flowchart for demonstrating the operation | movement flow of the detection in the object detection apparatus which concerns on the 2nd Embodiment of this invention. 本発明の第３の実施の形態に係る物体検知装置の構成を示す構成図である。It is a block diagram which shows the structure of the object detection apparatus which concerns on the 3rd Embodiment of this invention. 本発明の第３の実施の形態に係る物体検知装置における検知の動作フローについて説明するためのフローチャートである。It is a flowchart for demonstrating the operation | movement flow of the detection in the object detection apparatus which concerns on the 3rd Embodiment of this invention.

符号の説明Explanation of symbols

１００、１０００、１２００ 物体検知装置
１０１、１００１、１２０１ 受信部（受信手段）
１０２、１００２、１２０２ 画像変換部（画像変換手段）
１０３、１００３ 抽出部（抽出手段）
１０４、１００４、１２０３ 算出部（算出手段、近似手段）
１０５、１００５、１２０４ 判断部（判断手段）
１０６、１００６、１２０５ 通知部（通知手段）
１０７、１００８、１２０６ バス
２００、１００７、１２０７ 撮影手段（カメラ）
２０１ 車両
２０２ 光軸
２０３ 歩行者
３００ シリンドリカルレンズ撮像面
３０１ａ、３０１ｂ、３０１ｃ、４０１ａ、４０１ｂ、４０１ｃ 物体
４００ 魚眼レンズ撮像面
５００ 魚眼レンズ画像の円形の像
６０１ 入射光
６０２ Ｚ軸と入射光とのなす角（θ）
６０３、６０５ 射影
６０４ 入射光のＸＹ平面への射影とＸ軸とのなす角（φ）
６０６ 入射光のＸＺ平面への射影と入射光とのなす角（β）
６０７ 入射光のＸＺ平面への射影とＺ軸とのなす角（α）
６０８ 魚眼レンズ撮像面上の点
６０９ シリンドリカルレンズ撮像面上の、魚眼レンズ撮像面上の点に対応する点
７００ 撮影された画像
７０１ エッジ
７０２ エッジが抽出された画像
８００ 重みの中心
100, 1000, 1200 Object detection device 101, 1001, 1201 Receiving unit (receiving means)
102, 1002, 1202 Image conversion unit (image conversion means)
103, 1003 Extraction unit (extraction means)
104, 1004, 1203 Calculation unit (calculation means, approximation means)
105, 1005, 1204 Determination unit (determination means)
106, 1006, 1205 Notification unit (notification means)
107, 1008, 1206 Bus 200, 1007, 1207 Imaging means (camera)
201 Vehicle 202 Optical axis 203 Pedestrian 300 Cylindrical lens imaging surface 301a, 301b, 301c, 401a, 401b, 401c Object 400 Fisheye lens imaging surface 500 Fisheye lens image circular image 601 Incident light 602 Angle formed by Z axis and incident light ( θ)
603, 605 Projection 604 Angle (φ) formed by projection of incident light onto XY plane and X axis
606 Angle formed between projection of incident light onto XZ plane and incident light (β)
607 Angle (α) formed by projection of incident light onto XZ plane and Z axis
608 Points on the fish-eye lens imaging surface 609 Points on the cylindrical lens imaging surface corresponding to points on the fish-eye lens imaging surface 700 Captured image 701 Edge 702 Edge-extracted image 800 Center of weight

Claims (3)

周辺の状況を撮影した画像に基づいて周辺の物体の存在を検知し、ユーザに通知する物体検知装置において、
シリンドリカルレンズを装着した撮影手段によって撮影されたシリンドリカルレンズ画像、若しくは魚眼レンズを装着した撮影手段によって撮影された魚眼レンズ画像を受信する受信手段と、
前記受信手段によって受信された画像が前記魚眼レンズ画像である場合に、前記魚眼レンズ画像を前記シリンドリカルレンズ画像へ画像変換する画像変換手段と、
前記受信手段によって受信された前記シリンドリカルレンズ画像、若しくは前記画像変換手段によって画像変換された前記シリンドリカルレンズ画像からその画像の濃淡差に基づいて、撮影対象物の縦方向のエッジを示す情報であるエッジ情報を抽出する抽出手段と、
前記抽出手段によって抽出された前記エッジ情報と、地面と平行な前記撮影手段の光軸を前記地面に対して垂直に横切る前記撮影対象物以外の撮影対象物の影響を除去するために、前記画像の中央に最大の重みを有する重み係数情報とに基づいて、前記撮影対象物が自身に接近しているか否かを判断するためのエッジ強度を算出する算出手段と、
前記算出手段によって算出された前記エッジ強度が所定の条件を満たすか否かを判断する判断手段と、
前記判断手段によって前記所定の条件を満たすと判断された場合に、前記ユーザに前記撮影対象物が接近していることを通知する通知手段とを、
備えることを特徴とする物体検知装置。 In the object detection device that detects the presence of a surrounding object based on an image of the surrounding situation and notifies the user,
A receiving means for receiving a cylindrical lens image photographed by a photographing means equipped with a cylindrical lens, or a fisheye lens image photographed by a photographing means equipped with a fisheye lens;
When the image received by the receiving means is the fisheye lens image, image converting means for converting the fisheye lens image into the cylindrical lens image;
Edge that is information indicating the vertical edge of the object to be imaged based on the difference in density of the image from the cylindrical lens image received by the receiving unit or the cylindrical lens image converted by the image converting unit. Extraction means for extracting information;
In order to remove the influence of the edge information extracted by the extraction means and the imaging object other than the imaging object that crosses the optical axis of the imaging means parallel to the ground perpendicularly to the ground, the image Calculating means for calculating edge strength for determining whether or not the object to be photographed is close to itself based on weighting factor information having a maximum weight in the center of
Determining means for determining whether the edge strength calculated by the calculating means satisfies a predetermined condition;
Notification means for notifying the user that the object to be photographed is approaching when the determination means determines that the predetermined condition is satisfied;
An object detection apparatus comprising: 周辺の状況を撮影した画像に基づいて周辺の物体の存在を検知し、ユーザに通知する物体検知装置において、
シリンドリカルレンズを装着した撮影手段によって撮影されたシリンドリカルレンズ画像、若しくは魚眼レンズを装着した撮影手段によって撮影された魚眼レンズ画像を受信する受信手段と、
前記受信手段によって受信された画像が前記魚眼レンズ画像である場合に、前記魚眼レンズ画像を前記シリンドリカルレンズ画像へ画像変換する画像変換手段と、
前記受信手段によって受信された前記シリンドリカルレンズ画像、若しくは前記画像変換手段によって画像変換された前記シリンドリカルレンズ画像とあらかじめ撮影された背景画像との差分を取り、物体が存在する領域を抽出する抽出手段と、
前記抽出手段によって抽出された物体が存在する領域を外接長方形近似する近似手段と、
前記近似手段によって長方形に近似された領域の縦横比が規定範囲内にあるか否かを判断する判断手段と、
前記判断手段によって縦横比が規定範囲内にあると判断された場合に、前記ユーザに物体が接近していることを通知する通知手段とを、
備えることを特徴とする物体検知装置。 In the object detection device that detects the presence of a surrounding object based on an image of the surrounding situation and notifies the user,
A receiving means for receiving a cylindrical lens image photographed by a photographing means equipped with a cylindrical lens or a fisheye lens image photographed by a photographing means equipped with a fisheye lens;
When the image received by the receiving means is the fisheye lens image, the image converting means for converting the fisheye lens image into the cylindrical lens image;
An extraction means for extracting a region where an object exists by taking a difference between the cylindrical lens image received by the receiving means or the cylindrical lens image image-converted by the image conversion means and a background image captured in advance; ,
Approximating means for approximating a circumscribed rectangle to a region where the object extracted by the extracting means exists;
Determining means for determining whether the aspect ratio of the area approximated to a rectangle by the approximating means is within a specified range;
A notification means for notifying the user that an object is approaching when the determination means determines that the aspect ratio is within a specified range;
An object detection apparatus comprising: 周辺の状況を撮影した画像に基づいて周辺の物体の存在を検知し、ユーザに通知する物体検知装置において、
シリンドリカルレンズを装着した撮影手段によって撮影されたシリンドリカルレンズ画像、若しくは魚眼レンズを装着した撮影手段によって撮影された魚眼レンズ画像を受信する受信手段と、
前記受信手段によって受信された画像が前記魚眼レンズ画像である場合に、前記魚眼レンズ画像を前記シリンドリカルレンズ画像へ画像変換する画像変換手段と、
前記受信手段によって受信された前記シリンドリカルレンズ画像、若しくは前記画像変換手段によって画像変換された前記シリンドリカルレンズ画像において、前記シリンドリカルレンズ画像の全体若しくは一部分と、検知対象である物体の類型画像との類似度を算出する算出手段と、
前記算出手段によって算出された前記類似度が所定の基準値を超えているか否かを判断する判断手段と、
前記判断手段によって所定の基準値を超えていると判断された場合に、前記ユーザに物体が接近していることを通知する通知手段とを、
備えることを特徴とする物体検知装置。
In the object detection device that detects the presence of a surrounding object based on an image of the surrounding situation and notifies the user,
A receiving means for receiving a cylindrical lens image photographed by a photographing means equipped with a cylindrical lens or a fisheye lens image photographed by a photographing means equipped with a fisheye lens;
When the image received by the receiving means is the fisheye lens image, the image converting means for converting the fisheye lens image into the cylindrical lens image;
In the cylindrical lens image received by the receiving unit or the cylindrical lens image converted by the image converting unit, the similarity between the whole or a part of the cylindrical lens image and the type image of the object to be detected Calculating means for calculating
Determining means for determining whether or not the similarity calculated by the calculating means exceeds a predetermined reference value;
A notification means for notifying the user that an object is approaching when it is determined by the determination means that a predetermined reference value is exceeded;
An object detection apparatus comprising:
JP2004104973A 2004-03-31 2004-03-31 Object detection device Expired - Fee Related JP4445311B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004104973A JP4445311B2 (en) 2004-03-31 2004-03-31 Object detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004104973A JP4445311B2 (en) 2004-03-31 2004-03-31 Object detection device

Publications (2)

Publication Number Publication Date
JP2005293038A true JP2005293038A (en) 2005-10-20
JP4445311B2 JP4445311B2 (en) 2010-04-07

Family

ID=35325927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004104973A Expired - Fee Related JP4445311B2 (en) 2004-03-31 2004-03-31 Object detection device

Country Status (1)

Country Link
JP (1) JP4445311B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2008053649A1 (en) * 2006-11-02 2010-02-25 コニカミノルタホールディングス株式会社 Wide-angle image acquisition method and wide-angle stereo camera device
JP2010170514A (en) * 2008-12-24 2010-08-05 Fujitsu General Ltd Image data conversion device
JP2010171914A (en) * 2008-12-24 2010-08-05 Fujitsu General Ltd Image data converter
CN111260539A (en) * 2020-01-13 2020-06-09 魔视智能科技(上海)有限公司 Fisheye pattern target identification method and system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0843056A (en) * 1993-09-06 1996-02-16 Nippon Telegr & Teleph Corp <Ntt> Method and apparatus for obtaining characteristics of moving object
JPH08221668A (en) * 1995-02-09 1996-08-30 Oki Electric Ind Co Ltd Intruding body recognition device
JP2000118298A (en) * 1998-10-14 2000-04-25 Daihatsu Motor Co Ltd Monitor device for vehicle
JP2001092970A (en) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd Lane recognizing device
JP2001294109A (en) * 2000-04-14 2001-10-23 Daihatsu Motor Co Ltd Rear monitoring device for vehicle and its controlling method
JP2004017876A (en) * 2002-06-19 2004-01-22 Nissan Motor Co Ltd On-vehicl obstacle detection device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0843056A (en) * 1993-09-06 1996-02-16 Nippon Telegr & Teleph Corp <Ntt> Method and apparatus for obtaining characteristics of moving object
JPH08221668A (en) * 1995-02-09 1996-08-30 Oki Electric Ind Co Ltd Intruding body recognition device
JP2000118298A (en) * 1998-10-14 2000-04-25 Daihatsu Motor Co Ltd Monitor device for vehicle
JP2001092970A (en) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd Lane recognizing device
JP2001294109A (en) * 2000-04-14 2001-10-23 Daihatsu Motor Co Ltd Rear monitoring device for vehicle and its controlling method
JP2004017876A (en) * 2002-06-19 2004-01-22 Nissan Motor Co Ltd On-vehicl obstacle detection device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2008053649A1 (en) * 2006-11-02 2010-02-25 コニカミノルタホールディングス株式会社 Wide-angle image acquisition method and wide-angle stereo camera device
US8269820B2 (en) 2006-11-02 2012-09-18 Konica Minolta Holdings, Inc. Wide-angle image acquiring method and wide-angle stereo camera device
JP2010170514A (en) * 2008-12-24 2010-08-05 Fujitsu General Ltd Image data conversion device
JP2010171914A (en) * 2008-12-24 2010-08-05 Fujitsu General Ltd Image data converter
CN111260539A (en) * 2020-01-13 2020-06-09 魔视智能科技(上海)有限公司 Fisheye pattern target identification method and system
CN111260539B (en) * 2020-01-13 2023-05-12 魔视智能科技(上海)有限公司 Fish eye pattern target identification method and system thereof

Also Published As

Publication number Publication date
JP4445311B2 (en) 2010-04-07

Similar Documents

Publication Publication Date Title
KR100890949B1 (en) Electronic device and method in an electronic device for processing image data
JP6319101B2 (en) Image processing apparatus, image processing method, and program
JP5219847B2 (en) Image processing apparatus and image processing method
JP5613041B2 (en) Camera device, image processing system, and image processing method
CN108605087B (en) Terminal photographing method and device and terminal
JP5612774B2 (en) Tracking frame initial position setting device and operation control method thereof
CN107850753B (en) Detection apparatus, detection method, detection program, and imaging apparatus
JP2010226157A (en) Camera, and image correction method
US10404912B2 (en) Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium
CN111246080B (en) Control apparatus, control method, image pickup apparatus, and storage medium
EP3018902B1 (en) Monitoring camera system
JP5911227B2 (en) Determination apparatus, determination method, and program
JP2010160297A (en) Imaging apparatus, automatic focusing method, and computer program
JP5247338B2 (en) Image processing apparatus and image processing method
KR101720679B1 (en) Lane recognition system using light fied camera and method therefor
JP4445311B2 (en) Object detection device
JP2009047496A (en) Stereoscopic imaging device, control method of stereoscopic imaging device, and program
JP5471130B2 (en) Image processing apparatus and method
JP2014142832A (en) Image processing apparatus, control method of image processing apparatus, and program
JP6241107B2 (en) Gaze direction detection device and gaze direction detection method
JP2013098746A (en) Imaging apparatus, imaging method, and program
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
JP5278307B2 (en) Image processing apparatus and method, and program
US20120154666A1 (en) Imaging device and image capturing method
JP6460510B2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100115

R150 Certificate of patent or registration of utility model

Ref document number: 4445311

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130122

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140122

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees