WO2023026517A1 - 物体距離検出装置 - Google Patents

物体距離検出装置 Download PDF

Info

Publication number
WO2023026517A1
WO2023026517A1 PCT/JP2022/005990 JP2022005990W WO2023026517A1 WO 2023026517 A1 WO2023026517 A1 WO 2023026517A1 JP 2022005990 W JP2022005990 W JP 2022005990W WO 2023026517 A1 WO2023026517 A1 WO 2023026517A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
distance detection
unit
spatial frequency
detection device
Prior art date
Application number
PCT/JP2022/005990
Other languages
English (en)
French (fr)
Inventor
寛知 齋
耕太 入江
貴清 安川
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to DE112022001260.9T priority Critical patent/DE112022001260T5/de
Priority to JP2023543646A priority patent/JPWO2023026517A1/ja
Priority to US18/552,722 priority patent/US20240185458A1/en
Publication of WO2023026517A1 publication Critical patent/WO2023026517A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an object distance detection device.
  • stereo image processing that measures the distance using the principle of triangulation from images captured by two imaging devices.
  • an information processing apparatus includes a selection unit that selects two imaging units that perform imaging for generating distance information from three or more imaging units that configure an imaging unit. and a distance detection unit that detects the distance to an observation point based on the images captured by the two selected imaging units.” The imaging unit can be selected based on the operation of the configuration.”
  • the base line which is one side of the triangle that serves as the reference for triangulation, is the line connecting the two imaging units.
  • An arbitrary point of the target object on the image captured by one of the two imaging units and the same point on the same object on the image captured by the other imaging unit are parallel to this base line.
  • the object will have only lines parallel to the base line. This means that the object has few spatial frequency components parallel to the baseline.
  • Patent Literature 1 an imaging unit that measures the distance is selected based on the operation of the configuration that affects the captured image during cleaning of the camera or during driving of the wiper, and the spatial frequency of the image perpendicular to the base line is It is not possible to accurately measure the distance of an object with many components.
  • the object distance detection device of the present invention is an object distance detection device that detects the distance to an object around a vehicle, and includes at least three imaging units for imaging the same object, and at least one imaging unit. an object area identifying unit that identifies an area where the object exists based on the acquired image; and any two of the three or more imaging units based on the image of the area identified by the object area identifying unit.
  • an image selection unit that selects one baseline direction from among a plurality of baseline directions defined by one imaging unit and selects an image of an area obtained from each of the two imaging units that define the selected baseline direction; and a distance detection unit that detects a distance to an object existing in the area based on the image selected by the unit.
  • FIG. 1 is a diagram showing the basic configuration of an object distance detection device according to Embodiment 1;
  • FIG. FIG. 4 is a diagram showing the configuration of a target object area specifying unit according to the first embodiment; 4 is a diagram showing the configuration of an image selection unit according to the first embodiment; FIG. The figure which showed the principle of a stereo camera.
  • FIG. 8 is a diagram showing the basic configuration of an object distance detection device according to a second embodiment;
  • FIG. 8 is a diagram showing the basic configuration of an object distance detection device according to a second embodiment;
  • FIG. 11 is a diagram showing the basic configuration of an object distance detection device according to a third embodiment;
  • FIG. 4 is a diagram showing the positional relationship of the imaging units used in the object distance detection device according to the present invention;
  • FIG. 1 is a diagram showing the basic configuration of an object distance detection device according to the first embodiment.
  • 101-1, 101-2, and 101-3 are imaging units
  • 102 is an object area specifying unit
  • 103 is an image selection unit
  • 104 is a distance detection unit.
  • the imaging units 101-1, 101-2, and 101-3 include a lens group such as a focus lens, an iris, a shutter, a CCD, a CMOS, or the like. It is configured by appropriately using an image sensor, CDS, AGC, AD converter, and the like. Then, the optical image received by the imaging device is photoelectrically converted based on the exposure conditions such as the aperture of the iris, the accumulation time of the sensor, the shutter speed, and the gain amount of the AGC. The obtained image signal is subjected to various camera image processing such as digital gain processing, demosaicing processing, luminance signal and color signal generation processing, and noise correction processing, and is output as a video signal.
  • a lens group such as a focus lens, an iris, a shutter, a CCD, a CMOS, or the like. It is configured by appropriately using an image sensor, CDS, AGC, AD converter, and the like.
  • the optical image received by the imaging device is photoelectrically converted based on the exposure conditions such as the aperture
  • a video signal from one imaging unit 101-1 is transmitted to the target object area specifying unit 102, and video signals from all the imaging units 101-1, 101-2, and 101-3 are transmitted to the image selection unit 103.
  • FIG. 7 shows an example of the positional relationship among the imaging units 101-1, 101-2, and 101-3 used in the object distance detection device according to this embodiment.
  • imaging units 101-1, 101-2, and 101-3 according to the present embodiment are arranged near the center of the front surface of the vehicle, and imaging unit 101-2 is located near the center of the front surface of the vehicle. 101-1, and the imaging unit 101-3 has a vertical relationship with the imaging unit 101-1.
  • FIG. 7 shows the case where the imaging unit is arranged on the front surface of the vehicle, it is not limited to this, and can be arranged on the side surface or the rear surface of the vehicle, and the same applies to other embodiments. be.
  • reference numeral 201 denotes an object area determination section
  • 202 denotes a spatial frequency component calculation section.
  • the object area determination unit 201 receives the image signal from the imaging unit 101-1, determines in which area of the image signal the desired object such as a vehicle is, and outputs the area as data. do. When there are a plurality of desired objects such as vehicles on the screen, each of the plurality of regions corresponding to each object is output as data.
  • the spatial frequency component calculation unit 202 calculates the spatial frequency components of the region data output from the target object region determination unit 201 using filtering such as a bandpass filter, and determines the region and the horizontal direction of the region.
  • the spatial frequency component and the spatial frequency component in the vertical direction are output to the image selection unit 103 .
  • the object region identification unit 102 identifies regions where objects exist and calculates spatial frequency components for each of the identified regions, but does not measure the distance to the object. . Therefore, it is not necessary to input a plurality of video signals to the object area identification unit 102 . However, it may be configured such that a plurality of video signals are input from a plurality of imaging units. In that case, an effect can be expected such that the blind spot area of a certain imaging unit can be compensated for by another imaging unit. Further, in this embodiment, as shown in FIG. 7, the imaging unit 101-1 defines the horizontal/vertical direction with the other imaging units 101-2 and 101-3. , is input to the object area identification unit 102 with reference to the image captured in .
  • reference numeral 301 denotes a baseline direction selector
  • 302 denotes a video signal selector.
  • the baseline direction selection unit 301 receives the spatial frequency components for each region calculated by the object region identification unit 102, and selects the horizontal direction if there are many spatial frequency components in the horizontal direction, and the vertical direction if there are many spatial frequency components in the vertical direction. direction is output to the video signal selection unit 302 as a baseline direction to be selected for each region.
  • the video signal selection unit 302 selects the imaging unit that defines the horizontal baseline direction with respect to the imaging unit 101-1, and if the received baseline direction is the vertical direction. For example, an imaging unit that defines a base line direction perpendicular to the imaging unit 101-1 is selected for each region specified by the target object region specifying unit 102.
  • FIG. In the present embodiment, the imaging device has three configurations. If the received baseline direction is vertical, the video signal of an arbitrary imaging unit defining a baseline direction perpendicular to the imaging unit 101-1 is used. Select by region.
  • the distance detection unit 104 calculates the distance to the object in the video signal from the two video signals for each region selected by the image selection unit 103.
  • FIG. 4 is a diagram showing the general principle of a stereo camera used for measuring the distance of an object in three-dimensional space.
  • 401 is a measurement point
  • 402 is a lens
  • 403 is an imaging plane
  • ⁇ is a parallax
  • Z is a measurement distance (distance from the lens 402 to the measurement point 401)
  • f is a focal length (from the imaging plane 403 to the lens 402 )
  • b is the baseline length (the length between the two imaging elements).
  • the measured distance Z is calculated by the formula represented by Equation 1 below.
  • the horizontal spatial frequency component and the vertical spatial frequency component of the image of that region are calculated. Then, for each region, a combination of video signals of the imaging unit that defines the baseline direction in which the spatial frequency component is large is selected. That is, for example, for a region in which an object having many spatial frequency components in the horizontal direction, such as a person or a car, is present, a combination of imaging units defining the horizontal direction is selected from among the plurality of imaging units, For an area in which an object having many spatial frequency components in the vertical direction, such as a fallen object or a dent on the road, exists, a combination of imaging units that define the vertical direction is selected from among the plurality of imaging units. Therefore, it is possible to accurately measure the distance to a desired object by selecting an imaging unit that defines a base line direction that can acquire more corresponding points necessary for three-dimensional distance measurement for the object. .
  • the object distance detection unit according to Example 2 differs from Example 1 in that it further includes a parallax image generation unit 501 .
  • the parallax image generation unit 501 receives video signals generated by the three imaging units 101-1, 101-2, and 101-3. Then, the parallax ⁇ represented by Equation 1 in Example 1 is calculated from the parallax image generated from the video signals output from the imaging units 101-1 and 101-2, and the imaging unit 101-1 and the imaging unit 101 - 3 , and outputs the parallax image to the image selection unit 103 .
  • the parallax images output from the parallax image generation unit 501 are input to the video signal selection unit 302. If the baseline direction received from the baseline direction selection unit 301 is the horizontal direction, the If the received parallax image is the vertical direction, the imaging unit defines the baseline direction perpendicular to the imaging unit 101-1. A parallax image generated between is selected for each region.
  • the distance detection unit 104 calculates the distances of the plurality of objects in the video signal from the parallax image for each region selected by the image selection unit 103 using Equation 1 above.
  • the parallax image generation unit 501 is arranged between the three imaging units 101-1, 101-2, and 101-3 and the image selection unit 103. A parallax image is generated based on the video signal. However, the parallax image generator 501 may be arranged between the image selector 103 and the distance detector 104 as shown in FIG. 5B.
  • the parallax image generation unit 501 generates parallax images based on the video signal output from the image selection unit 103 through the process described in the first embodiment. Then, the distance detection unit 104 detects the distance to the object based on the generated parallax image.
  • a combination that defines the direction of the base line in which the spatial frequency component is large according to the spatial frequency component in the horizontal direction and the spatial frequency component in the vertical direction of the image in that region. to select a parallax image obtained by the imaging unit of . Therefore, since many corresponding points for measuring the distance to the object can be obtained, the obtained parallax image becomes clearer, and the distance to the desired object can be measured with high accuracy.
  • the object distance detection unit according to the third embodiment differs from that of the first embodiment in that a vehicle information acquisition unit 601 is provided.
  • the vehicle information acquisition unit 601 includes various sensors such as a vehicle speed sensor that detects the speed of the vehicle, a steering angle sensor that detects the steering angle of the steering wheel, and a GPS that acquires position information of the vehicle.
  • Various types of information acquired by the vehicle information acquisition unit 601 are output to the object region identification unit 102 .
  • the spatial frequency component calculation unit 202 in the object region identification unit 102 calculates horizontal and vertical spatial frequency components for an image according to the vehicle speed, the steering angle of the steering wheel, and the like. Weight the values. For example, when the vehicle is traveling at a low speed and the steering wheel is turned at a certain angle or more, it can be determined that the vehicle is traveling in an intersection on a general road. In such a case, the object to be recognized is an object with many spatial frequency components in the image in the horizontal direction, such as pedestrians and other vehicles. Based on this, a certain numerical value is set so that the spatial frequency component of the image in the vertical direction takes the minimum value or the spatial frequency component of the image in the horizontal direction is maximized. Multiply by .
  • the object to be recognized is an object with many spatial frequency components in the image in the vertical direction, such as a fallen object or a pothole in the road. Based on this, a certain numerical value is set so that the spatial frequency component of the image in the horizontal direction takes the minimum value, or the spatial frequency component of the image in the vertical direction is maximized. Multiply by .
  • the vehicle speed, the steering angle of the steering wheel, and the position information are given as examples of the vehicle information, but road information such as intersections and highways may be included from the map information and the vehicle position information.
  • the vehicle for each region in which an object to be recognized exists, the vehicle can be detected in accordance with vehicle information such as the horizontal spatial frequency component, the vertical spatial frequency component, the vehicle speed, and the steering angle of the steering wheel of the image in that region.
  • vehicle information such as the horizontal spatial frequency component, the vertical spatial frequency component, the vehicle speed, and the steering angle of the steering wheel of the image in that region.
  • the distance to a desired object can be accurately measured by selecting an appropriate image signal from the imaging unit according to the control of the vehicle and the running state.
  • the object distance detection device includes at least three imaging units 101-1, 101-2, and 101-3 for imaging the same object, and based on the images acquired from at least one imaging unit, the object is A plurality of baseline directions defined by any two imaging units out of the imaging units based on the image of the area specified by the target object region specifying unit 102 that specifies an existing region, and the image of the region specified by the target object region specifying unit 102 an image selection unit 103 that selects one of the baseline directions and selects an image of a region acquired from each of the two imaging units that define the selected baseline direction; and a distance detection unit 104 for detecting a distance to an object existing in the space.
  • the combination of imaging units can be optimized so that many corresponding points necessary for three-dimensional distance measurement can be obtained, so distance detection with excellent accuracy can be achieved.
  • the object region specifying unit 102 obtains the vertical spatial frequency component and the horizontal spatial frequency component of the image of the region. Select the baseline direction based on the frequency content. Therefore, it is possible to select a combination of imaging units that can obtain many corresponding points necessary for three-dimensional distance measurement for each region in which an object having many spatial frequency components in the horizontal/vertical direction exists. It is possible to achieve more accurate distance detection.
  • a parallax image generation unit 501 that generates a parallax image of the region from the image selected by the image selection unit 103, and the distance detection unit 104 detects the distance to the object based on the parallax image.
  • a parallax image generation unit 501 that generates a plurality of parallax images from images acquired from each of the three or more imaging units is further provided, and the image selection unit 103 selects two imaging units that define the selected base line direction. A parallax image generated from the images acquired from each is selected, and the distance detection unit 104 detects the distance to the object based on the parallax image selected by the image selection unit 103 . Since this performs distance detection using a known parallax image, it is possible to provide distance detection methods from various angles.
  • the spatial frequency components are weighted based on the vehicle information, and the image selector selects the baseline direction based on the weighted vertical spatial frequency components and horizontal spatial frequency components. For this reason, for example, if it is determined that the vehicle is traveling in an intersection on a general road, it will be easier to detect the distance to a person or other vehicle. , and can be adjusted to make it easier to detect the distance to falling objects and potholes on the road, making it possible to perform appropriate distance measurement according to the situation.
  • the image selection unit 103 selects the baseline direction for each area. As a result, even when there are a plurality of objects to be imaged, it is possible to distinguish between the objects and perform appropriate distance measurement.
  • the image selection unit selects the vertical direction as the baseline direction if there are many spatial frequency components in the vertical direction obtained by the object region identifying unit, and selects the horizontal direction as the baseline direction if there are many spatial frequency components in the horizontal direction. do. That is, for an area in which an object having many horizontal spatial frequency components exists, a combination of imaging units defining a horizontal base line direction is selected from among a plurality of imaging units, and the spatial frequency components in the vertical direction are selected. For an area in which an object having a large number of .times..times..times..times..times..times. Therefore, it is possible to select an imaging unit that defines a baseline direction capable of acquiring a larger number of corresponding points necessary for three-dimensional distance measurement with respect to the object, so that more accurate distance detection can be realized.
  • 101-1, 101-2, 101-3 imaging unit
  • 102 object area specifying unit
  • 103 image selection unit
  • 104 distance detection unit
  • 501 parallax image generation unit
  • 601 vehicle information acquisition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

物体距離検出装置は、同一の対象物を撮像する三つの撮像部１０１－１、１０１－２、１０１－３と、少なくとも一つの撮像部から取得した画像に基づいて、対象物が存在する領域を特定する対象物領域特定部１０２と、対象物領域特定部１０２が特定した領域の画像に基づいて、撮像部のうちの任意の二つの撮像部によって規定される複数の基線方向のうち一つの基線方向を選択し、選択した基線方向を規定する二つの撮像部のそれぞれから取得した領域の画像を選択する画像選択部１０３と、画像選択部が選択した画像に基づいて、領域に存在する対象物までの距離を検出する距離検出部１０４と、を有する。

Description

物体距離検出装置
　本発明は、物体距離検出装置に関する。
　３次元空間にある物体の距離を計測する技術として、２つの撮像装置から撮影された画像から三角測量の原理を用いて距離を測定するステレオ画像処理がある。
　ステレオ画像処理の従来技術として、例えば特許文献１がある。該公報には、「カメラの洗浄中やワイパ駆動中に一時的に距離計測を行うことができなくなるおそれがあった。本技術は、このような状況に鑑みて提案されたものであり、距離計測の信頼性の低減を抑制することを目的とする。」との記載がある。そして、その解決手段として、「本技術の一側面の情報処理装置は、撮像ユニットを構成する３以上の撮像部から、距離情報を生成するための撮像を行う２つの撮像部を選択する選択部と、選択された２つの撮像部による撮像画像に基づき、観測点までの距離を検出する距離検出部とを備える情報処理装置であ」り、「前記選択部は、前記撮像画像に影響を及ぼす構成の動作に基づいて、前記撮像部を選択することができる」という技術が開示されている。
特開２０１８－３２９８６号公報
　上述のステレオ画像処理において、三角測量の基準となる三角形の一辺である基線は２つの撮像部を結んだ線である。２つの撮像部のうち一方の撮像部によって撮像した画像上の対象物体の任意の点と、もう一方の撮像部によって撮像した画像上の同一物体の同一点が、この基線に対し平行関係にあると、物体は基線に対して平行な線しかもたないことになる。これは、物体が基線に対して平行方向の空間周波数成分をほとんどもたないことを意味する。
　このように、物体が基線に対して平行方向の空間周波数成分をほとんどもたず、垂直な方向の空間周波数成分を多く持つ場合は、２つの画像上の物体対応点を正確にとることが難しくなり、正しい３次元位置を計測できなくなる。すなわち、基線に対して垂直な画像の空間周波数成分を多くもつ物体は、距離を計測できる対応点が少なく、精度よく距離を測定することができない。
　前記特許文献１では、カメラの洗浄中やワイパ駆動中による撮像画像に影響を及ぼす構成の動作に基づいて、距離を計測する撮像部を選択しており、基線に対して垂直な画像の空間周波数成分を多く持つ物体の距離を精度よく測定することはできない。
　上記目的を解決するために、特許請求の範囲に記載の構成を採用する。例えば本発明の物体距離検出装置は、車両の周辺の対象物までの距離を検出する物体距離検出装置であって、同一の対象物を撮像する少なくとも三つの撮像部と、少なくとも一つの撮像部から取得した画像に基づいて、対象物が存在する領域を特定する対象物領域特定部と、対象物領域特定部が特定した領域の画像に基づいて、三つ以上の撮像部のうちの任意の二つの撮像部によって規定される複数の基線方向のうち一つの基線方向を選択し、選択した基線方向を規定する二つの撮像部のそれぞれから取得した領域の画像を選択する画像選択部と、画像選択部が選択した画像に基づいて、領域に存在する対象物までの距離を検出する距離検出部と、を有すること、を特徴とする。
　本発明によれば、物体の画像の有する空間周波数成分によらず、精度よく距離を測定することができる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
実施例１に係る物体距離検出装置の基本構成を示す図。 実施例１に係る対象物領域特定部の構成を示す図。 実施例１に係る画像選択部の構成を示す図。 ステレオカメラの原理を示した図。 実施例２に係る物体距離検出装置の基本構成を示す図。 実施例２に係る物体距離検出装置の基本構成を示す図。 実施例３に係る物体距離検出装置の基本構成を示す図。 本発明に係る物体距離検出装置で用いられる撮像部の位置関係について示す図。
　以下、本発明の実施例を図面を用いて説明する。
＜実施例１＞
　図１は、実施例１に関わる物体距離検出装置の基本構成を示す図である。図１において、１０１－１、１０１－２、１０１－３は撮像部、１０２は対象物領域特定部、１０３は画像選択部、１０４は距離検出部である。
　図１に示した物体距離検出装置において、撮像部１０１－１、撮像部１０１－２、及び撮像部１０１－３は、フォーカスレンズなどのレンズ群や、アイリスや、シャッタや、CCDまたはCMOSなどの撮像素子や、CDSやAGCや、ADコンバータ等を適宜用いて構成される。そして、アイリスの開口度やセンサの蓄積時間やシャッタ速度やAGCのゲイン量などの露光条件に基づいて撮像素子に受光した光学像を光電変換する。得られた画像信号を、デジタルゲイン処理やデモザイキング処理や輝度信号および色信号生成処理やノイズ補正処理といった種々のカメラ画像処理を行い映像信号として出力する。一つの撮像部１０１－１からの映像信号は対象物領域特定部１０２に送信され、全ての撮像部１０１－１、１０１－２、１０１－３からの映像信号は画像選択部１０３に送信される。なお、本実施例において、撮像部は３つであるが、４つ以上の複数の構成でもよい。
　なお、本実施例に係る物体距離検出装置で用いられる撮像部１０１－１、１０１－２、１０１－３の位置関係の一例について図７に示す。本実施例に係る撮像部１０１－１、１０１－２、１０１－３は、図７に示すように、撮像部１０１－１は車両前面の中央近辺に配置され、撮像部１０１－２は撮像部１０１－１と水平関係にあり、撮像部１０１－３は撮像部１０１－１と鉛直関係にある。
　これは撮像部の個数及び位置関係についての一例であり、撮像部の個数が例えば４個であれば、それらが正方形の頂点に位置するような配置等、任意の位置関係をとれる。また、図７は撮像部が車両の前面に配置されている場合を示したが、これに限らず、車両の側面や後面に配置することも当然可能であり、他の実施例についても同様である。
　図２を用いて、一つの撮像部１０１－１からの映像信号を受信する対象物領域特定部１０２の構成及び動作を説明する。図２において、２０１は対象物領域判定部、２０２は空間周波数成分演算部である。対象物領域判定部２０１は、撮像部１０１－１からの映像信号を受信し、所望の対象物、例えば車両などの物体が映像信号のどの領域にあるかを判定し、その領域をデータとして出力する。画面内に車両などの所望の対象物が複数ある場合は、対象物の各々に対応する複数の領域のそれぞれをデータとして出力する。空間周波数成分演算部２０２は、対象物領域判定部２０１から出力された領域のデータに対して、バンドパスフィルタなどのフィルタ処理を用いて空間周波数成分を演算し、領域とその領域の水平方向の空間周波数成分と鉛直方向の空間周波数成分を、画像選択部１０３へと出力する。
　対象物領域特定部１０２は、上記のように、対象物が存在する領域を特定し、その特定した領域ごとに空間周波数成分を演算するものであり、対象物までの距離を測定するものではない。従って、対象物領域特定部１０２に入力される映像信号は複数である必要はない。ただし、複数の撮像部から複数の映像信号が入力されるような構成としてもよい。その場合には、ある撮像部の有する死角領域を他の撮像部が補うことができる等の効果が期待できる。また、本実施例においては、図７に示す通り、撮像部１０１－１が、他の撮像部１０１－２及び１０１－３と水平／鉛直方向を規定しているため、この撮像部１０１－１で撮像した画像を基準として、対象物領域特定部１０２に入力している。
　図３を用いて、全ての撮像部１０１－１、１０１－２、１０１－３からの映像信号、及び対象物領域特定部１０２で演算された空間周波数成分を受信する画像選択部１０３の構成及び動作を説明する。図３において、３０１は基線方向選択部、３０２は映像信号選択部である。基線方向選択部３０１は、対象物領域特定部１０２で演算された領域毎の空間周波数成分を受信し、水平方向の空間周波数成分が多ければ水平方向を、鉛直方向の空間周波数成分が多ければ鉛直方向を、各領域毎に選択されるべき基線方向として映像信号選択部３０２に出力する。
　映像信号選択部３０２は、基線方向選択部３０１から受信した基線方向が水平方向ならば、撮像部１０１－１に対して水平な基線方向を規定する撮像部を、受信した基線方向が鉛直方向ならば、撮像部１０１－１に対して鉛直な基線方向を規定する撮像部を、対象物領域特定部１０２で特定された領域毎に選択する。本実施例では、撮像装置は３つの構成であるが、４つ以上の構成である場合であっても、基線方向選択部３０１から受信した基線方向が水平方向ならば、撮像部１０１－１に対して水平な基線方向を規定する任意の撮像部の映像信号を、受信した基線方向が鉛直ならば、撮像部１０１－１に対して鉛直な基線方向を規定する任意の撮像部の映像信号を領域毎に選択する。
　図１に示した物体距離検出装置において、距離検出部１０４は、画像選択部１０３で選択された領域毎の２つの映像信号から、映像信号内の対象物までの距離を演算する。
　図４を用いて、距離検出部１０４の動作を説明する。図４は、３次元空間にある物体の距離の計測に用いられるステレオカメラの一般的な原理を示した図である。図４において、４０１は計測点、４０２はレンズ、４０３は撮像面、δは視差、Ｚは計測距離（レンズ４０２から計測点４０１までの距離）、ｆは焦点距離（撮像面４０３からレンズ４０２までの距離）、ｂは基線長（２つの撮像素子間の長さ）である。計測距離Ｚは、以下の数式１にて表される式にて演算される。
Figure JPOXMLDOC01-appb-M000001
　本実施例によれば、認識する物体が存在する領域毎に、その領域の画像が有する水平方向の空間周波数成分と鉛直方向の空間周波数成分を演算する。そして、領域ごとに、空間周波数成分の多い方向の基線方向を規定する組み合わせの撮像部の映像信号を選択する。すなわち、例えば、人物や車などの、水平方向の空間周波数成分を多く有する対象物が存在する領域に対しては、複数の撮像部のうち、水平方向を規定する組み合わせの撮像部を選択し、道路上の落下物やくぼみなどの、鉛直方向の空間周波数成分を多く有する対象物が存在する領域に対しては、複数の撮像部のうち、鉛直方向を規定する組み合わせの撮像部を選択する。従って、対象物に対して、三次元距離測定のために必要な対応点をより多く取得可能な基線方向を規定する撮像部を選択し、所望の物体までの距離を精度よく測定することができる。
＜実施例２＞
　次に、本発明の実施例２に係る物体距離検出装置について、図５Ａ及び図５Ｂを用いて説明する。なお、実施例１ですでに説明した部分は、同一符号を付して重複する説明を省略する。実施例３についても同様とする。
　実施例２に係る物体距離検出部は、視差画像生成部５０１をさらに有する点において実施例１と異なっている。図５Ａにおいて視差画像生成部５０１は、３つの撮像部１０１－１、１０１－２、及び１０１－３が生成した映像信号を受信する。そして、実施例１の数１で表される視差δを、撮像部１０１－１と撮像部１０１－２とから出力される映像信号から生成される視差画像、及び撮像部１０１－１と撮像部１０１－３とから出力される映像信号から生成される視差画像として演算し、その視差画像を画像選択部１０３に出力する。
　画像選択部１０３において、視差画像生成部５０１から出力された視差画像は、映像信号選択部３０２に入力され、基線方向選択部３０１から受信した基線方向が水平方向ならば、撮像部１０１－１に対して水平な基線方向を規定する撮像部との間で生成された視差画像を、受信した基線方向が鉛直方向ならば、撮像部１０１－１に対して鉛直な基線方向を規定する撮像部との間で生成された視差画像を領域毎に選択する。
　そして、距離検出部１０４は、画像選択部１０３で選択された領域毎の視差画像から、映像信号内の複数の対象物の距離を上記の数式１を用いて演算する。
　なお、図５Ａにおいては、視差画像生成部５０１は三つの撮像部１０１－１、１０１－２、及び１０１－３と、画像選択部１０３との間に配置され、当該三つの撮像部から出力された映像信号を基に視差画像を生成している。しかし、図５Ｂに示すように、視差画像生成部５０１を画像選択部１０３と距離検出部１０４との間に配置してもよい。
　この場合には、実施例１で説明したプロセスを経て画像選択部１０３から出力された映像信号を基に、視差画像生成部５０１が視差画像を生成することとなる。そして、距離検出部１０４において、当該生成された視差画像に基づいて、対象物までの距離が検出される。
　本実施例によれば、認識する物体の領域毎に、その領域の画像の水平方向の空間周波数成分と鉛直方向の空間周波数成分に応じて、空間周波数成分の多い方向の基線方向を規定する組み合わせの撮像部による視差画像を選択する。従って、対象物に対して距離測定するための対応点を多くとれるため、得られる視差画像はより鮮明なものになり、所望の物体までの距離を精度よく測定することができる。
＜実施例３＞
　次に、本発明の実施例３に係る物体距離検出装置について、図６を用いて説明する。　実施例３に係る物体距離検出部は、車両情報取得部６０１を有する点において、実施例１と異なっている。車両情報取得部６０１は、自車両の速度を検出する車速センサ、ハンドルの舵角を検出する舵角センサ、自車両の位置情報を取得するＧＰＳ等の各種センサを含む。そして、車両情報取得部６０１で取得した各種情報は、対象物領域特定部１０２へと出力される。
　本実施例においては、対象物領域特定部１０２内の空間周波数成分演算部２０２では、車速、ハンドルの舵角等に応じて、画像に対して演算される水平方向と鉛直方向の空間周波数成分の値に重み付けを行う。例えば、低速走行中であってハンドルの舵角が一定角度以上切られている場合は、一般道路上の交差点内を走行中と判断できる。そのような場合には、認識すべき対象物は、歩行者や他車両などの、水平方向の画像の空間周波数成分の多い対象物である。このことから、鉛直方向の画像の空間周波数成分が最小値をとるように、もしくは水平方向の画像の空間周波数成分が最大限大きくなるように、ある一定の数値を水平方向の画像の空間周波数成分に乗算する。
　また、例えば、高速走行中であってハンドルの舵角が一定角度以下であれば、自車両は高速道路を走行中と判断できる。そのような場合には、認識すべき対象物は落下物や道路のくぼみなどの、鉛直方向の画像の空間周波数成分の多い対象物である。このことから、水平方向の画像の空間周波数成分が最小値をとるように、もしくは鉛直方向の画像の空間周波数成分が最大限大きくなるように、ある一定の数値を鉛直方向の画像の空間周波数成分に乗算する。
　本実施例では、車両情報として、車速、ハンドルの舵角、位置情報を一例として挙げたが、地図情報と自車位置情報とから交差点、高速道路などの道路情報を含めてもよい。
　本実施例によれば、認識する物体が存在する領域毎に、その領域の画像の水平方向の空間周波数成分と鉛直方向の空間周波数成分と車速、ハンドルの舵角といった車両情報に応じて、車両の制御、走行状態に応じて適切な撮像部の映像信号を選択して、所望の物体の距離を精度よく測定することができる。
　以上で説明した本発明の実施例によれば、以下の作用効果を奏する。
（１）物体距離検出装置は、同一の対象物を撮像する少なくとも三つの撮像部１０１－１、１０１－２、１０１－３と、少なくとも一つの撮像部から取得した画像に基づいて、対象物が存在する領域を特定する対象物領域特定部１０２と、対象物領域特定部１０２が特定した領域の画像に基づいて、撮像部のうちの任意の二つの撮像部によって規定される複数の基線方向のうち一つの基線方向を選択し、選択した基線方向を規定する二つの撮像部のそれぞれから取得した領域の画像を選択する画像選択部１０３と、画像選択部１０３が選択した画像に基づいて、領域に存在する対象物までの距離を検出する距離検出部１０４と、を有することを特徴とする。
　これにより、撮像対象物の有する性質に基づいて、三次元距離測定のために必要な対応点を多くとれるように撮像部の組み合わせを最適化できるため、精度の優れた距離検出を実現できる。
（２）対象物領域特定部１０２は、領域の画像の鉛直方向の空間周波数成分及び水平方向の空間周波数成分を求め、画像選択部１０３は、求めた鉛直方向の空間周波数成分及び水平方向の空間周波数成分に基づいて、基線方向を選択する。従って、水平／鉛直方向の空間周波数成分を多く有する対象物が存在する領域のそれぞれに対して、三次元距離測定のために必要な対応点を多くとれるような撮像部の組み合わせを選択することが可能になり、より精度の優れた距離検出を実現できる。
（３）画像選択部１０３が選択した画像から領域の視差画像を生成する視差画像生成部５０１をさらに有し、距離検出部１０４は、視差画像に基づいて、対象物までの距離を検出する。または、三つ以上の撮像部の各々から取得した画像から複数の視差画像を生成する視差画像生成部５０１をさらに有し、画像選択部１０３は、選択した基線方向を規定する二つの撮像部の各々から取得した画像から生成された視差画像を選択し、距離検出部１０４は、画像選択部１０３が選択した視差画像に基づいて、対象物までの距離を検出する。これにより、既知の視差画像を用いた距離検出を行うため、様々な角度からの距離検出方法を提供することが可能になる。
（４）車両の運動状態情報または位置情報の少なくとも一方の車両情報を取得する車両情報取得部をさらに有し、車両情報取得部は、領域の画像データの鉛直方向の空間周波数成分及び水平方向の空間周波数成分を車両情報に基づいて重み付けして求め、画像選択部は、重みづけして求められた鉛直方向の空間周波数成分及び水平方向の空間周波数成分に基づいて、基線方向を選択する。このため、例えば一般道路上の交差点内を走行中であると判断されれば、人物や他の車両までの距離を検出しやすくなるように、高速道路上を走行中であると判断されれば、落下物や道路上のくぼみなどまでの距離を検出しやすくなるように調整できるため、状況に沿った適切な距離測定を行うことが可能になる。
（５）対象物が存在する領域が複数ある場合には、画像選択部１０３は、領域ごとに、基線方向を選択する。これにより、撮像対象物が複数ある場合であっても、各対象物を区別して適切な距離測定を行うことが可能になる。
（６）画像選択部は、対象物領域特定部が求めた鉛直方向の空間周波数成分が多ければ基線方向として鉛直方向を選択し、水平方向の空間周波数成分が多ければ基線方向として水平方向を選択する。すなわち、水平方向の空間周波数成分を多く有する対象物が存在する領域に対しては、複数の撮像部のうち、水平の基線方向を規定する組み合わせの撮像部を選択し、鉛直方向の空間周波数成分を多く有する対象物が存在する領域に対しては、複数の撮像部のうち、鉛直の基線方向を規定する組み合わせの撮像部を選択する。従って、対象物に対して、三次元距離測定のために必要な対応点をより多く取得可能な基線方向を規定する撮像部を選択できるため、より精度の優れた距離検出を実現できる。
　なお、本発明は上記した実施例に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、上記の実施例は本発明に対する理解を助けるために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
１０１－１、１０１－２、１０１－３：撮像部、１０２：対象物領域特定部、１０３：画像選択部、１０４：距離検出部、５０１：視差画像生成部、６０１：車両情報取得部

Claims (7)

  1. 　車両の周辺の対象物までの距離を検出する物体距離検出装置であって、
    　同一の対象物を撮像する少なくとも三つの撮像部と、
    　少なくとも一つの前記撮像部から取得した画像に基づいて、前記対象物が存在する領域を特定する対象物領域特定部と、
    　前記対象物領域特定部が特定した前記領域の画像に基づいて、前記三つ以上の撮像部のうちの任意の二つの撮像部によって規定される複数の基線方向のうち一つの基線方向を選択し、前記選択した基線方向を規定する二つの撮像部のそれぞれから取得した前記領域の画像を選択する画像選択部と、
    　前記画像選択部が選択した画像に基づいて、前記領域に存在する前記対象物までの距離を検出する距離検出部と、を有すること、
    を特徴とする物体距離検出装置。
  2. 　請求項１に記載の物体距離検出装置であって、
    　前記対象物領域特定部は、前記領域の画像の鉛直方向の空間周波数成分及び水平方向の空間周波数成分を求め、
    　前記画像選択部は、求めた前記鉛直方向の空間周波数成分及び前記水平方向の空間周波数成分に基づいて、前記基線方向を選択すること、
    を特徴とする物体距離検出装置。
  3. 　請求項１に記載の物体距離検出装置であって、
    　前記三つ以上の撮像部の各々から取得した画像から複数の視差画像を生成する視差画像生成部をさらに有し、
    　前記画像選択部は、前記選択した基線方向を規定する二つの撮像部の各々から取得した画像から生成された前記視差画像を選択し、
    　前記距離検出部は、前記画像選択部が選択した前記視差画像に基づいて、前記対象物までの距離を検出すること、
    を特徴とする物体距離検出装置。
  4. 　請求項１に記載の物体距離検出装置であって、
    　前記画像選択部が選択した画像から前記領域の視差画像を生成する視差画像生成部をさらに有し、
    　前記距離検出部は、前記視差画像に基づいて、前記対象物までの距離を検出すること、
    を特徴とする画像処理装置。
  5. 　請求項１に記載の物体距離検出装置であって、
    　前記車両の運動状態情報または位置情報の少なくとも一方の車両情報を取得する車両情報取得部をさらに有し、
    　前記車両情報取得部は、前記領域の画像データの鉛直方向の空間周波数成分及び水平方向の空間周波数成分を前記車両情報に基づいて重み付けして求め、
    　前記画像選択部は、重みづけして求められた前記鉛直方向の空間周波数成分及び前記水平方向の空間周波数成分に基づいて、前記基線方向を選択すること、
    を特徴とする物体距離検出装置。
  6. 　請求項１に記載の物体距離検出装置であって、
    　対象物が存在する領域が複数ある場合には、前記画像選択部は、前記領域ごとに、前記基線方向を選択すること、
    を特徴とする物体距離検出装置。
  7. 　請求項２に記載の物体距離検出装置であって、
    　前記画像選択部は、前記対象物領域特定部が求めた鉛直方向の空間周波数成分が多ければ基線方向として鉛直方向を選択し、水平方向の空間周波数成分が多ければ基線方向として水平方向を選択すること、
    を特徴とする物体距離検出装置。
PCT/JP2022/005990 2021-08-24 2022-02-15 物体距離検出装置 WO2023026517A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112022001260.9T DE112022001260T5 (de) 2021-08-24 2022-02-15 Objektabstandsdetektionsvorrichtung
JP2023543646A JPWO2023026517A1 (ja) 2021-08-24 2022-02-15
US18/552,722 US20240185458A1 (en) 2021-08-24 2022-02-15 Object distance detecting device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-136687 2021-08-24
JP2021136687 2021-08-24

Publications (1)

Publication Number Publication Date
WO2023026517A1 true WO2023026517A1 (ja) 2023-03-02

Family

ID=85322601

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005990 WO2023026517A1 (ja) 2021-08-24 2022-02-15 物体距離検出装置

Country Status (4)

Country Link
US (1) US20240185458A1 (ja)
JP (1) JPWO2023026517A1 (ja)
DE (1) DE112022001260T5 (ja)
WO (1) WO2023026517A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06347220A (ja) * 1993-06-07 1994-12-20 Sumitomo Electric Ind Ltd 画像監視装置とその使用方法
JP2001022938A (ja) * 1999-07-09 2001-01-26 Nissan Motor Co Ltd 車両用障害物検出装置
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP2009002761A (ja) * 2007-06-21 2009-01-08 Nikon Corp 測距装置およびその測距方法
WO2021059695A1 (ja) * 2019-09-24 2021-04-01 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06347220A (ja) * 1993-06-07 1994-12-20 Sumitomo Electric Ind Ltd 画像監視装置とその使用方法
JP2001022938A (ja) * 1999-07-09 2001-01-26 Nissan Motor Co Ltd 車両用障害物検出装置
JP2003143459A (ja) * 2001-11-02 2003-05-16 Canon Inc 複眼撮像系およびこれを備えた装置
JP2009002761A (ja) * 2007-06-21 2009-01-08 Nikon Corp 測距装置およびその測距方法
WO2021059695A1 (ja) * 2019-09-24 2021-04-01 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム

Also Published As

Publication number Publication date
US20240185458A1 (en) 2024-06-06
DE112022001260T5 (de) 2023-12-21
JPWO2023026517A1 (ja) 2023-03-02

Similar Documents

Publication Publication Date Title
US11836989B2 (en) Vehicular vision system that determines distance to an object
JP5615441B2 (ja) 画像処理装置及び画像処理方法
JP2008298533A (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
KR20150101749A (ko) 객체의 3차원 형상을 산출하는 장치 및 방법
JP7098790B2 (ja) 撮像制御装置及び移動体
JP5293131B2 (ja) 車両用複眼距離測定装置及び複眼距離測定方法
JP6881917B2 (ja) 距離計測装置、撮像制御装置
CN111200706A (zh) 摄像设备
US20150358597A1 (en) Systems And Methods For Obtaining Image Depth Information
JP2006322853A (ja) 距離計測装置、距離計測方法および距離計測プログラム
WO2019146510A1 (ja) 画像処理装置
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
JP2007293672A (ja) 車両用撮影装置、車両用撮影装置の汚れ検出方法
JP2011117787A (ja) 距離画像入力装置と車外監視装置
JP2008309637A (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
JP2015195489A (ja) 衝突防止システム、衝突防止方法およびコンピュータプログラム
JP5454983B2 (ja) 障害物計測方法、障害物計測装置及び障害物計測システム
WO2023026517A1 (ja) 物体距離検出装置
JP6204844B2 (ja) 車両のステレオカメラシステム
WO2015001747A1 (ja) 走行路面標示検知装置および走行路面標示検知方法
JP6152646B2 (ja) 複眼カメラ装置、及びそれを備えた車両
JPH0755451Y2 (ja) 車間距離検出装置
JP4435525B2 (ja) ステレオ画像処理装置
JP2021004729A (ja) 状態計測装置
JP2635232B2 (ja) 車間距離検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22860815

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18552722

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023543646

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 112022001260

Country of ref document: DE