WO2019167531A1 - ステレオカメラ装置 - Google Patents

ステレオカメラ装置 Download PDF

Info

Publication number
WO2019167531A1
WO2019167531A1 PCT/JP2019/003287 JP2019003287W WO2019167531A1 WO 2019167531 A1 WO2019167531 A1 WO 2019167531A1 JP 2019003287 W JP2019003287 W JP 2019003287W WO 2019167531 A1 WO2019167531 A1 WO 2019167531A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
road
stereo camera
far
camera device
Prior art date
Application number
PCT/JP2019/003287
Other languages
English (en)
French (fr)
Inventor
松尾　茂
佐々本　学
野中　進一
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to US16/964,221 priority Critical patent/US11302020B2/en
Publication of WO2019167531A1 publication Critical patent/WO2019167531A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to an in-vehicle stereo camera device that recognizes an obstacle outside the vehicle using a plurality of cameras.
  • millimeter wave radar laser radar, camera, etc.
  • sensors for monitoring the front of the vehicle there are a monocular camera and a stereo camera using a plurality of cameras.
  • the stereo camera can measure the distance to the photographed object using the parallax of the overlapping area photographed by the two cameras at a predetermined interval. For this reason, it is possible to accurately grasp the risk of collision with the object ahead.
  • Patent Document 1 proposes a method of performing a parallax calculation by cutting out an image in the traveling direction based on a steering angle of a steering wheel of a traveling vehicle or a white line on a road surface.
  • Patent Document 1 parallax calculation is performed by enlarging a part near the center of an image taken by a camera.
  • the traveling destination is not enlarged.
  • An object of the present invention is to determine an accurate image position in the traveling direction in order to quickly detect an obstacle or a preceding vehicle on a road in a stereo camera device.
  • the present invention provides a wide-angle image cutout unit that cuts out a part of the image, and a part of the image in a stereo camera device that measures the distance of a three-dimensional object from images taken by a plurality of cameras. Based on the road shape at a predetermined distance determined by the road shape determination unit, a road shape determination unit that determines a road shape including gradient information of a road that is running, It is characterized in that at least one of the cutout position and the range of the cutout unit is determined.
  • the present invention it is possible to determine an accurate image position in the traveling direction based on road shape and gradient information, and it is possible to detect distant obstacles and leading vehicles on the traveling path.
  • Functional block diagram of the stereo camera device A diagram showing an example of cutting out a wide-angle image and a distant image
  • the figure which shows the cut-out example of a distant image when a distant part curves to the left Illustration of parallax calculation processing Flow chart for determining the cut-out position of a distant image Explanatory drawing which determines a road shape from parallax information and determines a distant image cutout position Figure of far-field image cutout according to the path when the traveling path is branched in the distance
  • Functional block diagram for determining the far-field image cut-out position using map data and route data
  • Flow chart for determining the far-field image cutout position using map data and route data The figure which changed the cut-out width of a distant image according to the road shape
  • FIG. 1 is a functional block diagram of the stereo camera device 10.
  • the photographing unit 20 is connected to two cameras, a right camera 22 and a left camera 21.
  • the image capturing unit 20 performs brightness correction, noise removal, and distortion correction on each image captured by the left camera 21 and the right camera 22, and then transfers the image to the wide-angle image clipping unit 30.
  • the wide-angle image cutout unit 30 cuts out the left and right images sent from the photographing unit 20 and cuts out a specific range of images as a wide-angle image. This cutout range cuts out a wide range of images to cover a wide-angle area. Further, the reduction ratio in the reduction process is reduced within a range in which a short-distance parallax image can be generated from a wide-angle image.
  • the short distance range is 30 m, and the reduction ratio is 1/2.
  • parallax data is generated by the parallax calculation unit 303. Based on the parallax data of the wide-angle image, a road surface during traveling is extracted, and a three-dimensional shape including gradient information ahead by a predetermined distance on the road surface is determined. The cut-out position of the far image is determined according to the road surface shape.
  • the predetermined distance of this distant image needs to be a distance that can be measured by a stereo camera, and is 150 m in this example.
  • the far image cutout unit 50 cuts out the far image from the left and right images of the photographing unit 20 according to the far image cutout position determined in this way.
  • the far image enlarges the image in order to improve the distance measurement performance.
  • the enlargement ratio is doubled.
  • the enlarged far image is selected by the selection unit 301 and sent to the parallax calculation unit 303 to generate parallax data of the far image.
  • the obstacle detection unit 304 detects obstacles on the road and vehicles ahead by using these images and parallax data.
  • FIG. 2 shows an example of cutting out a wide-angle image and a distant image.
  • the wide-angle image 100 the road 120 and the forward vehicle 200 are photographed.
  • the far image 110 cuts out a portion 150 m ahead of the road 120.
  • the stereo camera has a limit in the distance that can be measured in the distance, and in this example, the limit distance is 150 m. Therefore, it is necessary to set the far-image cutout position to be a road portion 150 m ahead.
  • the distant image 110 is magnified by a factor of 2, and a parallax calculation is performed.
  • FIG. 3 shows an example of cutting out the distant image 110 when the distant portion of the road 120 curves to the left.
  • the road shape determination unit 302 determines the road surface shape of the road 120 using the parallax image generated from the wide-angle image 100, and determines the cut-out position of the far image 110.
  • the cut-out position of the distant image 110 is shifted to the left side of FIG. 2 according to the curve shape of the road 120.
  • FIG. 4 shows the parallax calculation process of the parallax calculation unit 303.
  • An image captured by the right camera 22 is used as a reference image, and a reference block image 221 having 8 pixels ⁇ 8 pixels, for example, is defined.
  • the size of the block image is not limited to this example.
  • a reference image 212 having a search width (for example, 128 pixels) is selected from images taken by the left camera 21 based on the same vertical position (Y coordinate) and horizontal position (X coordinate) as the reference block image 221. To do. Thereafter, the difference between the standard block image 221 and the reference image is calculated. This difference calculation is called SAD, and the following calculation is performed.
  • I is an image block (eg, 8 ⁇ 8 pixels) in the reference image
  • T is image data of the standard block image 221
  • i and j are coordinates in the image block.
  • the calculation is performed by the search width while shifting the reference position of the reference image pixel by pixel, and a position where the SAD value is the smallest is searched.
  • a part 201 of the forward vehicle 200 is photographed at a position 221 in the right image 2210 and is located in the left image 2110.
  • Photographed at the position 211 Photographed at the position 211.
  • a parallax d is generated between the position of the standard block image 221 and the reference block image 211.
  • the parallax d has a large value when the preceding vehicle 200 is close to the stereo camera device 10, and has a small value when the vehicle 200 is far away.
  • the parallax obtained in this way is obtained for the entire image.
  • the distance to the stereo camera device 10 can be measured by the principle of triangulation.
  • the distance Z from the parallax d is obtained by the following equation.
  • Z (f ⁇ B) / d (2)
  • f the focal length of the right and left cameras
  • B the distance (baseline length) between the right camera 22 and the left camera 21.
  • FIG. 5 shows a flowchart of the cutting process of the far image 110.
  • the photographing unit 20 cuts out an image after noise removal and distortion correction of images taken by the right camera 22 and the left camera 21, and cuts it out by the wide-angle image cutting unit 30.
  • the wide-angle image 100 is generated (S100).
  • the parallax calculation unit 303 uses the wide-angle image 100 to generate parallax data (S110).
  • the road shape determination unit 302 determines the shape of the road surface (S120).
  • the far image cutout unit 50 cuts out the image sent from the photographing unit 20 (S130).
  • the clipped image is enlarged to a predetermined magnification by the image enlargement unit 60, and a distant image 110 is generated (S140).
  • the parallax data of the distant image 110 is generated by the parallax calculation unit 303.
  • the processing is changed according to the traveling speed of the host vehicle. It is determined whether or not the speed of the host vehicle is a predetermined value (for example, 40 km / h) or more (S160). If the speed is 40 km / h or more, it is determined that it is necessary to detect a distant preceding vehicle or an obstacle. For this reason, the obstacle detection unit 304 detects the vehicle ahead or an obstacle using the parallax data of the far image 110 (S170). Next, the obstacle detection unit 304 detects the vehicle ahead and the obstacle using the parallax data of the wide-angle image (S180).
  • the obstacle and the front vehicle are detected only by the wide-angle image. Obstacle detection using a wide-angle image also detects pedestrians and bicycles jumping out of the road. As a result of the detection process, the vehicle's accelerator or brake is controlled as necessary (S180).
  • FIG. 6 shows a method of determining the road shape from the disparity information and determining the cut-out position of the distant image by the processing of the road shape determination unit 302.
  • the area of the road surface of the road 120 photographed with the wide-angle image 100 is determined.
  • parallax data of one pixel somewhere on the road surface is extracted. Assuming that the road surface is a flat surface, the portion with the same parallax value can be considered as the road surface in the horizontal direction of the one pixel. If there is a roadside block, grassland, groove, etc., the parallax value at that portion differs from the one pixel by more than a threshold value.
  • a change allowable range of the parallax value for determining the road surface is set in advance. In this way, the left and right boundary points of the road surface can be known. If the same processing is performed while shifting the one pixel upward one by one, the boundary of the road surface can be detected. The left and right positions of the image are determined using this boundary. Further, as a far image, in this example, since it is necessary to cut out a portion of the stereo camera device 10 that is a distance measurement limit distance of 150 m ahead, it is necessary to determine the vertical position on the image.
  • the relationship between the distance and the parallax data is inversely proportional according to Equation (2).
  • the Y coordinate on the image increases toward the vanishing point.
  • the vertical position including a portion with a predetermined distance of 150 m is determined based on the relationship between the Y coordinate on the image and the following equation.
  • Road surface Y coordinate vanishing point position Y coordinate-camera height from the road surface / (distance x K) Equation (3)
  • K is the vertical size / focal length of one pixel of the camera.
  • FIG. 7 shows a method for extracting a distant image when the traveling path is branched between a left road 120 and a right road 121.
  • the cutout position of the far image 110 is determined using the map data and the route 122.
  • FIG. 8 shows the configuration of a system that extracts a distant image using map data and route data.
  • map data 305 has information indicating the shape of the road such as the road type, shape, and gradient information, and position information based on the latitude / longitude information.
  • the GPS data sequentially updates the positioning result of the vehicle position based on the satellite information as information on latitude / longitude and traveling direction.
  • the route data is data indicating a route to the destination, and has information such as a road to be traveled, a branch position and a direction.
  • Fig. 9 shows the processing flow for cutting out a far map using map data and route data.
  • the latitude / longitude of the current location is acquired from the positioning result of the vehicle by the GPS data 306 (S200). Based on the positioning result, the road on which the vehicle is running is identified from the map data 305, and the road data is read (S210). Based on the route data, the branch direction of the traveling direction is specified (S220). Next, the road shape and gradient data ahead of the host vehicle are acquired according to the host vehicle position and the direction in which the vehicle is traveling (S230). Based on the road shape and gradient information acquired in this way, the vertical and horizontal positions in the wide-angle image 100 for cutting out the distant image 110 are determined.
  • FIG. 10 shows an example in which the cutout width of the far image 110 is changed in accordance with the curve of the traveling path 120.
  • the far image 110 is cut out from the center of the wide-angle image 100 to the far part of the road.
  • the vertical direction may be narrowed so that the area of the far image does not increase.
  • the size and resolution may be changed by enlarging the cut image according to the vehicle speed. As the vehicle speed increases, the distant resolution is increased, so that it is easy to detect distant obstacles when driving at high speed, and safety can be improved.
  • both the far part of the traveling path and the far part of the center part of the image can be measured, so that a wider range of obstacles can be detected.
  • this invention is not limited to the above-mentioned Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • SYMBOLS 10 Stereo camera apparatus 20: Image pick-up part 21: Left camera 22: Right camera 40: Image reduction part 50: Distant image clipping part 60: Image expansion part 100: Wide-angle image 110: Distant image 301: Selection part 302: Road shape determination Unit 303: Parallax calculation unit 304: Obstacle detection unit 305: Map data 306: GPS data 307: Route data 2110: Left image 2210: Right image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本発明は、ステレオカメラ装置において、路上の障害物や先行車両を早期に検知するために、正確な進行方向の画像位置を決定することを目的とする。複数のカメラで撮影された画像から立体物の距離を計測するステレオカメラ装置において、前記画像の一部を切り出す広角画像切り出し部と、前記画像の一部を切り出して拡大する遠方画像切り出し部と、走行中の道路の勾配情報を含む道路形状を判定する道路形状判定部と、前記道路形状判定部で求めた所定の距離における道路形状に基づき、前記遠方画像切り出し部の切り出し位置と範囲の少なくともいずれか一つを決定することを特徴とする。

Description

ステレオカメラ装置
　本発明は、複数のカメラを用いて車外の障害物の認識を行う車載ステレオカメラ装置に関する。
　車両の走行安全性を向上させるために、車両に搭載したカメラで前方の障害物を検知して、その障害物に衝突する可能性がある場合は、ドライバへの警報や自動ブレーキを行うシステムが研究されている。
　車両の前方を監視するセンサとして、ミリ波レーダー、レーザレーダ、カメラなどがある。カメラの種類としては、単眼カメラと、複数のカメラを使用したステレオカメラがある。ステレオカメラは、所定の間隔の２つのカメラで撮影された重複領域の視差を利用して、撮影された物体までの距離を計測することができる。このため、前方の物体までの衝突危険度を的確に把握することができる。
　ステレオカメラは、２つのカメラで撮影された画像の視差を求めて、その視差を距離に変換する。計測距離が遠方になるにつれ、視差が小さくなるという特徴がある。測距範囲を遠方に広げるために、中心部分の画像を拡大する方法が特許文献１に提案されている。また、走行中の車両のハンドルの舵角や路面の白線により進行方向の画像を切り出して視差演算を行う方法が特許文献２に提案されている。
特開２０１２－１９８０７７号公報 特開２０１７－６２６３８号公報
　特許文献１では、カメラが撮影した画像の中心付近の一部を拡大して視差演算を行うとしている。しかし、進行路の先がカーブして進行方向が画像の中心部から外れている場合は、進行先は拡大されないという課題がある。
　このために、拡大処理する画像位置の判定方法として特許文献２の方法を適用した場合は、ハンドルの舵角に基づいた画像位置となるために、カーブ進入前の直線部分でハンドルがまだ正面を向いている状態では、カーブの先の道路は処理できないという課題がある。また、白線に基づいて道路形状を決定する方法では、白線が無い道路には適用できない。更に、白線があっても道路の勾配を正確に判定できないという課題がある。
　本発明は、ステレオカメラ装置において、路上の障害物や先行車両を早期に検知するために、正確な進行方向の画像位置を決定することを目的とする。
　上記課題を解決するため本発明は、複数のカメラで撮影された画像から立体物の距離を計測するステレオカメラ装置において、前記画像の一部を切り出す広角画像切り出し部と、前記画像の一部を切り出して拡大する遠方画像切り出し部と、走行中の道路の勾配情報を含む道路形状を判定する道路形状判定部と、前記道路形状判定部で求めた所定の距離における道路形状に基づき、前記遠方画像切り出し部の切り出し位置と範囲の少なくともいずれか一つを決定することを特徴とする。
　本発明によれば、道路の形状と勾配情報により正確な進行方向の画像位置を決定することが可能となり、進行路上の遠方の障害物や先行車両を検知することができる効果がある。
ステレオカメラ装置の機能ブロック図 広角画像と遠方画像の切り出し例を示す図 遠方部分が左にカーブしている場合の遠方画像の切り出し例を示す図 視差演算処理の説明図 遠方画像の切り出し位置を決定するフローチャート 視差情報から道路形状を判定して遠方画像切り出し位置を決定する説明図 遠方で進行路が分岐しているときの経路に従った遠方画像切り出しの図 地図データと経路データを用いた遠方画像切り出し位置を決定する機能ブロック図 地図データと経路データを用いた遠方画像切り出し位置を決定するフローチャート 道路形状に合わせて遠方画像の切り出し幅を変更した図
　以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。
　図１は、ステレオカメラ装置１０の機能ブロック図を示したものである。撮影部２０は、右カメラ２２と左カメラ２１の２つのカメラに接続される。撮影部２０は、左カメラ２１、右カメラ２２が撮影したそれぞれの画像の輝度補正やノイズ除去、歪み補正を行った後、広角画像切り出し部３０に画像を転送する。広角画像切り出し部３０は、前記撮影部２０から送られた左右の画像を縮小して特定の範囲の画像を広角画像として切り出す。この切り出し範囲は、広角エリアをカバーするために広い範囲の画像を切り出す。また、縮小処理における縮小率は、広角画像から近距離の視差画像が生成できる範囲で縮小する。この例では、近距離の範囲を３０ｍ、縮小率を１／２とする。このようにして生成された左右の広角画像は選択部３０１で選択されたあと、視差演算部３０３で視差データが生成される。その広角画像の視差データにより、走行中の路面を抽出し、その路面の所定の距離だけ前方の勾配情報を含む３次元形状を判定する。その路面形状に従って、遠方画像の切り出し位置を決定する。
　この遠方画像の所定の距離はステレオカメラで測距可能な距離である必要があり、この例では１５０ｍとする。このようにして決定された遠方画像の切り出し位置に従って、遠方画像切り出し部５０が、撮影部２０の左右の画像から遠方画像を切り出す。遠方画像は、測距性能を向上させるために画像を拡大する。拡大率は２倍とする。この拡大された遠方画像は選択部３０１で選択され、視差演算部３０３に送られ、遠方画像の視差データが生成される。障害物検知部３０４は、これらの画像と視差データを用いて、道路上の障害物や前方車両の検知を行う。
　図２は、広角画像と遠方画像の切り出し例を示したものである。広角画像１００の中に、道路１２０と前方車両２００が撮影されている。遠方画像１１０は道路１２０の前方１５０ｍ先の部分を切り出している。ステレオカメラは遠方の測定可能な距離に限界があり、この例では、その限界距離を１５０ｍとしている。従って、遠方画像の切り出し位置は、１５０ｍ先の路上部分とする必要がある。この遠方画像１１０は２倍に拡大されて視差演算が行われる。
　図３は、道路１２０の遠方部分が左にカーブしている場合の遠方画像１１０の切り出しの例を示したものである。道路形状判定部３０２が、広角画像１００から生成された視差画像を用いて道路１２０の路面形状を判定し、遠方画像１１０の切り出し位置を決定する。図３は道路１２０のカーブ形状に合わせて、遠方画像１１０の切り出し位置を図２よりも左側にずらしている。このようにすることで、遠方画像１１０の中に、走行中の道路１２０を入れることが可能となり、その道路１２０を走行中の前方車両２００の検知が可能となる。
　図４は、視差演算部３０３の視差演算処理を示したものである。右カメラ２２が撮影した画像を基準画像とし、例えば８画素×８画素のような基準ブロック画像２２１を定義する。ブロック画像のサイズはこの例に限るものではない。一方、左カメラ２１が撮影した画像の中で、前記基準ブロック画像２２１と同じ縦位置（Ｙ座標）と横位置（Ｘ座標）を基準として、探索幅（例えば１２８画素）の参照画像２１２を選択する。その後、前記基準ブロック画像２２１と前記参照画像との差分を計算する。この差分計算はＳＡＤと呼ばれ、次の計算を行う。
Figure JPOXMLDOC01-appb-M000001
   但し、Ｉは前記参照画像の中の画像ブロック（例：８×８画素）、Ｔは前記基準ブロック画像２２１の画像データであり、ｉ、ｊは画像ブロック内の座標である。１つの視差を算出するために、前記参照画像の参照位置を１画素ずつずらしながら前記探索幅の分だけ演算を行い、最もＳＡＤ値が小さくなる位置を探索する。
　図２に示す、車両の前方窓から見た実際の風景２３０には、前方車両２００がある。右カメラ２２で撮影した右画像２２１０と、左カメラ２１で撮影した左画像２１１０がある時、前方車両２００の一部２０１は、右画像２２１０では位置２２１の位置に撮影され、左画像２１１０では位置２１１の位置に撮影される。この結果、基準ブロック画像２２１の位置と参照ブロック画像２１１には視差ｄが生じる。この視差ｄは、前方車両２００がステレオカメラ装置１０に近い場合は大きい値となり、遠いものは小さい値となる。このように求めた視差を、画像全体で求める。この視差ｄを用いて、三角測量の原理でステレオカメラ装置１０までの距離を測定することが出来る。視差ｄから距離Ｚは次の式で求められる。
  Ｚ ＝ （ｆ × Ｂ） ／ ｄ　・・・式（２）
  但し、ｆは右及び左カメラの焦点距離、Ｂは右カメラ２２と左カメラ２１の距離（基線長）である。
　図５は、遠方画像１１０の切り出し処理のフローチャートを示したものである。最初に、撮影部２０が、右カメラ２２と左カメラ２１により撮影された画像のノイズ除去や歪み補正を行った後の画像を広角画像切り出し部３０で切り出し、それを画像縮小部４０で縮小して広角画像１００を生成する（Ｓ１００）。その広角画像１００を用いて視差演算部３０３が視差データを生成する（Ｓ１１０）。その視差データにより、道路形状判定部３０２が路面の形状を判定する（Ｓ１２０）。その判定結果によって、遠方画像切り出し部５０が、撮影部２０から送られてくる画像を切り出す（Ｓ１３０）。その切り出された画像は画像拡大部６０により所定の倍率に拡大され遠方画像１１０が生成される（Ｓ１４０）。
　その後、視差演算部３０３によって、遠方画像１１０の視差データが生成される。次に自車両の走行速度に応じて処理を変える。自車両の速度が所定値（例えば４０ｋｍ／ｈ）以上であるかどうかを判定する（Ｓ１６０）。速度が４０ｋｍ／ｈ以上であれば、遠方の先行車両や障害物を検知する必要があると判定する。このため遠方画像１１０の視差データを用いて、障害物検知部３０４が前方車両や障害物を検知する（Ｓ１７０）。次に広角画像の視差データを用いて障害物検知部３０４が前方車両や障害物の検知を行う（Ｓ１８０）。速度が４０ｋｍ／ｈ未満なら広角画像のみによる障害物及び前方車両の検知となる。広角画像による障害物検知は、路外からの歩行者や自転車などの飛び出しも検知する。検知処理の結果、必要に応じて車両のアクセルやブレーキなどを制御する（Ｓ１８０）。
　図６は、道路形状判定部３０２の処理で、視差情報から道路形状を判定して遠方画像の切り出し位置を決定する方式を示したものである。まず、広角画像１００で撮影されている道路１２０の路面の領域を判定する。そのために、路面上のどこか１画素の視差データを抽出する。路面は平面であることを前提とすれば、前記１画素の水平方向について、同じ視差値の部分は路面と考えることが出来る。路肩のブロックや草地、溝などがあれば、その部分で視差値が前記１画素と閾値以上に異なる。閾値は路面と判断するための視差値の変化許容範囲を設定しておく。このようにして、路面の左右の境界地点を知ることが出来る。前記１画素を上に１つずつずらしながら同じ処理を行えば路面の境界が検知できる。この境界を用いて画像の左右位置を決定する。また、遠方画像として、この例ではステレオカメラ装置１０の遠方の測距限界距離である１５０ｍ先の部分を切り出す必要があるので、その画像上の上下位置を決める必要がある。画像中の垂直方向（例えば矢印１２１）の路面の視差データは、式（２）により、距離と視差データの関係は反比例となる。画像上のＹ座標は、消失点に向かって大きくなる。この視差データを画像上のＹ座標と距離の次式の関係により、所定の距離１５０ｍの部分を含む上下位置を決定する。
  路面Ｙ座標＝消失点位置Ｙ座標 － 路面からのカメラ高さ／（距離 × Ｋ） ・・・式（３）
  但しＫは、カメラの１画素の縦サイズ／焦点距離である。
　以上の実施例によれば、ステレオカメラの遠方測距の限界位置付近の遠方画像の切り出し位置を道路形状と勾配に基づいて正確に切り出すことができる効果がある。
　図７は、進行路が左側道路１２０と右側道路１２１の分岐している場合の、遠方画像切り出しの方法について示す。道路が分岐している場合は、道路形状の認識だけでは、どちらの方向に自車両が進むのか不明である。この場合は、地図データと経路１２２を使用して遠方画像１１０の切り出し位置を決定する。
　図８は、地図データと経路データを用いて遠方画像を切り出すシステムの構成を示したものである。図１との違いは、地図データ３０５、ＧＰＳデータ３０６、経路データ３０７をシステムに含むことである。地図データ３０５は、道路の種別、形状、勾配情報などの道路の形状を示す情報と、緯度・経度情報に基づく位置情報を持つ。ＧＰＳデータは、衛星情報による自車位置の測位結果を緯度・経度、走行方向の情報として逐次更新する。経路データは、目的地までの経路を示すデータで、走行する道路、分岐位置と方向などの情報を持つ。
　図９に、地図データと経路データによる遠方地図切り出しの処理フローを示す。ＧＰＳデータ３０６による自車の測位結果により現在地の緯度・経度を取得する（Ｓ２００）。その測位結果に基づき、地図データ３０５の中から、走行中の道路を特定し道路データを読み出す（Ｓ２１０）。経路データに基づき、進行方向の分岐方向を特定する（Ｓ２２０）。次に自車位置と走行中の向きにより、自車の前方の道路形状と勾配データを取得する（Ｓ２３０）。このようにして取得した道路形状と勾配情報により、遠方画像１１０を切り出すための広角画像１００の中の上下左右位置を判定する。
　以上の実施例によれば、走行中の道路が分岐している場合でも、正確に遠方画像の切り出し位置を決定することができる効果がある。
　図１０に、進行路１２０のカーブに合わせて遠方画像１１０の切り出し幅を変更する例を示す。遠方画像１１０は広角画像１００の中心部分から道路の遠方部分にかけて遠方画像を切り出す。遠方画像の横幅が増えることで視差演算の処理時間が増える場合は、縦方向を狭くして、遠方画像の面積が増えないようにしても良い。更に、自車速度に応じて切り出した画像を拡大してサイズと解像度を変更しても良い。自車速度が速くなるほど遠方の解像度を上げることにより、高速走行時に遠方の障害物の検知が容易になり安全性を向上することができる。
　以上の実施例によれば、進行路の遠方部分と画像の中心部の遠方の両方を計測できるため、より広範囲な遠方の障害物の検知が可能となる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　１０：ステレオカメラ装置
　２０：撮影部
　２１：左カメラ
　２２：右カメラ
　４０：画像縮小部
　５０：遠方画像切り出し部
　６０：画像拡大部
　１００：広角画像
　１１０：遠方画像
　３０１：選択部
　３０２：道路形状判定部
　３０３：視差演算部
　３０４：障害物検知部
　３０５：地図データ
　３０６：ＧＰＳデータ
　３０７：経路データ
　２１１０：左画像
　２２１０：右画像

Claims (6)

  1. 　複数のカメラで撮影された画像から立体物の距離を計測するステレオカメラ装置において、
    　前記画像の一部を切り出す広角画像切り出し部と、
    　前記画像の一部を切り出して拡大する遠方画像切り出し部と、
    　走行中の道路の勾配情報を含む道路形状を判定する道路形状判定部と、
    　前記道路形状判定部で求めた所定の距離における道路形状に基づき、前記遠方画像切り出し部の切り出し位置と範囲の少なくともいずれか一つを決定することを特徴とするステレオカメラ装置。
  2. 　請求項１に記載のステレオカメラ装置において、
    　前記道路形状判定部は、前記広角画像切り出し部により切り出された広角画像から生成された視差情報を用いて走行中の路面の形状を判定することを特徴とするステレオカメラ装置。
  3. 　請求項１に記載のステレオカメラ装置において、
    　前記道路形状は、地図情報を用いた道路の形状と勾配の情報とすることを特徴とするステレオカメラ装置。
  4. 　請求項１乃至請求項３のいずれか１項に記載のステレオカメラ装置において、
    　自車の走行経路を記憶した経路データと、
    　前記遠方画像切り出し部は、前記経路データの経路情報を用いて進行路における前記遠方画像を生成することを特徴としたステレオカメラ装置。
  5. 　請求項１乃至請求項４のいずれか１項に記載のステレオカメラ装置において、
    　前記遠方画像切り出し部は、前記道路形状判定部で求めた道路のカーブの方向を広くした前記遠方画像を生成することを特徴としたステレオカメラ装置。
  6. 　請求項１乃至請求項５のいずれか１項に記載のステレオカメラ装置において、
    　前記遠方画像切り出し部は、自車速度に応じて前記遠方画像のサイズまたは解像度を変更することを特徴としたステレオカメラ装置。
PCT/JP2019/003287 2018-02-28 2019-01-31 ステレオカメラ装置 WO2019167531A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/964,221 US11302020B2 (en) 2018-02-28 2019-01-31 Stereo camera device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018034211A JP6941070B2 (ja) 2018-02-28 2018-02-28 ステレオカメラ装置
JP2018-034211 2018-02-28

Publications (1)

Publication Number Publication Date
WO2019167531A1 true WO2019167531A1 (ja) 2019-09-06

Family

ID=67805675

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003287 WO2019167531A1 (ja) 2018-02-28 2019-01-31 ステレオカメラ装置

Country Status (3)

Country Link
US (1) US11302020B2 (ja)
JP (1) JP6941070B2 (ja)
WO (1) WO2019167531A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102043876B1 (ko) 2016-02-09 2019-11-12 가부시키가이샤 코쿠사이 엘렉트릭 기판 처리 장치 및 반도체 장치의 제조 방법
US11614956B2 (en) 2019-12-06 2023-03-28 Red Hat, Inc. Multicast live migration for encrypted virtual machines
JP7105267B2 (ja) * 2020-03-26 2022-07-22 本田技研工業株式会社 走行制御システム
US11840238B2 (en) * 2021-02-05 2023-12-12 Nvidia Corporation Multi-view geometry-based hazard detection for autonomous systems and applications
JP7374948B2 (ja) 2021-03-23 2023-11-07 株式会社東芝 半導体リレー装置
US11645775B1 (en) * 2022-06-23 2023-05-09 Plusai, Inc. Methods and apparatus for depth estimation on a non-flat road with stereo-assisted monocular camera in a vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001041741A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd ステレオ式車外監視装置
JP2015144407A (ja) * 2013-12-27 2015-08-06 株式会社Ｊｖｃケンウッド 視界支援装置、視界支援方法、及び視界支援プログラム
JP2016057221A (ja) * 2014-09-11 2016-04-21 株式会社デンソー 走行支援装置
JP2017062638A (ja) * 2015-09-25 2017-03-30 日立オートモティブシステムズ株式会社 画像認識処理装置、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5760559B2 (ja) 2011-03-18 2015-08-12 株式会社リコー ステレオカメラ装置、視差画像生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001041741A (ja) * 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd ステレオ式車外監視装置
JP2015144407A (ja) * 2013-12-27 2015-08-06 株式会社Ｊｖｃケンウッド 視界支援装置、視界支援方法、及び視界支援プログラム
JP2016057221A (ja) * 2014-09-11 2016-04-21 株式会社デンソー 走行支援装置
JP2017062638A (ja) * 2015-09-25 2017-03-30 日立オートモティブシステムズ株式会社 画像認識処理装置、及びプログラム

Also Published As

Publication number Publication date
JP6941070B2 (ja) 2021-09-29
JP2019149071A (ja) 2019-09-05
US11302020B2 (en) 2022-04-12
US20210042945A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
WO2019167531A1 (ja) ステレオカメラ装置
JP5074365B2 (ja) カメラ装置
US10580155B2 (en) Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium
EP2546602B1 (en) Stereo camera apparatus
JP3671825B2 (ja) 車間距離推定装置
US7542835B2 (en) Vehicle image processing device
JP2004032460A (ja) 画像処理装置およびその方法
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
JP2004531424A (ja) 車用の感知装置
EP3282389B1 (en) Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program
US10546383B2 (en) Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium
JP2018060422A (ja) 物体検出装置
JP6143184B2 (ja) 走行可否判定装置
JPH08136237A (ja) 走行路勾配算出装置および車速制御装置
JP6849569B2 (ja) 路面検出装置
JP3757500B2 (ja) 先行車追従装置
JP2019148889A (ja) 道路境界検出装置
JP4376147B2 (ja) 障害物認識方法及び障害物認識装置
JP5717416B2 (ja) 運転支援制御装置
US20230347910A1 (en) Vehicle orientation estimation system and vehicle orientation estimation method
JP6604052B2 (ja) 走路境界推定装置及び走路境界推定方法
WO2020036039A1 (ja) ステレオカメラ装置
JP2007286873A (ja) 車載周辺他車検出装置
EP3287948B1 (en) Image processing apparatus, moving body apparatus control system, image processing method, and program
JP2010018223A (ja) 車両用走行路面検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19760301

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19760301

Country of ref document: EP

Kind code of ref document: A1