JP6837262B2 - Travelable area detection device and travel support system - Google Patents

Travelable area detection device and travel support system Download PDF

Info

Publication number
JP6837262B2
JP6837262B2 JP2018559043A JP2018559043A JP6837262B2 JP 6837262 B2 JP6837262 B2 JP 6837262B2 JP 2018559043 A JP2018559043 A JP 2018559043A JP 2018559043 A JP2018559043 A JP 2018559043A JP 6837262 B2 JP6837262 B2 JP 6837262B2
Authority
JP
Japan
Prior art keywords
travelable
travelable area
roadside
area
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018559043A
Other languages
Japanese (ja)
Other versions
JPWO2018123641A1 (en
Inventor
優貴 造田
優貴 造田
寛人 三苫
寛人 三苫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Publication of JPWO2018123641A1 publication Critical patent/JPWO2018123641A1/en
Application granted granted Critical
Publication of JP6837262B2 publication Critical patent/JP6837262B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、走行可能領域検出装置及び走行支援システムに関する。 The present invention relates to a travelable area detection device and a travel support system.

従来、移動体である自動車等の車両に搭載されたカメラやレーダから得られる情報に基づいて、該当車両が走行する道路（走行路）上の白線や路端（歩道や路側帯や縁石などとの境界）等を検知し、その検知結果をドライバーの運転支援に利用するシステムが開発されている。 Conventionally, based on information obtained from cameras and radars mounted on vehicles such as automobiles that are moving objects, white lines and roadsides (sidewalks, roadside belts, curbs, etc.) on the road (roadway) on which the vehicle travels A system has been developed that detects the boundary of the vehicle and uses the detection result to assist the driver in driving.

特許文献１には、車両の周辺を撮像する車載カメラにより路端の途切れを検出し、その途切れ区間のエッジ情報から対象区間を走行可能領域とする車載システムが開示されている。 Patent Document 1 discloses an in-vehicle system in which a roadside break is detected by an in-vehicle camera that images the periphery of the vehicle, and the target section is set as a travelable area from the edge information of the break section.

特開２０１６−１８３７１号公報Japanese Unexamined Patent Publication No. 2016-18371

しかしながら、特許文献１に開示されている技術では、路端途切れを検出しているが、路端途切れ区間の距離の算出や、路端途切れ区間の車道と反対側の領域が走行可能か否かを判定しておらず、信頼性の高い走行可能領域を検出することが困難であるという問題があった。 However, although the technique disclosed in Patent Document 1 detects roadside breaks, it is possible to calculate the distance of the roadside breaks and whether or not the region opposite to the roadway in the roadside breaks can travel. There is a problem that it is difficult to detect a highly reliable travelable area.

このため、移動体である車両の前方における路端の途切れを検出し、その途切れから車両が走行することができる走行可能領域が存在するか否かを判定することが可能な走行可能領域検出装置及びそれを用いた走行支援システムが望まれていた。 Therefore, a travelable area detection device capable of detecting a break in the roadside in front of the moving vehicle and determining whether or not there is a travelable region in which the vehicle can travel from the break. And a driving support system using it has been desired.

本発明は、上記従来技術の問題に鑑みてなされたものであって、その目的とするところは、移動体の前方における路端の途切れを検出し、検出した路端の途切れから移動体が走行することができる走行可能領域が存在するか否かを判定することが可能な走行可能領域検出装置及びそれを用いた走行支援システムを実現することである。 The present invention has been made in view of the above problems of the prior art, and an object of the present invention is to detect a roadside break in front of a moving body, and the moving body travels from the detected roadside break. It is to realize a travelable area detection device capable of determining whether or not a travelable area exists and a travel support system using the device.

上記する課題を解決するために、本発明は、次のように構成される。 In order to solve the above-mentioned problems, the present invention is configured as follows.

走行可能領域検出装置において、撮像画像に基づいて、移動体が走行する道路上に存在する路端を検出し、上記路端の途切れが存在すると判断した場合、上記路端の途切れ区間を出力する路端検出部と、上記路端検出部で検出された上記路端の途切れ区間に基づいて探索範囲を決定する探索範囲決定部と、上記探索範囲決定部により決定された探索範囲に基づいて、移動体から見て路端側の走行可能判定領域の路面勾配を推定する路面勾配推定部と、少なくとも上記路面勾配推定部により推定された上記路面勾配から、上記走行可能判定領域は上記移動体が走行可能な領域か否かを判定する走行可能領域判定部と、を備える。 The travelable area detection device detects the roadside existing on the road on which the moving body travels based on the captured image, and outputs the break section of the roadside when it is determined that the roadside break exists. Based on the roadside detection unit, the search range determination unit that determines the search range based on the roadside interruption section detected by the roadside detection unit, and the search range determined by the search range determination unit. From the road surface gradient estimation unit that estimates the road surface gradient of the roadside runnability determination region when viewed from the moving body and at least the road surface gradient estimated by the road surface gradient estimation unit, the travelable determination region is determined by the moving body. It is provided with a travelable area determination unit for determining whether or not the vehicle is a travelable area.

また、走行支援システムにおいて、移動体の前方を撮像する撮像装置と、上記撮像装置が撮像した撮像画像に基づいて、移動体が走行する道路上に存在する路端を検出し、上記路端の途切れが存在すると判断した場合、上記路端の途切れ区間を出力する路端検出部と、上記路端検出部で検出された上記路端の途切れ区間に基づいて探索範囲を決定する探索範囲決定部と、上記探索範囲決定部により決定された探索範囲に基づいて、移動体から見て路端側の走行可能判定領域の路面勾配を推定する路面勾配推定部と、少なくとも上記路面勾配推定部により推定された上記路面勾配から、上記走行可能判定領域は上記移動体が走行可能な領域か否かを判定する走行可能領域判定部と、を有する走行可能領域検出装置と、上記走行可能領域検出装置の判定結果に従って上記移動体の動作を制御して走行を支援する走行支援制御装置と、を備える。 Further, in the traveling support system, the roadside existing on the road on which the moving body travels is detected based on the imaging device that images the front of the moving body and the image captured by the imaging device, and the roadside of the moving body is detected . When it is determined that there is a break , the roadside detection unit that outputs the break section of the roadside and the search range determination unit that determines the search range based on the break section of the roadside detected by the roadside detection unit. Based on the search range determined by the search range determination unit, the road surface gradient estimation unit estimates the road surface gradient of the travelability determination region on the roadside side as viewed from the moving body, and at least the road surface gradient estimation unit estimates. A travelable area detection device having a travelable area determination unit for determining whether or not the travelable determination area is a travelable area based on the road surface gradient, and a travelable area detection device. A traveling support control device that controls the operation of the moving body according to the determination result to support traveling is provided.

本発明によれば、移動体の前方における路端の途切れを検出し、検出した路端の途切れから移動体が走行することができる走行可能領域が存在するか否かを判定することが可能な走行可能領域検出装置及びそれを用いた走行支援システムを実現することができる。 According to the present invention, it is possible to detect a break in the roadside in front of the moving body and determine whether or not there is a travelable area in which the moving body can travel from the detected break in the roadside. It is possible to realize a travelable area detection device and a travel support system using the device.

本発明の一実施例に係わる走行可能領域検出装置が適用された走行支援システムの概略構成図である。It is a schematic block diagram of the travel support system to which the travelable area detection device which concerns on one Embodiment of this invention is applied. 走行可能領域判定処理のフローチャートである。It is a flowchart of the travelable area determination process. 走行可能領域検出装置により検出された路端点群を示す俯瞰図である。It is a bird's-eye view which shows the roadside point group detected by the travelable area detection device. 走行可能領域検出装置により検出された路端点群と探索範囲を示す図である。It is a figure which shows the roadside point group and the search range detected by the travelable area detection device.

以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。 Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.

本発明の一実施例は、移動体として車両に適用された場合の例である。 One embodiment of the present invention is an example when applied to a vehicle as a moving body.

図１は、本発明の一実施例に係わる走行可能領域検出装置が適用された走行支援システムの概略構成図である。 FIG. 1 is a schematic configuration diagram of a travel support system to which a travelable area detection device according to an embodiment of the present invention is applied.

図１において、走行支援システムは、例えば、自動車等の車両Ｖ（図３に示す）搭載されており、主に、車両Vの前方を撮像する複数（本実施例では、２つ）のカメラからなるステレオカメラ装置（撮像装置）２と、ステレオカメラ装置２の各カメラで同期して撮像された複数の画像から該当車両Ｖの周囲の走行可能領域を検出する走行可能領域検出装置１と、走行可能領域検出装置１の検出結果に基づいて車両Ｖに搭載された各種制御装置（例えば、アクセル制御部３１、ブレーキ制御部３２、スピーカ制御部３３、ステアリング制御部３４など）を制御して該当車両Ｖの動作を制御して走行を支援する走行支援制御装置３と、を備えている。 In FIG. 1, the traveling support system is mounted on, for example, a vehicle V (shown in FIG. 3) such as an automobile, and mainly from a plurality of (two in this embodiment) cameras that image the front of the vehicle V. A travelable area detection device 1 that detects a travelable area around the vehicle V from a plurality of images simultaneously captured by each camera of the stereo camera device (imaging device) 2 and the stereo camera device 2. Based on the detection result of the possible area detection device 1, various control devices (for example, accelerator control unit 31, brake control unit 32, speaker control unit 33, steering control unit 34, etc.) mounted on the vehicle V are controlled to control the corresponding vehicle. It is provided with a travel support control device 3 that controls the operation of V to support travel.

ステレオカメラ装置２は、例えば車両Ｖの前方のフロントガラスの上部の手前に、車両Ｖの前方に向かって設置されており、車両Ｖの前方を撮像して画像情報を取得する一対の撮像部としての左カメラ（左画像取得部）１０と、右カメラ（右画像取得部）１１とを備えている。 The stereo camera device 2 is installed in front of the upper part of the windshield in front of the vehicle V, for example, toward the front of the vehicle V, and serves as a pair of imaging units that capture an image of the front of the vehicle V to acquire image information. The left camera (left image acquisition unit) 10 and the right camera (right image acquisition unit) 11 are provided.

左カメラ１０と右カメラ１１は、それぞれ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有しており、互いに車両の左右方向（車両の長手方向に直交する方向）に互いに離間した位置から車両Ｖの前方を撮像するように設置されている。 The left camera 10 and the right camera 11 each have an imaging element such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor), and each has a vehicle's left-right direction (direction orthogonal to the vehicle's longitudinal direction). It is installed so as to image the front of the vehicle V from a position separated from each other.

走行可能領域検出装置１は、ステレオカメラ装置２で所定の周期で時系列的に取得した車両Ｖの前方の撮影対象領域の画像情報に基づいて走行可能領域を検出する装置である。 The travelable area detection device 1 is a device that detects a travelable area based on the image information of the image target area in front of the vehicle V acquired in time series by the stereo camera device 2.

走行可能領域検出装置１は、特に、走行路側面の歩道や路側帯や縁石などとの境界である道路端の途切れから、走行可能領域を検出し、その検知結果を走行支援制御装置３へ出力する。 The travelable area detection device 1 detects a travelable area from a break in the road edge, which is a boundary with a sidewalk, a roadside zone, a curb, etc. on the side of the travel road, and outputs the detection result to the travel support control device 3. To do.

なお、この走行可能領域検出装置１は、ステレオカメラ装置２を制御する（例えば、各カメラ、の撮像タイミングや露光量を制御する）カメラ制御部、一時記憶領域であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、プログラムや各種初期値を格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、システム全体の制御を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）認識情報等をシステム外へ出力する外部ＩＦ（Ｉｎｔｅｒｆａｃｅ）画像処理ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）などから構成され、各構成要素はバスを介して通信可能に接続されている。 The travelable area detection device 1 controls a stereo camera device 2 (for example, controls the imaging timing and exposure amount of each camera), a RAM (Random Access Memory) which is a temporary storage area, and a RAM (Random Access Memory). ROM (Read Only Memory) that stores programs and various initial values, external IF (Interface) image processing LSI (Large Camera Integration) that outputs CPU (Central Processing Unit) recognition information that controls the entire system, etc. to the outside of the system. Each component is communicably connected via a bus.

走行可能領域検出装置１は、図１に示すように、視差画像生成部１２と、路端検出部１３と、探索範囲決定部１４と、路面勾配推定部１５と、走行可能領域判定部１６とを備えている。 As shown in FIG. 1, the travelable area detection device 1 includes a parallax image generation unit 12, a roadside detection unit 13, a search range determination unit 14, a road surface gradient estimation unit 15, and a travelable area determination unit 16. It has.

ステレオカメラ装置２の左画像取得部１０及び右画像取得部１１は、それぞれ撮像した左画像及び右画像を取得し、取得した左画像及び右画像を視差画像生成部１２に送信する。 The left image acquisition unit 10 and the right image acquisition unit 11 of the stereo camera device 2 acquire the captured left image and right image, respectively, and transmit the acquired left image and right image to the parallax image generation unit 12.

走行支援制御装置３は、走行可能領域検出装置１から受信した検出結果（判定結果）に基づいて、該当車両Ｖのスピーカ制御部３３の作動、該当車両Ｖの走行を支援するためのアクセル制御部３１の制御量、ブレーキ制御部３２の制御量、ステアリング制御部３４の制御量を算出して、アクセルやブレーキやステアリングなどの調整を行うようにしている。 The travel support control device 3 operates the speaker control unit 33 of the vehicle V based on the detection result (determination result) received from the travelable area detection device 1, and the accelerator control unit 3 for supporting the travel of the vehicle V. The control amount of 31, the control amount of the brake control unit 32, and the control amount of the steering control unit 34 are calculated to adjust the accelerator, brake, steering, and the like.

なお、以下では、走行可能領域検出装置１によって、該当車両Ｖの前方に存在する走行可能領域を検出する場合について具体的に説明する。 In the following, a case where the travelable area detection device 1 detects a travelable area existing in front of the vehicle V will be specifically described.

車両の走行路上の路端（歩道や縁石や中央分離帯など）の途切れには高さの変化が存在している（例えば、路端の高さや勾配の変化など）ため、途切れ区間の高さ変化と、途切れ区間の走行車線と反対方向に存在する領域の路面の勾配変化を利用することで、途切れ区間から車両が走行することができる走行可能領域が存在するか否かを判断することができると考えられる。 There is a change in height at the breaks in the roadsides (sidewalks, curbs, medians, etc.) on the vehicle's lane (for example, changes in roadside height and slope), so the height of the breaks. By using the change and the change in the slope of the road surface in the area opposite to the traveling lane in the interrupted section, it is possible to determine whether or not there is a travelable area in which the vehicle can travel from the interrupted section. It is thought that it can be done.

次に、走行可能領域検出装置１により実行される走行可能領域判定処理について、図２、図３、図４を参照して説明する。図２は、走行可能領域判定処理のフローチャートであり、図３は、走行可能領域検出装置１により検出された路端点群を示す俯瞰図である。また、図４は、走行可能領域検出装置１により検出された路端点群と探索範囲を示す図である
走行可能領域判定処理を、図２に示すフローチャートに沿って説明する。本処理は、一例として車両の走行が開始されたときに開始される。Next, the travelable area determination process executed by the travelable area detection device 1 will be described with reference to FIGS. 2, 3, and 4. FIG. 2 is a flowchart of the travelable area determination process, and FIG. 3 is a bird's-eye view showing a group of road end points detected by the travelable area detection device 1. Further, FIG. 4 is a diagram showing a group of road end points detected by the travelable area detection device 1 and a search range. The travelable area determination process will be described with reference to the flowchart shown in FIG. This process is started, for example, when the vehicle starts running.

なお、図２に示すステップＳ１は視差画像生成部１２の処理であり、ステップＳ２、Ｓ３、及びＳ４は路端検出部１３の処理であり、ステップＳ５及びＳ６は探索範囲決定部１４の処理である。 Note that step S1 shown in FIG. 2 is a process of the parallax image generation unit 12, steps S2, S3, and S4 are processes of the roadside detection unit 13, and steps S5 and S6 are processes of the search range determination unit 14. is there.

また、ステップＳ７は路面勾配推定部１５の処理であり、ステップＳ８及びＳ９が走行可能領域判定部１６の処理である。 Further, step S7 is a process of the road surface gradient estimation unit 15, and steps S8 and S9 are processes of the travelable area determination unit 16.

図２のステップＳ１において、左画像取得部１０および右画像取得部１１で取得した左画像及び右画像を使用して視差画像を生成し、生成した視差画像がステップＳ２にて処理される。 In step S1 of FIG. 2, a parallax image is generated using the left image and the right image acquired by the left image acquisition unit 10 and the right image acquisition unit 11, and the generated parallax image is processed in step S2.

具体的には、左画像取得部１０および右画像取得部１１で取得した左画像及び右画像に基づいて、ブロックマッチング処理により視差（画像間での位置ずれ）を算出し、算出された視差に基づいて３次元的な距離情報（空間情報）を含む視差画像を生成する。 Specifically, the parallax (positional deviation between images) is calculated by block matching processing based on the left image and the right image acquired by the left image acquisition unit 10 and the right image acquisition unit 11, and the calculated parallax is calculated. Based on this, a parallax image including three-dimensional distance information (spatial information) is generated.

より詳細には、ステップＳ１は、ブロックマッチング処理にて、一方の画像（例えば左画像）を、所定形状の第１ブロックにより複数の画素を含むように区切り、他方の画像（例えば右画像）を、第１ブロックと同じサイズ・形状・位置の第２ブロックで区切る。 More specifically, in step S1, in the block matching process, one image (for example, the left image) is divided by a first block having a predetermined shape so as to include a plurality of pixels, and the other image (for example, the right image) is separated. , Separated by the second block of the same size, shape and position as the first block.

そして、第２ブロックを１画素ずつ横方向にずらして各位置で第１ブロック内及び第２ブロック内における２つの輝度パターンについての相関値を算出し、その相関値が最も小さくなる、すなわち、相関が最も高い位置を探索（対応点検索）する。 Then, the second block is shifted laterally one pixel at a time to calculate the correlation values for the two luminance patterns in the first block and the second block at each position, and the correlation value is the smallest, that is, the correlation. Searches for the highest position (corresponding point search).

なお、相関値の算出方法としては、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）、勾配法などを用いることができる。 As a method for calculating the correlation value, for example, SAD (Sum of Absolute Difference), SSD (Sum of Squared Difference), NCC (Normalized Cross Correlation), gradient method and the like can be used.

探索の場合、相関が最も高くなる位置を特定した場合には、第１ブロック内の特定の画素と特定された位置における第２ブロック内の特定の画素との間の距離を視差として算出し、これを１つのステップとして同様のステップを全画素について実行することにより、視差画像を生成することができる。 In the case of search, when the position where the correlation is highest is specified, the distance between the specific pixel in the first block and the specific pixel in the second block at the specified position is calculated as parallax. A parallax image can be generated by executing the same step for all pixels with this as one step.

ステップＳ２は、ステップＳ１で取得した視差画像を使用して、走行路上の道路端（例えば歩道・縁石やガードレールや連続するポール、壁など）候補となり得る路端部位を抽出し、抽出した路端の位置情報がステップＳ３により処理される。 In step S2, the parallax image acquired in step S1 is used to extract roadside parts that can be candidates for roadsides (for example, sidewalks / curbs, guardrails, continuous poles, walls, etc.) on the road, and the extracted roadsides. The position information of is processed by step S3.

ステップＳ２を具体的に説明すると、ステップＳ１で取得された視差画像において、路端候補となる物体付近の距離変化は、平坦部分の距離変化と比べて小さいことを利用して、路端候補部分の特徴点を検出する。例えば、画像データを垂直方向に走査し、路側物と見なせる段差を検出する。 More specifically, step S2 will be described. In the parallax image acquired in step S1, the distance change in the vicinity of the object that is the roadside candidate is smaller than the distance change in the flat part, and the roadside candidate portion is used. Detect the feature points of. For example, the image data is scanned in the vertical direction to detect a step that can be regarded as a roadside object.

次に、ステップＳ３では、検出した路端を車両Ｖの左側路端と右側路端に振り分ける。
さらに、図３に示すように、他車両や歩行者等の路側物以外の路端点群１００（図示した例は車両の場合である）を除外し、走行可能領域探索のために用いる路端点群１０１のみを抽出し、抽出した路端情報（路端検出部１３から出力される）のみがステップＳ４にて処理される。Next, in step S3, the detected roadside is distributed to the left side roadside and the right side roadside of the vehicle V.
Further, as shown in FIG. 3, the roadside point group 100 other than the roadside objects such as other vehicles and pedestrians (the illustrated example is the case of a vehicle) is excluded, and the roadside point group used for searching the travelable area is used. Only 101 is extracted, and only the extracted roadside information (output from the roadside detection unit 13) is processed in step S4.

ここで、走行可能領域探索のために用いる路端とは、車両Ｖの走行車線上の障害物（例えば他車両）を除く、走行車線と道路端との境界のことである。 Here, the roadside used for searching the travelable area is a boundary between the traveling lane and the roadside, excluding obstacles (for example, other vehicles) on the traveling lane of the vehicle V.

次に、ステップＳ４では、抽出された路端において、路端の途切れが存在し、かつその路端の途切れが車両Ｖの走行可能領域候補と判断した場合、抽出された路端の位置情報がステップＳ５で処理される。車両Ｖの走行可能領域候補の判断においては、図３の路端終了地点１０３と路端開始地点１０２との間の距離が車両Ｖの幅以上となった場合に、走行可能領域候補とする。

Next, in step S4, if there is a roadside break at the extracted roadside and it is determined that the roadside break is a candidate for the travelable area of the vehicle V, the extracted roadside position information is obtained. Processed in step S5. In the determination of the travelable area candidate of the vehicle V, when the distance between the roadside end point 103 and the roadside start point 102 of FIG. 3 is equal to or larger than the width of the vehicle V, the vehicle V is selected as the travelable area candidate.

ステップＳ５では、ステップＳ４で検出された路端の途切れ区間（地点１０２と地点１０３との間）から、路面勾配推定に用いる処理領域、つまり、探索範囲（車両から見て路端側の領域範囲）を決定し、決定した探索範囲の座標がステップＳ６で処理される。 In step S5, from the roadside break section (between the point 102 and the point 103) detected in step S4, the processing area used for estimating the road surface gradient, that is, the search range (the area range on the roadside side when viewed from the vehicle). ) Is determined, and the coordinates of the determined search range are processed in step S6.

具体的には、図４に示すように、路端の途切れ区間の開始地点１０２から、途切れ終了地点１０３までの直線４００と、地点１０２と地点１０３とから走行路と反対側に水平方向にひかれた直線２００及び３００、さらに画面端の直線５００によって形成された矩形領域６００を探索範囲とする。図２のステップＳ５に記載された路面勾配推定用フィルタサイズの設定とは、矩形領域６００の設定を意味する。 Specifically, as shown in FIG. 4, a straight line 400 from the start point 102 of the break section of the roadside to the break end point 103, and the points 102 and 103 are drawn horizontally on the opposite side of the road. The search range is a rectangular region 600 formed by the straight lines 200 and 300 and the straight line 500 at the edge of the screen. The setting of the road surface gradient estimation filter size described in step S5 of FIG. 2 means the setting of the rectangular region 600.

次に、ステップＳ６では、ステップＳ５で決定された矩形領域６００の範囲内に、遮蔽物（樹木やガードレール等）が検出され、路面の勾配を推定することができない場合は、ステップＳ１７にて路面構内推定不可判定とし、路面勾配推定が可能な場合のみ、ステップＳ５の情報がステップＳ７にて処理される。 Next, in step S6, if a shield (tree, guardrail, etc.) is detected within the range of the rectangular area 600 determined in step S5 and the slope of the road surface cannot be estimated, the road surface in step S17. The information in step S5 is processed in step S7 only when it is determined that the premises cannot be estimated and the road surface gradient can be estimated.

ステップＳ７は、ステップＳ５で決定された探索領域である矩形領域６００の路面の勾配を推定し、推定した勾配情報がステップＳ８にて処理される。 In step S7, the slope of the road surface of the rectangular area 600, which is the search area determined in step S5, is estimated, and the estimated slope information is processed in step S8.

ステップＳ７における具体的な推定手順は、探索領域（走行可能判定領域）である矩形領域６００を水平方向に走査し、路面の高さ情報を取得する。これを、１つのステップとして、近方側（路端の途切れに対して自車両Ｖ側）から路面の高さ情報を取得して、矩形領域６００における路面の勾配を推定する。 In the specific estimation procedure in step S7, the rectangular region 600, which is a search region (travelable determination region), is scanned in the horizontal direction to acquire road surface height information. As one step, the height information of the road surface is acquired from the near side (V side of the own vehicle with respect to the interruption of the road edge), and the slope of the road surface in the rectangular region 600 is estimated.

ステップＳ８は、ステップＳ７で推定された路面の勾配変化から、路面勾配が車両Ｖの走行可能な範囲の傾斜かどうかを判断しており、走行不可能な勾配と判定された場合は走行不可能領域とステップＳ１８で判定する。そして、矩形領域６００が走行可能と判断された場合のみ、ステップＳ７の情報がステップＳ９にて処理される。 In step S8, it is determined from the change in the slope of the road surface estimated in step S7 whether the road surface slope is a slope within the travelable range of the vehicle V, and if it is determined that the vehicle cannot travel, the vehicle cannot travel. The region and step S18 determine. Then, the information in step S7 is processed in step S9 only when it is determined that the rectangular region 600 can travel.

ステップＳ９は、車両Ｖが車道から路端途切れ区間内に進入した際に、車両Ｖが走行車線にはみ出すことなく停車できるだけの領域が存在しているか、すなわち、障害物（壁や段差等）の有無、穴の存在、自車両が走行できる領域か否かを判定している。 In step S9, when the vehicle V enters the roadside break section from the roadway, there is an area where the vehicle V can stop without protruding into the traveling lane, that is, an obstacle (wall, step, etc.). It is determined whether or not there is a hole, whether or not the vehicle can travel in the area.

障害物となる物体が存在するか、穴が存在するか、又は自車両が走行できる領域ではないと判定した場合は、ステップＳ１８において走行不可能領域と判定される。 If it is determined that an object that becomes an obstacle exists, a hole exists, or the area is not the area in which the own vehicle can travel, it is determined in step S18 that the area cannot be traveled.

また、ステップＳ８で、障害物となる物体が存在せず、穴も存在せず、及び自車両が走行できる領域ではあると判定した場合は、ステップＳ１９にて走行可能領域判定し、その判定結果を走行支援装置３に送信する。 Further, in step S8, when it is determined that there is no obstacle, no hole, and the area where the own vehicle can travel, the travelable area is determined in step S19, and the determination result is obtained. Is transmitted to the traveling support device 3.

そして、走行支援制御装置３は、ステップＳ６での遮蔽判定と、ステップＳ８及びステップＳ９での判定結果に基づいて、ステップＳ１７の路面勾配推定不可判定とステップＳ１８の走行不可能領域判定、及びステップＳ１９の走行可能領域判定の結果より車両Ｖの走行支援を実施する。 Then, the travel support control device 3 determines that the road surface gradient cannot be estimated in step S17, determines the non-travelable area in step S18, and steps based on the shielding determination in step S6 and the determination results in steps S8 and S9. Based on the result of the travelable area determination in S19, the vehicle V is provided with travel support.

以上のように、本発明の一実施例における走行可能領域検出装置においては、ステレオカメラ装置２により取得された複数の画像に基づいて生成された視差画像から、走行領域の道路端の位置を検出し、検出したその路端の位置情報に基づいて路端１０２及び１０３の間である途切れの高さ方向の変化と、路端の途切れから走行車線と反対側に広がる領域の勾配変化を推定することにより、路端の途切れが自車両Ｖの走行可能領域か否かを判定することができる。 As described above, in the travelable area detection device according to the embodiment of the present invention, the position of the road edge of the travel area is detected from the parallax images generated based on the plurality of images acquired by the stereo camera device 2. Then, based on the detected position information of the roadside, the change in the height direction of the break between the roadsides 102 and 103 and the gradient change of the region extending from the break in the roadside to the opposite side of the traveling lane are estimated. This makes it possible to determine whether or not the roadside break is in the travelable area of the own vehicle V.

これにより、例えば、自車両Ｖの走行路上の路端の途切れを検出した場合であっても、その路端の途切れから走行可能領域を推定でき、自動運転に向けた高精度な走行支援を提供することができる。 As a result, for example, even when a break in the roadside of the own vehicle V is detected, the travelable area can be estimated from the break in the roadside, and high-precision driving support for automatic driving is provided. can do.

すなわち、移動体の前方における路端の途切れを検出し、検出した路端の途切れから移動体が走行することができる走行可能領域が存在するか否かを判定することが可能な走行可能領域検出装置及びそれを用いた走行支援システムを実現することができる。 That is, the travelable area detection capable of detecting the break in the roadside in front of the moving body and determining whether or not there is a travelable area in which the moving body can travel from the detected roadside break. It is possible to realize an apparatus and a traveling support system using the apparatus.

なお、上述した例は、本発明の走行可能領域検出装置を車両の搭載する例であるが、本発明は車両に限らず、他の移動体にも適用可能である。例えば、災害用に使用される走行ロボット（救助用ロボット）等にも本発明は適用可能である。 The above-mentioned example is an example in which the travelable area detection device of the present invention is mounted on a vehicle, but the present invention is applicable not only to the vehicle but also to other moving objects. For example, the present invention can be applied to a traveling robot (rescue robot) used for disasters and the like.

また、上述した例において、ステレオカメラ装置として、ＣＣＤやＣＭＯＳ等の撮像素子を例としたが、撮像装置としては、レーザレーダを用いることも可能である。 Further, in the above-described example, an image pickup element such as a CCD or CMOS is used as an example of the stereo camera device, but a laser radar can also be used as the image pickup device.

また、上述した例においては、視差画像生成部１２により視差画像を生成し、路側物を検出しているが、路側物の検出は、視差画像以外の画像認識処理により、路側物の検出は可能である。 Further, in the above example, the parallax image generation unit 12 generates a parallax image and detects the roadside object, but the roadside object can be detected by an image recognition process other than the parallax image. Is.

１・・・走行可能領域検出装置、２・・・ステレオカメラ装置、３・・・走行支援制御装置、１０・・・左画像取得部、１１・・・右画像取得部、１２・・・視差画像生成部、１３・・・路端検出部、１４・・・探索範囲決定部、１５・・・路面勾配推定部、１６・・・走行可能領域判定部、３１・・・アクセル制御部、３２・・・ブレーキ制御部、３３・・・スピーカ制御部、３４・・・ステアリング制御部、１００・・・他車両や歩行者等の路側物以外の路端点群、１０１・・・路端点群、１０２・・・途切れ区間の開始点、１０３・・・途切れ区間の終了点、２００、３００・・・水平方向にひかれた直線、４００・・・途切れ終了地点までの直線、５００・・・画面端の直線、６００・・・矩形領域（探索領域） 1 ... Travelable area detection device, 2 ... Stereo camera device, 3 ... Travel support control device, 10 ... Left image acquisition unit, 11 ... Right image acquisition unit, 12 ... Parallax Image generation unit, 13 ... Roadside detection unit, 14 ... Search range determination unit, 15 ... Road surface gradient estimation unit, 16 ... Travelable area determination unit, 31 ... Accelerator control unit, 32 ... Brake control unit, 33 ... Speaker control unit, 34 ... Steering control unit, 100 ... Roadside point group other than roadside objects such as other vehicles and pedestrians, 101 ... Roadside point group, 102 ... Start point of the break section, 103 ... End point of the break section, 200, 300 ... Straight line drawn in the horizontal direction, 400 ... Straight line to the break end point, 500 ... Screen edge Straight line, 600 ... Rectangular area (search area)

Claims (12)

撮像画像に基づいて、移動体が走行する道路上に存在する路端を検出し、上記路端の途切れが存在すると判断した場合、上記路端の途切れ区間を出力する路端検出部と、
上記路端検出部で検出された上記路端の途切れ区間に基づいて探索範囲を決定する探索範囲決定部と、
上記探索範囲決定部により決定された探索範囲に基づいて、移動体から見て路端側の走行可能判定領域の路面勾配を推定する路面勾配推定部と、
少なくとも上記路面勾配推定部により推定された上記路面勾配から、上記走行可能判定領域は上記移動体が走行可能な領域か否かを判定する走行可能領域判定部と、
を備えることを特徴とする走行可能領域検出装置。 When the roadside existing on the road on which the moving body travels is detected based on the captured image and it is determined that the roadside break exists, the roadside detection unit that outputs the break section of the roadside and the roadside detection unit
A search range determination unit that determines a search range based on the break section of the roadside detected by the roadside detection unit, and a search range determination unit.
Based on the search range determined by the search range determination unit, the road surface gradient estimation unit that estimates the road surface gradient of the travelability determination region on the roadside side when viewed from the moving body, and the road surface gradient estimation unit.
From the road surface gradient estimated by at least the road surface gradient estimation unit, the travelable determination area includes a travelable area determination unit that determines whether or not the moving body can travel.
A travelable area detection device comprising. 請求項１に記載の走行可能領域検出装置において、
複数の画像から視差画像を生成する視差画像生成部を、さらに備え、上記路端検出部は、上記視差画像生成部が生成した上記視差画像に基づいて、道路に存在する路端を検出することを特徴とする走行可能領域検出装置。 In the travelable area detection device according to claim 1,
A parallax image generation unit that generates a parallax image from a plurality of images is further provided, and the roadside detection unit detects a roadside existing on the road based on the parallax image generated by the parallax image generation unit. A travelable area detection device characterized by. 請求項１に記載の走行可能領域検出装置において、
上記走行可能領域判定部は、検出された上記路面勾配が、所定の値より大きい場合は、上記走行可能判定領域は上記移動体が走行不可能と判定することを特徴とする走行可能領域検出装置。 In the travelable area detection device according to claim 1,
The travelable area detection device is characterized in that when the detected road surface gradient is larger than a predetermined value, the travelable area determination unit determines that the moving body cannot travel in the travelable area determination area. .. 請求項１に記載の走行可能領域検出装置において、
上記走行可能領域判定部は、上記走行可能判定領域に、障害物が存在するか、穴が存在するか、及び上記移動体が走行できる領域であるか否かを判定し、障害物が存在するか、穴が存在するか、又は上記移動体が走行できる領域ではないと判定した場合は、上記移動体は上記走行可能判定領域を走行不可能と判定することを特徴とする走行可能領域検出装置。 In the travelable area detection device according to claim 1,
The travelable area determination unit determines whether there is an obstacle, a hole, or an area in which the moving body can travel in the travelable determination area, and the obstacle exists. Or, when it is determined that there is a hole or the moving body is not in a travelable area, the moving body determines that the travelable determination area cannot be traveled. .. 請求項４に記載の走行可能領域検出装置において、
上記走行可能領域判定部は、検出された上記路面勾配が、所定の値以下であり、且つ、上記走行可能判定領域に、障害物が存在せず、穴も存在せず、及び上記移動体が走行できる領域である場合は、上記移動体は上記走行可能判定領域を走行可能と判定することを特徴とする走行可能領域検出装置。 In the travelable area detection device according to claim 4,
In the travelable area determination unit, the detected road surface gradient is equal to or less than a predetermined value, and there are no obstacles, no holes, and the moving body in the travelable area determination area. In the case of a travelable area, the travelable area detection device is characterized in that the moving body determines that the travelability determination area is travelable. 請求項１、２、３、４、５のうちのいずれか一項に記載の走行可能領域検出装置において、
上記移動体は車両であることを特徴とする走行可能領域検出装置。 In the travelable area detection device according to any one of claims 1, 2, 3, 4, and 5.
A travelable area detection device characterized in that the moving body is a vehicle. 移動体の前方を撮像する撮像装置と、
上記撮像装置が撮像した撮像画像に基づいて、移動体が走行する道路上に存在する路端を検出し、上記路端の途切れが存在すると判断した場合、上記路端の途切れ区間を出力する路端検出部と、上記路端検出部で検出された上記路端の途切れ区間に基づいて探索範囲を決定する探索範囲決定部と、上記探索範囲決定部により決定された探索範囲に基づいて、移動体から見て路端側の走行可能判定領域の路面勾配を推定する路面勾配推定部と、少なくとも上記路面勾配推定部により推定された上記路面勾配から、上記走行可能判定領域は上記移動体が走行可能な領域か否かを判定する走行可能領域判定部と、を有する走行可能領域検出装置と、
上記走行可能領域検出装置の判定結果に従って上記移動体の動作を制御して走行を支援する走行支援制御装置と、
を備えることを特徴とする走行支援システム。 An imaging device that images the front of a moving object,
Based on the captured image captured by the imaging device, the road edge existing on the road on which the moving body travels is detected, and when it is determined that the road edge break exists, the road that outputs the break section of the road edge. Movement based on the end detection unit, the search range determination unit that determines the search range based on the roadside break section detected by the roadside detection unit, and the search range determined by the search range determination unit. From the road surface gradient estimation unit that estimates the road surface gradient of the roadside runnability determination region when viewed from the body and at least the road surface gradient estimated by the road surface gradient estimation unit, the moving body travels in the travelability determination region. A travelable area detection device having a travelable area determination unit for determining whether or not the area is possible, and a travelable area detection device.
A travel support control device that controls the operation of the moving body according to the determination result of the travelable area detection device to support the travel, and a travel support control device.
A driving support system characterized by being equipped with. 請求項７に記載の走行支援システムにおいて、
上記走行可能領域検出装置は、複数の画像から視差画像を生成する視差画像生成部を備え、上記路端検出部は、上記視差画像生成部が生成した上記視差画像に基づいて、道路に存在する路端を検出することを特徴とする走行支援制御システム。 In the driving support system according to claim 7,
The travelable area detection device includes a parallax image generation unit that generates a parallax image from a plurality of images, and the roadside detection unit exists on the road based on the parallax image generated by the parallax image generation unit. A driving support control system characterized by detecting the roadside. 請求項７に記載の走行支援システムにおいて、
上記走行可能領域判定部は、検出された上記路面勾配が、所定の値より大きい場合は、上記走行可能判定領域は上記移動体が走行不可能と判定することを特徴とする走行支援システム。 In the driving support system according to claim 7,
The travelable area determination unit is a travel support system characterized in that when the detected road surface gradient is larger than a predetermined value, the travelable area determination area determines that the moving body cannot travel. 請求項７に記載の走行支援システム置において、
上記走行可能領域判定部は、上記走行可能判定領域に、障害物が存在するか、穴が存在するか、及び上記移動体が走行できる領域であるか否かを判定し、障害物が存在するか、穴が存在するか、又は上記移動体が走行できる領域ではないと判定した場合は、上記移動体は上記走行可能判定領域を走行不可能と判定することを特徴とする走行支援システム。 In the driving support system set according to claim 7,
The travelable area determination unit determines whether there is an obstacle, a hole, or an area in which the moving body can travel in the travelable determination area, and the obstacle exists. A travel support system, characterized in that, when it is determined that a hole exists or the moving body is not in a travelable area, the moving body determines that the travelable determination area cannot be traveled. 請求項１０に記載の走行支援システムにおいて、
上記走行可能領域判定部は、検出された上記路面勾配が、所定の値以下であり、且つ、上記走行可能判定領域に、障害物が存在せず、穴も存在せず、及び上記移動体が走行できる領域である場合は、上記移動体は上記走行可能判定領域を走行可能と判定することを特徴とする走行支援システム。 In the driving support system according to claim 10,
In the travelable area determination unit, the detected road surface gradient is equal to or less than a predetermined value, and there are no obstacles, no holes, and the moving body in the travelable area determination area. A traveling support system characterized in that the moving body determines that the traveling body is capable of traveling in the travelable area when the vehicle is in a travelable area. 請求項７、８、９、１０、１1のうちのいずれか一項に記載の走行支援システムにおいて、
上記移動体は車両であることを特徴とする走行支援システム。 In the driving support system according to any one of claims 7, 8, 9, 10, and 11.
A traveling support system characterized in that the moving body is a vehicle.
JP2018559043A 2016-12-27 2017-12-15 Travelable area detection device and travel support system Active JP6837262B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016253126 2016-12-27
JP2016253126 2016-12-27
PCT/JP2017/045032 WO2018123641A1 (en) 2016-12-27 2017-12-15 Travelable area detection device and travel assistance system

Publications (2)

Publication Number Publication Date
JPWO2018123641A1 JPWO2018123641A1 (en) 2019-10-31
JP6837262B2 true JP6837262B2 (en) 2021-03-03

Family

ID=62707528

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018559043A Active JP6837262B2 (en) 2016-12-27 2017-12-15 Travelable area detection device and travel support system

Country Status (3)

Country Link
JP (1) JP6837262B2 (en)
CN (1) CN110088801B (en)
WO (1) WO2018123641A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020086995A (en) * 2018-11-27 2020-06-04 富士ゼロックス株式会社 Autonomous mobile device and program
JP7302397B2 (en) * 2019-09-06 2023-07-04 株式会社デンソー Wall shape measuring device
JP7417466B2 (en) 2020-05-07 2024-01-18 株式会社トヨタマップマスター Information processing device, information processing method, and information processing program
JP7417465B2 (en) 2020-05-07 2024-01-18 株式会社トヨタマップマスター Information processing device, information processing method, and information processing program
CN113744518B (en) * 2020-05-30 2023-04-18 华为技术有限公司 Method and device for detecting vehicle travelable area

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0812686B2 (en) * 1989-09-28 1996-02-07 本田技研工業株式会社 Road recognition method
JP3740883B2 (en) * 1999-03-26 2006-02-01 松下電工株式会社 Control method of unmanned mobile cart
JP5389002B2 (en) * 2010-12-07 2014-01-15 日立オートモティブシステムズ株式会社 Driving environment recognition device
US10142595B2 (en) * 2011-04-13 2018-11-27 Nissan Motor Co., Ltd. Driving assistance device and method of detecting vehicle adjacent thereto
JP6049541B2 (en) * 2013-05-31 2016-12-21 日立オートモティブシステムズ株式会社 Vehicle control system
JP6035207B2 (en) * 2013-06-14 2016-11-30 日立オートモティブシステムズ株式会社 Vehicle control system
JP6295859B2 (en) * 2014-07-08 2018-03-20 株式会社デンソー In-vehicle system, information processing apparatus, and program

Also Published As

Publication number Publication date
CN110088801B (en) 2023-04-18
JPWO2018123641A1 (en) 2019-10-31
WO2018123641A1 (en) 2018-07-05
CN110088801A (en) 2019-08-02

Similar Documents

Publication Publication Date Title
JP6837262B2 (en) Travelable area detection device and travel support system
CN109844762B (en) In-vehicle image processing apparatus
EP2993654B1 (en) Method and system for forward collision warning
JP4420011B2 (en) Object detection device
JP6548893B2 (en) Roadway recognition device and travel support system using the same
JP6045889B2 (en) In-vehicle control device
US10776637B2 (en) Image processing device, object recognizing device, device control system, image processing method, and computer-readable medium
US20090052742A1 (en) Image processing apparatus and method thereof
JP5561064B2 (en) Vehicle object recognition device
JPH10285582A (en) Vehicle outside monitoring device
US8160300B2 (en) Pedestrian detecting apparatus
US10672141B2 (en) Device, method, system and computer-readable medium for determining collision target object rejection
JP2007280132A (en) Travel guide obstacle detector, and controller for vehicle
JP2018060422A (en) Object detection device
JP4721278B2 (en) Lane departure determination device, lane departure prevention device, and lane tracking support device
JP4956099B2 (en) Wall detector
US20200193184A1 (en) Image processing device and image processing method
JP3868915B2 (en) Forward monitoring apparatus and method
JP5717416B2 (en) Driving support control device
CN112513573B (en) Stereo camera device
US9430707B2 (en) Filtering device and environment recognition system
JP5822866B2 (en) Image processing device
WO2023095489A1 (en) External environment recognition device
JP2023089311A (en) Information processing device, image capturing system, information processing method, and computer program
JP2020095629A (en) Image processing device and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210205

R150 Certificate of patent or registration of utility model

Ref document number: 6837262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250