JP7419741B2 - parking assist device - Google Patents

parking assist device Download PDF

Info

Publication number
JP7419741B2
JP7419741B2 JP2019188380A JP2019188380A JP7419741B2 JP 7419741 B2 JP7419741 B2 JP 7419741B2 JP 2019188380 A JP2019188380 A JP 2019188380A JP 2019188380 A JP2019188380 A JP 2019188380A JP 7419741 B2 JP7419741 B2 JP 7419741B2
Authority
JP
Japan
Prior art keywords
vehicle
captured image
area
feature
parking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019188380A
Other languages
Japanese (ja)
Other versions
JP2021062749A (en
Inventor
陽司 乾
将太 祖父江
賢樹 古川
直樹 山村
祐也 下平
幸夫 川端
政孝 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2019188380A priority Critical patent/JP7419741B2/en
Priority to DE102020126828.9A priority patent/DE102020126828A1/en
Publication of JP2021062749A publication Critical patent/JP2021062749A/en
Application granted granted Critical
Publication of JP7419741B2 publication Critical patent/JP7419741B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/173—Reversing assist
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両の駐車を支援する駐車支援装置に関する。 The present invention relates to a parking support device that supports parking of a vehicle.

従来、車両を駐車する際に、運転者の負担を軽減すべく駐車操作を支援する駐車支援装置が利用されてきた。このような駐車操作の支援にあっては、車両が駐車可能な駐車区画を検出する検出支援、検出された駐車区画から自車を駐車させる目標駐車区画を設定する設定支援、駐車を開始する駐車開始位置まで車両を案内する開始位置案内支援、駐車開始位置から目標駐車区画へ車両を案内する駐車位置案内支援といったものがある。これらの一連の支援中においては、駐車区画を規定する地物を認識することが重要である。このような地物の認識に関する技術として、例えば下記に出典を示す特許文献１に記載のものがある。 Conventionally, when parking a vehicle, parking assist devices have been used to assist the parking operation in order to reduce the burden on the driver. Support for such parking operations includes detection support for detecting parking spaces where the vehicle can park, setting support for setting a target parking space to park the vehicle from among the detected parking spaces, and parking support for starting parking. There is a starting position guidance support that guides the vehicle to the starting position, and a parking position guidance support that guides the vehicle from the parking start position to the target parking lot. During this series of support, it is important to recognize the features that define parking areas. As a technique related to such recognition of terrestrial objects, for example, there is a technique described in Patent Document 1 whose source is shown below.

特許文献１には、駐車区画に対して目標位置を精度良く設定する駐車支援装置が開示されている。この駐車支援装置は、駐車区画の境界を示す境界表示を検出し、当該境界表示の特徴データを記憶する。駐車支援装置は、これらの境界表示及び特徴データに基づいて、目標位置を決定している。 Patent Document 1 discloses a parking support device that accurately sets a target position with respect to a parking lot. This parking assistance device detects a boundary display indicating the boundary of a parking lot, and stores characteristic data of the boundary display. The parking assistance device determines the target position based on these boundary displays and characteristic data.

特開２０１６－１２４４０１号公報Japanese Patent Application Publication No. 2016-124401

特許文献１に記載の技術は、車両の左右両側に、車体の右端部及び左端部から近い領域に検出範囲が設定され、この検出範囲において駐車区画（境界表示）を検出している。例えば、車両から側方に突出する突出物がある場合には検出範囲に当該突出部が含まれ、境界表示を誤検出する可能性がある。また、ステアリングの舵角によっては、操舵輪が検出範囲に含まれることもあり、境界表示を誤検出する可能性がある。係る場合、境界表示の誤検出により、目標駐車位置が所期の位置からずれる可能性があり、改良の余地がある。 In the technology described in Patent Document 1, detection ranges are set on both left and right sides of a vehicle in areas close to the right and left ends of the vehicle body, and parking sections (boundary indications) are detected in these detection ranges. For example, if there is a protrusion that protrudes laterally from the vehicle, the detection range may include the protrusion, resulting in erroneous boundary display detection. Further, depending on the steering angle, the steered wheels may be included in the detection range, and there is a possibility that the boundary display will be erroneously detected. In such a case, the target parking position may deviate from the intended position due to erroneous detection of the boundary display, and there is room for improvement.

そこで、適切に目標駐車位置を設定できる駐車支援装置が求められる。 Therefore, there is a need for a parking assistance device that can appropriately set a target parking position.

本発明に係る駐車支援装置の特徴構成は、車両の側方の路面を撮像した撮像画像を取得する撮像画像取得部と、前記撮像画像を撮像するカメラの撮像範囲において前記車両と共に移動する移動領域を、前記撮像画像に基づいて算定する移動領域算定部と、前記撮像画像において前記車両の側方に前記路面に沿って設定された基準領域のうち、前記移動領域と重複する重複領域を算定する重複領域算定部と、前記基準領域から前記重複領域を除いて、前記車両の駐車区画を規定する地物を検出する検出領域を設定する検出領域設定部と、前記撮像画像の前記検出領域内において前記地物を検出する地物検出部と、を備え、前記撮像範囲において前記車両と共に移動する前記移動領域は、前記路面上の領域で設定する移動領域である点にある。 The characteristic configuration of the parking assistance device according to the present invention includes: a captured image acquisition section that acquires a captured image of a road surface on the side of a vehicle; and a moving area that moves together with the vehicle within an imaging range of a camera that captures the captured image. a moving area calculation unit that calculates based on the captured image, and calculates an overlapping area that overlaps with the moving area among reference areas set along the road surface on the side of the vehicle in the captured image. an overlapping area calculation unit; a detection area setting unit that excludes the overlapping area from the reference area and sets a detection area for detecting a feature that defines a parking area for the vehicle; and within the detection area of the captured image. a feature detection unit that detects the feature, and the moving region that moves together with the vehicle in the imaging range is a moving region set in an area on the road surface .

このような特徴構成とすれば、車両と共に移動する移動領域を除いて設定された検出領域において地物を検出するので、車両と共に移動する移動領域（車両と共に移動する物体）に起因した地物の誤検出を防止できる。また、基準領域から取り除く移動領域を最小限に抑えることができるので、地物の認識精度に対する影響も低減することができる。したがって、適切に目標駐車位置を設定することが可能となる。 With such a feature configuration, features are detected in the set detection area excluding the moving area that moves with the vehicle, so features that are caused by the moving area that moves with the vehicle (objects that move with the vehicle) are detected. False detection can be prevented. Furthermore, since the moving area removed from the reference area can be minimized, the influence on recognition accuracy of features can also be reduced. Therefore, it becomes possible to appropriately set the target parking position.

また、前記移動領域算定部は、前記車両の状態を示す車体情報及び前記車両の周囲の物体を示す物体情報の少なくともいずれか一方に基づいて前記移動領域を算定すると好適である。 Further, it is preferable that the moving area calculation unit calculates the moving area based on at least one of vehicle body information indicating a state of the vehicle and object information indicating objects around the vehicle.

このような構成とすれば、車両の状態に応じて適切に移動領域を算定することができるので、車両の状態や車両の周囲の状況に応じて検出領域を設定することが可能となる。 With such a configuration, it is possible to appropriately calculate the moving area according to the state of the vehicle, and therefore it is possible to set the detection area according to the state of the vehicle and the surrounding circumstances of the vehicle.

また、前記車体情報は、前記車両のドアの開閉状態を示す開閉情報、及び前記車両の操舵輪の切れ角を示す角度情報の少なくともいずれか一方であると好適である。 Preferably, the vehicle body information is at least one of opening/closing information indicating an open/closed state of a door of the vehicle and angle information indicating a turning angle of a steering wheel of the vehicle.

このような構成とすれば、移動領域の算定を開閉情報や角度情報に基づいて、定量的に行うことが可能となる。 With such a configuration, it becomes possible to quantitatively calculate the movement area based on opening/closing information and angle information.

また、前記物体情報は、前記車両の周囲の物体を検出する物体検出部の検出結果、及び前記撮像画像を用いて画像認識処理により前記物体を検出した検出結果の少なくともいずれか一方であると好適である。 Preferably, the object information is at least one of a detection result of an object detection unit that detects objects around the vehicle, and a detection result of detecting the object by image recognition processing using the captured image. It is.

このような構成とすれば、移動領域の算定を物体検出部や画像認識処理により検出された物体に基づいて行うことができる。 With such a configuration, the movement area can be calculated based on the object detected by the object detection unit or image recognition processing.

また、過去に取得された前記撮像画像である第１撮像画像において検出された前記地物の端部の位置を示す位置情報を、前記車両の移動量を示す移動量情報に基づいて算定する位置情報算定部と、前記位置情報算定部によって算出された前記地物の端部の位置を示す前記位置情報を記憶する記憶部と、を更に備え、前記記憶部は、前記地物検出部が新たに取得された前記撮像画像である第２撮像画像において前記地物の端部が検出できない場合に、前記記憶部に記憶された前記地物の端部の位置を示す前記位置情報を出力すると好適である。 Further, the position where position information indicating the position of the edge of the feature detected in the first captured image, which is the captured image acquired in the past, is calculated based on movement amount information indicating the amount of movement of the vehicle. The storage unit further includes an information calculation unit and a storage unit that stores the position information indicating the position of the edge of the feature calculated by the position information calculation unit, and the storage unit stores the position information when the feature detection unit When the edge of the feature cannot be detected in the second captured image that is the captured image acquired in the second captured image, it is preferable to output the position information indicating the position of the edge of the feature stored in the storage unit. It is.

このような構成とすれば、車両の移動量を示す移動量情報に基づいて、過去に検出されていた地物の端部の位置を算定するので、当該過去の地物の端部を継続して追跡することができる。したがって、新たに取得された撮像画像から地物の端部が検出できない場合には、新たに取得された撮像画像において上記追跡していた地物の位置情報で示される位置に対応する位置に端部があるものとすることが可能となる。 With such a configuration, the position of the edge of a feature detected in the past is calculated based on the movement amount information indicating the amount of movement of the vehicle, so the edge of the feature in the past can be continued. can be tracked. Therefore, if the edge of the feature cannot be detected from the newly acquired captured image, the end will be located at the position corresponding to the position indicated by the position information of the tracked feature in the newly captured image. It becomes possible to assume that there is a section.

駐車支援装置が支援する車両の模式図である。FIG. 2 is a schematic diagram of a vehicle supported by a parking assistance device. 駐車支援装置の構成を示すブロック図である。FIG. 2 is a block diagram showing the configuration of a parking assist device. 左側撮像画像の一例である。This is an example of a left side captured image. 右側撮像画像の一例である。This is an example of a right side captured image. 左側撮像画像に含まれる移動領域の一例である。This is an example of a moving area included in the left side captured image. 基準領域を示す図である。FIG. 3 is a diagram showing a reference area. 検出領域を示す図である。It is a figure showing a detection area. 補完画像の生成について説明する図である。FIG. 3 is a diagram illustrating generation of a complementary image. 表示部に表示される表示画像の一例である。This is an example of a display image displayed on the display unit.

本発明に係る駐車支援装置は、駐車区画を規定する地物を適切に認識することができるように構成される。ここで、本実施形態における駐車区画とは、例えば駐車場等において１台毎に車両を駐車することができるように仕切られたスペースである。地物とは、路面（地面）に設置された物である。したがって、駐車区画を規定する地物とは、駐車場等において１台毎に車両を駐車するスペースを仕切るために、路面に設置された物が相当する。具体的には、路面に付された区画線等の指標や、ブロックや縁石や生垣等（以下「ブロック等」とする）が相当する。本駐車支援装置は、このような指標やブロック等を適切に認識することができるように構成される。以下、本実施形態の駐車支援装置１について説明する。 The parking assistance device according to the present invention is configured to be able to appropriately recognize a feature that defines a parking lot. Here, the parking lot in this embodiment is a space partitioned off so that each vehicle can be parked in a parking lot, for example. A feature is an object installed on the road surface (ground). Therefore, a feature that defines a parking lot corresponds to a feature installed on a road surface in order to partition a parking space for each vehicle in a parking lot or the like. Specifically, indicators such as division lines attached to the road surface, blocks, curbs, hedges, etc. (hereinafter referred to as "blocks, etc.") correspond to this. This parking assistance device is configured to be able to appropriately recognize such indicators, blocks, and the like. The parking assistance device 1 of this embodiment will be described below.

図１は、駐車支援装置１が駐車を支援する車両２の模式図である。図１に示されるように、車両２には、車両２の周囲の情景を撮像するカメラ３が設けられる。本実施形態では、カメラ３は、左のサイドミラー４及び右のサイドミラー５に設けられる。以下では、理解を容易にするために、夫々を区別する場合には左のサイドミラー４に設けられたカメラ３を左側カメラ３Ａとし、右のサイドミラー５に設けられたカメラ３を右側カメラ３Ｂとして説明する。 FIG. 1 is a schematic diagram of a vehicle 2 whose parking is supported by a parking support device 1. As shown in FIG. 1, the vehicle 2 is provided with a camera 3 that captures images of the surroundings of the vehicle 2. In this embodiment, the camera 3 is provided on the left side mirror 4 and the right side mirror 5. In the following, for ease of understanding, when distinguishing between the two, the camera 3 provided on the left side mirror 4 will be referred to as the left camera 3A, and the camera 3 provided on the right side mirror 5 will be referred to as the right camera 3B. It will be explained as follows.

カメラ３は、車両２の側方の路面の撮像画像を撮像する。車両２の側方とは、車両２の車体２Ａの幅方向外側である。上述したようにカメラ３は、左側カメラ３Ａと右側カメラ３Ｂとを含んで構成される。このため、左側カメラ３Ａは車体２Ａの左外側の路面の撮像画像を撮像し、右側カメラ３Ｂは車体２Ａの右外側の路面の撮像画像を撮像する。左側カメラ３Ａ及び右側カメラ３Ｂによる撮像画像は、画像データとして駐車支援装置１に伝達される。 The camera 3 captures an image of the road surface on the side of the vehicle 2. The sides of the vehicle 2 are the outer sides in the width direction of the vehicle body 2A of the vehicle 2. As described above, the camera 3 includes the left camera 3A and the right camera 3B. Therefore, the left camera 3A captures an image of the road surface on the left outer side of the vehicle body 2A, and the right camera 3B captures an image of the road surface on the right outer side of the vehicle body 2A. Images captured by the left camera 3A and the right camera 3B are transmitted to the parking assistance device 1 as image data.

図２は、駐車支援装置１の構成を示すブロック図である。図２に示されるように、駐車支援装置１は、撮像画像取得部１１、移動領域算定部１２、重複領域算定部１３、検出領域設定部１４、地物検出部１５、撮像画像記憶部３１、位置情報算定部５１を備えて構成される。これらの各機能部は車両２の駐車支援に係る処理を行うために、ＣＰＵを中核部材としてハードウェア又はソフトウェア或いはその両方で構築されている。 FIG. 2 is a block diagram showing the configuration of the parking assist device 1. As shown in FIG. As shown in FIG. 2, the parking assistance device 1 includes a captured image acquisition unit 11, a moving area calculation unit 12, an overlapping area calculation unit 13, a detection area setting unit 14, a feature detection unit 15, a captured image storage unit 31, It is configured to include a position information calculation section 51. Each of these functional units is constructed of hardware, software, or both, with the CPU as a core component, in order to perform processing related to parking assistance for the vehicle 2.

撮像画像取得部１１は、車両２の側方の路面を撮像した撮像画像を取得する。上述したように、本実施形態では、左側カメラ３Ａが車体２Ａの左外側の路面の撮像画像（以下「左側撮像画像」とする）を撮像し、右側カメラ３Ｂが車体２Ａの右外側の路面の撮像画像（以下「右側撮像画像」とする）を撮像する。撮像画像取得部１１は、左側カメラ３Ａから左側撮像画像を取得し、右側カメラ３Ｂから右側撮像画像を取得する。ここで、左側カメラ３Ａ及び右側カメラ３Ｂは、夫々、継続して左側撮像画像及び右側撮像画像を撮像する。このため、撮像画像取得部１１も継続して左側撮像画像及び右側撮像画像を取得する。 The captured image acquisition unit 11 acquires a captured image of the road surface on the side of the vehicle 2. As described above, in this embodiment, the left camera 3A captures an image of the road surface on the outer left side of the vehicle body 2A (hereinafter referred to as "left image captured image"), and the right camera 3B captures an image of the road surface on the outer right side of the vehicle body 2A. A captured image (hereinafter referred to as "right side captured image") is captured. The captured image acquisition unit 11 acquires a left captured image from the left camera 3A, and a right captured image from the right camera 3B. Here, the left camera 3A and the right camera 3B continuously capture a left-side image and a right-side image, respectively. Therefore, the captured image acquisition unit 11 also continues to acquire the left-side captured image and the right-sided captured image.

図３には左側撮像画像の一例が示され、図４には右側撮像画像の一例が示される。本実施形態では、左側カメラ３Ａ及び右側カメラ３Ｂは魚眼レンズを介して車両２の側方の路面を撮像する。このため、図３及び図４に示されるように、本実施形態における右側撮像画像及び左側撮像画像は、所謂魚眼画像となる。 FIG. 3 shows an example of a left side captured image, and FIG. 4 shows an example of a right side captured image. In this embodiment, the left camera 3A and the right camera 3B image the road surface on the side of the vehicle 2 through fisheye lenses. Therefore, as shown in FIGS. 3 and 4, the right side captured image and the left side captured image in this embodiment become so-called fisheye images.

図２に戻り、移動領域算定部１２は、撮像画像を撮像するカメラ３の撮像範囲において車両２と共に移動する移動領域８（図５参照）を算定する。撮像画像とは、上述した左側撮像画像及び右側撮像画像である。また、カメラ３は、上述したように左のサイドミラー４及び右のサイドミラー５に設けられる。車両２と共に移動する移動領域８とは、車両２と一体となって移動する物体が占める領域である。したがって、撮像画像を撮像するカメラ３の撮像範囲において車両２と共に移動する移動領域８とは、左側撮像画像及び右側撮像画像の夫々を撮像する、左のサイドミラー４及び右のサイドミラー５との夫々に設けられた左側カメラ３Ａ及び右側カメラ３Ｂの撮像範囲において、車両２と一体となって移動する物体が占める領域を意味する。このような移動領域８としては、例えば車両２の車輪や、車両２のドアや、窓から左のサイドミラー４及び右のサイドミラー５よりも下方に出した乗員の体の一部（例えば手や腕等）の領域が挙げられる。 Returning to FIG. 2, the moving area calculation unit 12 calculates the moving area 8 (see FIG. 5) that moves together with the vehicle 2 within the imaging range of the camera 3 that captures the captured image. The captured images are the above-mentioned left side captured image and right side captured image. Furthermore, the camera 3 is provided on the left side mirror 4 and the right side mirror 5, as described above. The movement area 8 that moves together with the vehicle 2 is an area occupied by an object that moves together with the vehicle 2. Therefore, the moving area 8 that moves together with the vehicle 2 in the imaging range of the camera 3 that captures the captured image is the area that moves with the vehicle 2 within the imaging range of the camera 3 that captures the captured image. In the imaging range of the left camera 3A and the right camera 3B, which are respectively provided, it means an area occupied by an object that moves together with the vehicle 2. Examples of such moving areas 8 include the wheels of the vehicle 2, the doors of the vehicle 2, and parts of the occupant's body (for example, hands) that are protruded from the window below the left side mirror 4 and the right side mirror 5. (arms, arms, etc.).

図５には、例えば左側撮像画像に含まれる、移動領域８の一例が示される。図５の例にあっては車両２が４輪操舵であって、左前車輪６及び左後車輪７が車両２と共に移動する。したがって、図５の左側撮像画像に含まれる左前車輪６及び左後車輪７の領域が、移動領域８にあたる。移動領域算定部１２は、左側撮像画像及び右側撮像画像に含まれる、このような移動領域８を算定する。 FIG. 5 shows an example of the moving area 8 included in the left side captured image, for example. In the example of FIG. 5, the vehicle 2 has four-wheel steering, and the left front wheel 6 and the left rear wheel 7 move together with the vehicle 2. Therefore, the area of the left front wheel 6 and the left rear wheel 7 included in the left side captured image in FIG. 5 corresponds to the movement area 8. The moving area calculation unit 12 calculates such a moving area 8 included in the left side captured image and the right side captured image.

ここで、移動領域算定部１２は、撮像画像に基づいて移動領域８を算定するように構成することが可能である。例えば、移動領域算定部１２は、撮像画像に移動領域８が含まれない場合の撮像画像を予め記憶しておき、当該移動領域８が含まれない場合の撮像画像と、移動領域８を算定する撮像画像（移動領域８の算定対象である撮像画像）とを用いて画像認識により移動領域８を算定するように構成することが可能である。 Here, the moving area calculation unit 12 can be configured to calculate the moving area 8 based on the captured image. For example, the moving area calculation unit 12 stores in advance a captured image in which the moving area 8 is not included in the captured image, and calculates the captured image and the moving area 8 in the case where the moving area 8 is not included. The moving area 8 can be configured to be calculated by image recognition using a captured image (a captured image that is a target for calculating the moving area 8).

更に、移動領域算定部１２は、車両２の状態を示す車体情報に基づいて移動領域８を算定するように構成することも可能である。車両２の状態を示す車体情報とは、車両２の各機能部の動作状態や各機能部の位置を示す情報である。具体的には、車体情報は、車両２のドアの開閉状態を示す開閉情報や、車両２の操舵輪の切れ角を示す角度情報が相当する。開閉情報は、車両２のドアの開度を検出するセンサの検出結果とすると好適である。また、角度情報は操舵輪の切れ角を検出するセンサの検出結果とすることも可能であるし、操舵輪の切れ角を操舵するステアリングの舵角を検出するセンサの検出結果とすることも可能である。移動領域算定部１２が、このような開閉状態や操舵輪の切れ角にも基づいて移動領域８を算定するように構成する場合には、ドアの開度と移動領域８との関係や、操舵輪の切れ角と移動領域８との関係を予め記憶しておき、開閉情報や角度情報を取得した場合にこれらの関係に基づき移動領域８を算定するように構成することが可能である。なお、上述した各種センサによる検出結果は、各センサと移動領域算定部１２とがＣＡＮ（Controller Area Network）通信を行うことで伝達することが可能である。 Furthermore, the moving area calculating section 12 can be configured to calculate the moving area 8 based on vehicle body information indicating the state of the vehicle 2. The vehicle body information indicating the state of the vehicle 2 is information indicating the operating state of each functional part of the vehicle 2 and the position of each functional part. Specifically, the vehicle body information corresponds to opening/closing information indicating the open/closed state of the door of the vehicle 2 and angle information indicating the turning angle of the steering wheel of the vehicle 2. The opening/closing information is preferably a detection result of a sensor that detects the degree of opening of the door of the vehicle 2. Further, the angle information can be the detection result of a sensor that detects the turning angle of the steering wheel, or the turning angle of the steering wheel can be the detection result of a sensor that detects the steering angle of the steering wheel. It is. When the movement area calculation unit 12 is configured to calculate the movement area 8 based on the opening/closing state and the turning angle of the steering wheel, it is necessary to calculate the movement area 8 based on the opening/closing state and the turning angle of the steering wheel. It is possible to store the relationship between the cutting angle of the ring and the moving area 8 in advance, and to calculate the moving area 8 based on these relationships when opening/closing information and angle information are acquired. Note that the detection results by the various sensors described above can be transmitted through CAN (Controller Area Network) communication between each sensor and the moving area calculation unit 12.

また、移動領域算定部１２は、車両２の周囲の物体を示す物体情報に基づいて移動領域８を算定するように構成することも可能である。車両２の周囲の物体を示す物体情報とは、具体的には、車両２の周囲の物体を検出する物体検出部の検出結果、及び撮像画像を用いて画像認識処理により物体を検出した検出結果の少なくともいずれか一方である。物体検出部とは、例えばソナーやレーザーレーダ等のような所謂障害物センサが相当する。このような障害物センサの検出結果や、撮像画像を用いて物体が存在しているか否かを検出した検出結果が、車両２の周囲の物体を示す物体情報にあたる。したがって、移動領域算定部１２は、障害物センサの検出結果や、撮像画像を用いて物体が存在しているか否かを検出した検出結果に基づいて、移動領域８を算定することも可能である。なお、移動領域算定部１２は、上述した車体情報及び物体情報の双方に基づいて移動領域８を算定しても良いし、いずれか一方を用いて移動領域８を算定しても良い。 Further, the movement area calculation unit 12 can be configured to calculate the movement area 8 based on object information indicating objects around the vehicle 2. Specifically, the object information indicating objects around the vehicle 2 includes the detection results of an object detection unit that detects objects around the vehicle 2, and the detection results of detecting objects by image recognition processing using captured images. At least one of the following. The object detection section corresponds to a so-called obstacle sensor such as a sonar or a laser radar. The detection result of such an obstacle sensor or the detection result of detecting whether or not an object exists using a captured image corresponds to object information indicating objects around the vehicle 2. Therefore, the movement area calculation unit 12 can also calculate the movement area 8 based on the detection result of the obstacle sensor or the detection result of detecting whether or not an object exists using the captured image. . Note that the moving area calculation unit 12 may calculate the moving area 8 based on both the vehicle body information and the object information described above, or may calculate the moving area 8 using either one of them.

重複領域算定部１３は、撮像画像において車両２の側方に路面に沿って設定された基準領域９のうち、移動領域８と重複する重複領域１０を算定する。図６には、左側撮像画像において、車両２の側方に路面に沿って設定された基準領域９の一例が示される。基準領域９は、後述する検出領域２０の基となるものであって、車両２の平面視において車両２の前後方向に沿う長さが車両２の全長よりも長く、車両２の幅方向に沿う長さが車両２の車幅よりも長い領域として設定される。撮像画像において、このような基準領域９と上述した移動領域８とが互いに重複する領域が重複領域１０（図７参照）に相当する。したがって、図７に示されるように移動領域８の一部が基準領域９に含まれる場合には、重複領域１０は移動領域８のうち、基準領域９に含まれる領域を除いた領域となる。なお、図示はしないが、基準領域９が車体２Ａと接して設定される場合において、移動領域８の全てが基準領域９に含まれる場合には、重複領域１０は移動領域８と等しい領域となる。 The overlapping area calculation unit 13 calculates an overlapping area 10 that overlaps with the moving area 8 out of the reference area 9 set along the road surface on the side of the vehicle 2 in the captured image. FIG. 6 shows an example of the reference area 9 set along the road surface on the side of the vehicle 2 in the left side captured image. The reference region 9 is the basis of a detection region 20 to be described later, and has a length along the longitudinal direction of the vehicle 2 that is longer than the entire length of the vehicle 2 in a plan view of the vehicle 2, and a length along the width direction of the vehicle 2. The length is set as a region longer than the vehicle width of the vehicle 2. In the captured image, an area where the reference area 9 and the above-mentioned moving area 8 overlap with each other corresponds to an overlapping area 10 (see FIG. 7). Therefore, when part of the movement area 8 is included in the reference area 9 as shown in FIG. 7, the overlapping area 10 is the area of the movement area 8 excluding the area included in the reference area 9. Although not shown, in the case where the reference area 9 is set in contact with the vehicle body 2A and the entire moving area 8 is included in the reference area 9, the overlapping area 10 becomes an area equal to the moving area 8. .

検出領域設定部１４は、基準領域９から重複領域１０を除いて、車両２の駐車区画を規定する地物を検出する検出領域２０（図７参照）を設定する。基準領域９は、重複領域算定部１３において用いられた基準領域９であって、基準領域９のサイズを規定する情報は、重複領域算定部１３と検出領域設定部１４とで共有される。また、重複領域１０は重複領域算定部１３により算定結果として伝達される。基準領域９から重複領域１０を除いた領域が検出領域２０に相当する。検出領域設定部１４は、後述する地物検出部１５が車両２の駐車区画を規定する地物の検出する領域として利用する検出領域２０を撮像画像において設定する。 The detection area setting unit 14 excludes the overlapping area 10 from the reference area 9 and sets a detection area 20 (see FIG. 7) for detecting features that define the parking area of the vehicle 2. The reference area 9 is the reference area 9 used in the overlapping area calculation section 13 , and information defining the size of the reference area 9 is shared by the overlapping area calculation section 13 and the detection area setting section 14 . Further, the overlapping area 10 is transmitted as a calculation result by the overlapping area calculating section 13. The area obtained by excluding the overlapping area 10 from the reference area 9 corresponds to the detection area 20. The detection area setting unit 14 sets a detection area 20 in the captured image, which is used by a feature detection unit 15 (described later) to detect a feature that defines a parking area for the vehicle 2 .

地物検出部１５は、撮像画像の検出領域２０内において地物を検出する。地物とは、本実施形態では上述したように、路面に付された区画線等の指標やブロック等である。地物検出部１５は、検出領域設定部１４により撮像画像上において設定された検出領域２０内の区画線等の指標やブロック等を検出する。この検出は、公知であるので詳細な説明は省略するが、例えば検出領域２０において、公知のエッジ抽出によりエッジ検出を行い、検出されたエッジに基づいて指標やブロック等であるか否かを判定することで検出可能である。 The feature detection unit 15 detects features within the detection area 20 of the captured image. In this embodiment, the terrestrial feature is, as described above, an indicator such as a division line attached to a road surface, a block, or the like. The feature detection unit 15 detects indicators such as partition lines, blocks, etc. within the detection area 20 set on the captured image by the detection area setting unit 14. Since this detection is publicly known, a detailed explanation will be omitted, but for example, in the detection area 20, edge detection is performed by known edge extraction, and based on the detected edge, it is determined whether it is an index, a block, etc. It can be detected by

本駐車支援装置１は、以上のように、例えば操舵輪やドア等を検出領域２０から除外することで、地物の誤判定を防止することが可能となる。したがって、駐車支援装置１は、適切に目標駐車位置を設定することができる。 As described above, the present parking assist device 1 can prevent erroneous determination of features by excluding, for example, the steering wheel, the door, etc. from the detection area 20. Therefore, the parking assistance device 1 can appropriately set the target parking position.

ここで、車両２の移動状況によっては、所定時間前に検出されていた地物の上に車両２の一部（例えば車輪）が乗り上げていることもある。係る場合、地物検出部１５は、上述したエッジ抽出が行うことができず、駐車支援装置１は適切に目標駐車位置を設定することができない。 Here, depending on the movement status of the vehicle 2, a part of the vehicle 2 (for example, a wheel) may be riding on a feature that was detected a predetermined time ago. In this case, the feature detection unit 15 cannot perform the edge extraction described above, and the parking assistance device 1 cannot appropriately set the target parking position.

そこで、位置情報算定部５１が、過去に取得された撮像画像である第１撮像画像において検出された地物の端部の位置を示す位置情報を、車両２の移動量を示す移動量情報に基づいて算定するように構成すると好適である。過去に取得された撮像画像とは、車両２が今回、駐車区画に駐車すべく地物を検出するに至った以降にカメラ３により撮像された撮像画像である。このような撮像画像は、撮像画像記憶部３１に記憶するように構成すると良い。このような過去に取得された撮像画像は、本駐車支援装置１では第１撮像画像と称される。第１撮像画像は、図８の（Ａ）に示されるような、車両２が地物の算定を開始してから、例えば地物の全体の形状が含まれるようなものを優先的に記憶しておくと良い。なお、撮像画像記憶部３１に記憶された第１撮像画像は、所定時間や所定日数が経過する毎に撮像画像記憶部３１から消去するように構成しても良いし、今回の駐車区画への駐車が完了した際に、撮像画像記憶部３１から消去するように構成しても良い。 Therefore, the position information calculation unit 51 converts the position information indicating the position of the edge of the feature detected in the first captured image, which is the captured image acquired in the past, into movement amount information indicating the amount of movement of the vehicle 2. It is preferable to configure the calculation based on the above. The previously acquired captured images are captured images captured by the camera 3 after the vehicle 2 detected a feature to park in the parking lot this time. It is preferable to configure such a captured image to be stored in the captured image storage section 31. Such a previously acquired captured image is referred to as a first captured image in this parking assistance device 1. The first captured image, as shown in FIG. 8A, is stored preferentially after the vehicle 2 starts calculating the feature, for example, one that includes the entire shape of the feature. It's good to keep it. Note that the first captured image stored in the captured image storage unit 31 may be configured to be deleted from the captured image storage unit 31 every time a predetermined time or a predetermined number of days pass, or the first captured image stored in the captured image storage unit 31 may be deleted from the captured image storage unit 31 every time a predetermined time or a predetermined number of days elapse. It may be configured to delete the captured image from the captured image storage unit 31 when parking is completed.

車両２の移動量とは、車両２が走行して移動した距離及び方位で規定される量であって、上述した角度情報や走行距離を算定する距離センサの検出結果に基づき算定することが可能である。もちろん、ＧＰＳ情報（位置情報）に基づいて算定することも可能である。このような量は、移動量情報として示される。したがって、位置情報算定部５１は、地物の端部が隠れていない第１撮像画像を撮像画像記憶部３１から取得し、角度情報や距離センサの検出結果等に基づいて算定される移動量情報を用いて、第１撮像画像において検出されていた地物の端部の位置を示す位置情報を算定する。このような位置情報によれば、第１撮像画像において検出されていた地物の端部を追跡することができることから、位置情報算定部５１は追跡部であるとも言える。このような位置情報算定部５１によって算出された地物の端部の位置を示す位置情報は記憶部（図示せず）に記憶すると良い。 The amount of movement of the vehicle 2 is defined by the distance and direction traveled by the vehicle 2, and can be calculated based on the above-mentioned angle information and the detection results of the distance sensor that calculates the distance traveled. It is. Of course, it is also possible to calculate based on GPS information (location information). Such an amount is indicated as movement amount information. Therefore, the position information calculation unit 51 acquires a first captured image in which the edge of the feature is not hidden from the captured image storage unit 31, and obtains movement amount information calculated based on the angle information, the detection result of the distance sensor, etc. is used to calculate position information indicating the position of the edge of the feature detected in the first captured image. According to such position information, it is possible to track the edge of the feature detected in the first captured image, so it can be said that the position information calculation unit 51 is a tracking unit. It is preferable that the position information indicating the position of the edge of the feature calculated by the position information calculation unit 51 is stored in a storage unit (not shown).

係る場合、地物検出部１５が新たに取得された撮像画像である第２撮像画像において地物の端部が検出できない場合に、記憶部が当該記憶部に記憶された地物の端部の位置を示す位置情報を出力すると良い。新たに取得された撮像画像とは、最新の撮像画像である。このような最新の撮像画像は、本駐車支援装置１では第２撮像画像と称される。第２撮像画像は、車両２の状況によっては、図８の（Ｂ）（図７と同じ）に示されるように、車両２の少なくとも一部と地物とが互いに重複することがある。 In such a case, when the feature detection unit 15 cannot detect the edge of the feature in the newly acquired second captured image, the storage unit detects the edge of the feature stored in the storage unit. It is better to output location information that indicates the location. The newly acquired captured image is the latest captured image. Such a latest captured image is referred to as a second captured image in the parking assist device 1. In the second captured image, depending on the situation of the vehicle 2, at least a portion of the vehicle 2 and the feature may overlap with each other, as shown in FIG. 8B (same as FIG. 7).

上述したように、地物検出部１５は、撮像画像取得部１１が撮像画像を取得する毎に、地物を検出するが、例えば図８の（Ｂ）の例のように、地物上に車両２（車輪等）が位置していると、端部を適切に検出できないことから、記憶部に記憶された地物の端部の位置に、端部があるものとみなす。 As described above, the feature detection unit 15 detects a feature every time the captured image acquisition unit 11 acquires a captured image, but for example, as in the example of FIG. If the vehicle 2 (wheels, etc.) is located, the edge cannot be detected appropriately, so it is assumed that the edge exists at the position of the edge of the feature stored in the storage unit.

図８の（Ｃ）には第１撮像画像において検出された地物の平面図が示される。理解を容易にするために、図８の（Ａ）及び（Ｃ）の夫々について対応する地物同士に同じ符号Ｚ１，Ｚ２を付している。図８の（Ｄ）には図８の（Ｂ）の第２撮像画像において検出された地物の平面図が示される。図８の（Ｄ）では、図８の（Ｂ）に示される地物Ｚ１が検出されておらず、図示しない右側カメラ３Ｂの第２撮像画像にうつる地物Ｚ２が示される。 FIG. 8C shows a plan view of the feature detected in the first captured image. For ease of understanding, corresponding terrestrial features in FIGS. 8A and 8C are given the same reference numerals Z1 and Z2. FIG. 8(D) shows a plan view of the feature detected in the second captured image of FIG. 8(B). In FIG. 8(D), the feature Z1 shown in FIG. 8(B) is not detected, and the feature Z2 shown in the second captured image of the right camera 3B (not shown) is shown.

係る場合、上述した第１撮像画像において検出された地物の端部の位置情報（図８の（Ｃ）における地物の端部の位置情報）に基づき、地物Ｚ１の端部が補完（生成）される。図８の（Ｅ）には第２撮像画像において、第１撮像画像において検出された地物の端部の位置情報を使って補完された地物Ｚ１が示される。これにより、地物の全体形状を特定でき、駐車支援装置１は適切に目標駐車位置を設定することが可能となる。 In such a case, the edge of the feature Z1 is complemented ( generated). FIG. 8E shows a feature Z1 that is complemented in the second captured image using the positional information of the edge of the feature detected in the first captured image. Thereby, the entire shape of the feature can be specified, and the parking support device 1 can appropriately set the target parking position.

ここで、車両２の車内には例えばカーナビゲーションシステム等に利用可能な表示装置が設けられる。この表示装置の表示画面には、カメラ３により撮像された撮像画像を用いて車両２の周囲の情景を表示することがあるが、上述したように、例えば操舵輪やドア等を検出領域２０から除外する状況にあっては、表示画面に表示される地物を乗員が把握し辛いことが想定される。 Here, a display device usable for, for example, a car navigation system is provided inside the vehicle 2. On the display screen of this display device, the scene around the vehicle 2 may be displayed using the captured image captured by the camera 3, but as described above, for example, the steering wheels, doors, etc. In a situation where the feature is excluded, it is assumed that the passenger has difficulty grasping the feature displayed on the display screen.

そこで、表示装置の表示画面に表示する地物においても、第１撮像画像において検出した地物の端部の位置情報を使って、補完画像を生成して表示するように構成することも可能である。このような表示の一例が図９に示される。このように車両２と地物が重複し、地物検出部１５により検出されない場合でも、補完画像を生成して表示することで、乗員が地物全体の形状を把握することが可能となる。 Therefore, it is also possible to generate and display a complementary image for the feature to be displayed on the display screen of the display device using the positional information of the edge of the feature detected in the first captured image. be. An example of such a display is shown in FIG. Even if the vehicle 2 and the feature overlap in this way and are not detected by the feature detection unit 15, the passenger can grasp the overall shape of the feature by generating and displaying a complementary image.

〔その他の実施形態〕
上記実施形態では、撮像画像における移動領域８が車輪やドアであるとして説明した。例えばカメラ３を左のサイドミラー４及び右のサイドミラー５以外に設ける場合には、移動領域８として左のサイドミラー４及び右のサイドミラー５を含むことも可能である。もちろん、車輪やドアや左のサイドミラー４及び右のサイドミラー５以外のものであっても良い。 [Other embodiments]
In the embodiment described above, the moving area 8 in the captured image is a wheel or a door. For example, when the camera 3 is provided in a location other than the left side mirror 4 and the right side mirror 5, it is also possible to include the left side mirror 4 and the right side mirror 5 as the moving area 8. Of course, things other than the wheels, doors, left side mirror 4 and right side mirror 5 may be used.

上記実施形態では、車体情報は、車両２のドアの開閉状態を示す開閉情報、及び車両２の操舵輪の切れ角を示す角度情報であるとして説明したが、車両情報は車両２のドアの開閉状態を示す開閉情報、及び車両２の操舵輪の切れ角を示す角度情報でいずれか一方であっても良い。また、物体情報も、車両２の周囲の物体を検出する物体検出部の検出結果、及び撮像画像を用いて画像認識処理により物体を検出した検出結果のいずれか一方で良い。 In the above embodiment, the vehicle body information is the opening/closing information indicating the opening/closing state of the door of the vehicle 2 and the angle information indicating the turning angle of the steering wheel of the vehicle 2. Either one of the opening/closing information indicating the state and the angle information indicating the turning angle of the steering wheels of the vehicle 2 may be used. Further, the object information may be either a detection result of an object detection unit that detects objects around the vehicle 2 or a detection result obtained by detecting an object by image recognition processing using a captured image.

上記実施形態では、駐車支援装置１が、位置情報算定部５１を備えているとして説明したが、位置情報算定部５１を備えずに構成することも可能である。また、表示装置の表示画面に補完画像を表示しないように構成することも可能である。 In the above embodiment, the parking assistance device 1 has been described as including the position information calculation section 51, but it is also possible to configure the parking assistance device 1 without the position information calculation section 51. It is also possible to configure the display device so that the complementary image is not displayed on the display screen of the display device.

上記実施形態では、カメラ３として、左側カメラ３Ａと右側カメラ３Ｂとを用いた場合の例を挙げて説明したが、フロントカメラやリアカメラを用いてもよい。 In the embodiment described above, the left camera 3A and the right camera 3B are used as the camera 3, but a front camera or a rear camera may be used.

本発明は、車両の駐車を支援する駐車支援装置に用いることが可能である。 INDUSTRIAL APPLICABILITY The present invention can be used in a parking support device that supports parking of a vehicle.

１：駐車支援装置
２：車両
３：カメラ
８：移動領域
９：基準領域
１０：重複領域
１１：撮像画像取得部
１２：移動領域算定部
１３：重複領域算定部
１４：検出領域設定部
１５：地物検出部
２０：検出領域
５１：位置情報算定部 1: Parking support device 2: Vehicle 3: Camera 8: Movement area 9: Reference area 10: Overlapping area 11: Captured image acquisition unit 12: Movement area calculation unit 13: Overlapping area calculation unit 14: Detection area setting unit 15: Ground Object detection unit 20: Detection area 51: Position information calculation unit

Claims (5)

車両の側方の路面を撮像した撮像画像を取得する撮像画像取得部と、
前記撮像画像を撮像するカメラの撮像範囲において前記車両と共に移動する移動領域を、前記撮像画像に基づいて算定する移動領域算定部と、
前記撮像画像において前記車両の側方に前記路面に沿って設定された基準領域のうち、前記移動領域と重複する重複領域を算定する重複領域算定部と、
前記基準領域から前記重複領域を除いて、前記車両の駐車区画を規定する地物を検出する検出領域を設定する検出領域設定部と、
前記撮像画像の前記検出領域内において前記地物を検出する地物検出部と、
を備え、
前記撮像範囲において前記車両と共に移動する前記移動領域は、前記路面上の領域で設定する移動領域である駐車支援装置。 a captured image acquisition unit that acquires a captured image of a road surface on the side of the vehicle;
a moving area calculation unit that calculates a moving area that moves together with the vehicle in an imaging range of a camera that captures the captured image, based on the captured image ;
an overlapping area calculation unit that calculates an overlapping area that overlaps with the movement area among reference areas set along the road surface on the side of the vehicle in the captured image;
a detection area setting unit that excludes the overlapping area from the reference area and sets a detection area for detecting a feature that defines a parking area for the vehicle;
a feature detection unit that detects the feature within the detection area of the captured image;
Equipped with
In the parking assist device , the movement area that moves together with the vehicle in the imaging range is a movement area set in an area on the road surface . 前記移動領域算定部は、前記車両の状態を示す車体情報及び前記車両の周囲の物体を示す物体情報の少なくともいずれか一方に基づいて前記移動領域を算定する請求項１に記載の駐車支援装置。 The parking assistance device according to claim 1, wherein the movement area calculation unit calculates the movement area based on at least one of vehicle body information indicating a state of the vehicle and object information indicating objects around the vehicle. 前記車体情報は、前記車両のドアの開閉状態を示す開閉情報、及び前記車両の操舵輪の切れ角を示す角度情報の少なくともいずれか一方である請求項２に記載の駐車支援装置。 3. The parking assist device according to claim 2, wherein the vehicle body information is at least one of opening/closing information indicating an open/closed state of a door of the vehicle and angle information indicating a turning angle of a steering wheel of the vehicle. 前記物体情報は、前記車両の周囲の物体を検出する物体検出部の検出結果、及び前記撮像画像を用いて画像認識処理により前記物体を検出した検出結果の少なくともいずれか一方である請求項２又は３に記載の駐車支援装置。 2. The object information is at least one of a detection result of an object detection unit that detects objects around the vehicle and a detection result of detecting the object by image recognition processing using the captured image. 3. The parking assist device according to 3. 過去に取得された前記撮像画像である第１撮像画像において検出された前記地物の端部の位置を示す位置情報を、前記車両の移動量を示す移動量情報に基づいて算定する位置情報算定部と、
前記位置情報算定部によって算出された前記地物の端部の位置を示す前記位置情報を記憶する記憶部と、を更に備え、
前記記憶部は、前記地物検出部が新たに取得された前記撮像画像である第２撮像画像において前記地物の端部が検出できない場合に、前記記憶部に記憶された前記地物の端部の位置を示す前記位置情報を出力する請求項１から４のいずれか一項に記載の駐車支援装置。 Position information calculation that calculates position information indicating the position of the edge of the feature detected in the first captured image, which is the captured image acquired in the past, based on movement amount information indicating the amount of movement of the vehicle. Department and
further comprising a storage unit that stores the position information indicating the position of the edge of the feature calculated by the position information calculation unit,
The storage unit is configured to detect the edge of the feature stored in the storage unit when the feature detection unit cannot detect the edge of the feature in the second captured image that is the newly acquired captured image. 5. The parking assistance device according to claim 1, wherein the parking assistance device outputs the position information indicating the position of the parking lot.
JP2019188380A 2019-10-15 2019-10-15 parking assist device Active JP7419741B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019188380A JP7419741B2 (en) 2019-10-15 2019-10-15 parking assist device
DE102020126828.9A DE102020126828A1 (en) 2019-10-15 2020-10-13 Parking assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019188380A JP7419741B2 (en) 2019-10-15 2019-10-15 parking assist device

Publications (2)

Publication Number Publication Date
JP2021062749A JP2021062749A (en) 2021-04-22
JP7419741B2 true JP7419741B2 (en) 2024-01-23

Family

ID=75155935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019188380A Active JP7419741B2 (en) 2019-10-15 2019-10-15 parking assist device

Country Status (2)

Country Link
JP (1) JP7419741B2 (en)
DE (1) DE102020126828A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314990A (en) 2001-04-12 2002-10-25 Auto Network Gijutsu Kenkyusho:Kk System for visually confirming periphery of vehicle
JP2012176656A (en) 2011-02-25 2012-09-13 Fuji Heavy Ind Ltd Parking support device
JP2016082329A (en) 2014-10-14 2016-05-16 株式会社デンソー Video processing apparatus, and on-vehicle video processing system
JP2016144110A (en) 2015-02-04 2016-08-08 日立建機株式会社 System for detecting mobile object outside vehicle body
JP2019040316A (en) 2017-08-23 2019-03-14 株式会社Ｊｖｃケンウッド Parking support device, parking support method, and parking support program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314990A (en) 2001-04-12 2002-10-25 Auto Network Gijutsu Kenkyusho:Kk System for visually confirming periphery of vehicle
JP2012176656A (en) 2011-02-25 2012-09-13 Fuji Heavy Ind Ltd Parking support device
JP2016082329A (en) 2014-10-14 2016-05-16 株式会社デンソー Video processing apparatus, and on-vehicle video processing system
JP2016144110A (en) 2015-02-04 2016-08-08 日立建機株式会社 System for detecting mobile object outside vehicle body
JP2019040316A (en) 2017-08-23 2019-03-14 株式会社Ｊｖｃケンウッド Parking support device, parking support method, and parking support program

Also Published As

Publication number Publication date
JP2021062749A (en) 2021-04-22
DE102020126828A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
JP6724425B2 (en) Parking assistance device
KR101990257B1 (en) Parking Assist Device and Parking Assistance Method
JP4420011B2 (en) Object detection device
JP6303453B2 (en) Parking assistance device
US8289189B2 (en) Camera system for use in vehicle parking
JP4687160B2 (en) Perimeter monitoring device
EP3185233A1 (en) Driving support device and driving support method
JP6747179B2 (en) Parking assistance method and parking assistance device
US20160114795A1 (en) Parking assist system and parking assist method
US20020183906A1 (en) Vehicle active drive assist device and vehicle provided with the same
CN107792068A (en) Automated vehicle lane changing control system
KR101947209B1 (en) Method for determining a relative position between a vehicle and an object
KR100552337B1 (en) Parking support device
JP2004114977A (en) Moving body periphery monitoring device
EP3842294B1 (en) Parking assistance method and parking assistance device
CN112771591B (en) Method for evaluating the influence of an object in the environment of a vehicle on the driving maneuver of the vehicle
JP5595186B2 (en) Target trajectory calculation device
EP1486377A2 (en) Movable body surrounding monitoring apparatus
KR20230147129A (en) Method for activating an obstacle avoidance system for a vehicle
JP6020021B2 (en) Parking assistance device
JP7427907B2 (en) parking assist device
JP7419741B2 (en) parking assist device
JP2011003117A (en) Backward visual recognition support system
JP4768499B2 (en) In-vehicle peripheral other vehicle detection device
JP2015191437A (en) Driving support device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231225

R150 Certificate of patent or registration of utility model

Ref document number: 7419741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150