JP6376354B2 - 駐車支援システム - Google Patents

駐車支援システム Download PDF

Info

Publication number
JP6376354B2
JP6376354B2 JP2015508081A JP2015508081A JP6376354B2 JP 6376354 B2 JP6376354 B2 JP 6376354B2 JP 2015508081 A JP2015508081 A JP 2015508081A JP 2015508081 A JP2015508081 A JP 2015508081A JP 6376354 B2 JP6376354 B2 JP 6376354B2
Authority
JP
Japan
Prior art keywords
marker
combination
candidate
markers
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015508081A
Other languages
English (en)
Other versions
JPWO2014156166A1 (ja
Inventor
川崎　晃久
晃久 川崎
浩二 藤井
浩二 藤井
達人 流郷
達人 流郷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2014156166A1 publication Critical patent/JPWO2014156166A1/ja
Application granted granted Critical
Publication of JP6376354B2 publication Critical patent/JP6376354B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/028—Guided parking by providing commands to the driver, e.g. acoustically or optically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/10—Automatic or semi-automatic parking aid systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、車両内の表示装置に表示される画像情報に基づいて車両の駐車支援を行う駐車支援システムに関する。
従来、車両が駐車する際、その車両に設置された表示装置（例えば、カーナビゲーションシステム）に表示される画像情報に基づいて駐車支援を行う駐車支援装置が知られている。画像情報は、例えば、車両の後部等に設置された車載カメラが撮影したカメラ画像に基づいて画像処理が施されたものである。この画像処理は、例えば、カメラ画像を俯瞰画像に変換する画像変換処理、および、その俯瞰画像において駐車領域を示すマーカを認識する画像認識処理が挙げられる（例えば、特許文献１参照）。
特開２０１２−７１７９４号公報
しかしながら、上述した画像認識処理は、例えばエッジ検出およびパターンマッチングなどの負荷が高い処理を含むため、特許文献１の駐車支援装置は、高性能な画像処理用プロセッサが必要となり、コストがかかるという問題がある。この問題を解決するため、赤外暗視画像のＩＲ成分またはカラー画像の特定色に基づいてマーカを認識する方法が考えられる。
しかし、ＩＲ成分または特定色に基づくマーカ認識方法は、カメラ画像において、マーカと同じＩＲ成分を持つ物体、またはマーカと同じ色を持つ物体を、誤ってマーカと認識してしまうおそれがある。
本発明の目的は、画像処理を低コストに抑えつつ、かつ、マーカの誤認識を防止できる駐車支援システムを提供することである。
本発明の一態様に係る駐車支援システムは、駐車領域を示す複数のマーカを撮影し、前記複数のマーカの位置および車両の現在位置に基づいて経路を算出し、前記車両が前記経路を移動するための操舵角を指示することによって、前記車両の前記駐車領域への駐車を支援する駐車支援システムであって、カメラにより撮影されたカメラ画像において、色成分またはＩＲ成分の強度が閾値を超えた領域を、マーカ候補として複数検出するマーカ候補検出部と、前記カメラ画像における前記複数のマーカ候補の位置をそれぞれ算出するマーカ位置算出部と、前記複数のマーカ候補の位置と、予め定められた前記複数のマーカの位置関係とに基づいて、前記複数のマーカ候補が前記複数のマーカとして妥当であるか否かを判定する妥当性検証部と、前記複数のマーカ候補により構成されるマーカ組合せが複数あり、前記複数のマーカ組合せを前記妥当性検証部が前記複数のマーカとして妥当であると判定した場合、前記複数のマーカ組合せから一のマーカ組合せをユーザに提示するマーカ組合せ提示部と、ユーザにより承認されたマーカ組合せを学習済マーカ組合せとして記憶するマーカ組合せ記憶部と、を備え、前記マーカ組合せ提示部は、前記複数のマーカ組合せと前記学習済マーカ組合せとの照合を行い、前記照合の結果、前記学習済マーカ組合せと一致したマーカ組合せをユーザに提示する構成を採る。
本発明の一態様に係る駐車支援システムは、駐車領域を示す複数のマーカを撮影し、前記複数のマーカの位置および車両の現在位置に基づいて経路を算出し、前記車両が前記経路を移動するための操舵角を指示することによって、前記車両の前記駐車領域への駐車を支援する駐車支援システムであって、カメラにより撮影されたカメラ画像において、色成分またはＩＲ成分の強度が閾値を超えた領域を、マーカ候補として複数検出するマーカ候補検出部と、前記カメラ画像における前記複数のマーカ候補の位置をそれぞれ算出するマーカ位置算出部と、前記複数のマーカ候補の位置と、予め定められた前記複数のマーカの位置関係とに基づいて、前記複数のマーカ候補が前記複数のマーカとして妥当であるか否かを判定する妥当性検証部と、前記複数のマーカ候補により構成されるマーカ組合せが複数あり、前記複数のマーカ組合せを前記妥当性検証部が前記複数のマーカとして妥当であると判定した場合、前記複数のマーカ組合せから一のマーカ組合せをユーザに提示するマーカ組合せ提示部と、ユーザにより承認されたマーカ組合せを学習済マーカ組合せとして記憶するマーカ組合せ記憶部と、を備え、前記妥当性検証部は、前記複数のマーカ候補から第１のマーカ候補を選択し、前記第１のマーカ候補の位置と、前記複数のマーカの位置関係とに基づいて、前記第１のマーカ候補とペアになる第２のマーカ候補が存在する可能性のある領域を算出し、前記領域に存在するマーカ候補を前記第２のマーカ候補と判定し、前記第１のマーカ候補と前記第２のマーカ候補のペアが前記複数のマーカとして妥当であると判定し、前記マーカ組合せ提示部は、前記複数のマーカ組合せと前記学習済マーカ組合せとの照合を行い、前記照合の結果、前記学習済マーカ組合せと一致したマーカ組合せをユーザに提示する。
本発明は、画像処理を低コストに抑えつつ、かつ、マーカの誤認識を防止できる。
本発明の実施の形態１に係る駐車支援システムの構成例を示すブロック図 本発明の実施の形態１に係る駐車支援システムの動作例を示すフロー図 本発明の実施の形態１に係る車両が駐車するときの例を示す図 本発明の実施の形態１に係るカメラ画像の例をそれぞれ示す図 本発明の実施の形態２に係る駐車支援システムの構成例を示すブロック図 本発明の実施の形態２に係る駐車支援システムのマーカペア提示部の動作例を示すフロー図 本発明の実施の形態２に係るカメラ画像の例をそれぞれ示す図
（実施の形態１）
本発明の実施の形態１について、図面を参照して説明する。
＜駐車支援システムの構成＞
まず、本発明の実施の形態に係る駐車支援システムの構成について説明する。図１は、本実施の形態に係る駐車支援システムの構成例を示すブロック図である。
駐車支援システムは、車両に搭載され、その車両の駐車支援を行うシステムである。図１において、駐車支援システムは、カメラ２００および駐車支援装置１００を有する。
＜カメラ２００の構成＞
カメラ２００は、レンズ２０、イメージセンサ２１、および色／ＩＲ検出部２２を有する。
レンズ２０は、入射光を取り込む。
イメージセンサ２１は、色（Red、Green、Blue）およびＩＲに対応したフォトニックカラーフィルタを有する。イメージセンサ２１は、レンズ２０からの入射光を上記フィルタに通し、色成分またはＩＲ成分を抽出する。そして、イメージセンサ２１は、抽出した色成分またはＩＲ成分を含む画像信号を、色／ＩＲ検出部２２へ出力する。
色／ＩＲ検出部２２は、イメージセンサ２１からの画像信号に基づいて信号処理を行い、カラー画像または赤外暗視画像（以下、「カメラ画像」という）を生成する。カメラ画像は、カメラ２００によって撮影されるリアルタイムの画像である。カメラ画像は、昼間の場合はカラー画像が生成され、夜間の場合は赤外暗視画像が生成される。
また、色／ＩＲ検出部２２は、カメラ画像において、特定の色成分またはＩＲ成分の強度（輝度）が、予め定められた閾値を超えたか否かを判定する。ここでの閾値は、例えば、カメラ画像の平均輝度に基づいて予め定められた値である。
そして、色／ＩＲ検出部２２は、カメラ画像において閾値を超えた領域を、マーカ候補として検出する。ここでは、複数のマーカ候補が検出される。マーカ候補とは、カメラ画像においてマーカの画像であると考えられる領域である。このように、色／ＩＲ検出部２２は、マーカ候補検出部としても機能する。
ここで、マーカについて説明する。マーカは、車両の駐車領域を特定可能な目印であり、地表に備えられる。本実施の形態において、マーカは２つとする。２つのマーカは、予め定められた距離をおいて備えられる。また、マーカは、予め定められた色である。また、マーカは、反射率の高い反射体と近赤外フィルムを構成される。これにより、昼夜を問わず、マーカは検出される。
そして、色／ＩＲ検出部２２は、複数のマーカ候補を示すカメラ画像を、駐車支援装置１００のマーカ位置算出部１０へ出力する。なお、このカメラ画像は、例えばカーナビゲーションなどの表示装置（図示せず）に表示される。
＜駐車支援装置１００の構成＞
駐車支援装置１００は、マーカ位置算出部１０、妥当性検証部１１、自車位置算出部１２、駐車経路算出部１３、および操舵角指示部１４を有する。
マーカ位置算出部１０は、色／ＩＲ検出部２２からのカメラ画像において、各マーカ候補の位置（座標）を算出し、妥当性検証部１１へ通知する。
妥当性検証部１１は、マーカ位置算出部１０から通知された各マーカ候補の位置と、予め定められた２つのマーカの位置関係（例えば、マーカ間の距離）とに基づいて、通知されたマーカ候補がマーカとして妥当であるか否かを検証（判定）する。この検証の一例について、以下に説明する。
妥当性検証部１１は、複数のマーカ候補のうちの１つを、第１のマーカ候補として選択する。次に、妥当性検証部１１は、予め定められた２つのマーカの位置関係に基づいて、第１のマーカ候補とペアになる第２のマーカ候補が存在する可能性のある領域（以下、「マーカ候補存在領域」という）を算出する。次に、妥当性検証部１１は、マーカ候補存在領域に、第１のマーカ候補とは別のマーカ候補が存在するか否かを判定する。判定の結果、マーカ候補存在領域に別のマーカ候補が存在する場合、妥当性検証部１１は、そのマーカ候補を第２のマーカ候補と判定し、第１のマーカ候補とペアであると判定する。そして、妥当性検証部１１は、第１のマーカ候補と第２のマーカ候補とが予め定められた２つのマーカとして妥当であると認識する。次に、妥当性検証部１１は、２つのマーカの位置（第１のマーカ候補の座標および第２のマーカ候補の座標）を、駐車経路算出部１３へ通知する。
なお、上述したマーカ候補存在領域の算出は、以下のように行われる。カメラ画像における第１のマーカ候補の座標を（ｘ，ｙ）とする。この座標（ｘ，ｙ）は、カメラの焦点距離ｆと、路面を基準とする３次元空間（実空間）における座標（Ｘ，Ｙ，Ｚ）と、以下の数式の関係を持つ。
ｘ＝ｆ・Ｘ／Ｚ
ｙ＝ｆ・Ｙ／Ｚ
ここで、第１のマーカ候補とペアになる第２のマーカ候補は、第１のマーカ候補から一定距離にある。したがって、３次元座標（Ｘ，Ｙ，Ｚ）において、第１のマーカ候補を原点に、ＸＹ軸を平面におくと、第２のマーカ候補の座標（Ｘ’，Ｙ’，０）は、Ｘ’2＋Ｙ’2＝Ａとなる。これにより、カメラ画像における第２のマーカ候補の座標を（ｘ’，ｙ’）とすると、ｘ'2／ａ2＋ｙ'2／ｂ2＝１で表せる楕円状に、第２のマーカ候補が存在することになる。
自車位置算出部１２は、車速パルスおよび操舵角を基に車両の初期位置からの移動量を算出し、それに基づいて自車位置（車両の現在位置）を算出する。または、自車位置算出部１２は、ＧＰＳ等から自車位置を取得してもよい。そして、自車位置算出部１２は、自車位置を駐車経路算出部１３へ通知する。
駐車経路算出部１３は、妥当性検証部１１から通知された２つのマーカの位置と、自車位置算出部１２から通知された自車位置とに基づいて、車両の進むべき経路（以下、「駐車経路」という）を算出する。駐車経路は、例えば、２つのマーカが駐車領域の横幅（車幅）を示す場合、２つのマーカの中心同士を結ぶ線に対して車両が垂直に進むように算出される。そして、駐車経路算出部１３は、駐車経路を操舵角指示部１４へ通知する。
操舵角指示部１４は、駐車経路算出部１３から通知された駐車経路を車両が移動するに伴い、どのようなハンドル操作を行ったらよいか（すなわち、操舵角）を運転手に指示する。
＜駐車支援システムの動作＞
次に、本発明の実施の形態に係る駐車支援システムの動作について説明する。図２は、本実施の形態に係る駐車支援システムの動作例を示すフロー図である。
ステップＳ１０において、例えばギアをバックに入れたときに、駐車支援システムのトリガがＯＮとなり、カメラ２００が撮像を開始する。例えば、図３に示すように、駐車領域３００に駐車するために、車両４００が位置ａで停止し、ギアがバックに入れられたとき、トリガがＯＮとなる。図３において、車両４００は、その後部にカメラ２００を搭載している。また、図３において、駐車領域３００の前方左右には、２つのマーカ３０１、３０２が設置されている。なお、本実施の形態では、マーカが２つである場合を例として説明するが、マーカは３つ以上であってもよい。
ステップＳ１１において、イメージセンサ２１は、レンズ２０の入射光から色成分またはＩＲ成分を抽出する。上述したとおり、昼間の場合、色成分（Ｒ，Ｇ，Ｂ）が抽出され、夜間の場合、ＩＲ成分が抽出される。
ステップＳ１２において、色／ＩＲ検出部２２は、カラー画像または赤外暗視画像のいずれかを生成するとともに、そのカメラ画像においてマーカ候補を検出する。すなわち、カメラ画像において、特定の色成分またはＩＲ成分が閾値を超えた領域が、マーカ候補として検出される。特定の色とは、予め定められた色であり、マーカの色である。ここで、図３の位置ａのときに生成されたカメラ画像の例を図４Ａに示す。図４Ａに示すカメラ画像には、車両４００のバンパー４０１の他に、マーカ候補３０１ａとマーカ候補３０２ａが映っている。
ステップＳ１３において、マーカ位置算出部１０は、カメラ画像におけるマーカ候補の位置を算出する。例えば、カメラ画像が図４Ａの場合、マーカ位置算出部１０は、カメラ画像におけるマーカ候補３０１ａおよびマーカ候補３０２ａのそれぞれの位置を算出する。
ステップＳ１４において、妥当性検証部１１は、算出されたマーカ候補の位置と、予め定められた２つのマーカの位置関係とに基づいて、マーカ候補がマーカとして妥当であるか否かを検証する。２つのマーカの位置関係とは、例えば、マーカ３０１とマーカ３０２が一定距離離れている関係である。例えば、図４Ａの場合、妥当性検証部１１は、マーカ候補３０１ａ（第１のマーカ候補）を選択し、その位置と、予め定められた２つのマーカの位置関係とに基づいてマーカ候補存在領域を算出する。次に、妥当性検証部１１は、マーカ候補存在領域に他のマーカ候補（第２のマーカ候補）が存在するか否かを判定する。ここで、マーカ候補存在領域に例えばマーカ候補３０２ａが存在する場合、妥当性検証部１１は、マーカ候補３０１ａとマーカ候補３０２ａがペアであると判定し、それらが予め定められた２つのマーカであると認識する。なお、ここでは、妥当性検証部１１は、第１のマーカ候補として、マーカ候補３０１ａを選択したが、マーカ候補３０２ａを選択してもよい。
ステップＳ１５において、自車位置算出部１２は、自車位置を算出する。例えば、図３の場合、自車位置は、位置ａの座標である。
ステップＳ１６において、駐車経路算出部１３は、自車位置と、２つのマーカの位置とに基づいて、駐車経路を算出する。この駐車経路は、例えば、マーカ３０１とマーカ３０２の中心同士を結ぶ線に対して車両が垂直に進むように算出される。すなわち、駐車経路は、例えば、図３において車両４００が位置ａから駐車領域３００へと移動する経路である。
ステップＳ１７において、車両が駐車経路を移動するための操舵角を運転手に指示する。この指示に従ってハンドルを操作すると、例えば、図３に示すように、車両４００を位置ａから位置ｂへと移動させることができる。位置ｂのときのカメラ画像の例を図４Ｂに示す。その後、位置ｂにある車両４００を直線的にバックさせることで、運転者は、車両４００を駐車領域３００に駐車させることができる。
以上説明したように、本実施の形態の駐車支援システムは、色成分またはＩＲ成分を基にカメラ画像においてマーカ候補を検出し、そのマーカ候補がマーカとして妥当であるか否かを、予め定められたマーカの位置関係を基に検証することを特徴とする。すなわち、本実施の形態の駐車支援システムは、色成分またはＩＲ成分に基づいてマーカ候補の検出を行うので、従来の駐車支援装置で行っていた画像処理（画像変換処理、画像認識処理）を行う必要がない。また、本実施の形態の駐車支援システムは、検出したマーカ候補に対してマーカの妥当性を検証するので、色成分またはＩＲ成分に基づく検出であっても、精度良くマーカを認識できる。したがって、本実施の形態の駐車支援システムは、画像処理を低コストに抑えつつ、かつ、マーカの誤認識を防止できる。
（実施の形態２）
本発明の実施の形態２について、図面を参照して説明する。本実施の形態では、妥当性検証部１１がマーカとして妥当であると判定したマーカ候補の組合せが複数存在する場合に対処する。なお、本実施の形態では、マーカ候補の組合せが２つである場合（以下、「マーカペア」という）を例として説明するが、マーカ候補の組合せは３つ以上であってもよい。
＜駐車支援システムの構成＞
まず、本発明の実施の形態に係る駐車支援システムの構成について説明する。図５は、本実施の形態に係る駐車支援システムの構成例を示すブロック図である。
図５において、駐車支援システムは、カメラ２００および駐車支援装置１０１を有する。なお、図５において、図１と同じ構成については同一符号を付し、ここでの説明は省略する。本実施の形態は、駐車支援装置１０１において、マーカペア提示部１５（マーカ組合せ提示部の一例）およびマーカペア記憶部１６（マーカ組合せ記憶部の一例）を備える点が、実施の形態１の駐車支援装置１００と異なる。
マーカペア提示部１５は、妥当性検証部１１が妥当であると判定した複数のマーカペアの通知を受ける。複数のマーカペアは、例えば、第１のマーカ候補と第２のマーカ候補のペア（第１のマーカペア）、および、第１のマーカ候補と第３のマーカ候補のペア（第２のマーカペア）である。
マーカペア提示部１５は、妥当性検証部１１から通知された複数のマーカペアと、マーカペア記憶部１６に記憶されているマーカペア（以下、「学習済マーカペア」という）とを照合する。
上記照合の結果、通知された複数のマーカペアのうち、学習済マーカペアと一致するマーカペアがある場合、マーカペア提示部１５は、表示装置において、そのマーカペアをユーザに提示する。提示の結果、ユーザの承認を受け付けた場合、提示したマーカペアを採用し、そのマーカペアを構成する２つのマーカの位置を駐車経路算出部１３へ通知する。一方、提示の結果、ユーザの承認を受け付けなかった場合、マーカペア提示部１５は、通知された複数のマーカペアのうち、他のマーカペアをユーザに提示する。
一方、上記照合の結果、通知された複数のマーカペアのうち、学習済マーカペアと一致するマーカペアがない場合、マーカペア提示部１５は、通知された複数のマーカペアから所定のマーカペアを選択し、表示装置においてユーザに提示する。提示の結果、ユーザの承認を受け付けた場合、マーカペア提示部１５は、提示したマーカペアをマーカペア記憶部１６に記憶する。また、マーカペア提示部１５は、提示したマーカペアを採用し、そのマーカペアを構成する２つのマーカの位置を駐車経路算出部１３へ通知する。一方、提示の結果、ユーザの承認を受け付けなかった場合、マーカペア提示部１５は、通知された複数のマーカペアのうち、他のマーカペアをユーザに提示する。
マーカペア記憶部１６は、ユーザの承認を受け付けたマーカペア、すなわち学習済マーカペアを記憶する。ここで記憶される学習済マーカペアについての情報は、例えば、マーカペアの位置情報（緯度、経度）および／またはカメラ画像全体の輝度情報である。
＜マーカペア提示部１５の動作＞
次に、本発明の実施の形態に係るマーカペア提示部１５の動作について説明する。図６は、本実施の形態に係るマーカペア提示部１５の動作例を示すフロー図である。図６に示す動作は、図２で説明した妥当性検証（ステップＳ１４）と自車位置算出（ステップＳ１５）の間に行われる。
ステップＳ２１において、マーカペア提示部１５は、妥当性検証部１１から複数のマーカペアが通知されたか否かを判定する。判定の結果、複数のマーカペアの通知を受けなかった場合（ステップＳ２１：ＮＯ）、フローは終了する。この場合、マーカペア提示部１５は、妥当性検証部１１から通知された１つのマーカペアを構成する２つのマーカの位置を、駐車経路算出部１３へ通知する。一方、判定の結果、複数のマーカペアの通知を受けた場合（ステップＳ２１：ＹＥＳ）、フローはステップＳ２２へ進む。
ステップＳ２２において、マーカペア提示部１５は、通知された複数のマーカペアと、マーカペア記憶部１６に記憶されている学習済マーカペアとを照合する。照合の結果、一致するマーカペアがあれば（ステップＳ２２：ＹＥＳ）、フローはステップＳ２３へ進む。一方、照合の結果、一致するマーカペアがなければ（ステップＳ２２：ＮＯ）、フローはステップＳ２６へ進む。
ステップＳ２３において、マーカペア提示部１５は、学習済マーカペアと一致したマーカペアを、表示装置においてユーザに提示する。このときの提示例を図７Ａに示す。図７Ａに示すように、カメラ画像において、３つのマーカ候補３０１ａ、３０２ａ、３０３ａが表示されている。図７Ａにおいて、マーカペア提示部１５は、マーカ候補３０１ａとマーカ候補３０２ａのそれぞれの周辺を囲むように太線の丸印５１を表示することで、マーカペア（第１のマーカペア）を提示している。また、図７Ａでは、ユーザに選択を促すための表示６１および表示６２が、カメラ画像に重畳されて表示されている。ユーザは、提示されたマーカペアを承認したい場合、表示６１を選択する操作を行う。一方、ユーザは、提示したマーカペア以外を承認したい場合、表示６２を選択する操作を行う。
ステップＳ２４において、マーカペア提示部１５は、提示したマーカペアについてユーザの承認を受け付けたか否かを判定する。上述したとおり、ユーザは、表示６１を選択する操作を行うことで、提示されたマーカペアを承認する。判定の結果、ユーザの承認を受け付けた場合（ステップＳ２４：ＹＥＳ）、フローは終了する。この場合、マーカペア提示部１５は、提示したマーカペアを採用し、そのマーカペアを構成する２つのマーカの位置を駐車経路算出部１３へ通知する。一方、判定の結果、ユーザの承認を受け付けなかった場合（ステップＳ２４：ＮＯ）、フローはステップＳ２５へ進む。
ステップＳ２５において、マーカペア提示部１５は、通知された複数のマーカペアのうち、他のマーカペアをユーザに提示する。このときの提示例を図７Ｂに示す。図７Ｂに示すように、カメラ画像において、３つのマーカ候補３０１ａ、３０２ａ、３０３ａが表示されている。図７Ｂにおいて、マーカペア提示部１５は、マーカ候補３０２ａとマーカ候補３０３ａのそれぞれの周辺を囲むように太線の丸印５２を表示することで、マーカペア（第２のマーカペア）を提示している。また、図７Ｂでは、図７Ａと同様に、表示６１および表示６２が、カメラ画像に重畳されて表示されている。その後、フローは、ステップＳ２４へ戻る。
ステップＳ２６において、マーカペア提示部１５は、通知された複数のマーカペアのうち、所定のマーカペアを選択し、表示装置においてユーザに提示する。このときの提示例は、図７Ａと同じである。
ステップＳ２７において、マーカペア提示部１５は、提示したマーカペアについてユーザの承認を受け付けたか否かを判定する。判定の結果、ユーザの承認を受け付けた場合（ステップＳ２７：ＹＥＳ）、フローはステップＳ２８へ進む。一方、判定の結果、ユーザの承認を受け付けなかった場合（ステップＳ２７：ＮＯ）、フローはステップＳ２９へ進む。
ステップＳ２８において、マーカペア提示部１５は、提示したマーカペアを、学習済マーカペアとしてマーカペア記憶部１６に記憶する。また、この場合、マーカペア提示部１５は、提示したマーカペアを採用し、そのマーカペアを構成する２つのマーカの位置を駐車経路算出部１３へ通知する。その後、フローは終了する。
ステップＳ２９において、マーカペア提示部１５は、通知された複数のマーカペアのうち、他のマーカペアをユーザに提示する。このときの提示例は、図７Ｂと同じである。その後、フローは、ステップＳ２７へ戻る。
以上説明したように、本実施の形態の駐車支援システムは、実施の形態１の駐車支援システムの特徴に加えて、妥当性が検証されたマーカペアが複数ある場合、学習済データに基づいて適切なマーカペアをユーザに提示することを特徴とする。また、本実施の形態の駐車支援システムは、学習済データがない場合、ユーザにより選択されたマーカペアを学習済データとして記憶し、次の提示の際に利用することを特徴とする。すなわち、本実施の形態の駐車支援システムは、学習済データを利用してマーカペアの提示を行うので、ユーザは、複数のマーカペアの中から適切なものを選択する操作を行う必要がない。また、本実施の形態の駐車支援システムは、未学習の場合に選択されたマーカペアを学習し、次のマーカペアの提示に利用するので、ユーザは、次回において複数のマーカペアの中から適切なものを選択する操作を行う必要がない。したがって、本実施の形態の駐車支援システムは、実施の形態１の駐車支援システムの効果に加えて、ユーザの利便性を向上させることができる。
以上、本発明の実施の形態１、２について説明したが、上記説明は一例であり、種々の変形が可能である。
例えば、上記実施の形態１、２では、妥当性検証は、予め定められたマーカ間の距離に基づいて行われる例としたが、これに限定されない。例えば、２つのマーカのそれぞれを別々の色とし、妥当性検証部１１が、２つのマーカについて位置と色を紐付けて記憶しておく（例えば、右が青、左が赤など）。そして、妥当性検証部１１は、カメラ画像において検出された２つのマーカ候補が、記憶しておいた上記条件を満たす場合に、それら２つのマーカ候補を予め定められたマーカとして認識する。
また、例えば、上記実施の形態１、２では、色成分またはＩＲ成分に基づくマーカ候補の検出をカメラ２０の色／ＩＲ検出部２２が行う例としたが、これに限定されない。例えば、マーカ候補の検出は、駐車支援装置１００または１０１が行うように構成してもよい。
また、例えば、上記実施の形態１、２の駐車支援システムの動作は、ハードウェアとの連係において、ソフトウェアでも実現することも可能である。
本発明は、例えば、車両内の表示装置に表示される画像情報に基づいて車両の駐車支援を行う駐車支援システムに適用することができる。
１０ マーカ位置算出部
１１ 妥当性検証部
１２ 自車位置算出部
１３ 駐車経路算出部
１４ 操舵角指示部
１５ マーカペア提示部
１６ マーカペア記憶部
２０ レンズ
２１ イメージセンサ
２２ 色／ＩＲ検出部
１００、１０１ 駐車支援装置
２００ カメラ
３０１、３０２、３０３ マーカ
４００ 車両

Claims (5)

  1. 駐車領域を示す複数のマーカを撮影し、前記複数のマーカの位置および車両の現在位置に基づいて経路を算出し、前記車両が前記経路を移動するための操舵角を指示することによって、前記車両の前記駐車領域への駐車を支援する駐車支援システムであって、
    カメラにより撮影されたカメラ画像において、色成分またはＩＲ成分の強度が閾値を超えた領域を、マーカ候補として複数検出するマーカ候補検出部と、
    前記カメラ画像における前記複数のマーカ候補の位置をそれぞれ算出するマーカ位置算出部と、
    前記複数のマーカ候補の位置と、予め定められた前記複数のマーカの位置関係とに基づいて、前記複数のマーカ候補が前記複数のマーカとして妥当であるか否かを判定する妥当性検証部と、
    前記複数のマーカ候補により構成されるマーカ組合せが複数あり、前記複数のマーカ組合せを前記妥当性検証部が前記複数のマーカとして妥当であると判定した場合、前記複数のマーカ組合せから一のマーカ組合せをユーザに提示するマーカ組合せ提示部と、
    ユーザにより承認されたマーカ組合せを学習済マーカ組合せとして記憶するマーカ組合せ記憶部と、を備え、
    前記マーカ組合せ提示部は、
    前記複数のマーカ組合せと前記学習済マーカ組合せとの照合を行い、
    前記照合の結果、前記学習済マーカ組合せと一致したマーカ組合せをユーザに提示する、
    駐車支援システム。
  2. 駐車領域を示す複数のマーカを撮影し、前記複数のマーカの位置および車両の現在位置に基づいて経路を算出し、前記車両が前記経路を移動するための操舵角を指示することによって、前記車両の前記駐車領域への駐車を支援する駐車支援システムであって、
    カメラにより撮影されたカメラ画像において、色成分またはＩＲ成分の強度が閾値を超えた領域を、マーカ候補として複数検出するマーカ候補検出部と、
    前記カメラ画像における前記複数のマーカ候補の位置をそれぞれ算出するマーカ位置算出部と、
    前記複数のマーカ候補の位置と、予め定められた前記複数のマーカの位置関係とに基づいて、前記複数のマーカ候補が前記複数のマーカとして妥当であるか否かを判定する妥当性検証部と、
    前記複数のマーカ候補により構成されるマーカ組合せが複数あり、前記複数のマーカ組合せを前記妥当性検証部が前記複数のマーカとして妥当であると判定した場合、前記複数のマーカ組合せから一のマーカ組合せをユーザに提示するマーカ組合せ提示部と、
    ユーザにより承認されたマーカ組合せを学習済マーカ組合せとして記憶するマーカ組合せ記憶部と、を備え、
    前記妥当性検証部は、
    前記複数のマーカ候補から第１のマーカ候補を選択し、
    前記第１のマーカ候補の位置と、前記複数のマーカの位置関係とに基づいて、前記第１のマーカ候補とペアになる第２のマーカ候補が存在する可能性のある領域を算出し、
    前記領域に存在するマーカ候補を前記第２のマーカ候補と判定し、前記第１のマーカ候補と前記第２のマーカ候補のペアが前記複数のマーカとして妥当であると判定し、
    前記マーカ組合せ提示部は、
    前記複数のマーカ組合せと前記学習済マーカ組合せとの照合を行い、
    前記照合の結果、前記学習済マーカ組合せと一致したマーカ組合せをユーザに提示する、
    駐車支援システム。
  3. 前記マーカ組合せ提示部は、
    前記照合の結果、前記学習済マーカ組合せと一致するマーカ組合せが無い場合、前記複数のマーカ組合せのうち所定のマーカ組合せをユーザに提示する、
    請求項１または２記載の駐車支援システム。
  4. 前記マーカ組合せ提示部は、
    前記提示したマーカ組合せがユーザに承認された場合、前記提示したマーカ組合せを前記学習済マーカ組合せとして前記マーカ組合せ記憶部に記憶する、
    請求項３記載の駐車支援システム。
  5. 前記マーカ組合せ提示部は、
    前記提示したマーカ組合せがユーザに承認されなかった場合、前記複数のマーカ組合せのうち他のマーカ組合せをユーザに提示する、
    請求項１から３のいずれか１項に記載の駐車支援システム。
JP2015508081A 2013-03-29 2014-03-27 駐車支援システム Expired - Fee Related JP6376354B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013071847 2013-03-29
JP2013071847 2013-03-29
PCT/JP2014/001772 WO2014156166A1 (ja) 2013-03-29 2014-03-27 駐車支援システムおよび駐車支援方法

Publications (2)

Publication Number Publication Date
JPWO2014156166A1 JPWO2014156166A1 (ja) 2017-02-16
JP6376354B2 true JP6376354B2 (ja) 2018-08-22

Family

ID=51623178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015508081A Expired - Fee Related JP6376354B2 (ja) 2013-03-29 2014-03-27 駐車支援システム

Country Status (4)

Country Link
US (1) US9727796B2 (ja)
EP (1) EP2981073B1 (ja)
JP (1) JP6376354B2 (ja)
WO (1) WO2014156166A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018036937A (ja) * 2016-09-01 2018-03-08 住友電気工業株式会社 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
JP6738722B2 (ja) * 2016-12-26 2020-08-12 株式会社Ｓｏｋｅｎ 駐車支援装置
US10999560B2 (en) * 2017-11-07 2021-05-04 Readiness Systems, LLC Remote electronic monitoring infrastructure
CN109631896B (zh) * 2018-07-23 2020-07-28 同济大学 一种基于车辆视觉和运动信息的停车场自主泊车定位方法
CN110824188B (zh) * 2019-10-17 2022-10-04 浙江大华技术股份有限公司 高速公路车辆的测速方法、装置、编解码器及存储装置
CN113212352B (zh) * 2020-02-06 2023-05-05 佛吉亚歌乐电子有限公司 图像处理装置以及图像处理方法
CN113335442B (zh) * 2021-07-22 2023-08-29 上海锐承通讯技术有限公司 用于自行车的上锁方法及自行车

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58114283A (ja) 1981-12-28 1983-07-07 Fujitsu Ltd パタ−ン認識装置
JP2003182489A (ja) 2001-12-19 2003-07-03 Matsushita Electric Ind Co Ltd 駐車支援装置
WO2003093857A2 (en) * 2002-05-03 2003-11-13 Donnelly Corporation Object detection system for vehicle
JP4604703B2 (ja) 2004-12-21 2011-01-05 アイシン精機株式会社 駐車補助装置
JP4957266B2 (ja) * 2007-01-24 2012-06-20 富士ゼロックス株式会社 出力支援装置および出力システム
JP5182545B2 (ja) 2007-05-16 2013-04-17 アイシン精機株式会社 駐車支援装置
US9123242B2 (en) * 2007-12-05 2015-09-01 Nec Corporation Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
TWI347900B (en) 2009-03-10 2011-09-01 Univ Nat Chiao Tung Parking assistance system and method
JP5299196B2 (ja) 2009-09-28 2013-09-25 サクサ株式会社 マーカー検知装置及びマーカー検知装置用プログラム
CN102834309B (zh) * 2010-02-26 2016-12-21 金泰克斯公司 自动车辆设备监控、报警和控制***
DE102010023162A1 (de) 2010-06-09 2011-12-15 Valeo Schalter Und Sensoren Gmbh Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Einparken in eine Parklücke, Fahrerassistenzeinrichtung und Kraftfahrzeug
JP5212748B2 (ja) 2010-09-29 2013-06-19 アイシン精機株式会社 駐車支援装置
JP2012206580A (ja) 2011-03-29 2012-10-25 Panasonic Corp 駐車支援装置
US8504233B1 (en) * 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
US9081385B1 (en) * 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images

Also Published As

Publication number Publication date
EP2981073A4 (en) 2016-03-23
WO2014156166A1 (ja) 2014-10-02
US9727796B2 (en) 2017-08-08
JPWO2014156166A1 (ja) 2017-02-16
US20150356359A1 (en) 2015-12-10
EP2981073B1 (en) 2017-09-13
EP2981073A1 (en) 2016-02-03

Similar Documents

Publication Publication Date Title
JP6376354B2 (ja) 駐車支援システム
US11192557B2 (en) Road profile along a predicted path
US11657604B2 (en) Systems and methods for estimating future paths
US9361803B2 (en) Parking assistance apparatus and parking assistance method for vehicle
US10311618B2 (en) Virtual viewpoint position control device and virtual viewpoint position control method
CN108027976B (zh) 行驶支援装置以及基于行驶支援装置的行驶支援方法
JP4863791B2 (ja) 車両周辺画像生成装置および画像切替方法
JP5172314B2 (ja) ステレオカメラ装置
US9953227B2 (en) In-vehicle image processing device
US9864915B2 (en) Around view monitoring apparatus and method thereof
JP6778620B2 (ja) 区画線検出装置、区画線検出システム、及び区画線検出方法
JP6917330B2 (ja) 駐車支援装置
US20160012725A1 (en) Around view system and operating method thereof
JP2014106739A (ja) 車載画像処理装置
JP2009122786A (ja) 車両用運転支援装置
JP2009122808A (ja) 車両用運転支援装置
JP6127391B2 (ja) 車両周辺視認装置
WO2017122688A1 (ja) 車載カメラのレンズ異常検出装置
JP5132796B2 (ja) 車両周辺画像生成装置および画像切替方法
JP6785956B2 (ja) 表示制御装置及び表示制御方法
JP2013247470A (ja) 車両側方画像出力装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180703

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180710

R151 Written notification of patent or utility model registration

Ref document number: 6376354

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees