JP7466324B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP7466324B2
JP7466324B2 JP2020021396A JP2020021396A JP7466324B2 JP 7466324 B2 JP7466324 B2 JP 7466324B2 JP 2020021396 A JP2020021396 A JP 2020021396A JP 2020021396 A JP2020021396 A JP 2020021396A JP 7466324 B2 JP7466324 B2 JP 7466324B2
Authority
JP
Japan
Prior art keywords
parking space
parking
image
vehicle
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020021396A
Other languages
English (en)
Other versions
JP2021129157A (ja
Inventor
貴之 金子
俊輔 近藤
守 久保田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Faurecia Clarion Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Faurecia Clarion Electronics Co Ltd filed Critical Clarion Co Ltd
Priority to JP2020021396A priority Critical patent/JP7466324B2/ja
Priority to CN202110127090.0A priority patent/CN113327201A/zh
Priority to EP21155617.0A priority patent/EP3866059A1/en
Priority to US17/171,162 priority patent/US11620908B2/en
Publication of JP2021129157A publication Critical patent/JP2021129157A/ja
Application granted granted Critical
Publication of JP7466324B2 publication Critical patent/JP7466324B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Description

本発明は、車両の周囲の路面を撮像する撮像装置から出力される画像信号に基づいて、この路面に設けられた駐車枠を推定する画像処理装置及び画像処理方法に関するものである。
車両を所定の駐車区画に駐車する際に、駐車目標とする駐車枠を自動的に検出して、車両を自動駐車させる駐車支援装置が実用化されている(例えば、特許文献1参照)。この特許文献1に開示の技術では、撮像部で撮像された撮像画像等から駐車区画線を検出し、一対の駐車区画線で囲まれる領域を駐車可能な駐車目標位置、すなわち駐車枠として検出し、検出された駐車枠を示す駐車枠画像と、撮像画像とを重畳して表示部に表示している。
特開2014-166834号公報
ところで、駐車区画線の検出に際して、車両、壁、フェンス等の比較的大きな影や、木漏れ日、道路照明灯等による光の反射、障害物の存在等によって、駐車区画線が不検出となったり、駐車区画線等以外の線が駐車区画線として検出される誤検出となったりすることがある。このような場合、検出した駐車区画線に基づいて駐車枠を車載装置のディスプレイに表示すると、駐車枠の検出タイミングでの検出状況によって、駐車枠がゆらいで表示されてしまい、ドライバにとって見づらい表示になっていた。また、駐車枠の検出に影響してしまっていた。よって、このような影響を解消できる技術の開発が望まれている。
そこで、本発明は、駐車枠を見易く表示し、また、駐車枠の検出を高精度に行うことが可能な画像処理装置及び画像処理方法を提供することを目的としている。
前記目的を達成するために、本発明の画像処理装置は、車両の周囲の路面を撮像する撮像装置が取得した画像から、駐車区画線を検出する駐車区画線検出部と、検出された前記駐車区画線に基づいて、駐車枠を設定する駐車枠設定部と、設定された前記駐車枠の隣り合う両側辺の長さ比を算出し、前記長さ比が所定の範囲内にあるときは、前記駐車枠を表示対象と判定し、前記長さ比が所定の範囲外にあるときは、前記駐車枠を表示対象外と判定する駐車枠選択部と、前記駐車枠選択部で表示対象と判定された駐車枠を示す駐車枠画像を、前記画像に重畳して表示するように表示部を制御する表示制御部と、を備えたことを特徴とする。
このように構成された本発明の画像処理装置では、隣り合う両側辺の長さ比が所定の範囲外にある駐車枠は、表示対象外と判定される。このため、影、光の反射、障害物の存在等の影響により、適切な形状や大きさで検出されなかった駐車枠や、実際の駐車領域以外の場所から検出された駐車枠等が表示対象外となって破棄される。そして、適切な形状や大きさで検出された駐車枠のみが駐車に適した駐車枠として登録され、表示部に表示される。したがって、駐車枠の検出タイミングによって、駐車枠がゆらいで表示されることがなくなり、駐車枠を見易くなる。また、駐車枠の検出を高精度に行うことが可能となる。
本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。 実施の形態である駐車支援装置の撮像装置の配置位置の一例を示す図である。 実施の形態である画像処理装置の概略構成を示す機能ブロック図である。 実施の形態である画像処理装置の動作の一例を説明するためのフローチャートである。 実施の形態である画像処理装置の動作の一例を説明するための図であり、車両と、駐車場の路面上に描かれた駐車区画線の一例を示す。 実施の形態である画像処理装置の動作の一例を説明するための図であり、俯瞰画像と、俯瞰画像から検出されたエッジとを模式的に示した図である。 実施の形態である画像処理装置の動作の一例を説明するための図であり、駐車枠選択部による駐車枠選択処理の手順を説明するための図である。 実施の形態である画像処理装置の動作の一例を説明するための図であり、車両の移動に伴って変化する俯瞰画像と駐車枠画像とを示す。 実施の形態である画像処理装置の駐車枠選択処理を行わない場合での、車両の移動に伴って変化する俯瞰画像と駐車枠画像とを示す。
(駐車支援装置の概略構成)
以下、この発明の実施の形態を図面に基づいて説明する。図1は、本発明の実施の形態である画像処理装置が適用される駐車支援装置の概略構成を示すブロック図である。図2は駐車支援装置の撮像装置の配置位置の一例を示す図である。なお、以下では、駐車支援装置について説明するが、本発明の実施の形態である画像処理装置が適用される装置は駐車支援装置に限定されることはなく、走行車線を走行する車両の走行を支援する走行支援装置等にも適用できる。
図1に示すように、駐車支援装置1は、車両V(図2参照)に搭載され、駐車支援動作を行う。具体的には、駐車支援装置1は、この車両Vが駐車可能な駐車枠を認識する。そして、駐車支援装置1は、認識した駐車枠に車両Vを駐車させるようにこの車両Vを制御する。
車両Vの前後左右には、図2に示すように複数の小型カメラ(撮像装置)が備えられている。具体的には、車両Vのフロントバンパまたはフロントグリルには、車両Vの前方に向けて前方カメラ20aが装着されている。車両Vのリアバンパまたはリアガーニッシュには、車両Vの後方に向けて後方カメラ20bが装着されている。車両Vの左ドアミラーには、車両Vの左側方に向けて左側方カメラ20cが装着されている。車両Vの右ドアミラーには、車両Vの右側方に向けて右側方カメラ20dが装着されている。
前方カメラ20a、後方カメラ20b、左側方カメラ20c、右側方カメラ20dには、それぞれ、広範囲を観測可能な広角レンズや魚眼レンズが装着されており、4台のカメラ20a~20dで車両Vの周囲の路面を含む領域を漏れなく観測できるようになっている。これらカメラ20a~20dにより、車両Vの周囲の路面を撮像する撮像装置が構成されている。なお、以下の説明において、個々のカメラ(撮像装置)20a~20dを区別せずに説明する場合は単にカメラ20として説明する。
図1に戻って、駐車支援装置1は、前方カメラ20a、後方カメラ20b、左側方カメラ20c、右側方カメラ20dと、カメラECU21と、ナビゲーション装置30と、車輪速センサ32と、操舵角センサ33とを有する。
カメラECU21は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ等から構成されたマイコンを主体として構成される。カメラECU21は、カメラ20を制御するとともに、カメラ20が検知した情報を用いて、俯瞰画像の生成処理や、駐車枠を検出する検出処理や、検出した駐車枠に車両Vを駐車できるか否かを判定する判定処理等を行う。
ナビゲーション装置(表示装置)30は画像表示機能を有するモニター31を有する。ナビゲーション装置30は、経路案内用の地図データ等が格納された記憶部を有する。ナビゲーション装置30は、この地図データ等及び図略のGPS装置等により検出された車両Vの現在位置に基づいて、ナビゲーション装置30の操作者が設定した目標地点までの経路案内を行う。経路案内動作中の各種画像はモニター31に表示される。
車輪速センサ32は、車両Vの車輪速を検知するセンサである。車輪速センサ32で検知された検知情報(車輪速)は、車両制御ECU40に入力される。
操舵角センサ33は、車両Vのステアリングの操舵角を検知する。車両Vが直進状態で走行するときの操舵角を中立位置(0度)とし、その中立位置からの回転角度を操舵角として出力する。操舵角センサ33で検知された検知情報(操舵角)は、車両制御ECU40に入力される。
さらに、駐車支援装置1は、車両制御ECU40と、ステアリング制御ユニット50と、スロットル制御ユニット60と、ブレーキ制御ユニット70とを有する。
車両制御ECU40は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ等から構成されたマイコンを主体として構成される。車両制御ECU40は、カメラECU21、車輪速センサ32及び操舵角センサ33から入力された各検知情報に基づいて、車両Vの駐車を支援する各種処理を実行する。
すなわち、例えば図略の自動駐車開始スイッチを運転手がオン操作して駐車支援装置1を作動させると、車両制御ECU40は、カメラECU21が駐車可と判定した駐車枠に車両Vを自動で駐車させる自動駐車処理を実行する。
ステアリング制御ユニット50は、車両制御ECU40で決定した車両制御情報に基づいて、パワーステアリングアクチュエータ51を駆動して、車両Vの操舵角を制御する。
スロットル制御ユニット60は、車両制御ECU40で決定した車両制御情報に基づいて、スロットルアクチュエータ61を駆動して、車両Vのスロットルを制御する。
ブレーキ制御ユニット70は、車両制御ECU40で決定した車両制御情報に基づいて、ブレーキアクチュエータ71を駆動して、車両Vのブレーキを制御する。
なお、カメラECU21、車輪速センサ32及び操舵角センサ33と、車両制御ECU40との間は、車内LAN(Local Area Network)であるセンサ情報CAN(登録商標)(Controller Area Network)80によって接続される。
また、ステアリング制御ユニット50、スロットル制御ユニット60及びブレーキ制御ユニット70と、車両制御ECU40との間は、車内LANである車両情報CAN(登録商標)81によって接続される。
以上の構成を有する駐車支援装置1において、本実施の形態の画像処理装置100は、カメラECU21により主に構成されている。
(画像処理装置の機能構成)
図3は、本実施の形態である画像処理装置100の概略構成を示す機能ブロック図である。本実施の形態である画像処理装置100は、制御部110及び記憶部120を有する。制御部110は、カメラECU21のCPUから主に構成されており、記憶部120は、カメラECU21のROM、RAM、フラッシュメモリ等から主に構成されている。
制御部110は、画像処理装置100全体の制御を行う。加えて、制御部110は、後述するエッジ検出部111、駐車区画線検出部112、駐車枠設定部113及び駐車枠選択部114により検出、推定された駐車スペースを区画する駐車区画線や駐車スペースに基づいて、車両Vが駐車可と判定した駐車枠にこの車両Vを自動で駐車させる自動駐車処理を車両制御ECU40に実行させるために、自動駐車処理に必要な情報(駐車スペース、駐車枠の位置、形状など)をこの車両制御ECU40に送出する。
車両制御ECU40は、制御部110から提供された情報に基づいて、さらに、車輪速センサ32及び操舵角センサ33(図3ではセンサとのみ図示している)が検知した検知情報に基づいて、パワーステアリングアクチュエータ51、スロットルアクチュエータ61及びブレーキアクチュエータ71(図3ではアクチュエータとのみ図示している)を駆動制御する。
制御部110はCPU、FPGAなどのプログラマブルロジックデバイス、ASIC等の集積回路に代表される演算素子を有する。
画像処理装置100の記憶部120には図略の制御用プログラムが格納されており、この制御用プログラムが画像処理装置100の起動時に制御部110により実行されて、画像処理装置100は図3に示すような機能構成を備えたものとなる。特に、本実施形態の画像処理装置100は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばFPGAなどを有することが好ましい。
この図3に示すように、制御部110は、エッジ検出部111、駐車区画線検出部112、駐車枠設定部113、駐車枠選択部114及び表示制御部115を有する。
エッジ検出部111は、車両Vの周囲の路面Rを撮像するカメラ20から出力される画像信号に基づいて、エッジ検出により駐車場P等の路面R上の駐車区画線200のエッジを検出する。ここでいう駐車区画線200とは、主に路面R上に設けられた駐車領域を区画する境界線(直線)として描かれた線のことである。図5に、車両Vと、この車両Vが駐車を行おうとしている駐車場Pの路面R上に描かれた駐車区画線200の一例を示す。駐車区画線200の間が、駐車スペースを表す駐車枠201である。
また、図6は、カメラ20で撮影された画像信号を合成して生成された俯瞰画像Gと、この俯瞰画像Gから検出されたエッジを模式的に示した図である。図6の俯瞰画像Gでは、車両Vの走行方向に沿う方向であって駐車区画線の延在方向に直交する方向をX軸とし、駐車区画線の延在方向をY軸としている。
図6に示される俯瞰画像Gは、カメラ20a~20dで撮影された画像信号に基づいて、それぞれ車両Vを真上から見下ろした俯瞰画像g1,g2,g3,g4に変換して、さらに各俯瞰画像g1を合成して生成された画像である。俯瞰画像Gの中心部分には、車両Vを真上から見下ろした状態を示すアイコンIが表示される。
駐車区画線は、一般的には白線で示されるが、白線以外の、例えば黄色線等、白以外の色の線で描かれている場合もある。このため、エッジ検出部111によって検出される駐車区画線は、「白線」に限定されるものではなく、一般に、路面との間にコントラストを有する境界線を駐車区画線として検出すればよい。
エッジ検出部111は、画像を所定方向に走査(スキャン)して、画像信号に含まれる輝度又は色のパラメータ(例えば、RGB、RGBA等)が、閾値よりも大きく変化する画素を検出し、検出した画素の並びが所定以上の長さとなっている部分をエッジとして検出する。ここでいう走査とは、所定方向に向かって1つずつ画素を選択し、隣り合った画素間で、輝度又は色のパラメータを比較していくことをいう。検出したエッジは、輝度又は色のパラメータの変化の方向(傾向)に応じて、第1のエッジ又は第2のエッジとする。
なお、走査の方向は、路面Rに描かれた駐車区画線に直交する方向に設定するのが望ましい。すなわち、図5に示すように、駐車区画線200が車両Vの進行方向(図5の矢印参照)と直交する方向に延在しているときには、俯瞰画像G(図6参照)上で進行方向に沿って走査するのが望ましい。これに対して、駐車区画線200が車両Vの進行方向に沿って延在しているときは、俯瞰画像G上で進行方向と直交する方向に走査するのが望ましい。一般には、駐車区画線200が延びている方向は未知であるため、エッジ検出部111は、俯瞰画像G上で車両Vの進行方向及びこれに直交する方向にそれぞれ沿って、2回に分けて走査することが望ましい。
そして、エッジ検出部111は、検出した複数のエッジから、隣り合った画素の輝度差又は色のパラメータ差がプラス方向に所定値よりも大きくなるエッジを第1のエッジ(「プラスエッジ」、「立上りエッジ」ともいう)として検出し、隣り合った画素の輝度差又は色のパラメータ差がマイナス方向に所定値よりも大きくなるエッジを第2のエッジ(「マイナスエッジ」、「立下がりエッジ」ともいう)として検出する。
ここで、輝度に基づいてエッジを抽出する場合は、輝度が低く暗い画素(例えば黒い画素)から、閾値よりも大きな差を持って輝度が高く明るい画素(例えば白い画素)に変化(プラス方向に変化)した画素の並びをプラスエッジとして検出する。つまり、走査位置が路面Rから駐車区画線と推定されるものに切替わったことを示す。また、輝度が高く明るい画素から、閾値よりも大きな差を持って輝度が低く暗い画素に変化(マイナス方向に変化)した画素の並びをマイナスエッジとして検出する。つまり、走査位置が駐車区画線と推定されるものから路面Rに切替わったことを示す。
これに対して、色のパラメータに基づいてエッジを抽出する場合は、路面の色のパラメータと、駐車区画線の色のパラメータとを比較する。エッジ検出部111は、色のパラメータの値が大きくなる方向に変化(マイナス方向に変化)した画素の並びをマイナスエッジとして検出し、色のパラメータの値が小さくなる方向に変化(プラス方向に変化)した画素の並びをプラスエッジとして検出する。また、路面よりも駐車区画線の輝度が低い(或いは色のパラメータが大きい)場合は、輝度や色のパラメータの変化は逆転する。いずれの場合でも駐車区画線等の境界線では、その両側縁にプラスエッジとマイナスエッジが検出されるため、後述のペアの抽出が可能である。
上記走査を複数ライン(行)分繰り返すことで、走査方向と交差する方向に連続するプラスエッジで構成される線分(画素の並び、画素列)を、プラスエッジ(第1のエッジ)の線分として抽出する。さらに連続するマイナスエッジで構成される線分(画素列)を、マイナスエッジ(第2のエッジ)の線分として抽出する。抽出したプラスエッジの線分及びマイナスエッジの線分に対して、基準長さに従って長さによるフィルタリングを行い、基準長さに満たないプラスエッジの線分及びマイナスエッジの線分を破棄する。また、長さに加えて、線分が延びる方向(角度)によってフィルタリングしてもよい。
基準長さは、例えば、車両Vの車長分(例えば5m)の長さとすることができるが、駐車区画線が短い場合等は、車長よりも短い長さとしている。角度は、車両Vの走行方向、画像を撮影したカメラ20の向き等を考慮した角度としている。図6の場合は、駐車区画線は、走行方向に対して駐車スペースに向かって略直角に延びる直線であるため、角度=90°±閾値としている。
図6に、俯瞰画像Gから検出されたプラスエッジを太実線で、マイナスエッジを太破線で模式的に示す。この図6の例では、車両V(アイコンI)の右側の駐車区画線(実際には、駐車区画線画像)K1~K4と、左側の駐車区画線k1~k4の両側縁部分の、X軸方向における走査元側にプラスエッジの線分Epが検出され、走査先側にマイナスエッジの線分Emが検出された。駐車区画線K1,K3,k4については、実際の駐車枠線よりも短いエッジが検出され、駐車区画線K2については、実際の駐車枠線よりも車両V側に突出した長いエッジが検出される。また、駐車区画線以外の部分にも、プラスエッジの線分Ep’と、マイナスエッジの線分Em’が検出される。これらは、例えば、影、光の反射、障害物の存在等によって、駐車枠線の途切れ、ノイズの線との結合、ノイズの誤検出等によるものと推測される。また、カメラ20のレンズのゆがみ補正や画像の俯瞰変換による影響で、駐車区画線の検出に誤差を生じた可能性もある。
駐車区画線検出部112は、エッジ検出部111によって検出されたエッジに基づいて、駐車区画線を検出する。より詳細には、駐車区画線検出部112は、フィルタリングの結果残った、プラスエッジの線分Ep及びマイナスエッジの線分Emの各々の始点及び終点の位置(座標)を算出する。算出した位置に基づいて、所定間隔で隣り合うプラスエッジの線分とマイナスエッジの線分を抽出し、駐車区画線を構成するエッジのペアであると判定する。例えば、プラスエッジとマイナスエッジの距離が、例えば、駐車区画線の線幅±閾値の範囲内であるときに、これらをペアと判定する。これに対して、垂直方向以外に延びる長いエッジの線分、ペアの見つからないエッジの線分はノイズとして破棄する。
図6の例では、駐車区画線K1~K4と駐車区画線k1~k4が検出される。さらに、ノイズである2対のプラスエッジの線分Ep’とマイナスエッジの線分Em’の間にも駐車区画線が検出される。
駐車枠設定部113は、駐車区画線検出部112により検出された駐車区画線を構成するエッジのペアに基づいて駐車枠を推定し、俯瞰画像G上に設定する。まず、駐車枠設定部113は、複数のペアのプラスエッジの線分及びマイナスエッジの線分の中から、駐車スペースを構成する可能性のある隣り合う2本のエッジの線分を選択する。ここで選択される2本のエッジの線分は、駐車スペースを仕切る一対の駐車区画線の左右両端を構成する線である。例えば、図6に示す駐車区画線K1のマイナスエッジの線分Emと、これに隣り合う駐車区画線K2のプラスエッジの線分Epである。
そして、駐車枠設定部113は、選択された2本のエッジの線の距離(隣り合う駐車区画線の内法寸法)を、各エッジの端点の座標値に基づいて算出し、算出された距離が所定範囲内にあるか判定する。この距離が所定の駐車スペース幅±閾値の範囲内であれば、2本のエッジの線で仕切られた領域を駐車スペースとして検出する。駐車スペース幅としては、普通自動車や小型貨物車用の駐車スペースであれば2m~3mが望ましい。大型貨物車やバス用の駐車スペースであれば、3.3m以上が望ましい。
図7に、図6に示す俯瞰画像Gから検出されたエッジに基づいて検出された駐車枠を模式的に示す。この図7に示すように、駐車区画線K1とK2の間にA2、K3とK4の間にA3、k1とk2の間にB1、k3とk4の間にB2の駐車枠が検出された。さらに、ノイズのエッジの線分(Ep’,Em’)の間にも駐車枠A1が検出された。
駐車枠B1は、実際の駐車枠に近い適切な形状(長方形)や大きさに設定されている。駐車枠B2及び駐車枠A3は、後方又は前方が変形しており、形状や大きさが実際とは多少異なっているが、駐車に影響が少なく、許容範囲内である。これに対して、駐車枠A2は、右側が車両Vに向かって大きく突出し、左側は後退して、形状や大きさが実際の駐車枠と異なっている。さらに、駐車枠A1は、実際の駐車スペースとは異なる場所に設定されている。このような駐車枠A1,A2が、車両制御ECU40に送出されたり、モニター31に表示されたりすると、駐車支援に影響したり、駐車枠の表示にゆらぎ(駐車枠が静止しておらず、微妙に移動してゆれて見えること)が生じたりすることがある。
これを回避するため、駐車枠選択部114が、駐車枠設定部113によって設定された駐車枠に対して、表示対象とするか(つまり駐車枠として記憶部120に登録するか)、或いは、表示対象外とするか(つまり駐車枠として記憶部120に登録しないか)を判定する。
本実施の形態では、(1)駐車枠の始点の位置に基づく判定と、(2)駐車枠の両側辺の長さ比に基づく判定とを行い、駐車枠として適切なもののみを選択している。なお、(2)の判定は少なくとも行えばよく、(1)の判定は必ずしも行う必要はない。この場合、演算速度を向上できる。これに対して、(1)、(2)の両判定を行うことで、駐車枠の検出精度をより向上できる。また、本実施の形態では、(1)→(2)の順で判定を行っているが、この順に限定されることはなく、(2)→(1)の順で判定を行ってもよい。連携する他のシステムとの関係、仕様、客先の要求等に応じて、所望の判定を所望の順番で行うことができる。
本明細書では、車両Vに近い側を、駐車枠の「前方」、「前」等といい、その反対側を「奥」、「後方」等という。そして、駐車枠の矩形を構成する4つの頂点(端点)、つまり、駐車区画線に沿う駐車枠の2つの両側辺のそれぞれ2つの端点のうち、車両Vに近い側の端点を「始点」といい、後方の端点を「終点」という。また、車両V側から駐車枠を見たときを基準に、左右を決定する。このため、図5の例では、車両Vの進行方向(矢印方向)に向かって右側に位置する駐車枠201と、左側に位置する駐車枠201とでは、左右が反対となる。
以下、(1)、(2)の判定の詳細について、図7を参照しながら説明する。図7は、俯瞰画像Gに、駐車枠設定部113によって検出された駐車枠A1~A3、B1~B2を仮想で描いたイメージ図であり、実際に俯瞰画像G上に駐車枠の線や端点が表示されているわけではない。
(1)駐車枠の始点の位置に基づく判定
駐車枠選択部114は、各駐車枠A1~B2の各両側辺の2つの始点の位置(座標)を算出する。そして、2つの始点のうち、少なくとも1つの位置が俯瞰画像G上の所定領域よりも離れた位置にあるとき、つまり、車両V(アイコンI)から左右方向において閾値(図7に破線で示す範囲)以上離れた位置にあるとき、当該駐車枠を表示対象外と判定する。
本実施の形態では、閾値を100pix(ピクセル)としている。画像上の100pixは、実際の3mに相当するが、これを閾値としてもよい。なお、閾値がこの数値に限定されることはなく、カメラ20の仕様や、画像の解像度等に対応させて、適宜の数値を設定できる。
図7に示す例では、駐車枠A2,A3,B1,B2については、左右の始点(L2とR2、L3とR3,l1とr1、l2とr2)は、閾値以内にあるので、表示対象外とは判定されず、これらの位置情報は記憶部120に登録されたままとなる。これに対して、駐車枠A1については、左右の始点(L1とR1)のうち、右の始点R1が、閾値以上離れた位置にある。このため、駐車枠A1は、表示対象外と判定され、その位置情報は駐車枠選択部114により記憶部120から削除される。これにより、駐車領域以外から誤検出された駐車枠A1を、駐車対象や表示対象から除去できる。
(2)駐車枠の両側辺の長さ比に基づく判定
駐車枠選択部114は、各駐車枠A1~B2の2つの始点及び終点の座標値に基づいて、一方の側辺(左側辺)及び他方の側辺(右側辺)の長さを算出し、算出した長さに基づいて、長さ比を算出する。これらの長さ比が、下記式(a)、(b)のすべてを満足する場合は、当該駐車枠を表示対象と判定する。これに対して、下記式(a)、(b)のいずれか一方でも満足しない場合は、当該駐車枠を表示対象外と判定する。
(一方の側辺の長さ/他方の側辺の長さ) 閾値 (a)
(他方の側辺の長さ/一方の側辺の長さ) 閾値 (b)
閾値は、例えば、0.4とすれば、高精度な判定が可能となるが、閾値が0.4に限定されることはなく、画像の解像度、撮影範囲等に応じて適宜の閾値を設定できる。なお、駐車枠の始点と終点は、駐車枠を構成する駐車区画線の、向かい合うプラスエッジの線分及びマイナスエッジの線分の両端点である。
また、駐車枠選択部114は、表示対象と判定した駐車枠の情報(座標値)を、駐車枠登録データ121として記憶部120に登録する。これに対して、表示対象外と判定した駐車枠については、駐車枠登録データ121として記憶部120に登録しない。
図7に示す駐車枠A2,A3について、判定手順を具体的に説明する。図7に示すように、駐車枠A3の右側辺RA3が80pix、左側辺LA3が100pixであるとする。この駐車枠A3は、下記のとおり、式(a)、(b)の何れも満足する。よって、駐車枠A3は、表示対象と判定され、その座標値が記憶部120に登録される。
RA3/LA3=80/100=0.8 > 0.4
LA3/RA3=100/80=1.25 > 0.4
これに対して、駐車枠A2の右側辺RA2が40pix、左側辺LA2が120pixであるとする。この駐車枠A2は、下記のとおり、式(a)を満足しない。よって、駐車枠A2は、表示対象外と判定され、記憶部120に登録されない。この結果、駐車支援や駐車枠の表示に影響しそうな駐車枠A2を、駐車対象や表示対象から除去できる。
RA2/LA2=40/120=0.33 < 0.4
LA2/RA2=120/40=3.0 > 0.4
表示制御部115は、モニター31に画像を表示させるための表示制御信号を、ナビゲーション装置30に送出し、モニター31を制御する。具体的には、カメラ20により撮像された車両V周辺の路面画像又はこれらを合成した俯瞰画像Gをモニター31に表示させるための表示制御信号を送出する。また、駐車枠選択部114により表示対象として選択された駐車枠を示す駐車枠画像202を、路面画像又は俯瞰画像Gに重畳して表示させるための表示制御信号を送出する。
図8(a)に、モニター31に表示される俯瞰画像Gと駐車枠画像202とを重畳した画像の例を示す。図8(a)に実線で示すように、駐車枠選択部114によって表示対象と判定された駐車枠A3,B1,B2の駐車枠画像202は、モニター31に表示される。このとき、駐車枠A3,B2については、ナビゲーション装置30によって形状が適切に補正された駐車枠画像202が表示される。これに対して、図8(a)に仮想線で示すように、駐車枠選択部114によって表示対象外とされた駐車枠A1,A2は、モニター31に表示されない。
また、エッジ検出部111、駐車区画線検出部112、駐車枠設定部113、駐車枠選択部114による駐車枠の設定と選択、及び表示制御部115による表示制御は、車両Vが走行してカメラ20で撮影される画像が更新されるたびに実行される。このため、最初に表示対象と判定された駐車枠が、次の処理の際に、影等の影響で表示対象外と判定された場合は、先に表示されていた駐車枠画像がモニター31上から消え、駐車対象からも除外されることがある。
このような事態を抑制するため、画像処理装置100では、表示対象と判定された駐車枠を、追尾(トラッキング)して、駐車枠画像202を適切に表示し続けるように制御している。すなわち、表示制御部115は、駐車枠選択部114により表示対象外と判定された場合には、すでに表示対象と判定された駐車枠を示す駐車枠画像202を、俯瞰画像Gに重畳して表示させるための表示制御信号をナビゲーション装置30に送出し、モニター31を制御する。これにより、いったん適切に駐車枠が検出されれば、その後に駐車枠が適切に検出されない場合でも、適切な駐車枠画像が表示され続けることとなり、駐車支援を適切に行えるとともに、ドライバに見づらさや違和感を与えることもない。
記憶部120は、ハードディスクドライブ等の大容量記憶媒体やROM、RAM等の半導体記憶媒体などの記憶媒体を有する。記憶部120には、制御部110における各種動作の際に用いられる各種データが一時的または非一時的に格納される。
また、前述したように、記憶部120には、駐車枠登録データ121、パラメータデータ122が格納される。パラメータデータ122として、閾値、駐車区画線の基準長さ、駐車スペース幅及びその閾値等を格納できる。さらに、駐車区画線の幅、延在方向の角度等、画像処理装置100が使用する様々なパラメータを格納できる。また、駐車支援装置1が使用される国、地域、駐車スペース(駐車枠)の形状や大きさ等に対応して、複数のパラメータを格納し、適切なパラメータを選択する構成とすることもできる。
ここで、駐車枠選択部114による駐車枠選択処理の効果を、図8、図9を参照しながら説明する。図8は、駐車枠選択処理を行った場合での、車両Vの移動に伴って変化する俯瞰画像Gと駐車枠画像202とを示す図である。図9は、同処理を行わない場合での、車両Vの移動に伴って変化する俯瞰画像Gと駐車枠画像202とを示す図である。
従来のように駐車枠選択処理を行わない場合は、図9(a)に示すように、適切に検出された駐車枠A3,B1,B2に対応する駐車枠画像202だけでなく、実際は駐車領域ではない駐車枠A1に対応する駐車枠画像202も表示される。また、始点が誤検出された駐車枠A2では、駐車枠画像202がアイコンI側に実際よりも突出して表示される。
次いで、車両Vが駐車場Pを進行して、図9(b)に示すように、駐車枠A2の横に位置したとき、影等の影響が解消され、駐車枠A2が適切に検出され、かつ駐車枠A1は検出されなかったとする。この場合、検出された駐車枠A2の駐車枠画像202が表示されるため、ドライバの眼には、駐車枠A2が引っ込んだように映る。また、駐車枠A1の駐車枠画像202は画面から消える。その後、車両Vが進行して、図9(c)のように位置したとき、再度影等の影響で駐車枠A2が、仮想線で示すように適切でない形状で検出されたとする。この場合、駐車枠画像202がアイコンI側に突出して表示され、ドライバの眼には、駐車枠A2が飛び出したように映る。このように駐車枠がゆらいで表示されてしまうと、ドライバにとって見づらい表示になり、違和感を与えるとともに、駐車支援にも影響する場合がある。
これに対して、本実施の形態のように駐車枠選択処理を行った場合には、図8(a)に示すように、駐車枠A1と駐車枠A2の駐車枠画像202は表示されず、適切に検出された駐車枠A3,B1,B2の駐車枠画像202のみが表示される。次いで、駐車枠A2が適切に検出された場合は、図8(b)に示すように、俯瞰画像G上に駐車枠A2の駐車枠画像202も適切に表示される。その後、駐車枠A2が適切でない形状で検出され、表示対象外と判定された場合は、図8(b)に示す過去の俯瞰画像Gから検出された適切な駐車枠A2の駐車枠画像202が表示され続ける(図8(c))。したがって、駐車枠がゆらいで表示されることがなく、ドライバが駐車枠を見易くなり、違和感を与えることがなく、駐車支援も高精度に行える。
(画像処理装置の動作)
次に、本実施の形態である画像処理装置100の動作の一例を図4のフローチャート及び図6~図8を参照して説明する。
図4は画像処理装置100の動作を説明するためのフローチャートである。図4のフローチャートに示す動作は、運転者が図略の自動駐車開始スイッチを操作して自動駐車開始の指示入力を行うことにより開始する。
ステップS1では、画像処理装置100の制御部110が、カメラ20により撮像された車両V周囲の路面Rの画像信号を取得する。
ステップS2では、ステップS1により取得された画像信号に基づき、制御部110がこれら画像信号を合成した信号を生成する。ステップS2において合成される信号は、あたかも車両Vの上方にカメラを設置して真下を見下ろしたような画像(俯瞰画像G)をナビゲーション装置30に表示させるための信号である。このような俯瞰画像を生成する技術は公知であり、一例として、特開平3-99952号公報や特開2003-118522号公報に開示された技術が知られている。
なお、ステップS2において画像合成作業を行わず、あるいは、次のステップS3におけるプラスエッジとマイナスエッジの抽出の後にステップS2における画像合成作業を行うこともできる。しかしながら、俯瞰画像Gを生成してからプラスエッジとマイナスエッジの抽出作業を行うほうが画像処理装置100の処理負担が低減できる。
ステップS3(エッジ検出工程)では、前述したように、エッジ検出部111がステップS2で合成した俯瞰画像Gを所定方向に走査し、画像信号に含まれる輝度に基づいて、画像中のプラスエッジ及びマイナスエッジを抽出する。
図6に示す例では、エッジ検出部111は、俯瞰画像Gを、X軸正方向に向けて走査し、画像中のプラス(+)エッジ及びマイナス(-)エッジを検出していく。この結果、図6に太実線で示すプラスエッジの線分Epと、太破線で示すマイナスエッジの線分Emが検出された。なお、X軸負方向に画素を走査した場合、プラスエッジとマイナスエッジは逆転する。また、画像信号に含まれる色のパラメータ(例えば、RGB、RGBA等)の情報に基づいてプラスエッジ、マイナスエッジを検出してもよい。この場合、所定の色の大きさ(階調)の変化に基づいてこれらを検出する。
次のステップS4では、エッジ検出部111がステップS3で検出したプラスエッジ及びマイナスエッジについて、前述したように基準長さに基づいてフィルタリングを行う。これにより、路面上での光の反射や、ゴミや汚れ等によるノイズとなる短いエッジが破棄される。このフィルタリングは、次のステップS5のペアの抽出の後に行うこともできるが、ペアの抽出の前に行ってノイズを除去することで、画像処理を高速化できる。
次のステップS5(駐車区画線検出工程)で、駐車区画線検出部は、ステップS4で検出された複数のエッジの線分から、隣接するプラスエッジの線分とマイナスエッジの線分のペアを抽出する。このとき、俯瞰画像Gに基づき路面上で隣り合うプラスエッジとマイナスエッジの距離を算出し、この距離が所定の線幅±閾値の範囲内であれば、駐車区画線を構成するエッジのペアと判定する。
次のステップS6(駐車枠設定工程)では、駐車枠設定部113が、駐車区画線を構成するエッジのペアに基づいて、前述したような手順で駐車枠及び駐車スペースを検出する。検出した駐車枠の情報(座標値)は、記憶部120に一時的に記憶される。図7に示す例では、実際の駐車枠に対応する駐車枠A2,A3,B1,B2と、実際の駐車枠ではない駐車枠A1が検出されている。
次のステップS7~S11の駐車枠選択のループ処理(駐車枠選択工程)により、駐車枠選択部114が、適切な駐車枠のみを表示対象とし、適切でない駐車枠を表示対象外として除去する。このステップS7~S13の処理は、ステップS6で検出したすべての駐車枠に対して処理を行ったと判定した場合に終了する。
まず、ステップS8で、駐車枠選択部114は、処理対象の駐車枠の2つの始点の位置(座標)を取得し、ステップS9で、2つの始点の座標が、車両V(アイコンI)から閾値以内に位置するかを判定する。閾値以内であると判定された場合(YES)、次のステップS10へと進む。
これに対して、2つの始点の座標の何れか一方でも閾値以上離れた位置にあると判定された場合(NO)、当該駐車枠は表示対象外であるとして、ステップS10~S12をスキップし、ステップS13へと進んで、次の処理すべき駐車枠があるか判定する。駐車枠がある場合は、ステップS7へ戻り、次の駐車枠に対する処理を行う。処理すべき駐車枠がない場合は、ループを終了して、ステップS14へと進む。
上記ステップS8、S9の処理により、図7に示す駐車枠A1のように、実際の駐車領域以外の場所から検出された駐車枠等が表示対象外となり、かつ、駐車枠として登録されずに破棄される。
次のステップS10では、駐車枠選択部114が、駐車枠の2つの始点と終点の座標値に基づいて、駐車枠の左側辺と右側辺の長さを算出し、長さ比(左側辺/右側辺、右側辺/左側辺)を算出する。次いで、ステップS11で、長さ比が閾値以上か判定する。
2つの長さ比がいずれも閾値以上であると判定した場合(YES)、当該駐車枠は表示対象であるとして、ステップS12へと進む。一方、長さ比のいずれか一方又は双方が閾値未満であると判定した場合(NO)、当該駐車枠を表示対象外と判定し、ステップS12をスキップし、ステップS13へと進んで、次の処理すべき駐車枠があるか判定する。駐車枠がある場合は、ステップS7へ戻り、次の駐車枠に対する処理を行う。処理すべき駐車枠がない場合は、ループを終了して、ステップS14へと進む。
このステップS11の処理により、例えば、図7の駐車枠A2のように、実際の駐車枠の形状と許容範囲以上に異なる形状で検出された駐車枠等が、表示対象外となり、かつ、駐車枠として登録されずに破棄される。
ステップS12では、表示対象とされた駐車枠(駐車スペース)を、記憶部120に登録する。具体的には、駐車枠を構成する向かい合うプラスエッジの線分の端点とマイナスエッジの線分の端点の座標値を、駐車枠の始点又は終点の座標値として、駐車枠登録データ121として記憶部120に登録する。このとき、駐車枠の少なくとも2つの始点の座標値を登録すれば、記憶容量をできるだけ少なくしつつ、駐車枠を特定できるが、4点の座標値を登録してもよい。また、駐車区画線200の角度(延在方向)、その他自動駐車処理に必要な情報を駐車枠登録データ121に加えることもできる。
次いで、ステップS13へと進んで、次の処理すべき駐車枠があるか判定する。駐車枠がある場合は、ステップS7へ戻り、次の駐車枠に対する処理を行う。処理すべき駐車枠がない場合は、ループを終了して、ステップS14へと進む。
ステップS14(表示制御工程)では、表示制御部115が、表示対象と判定され、かつ、記憶部120に登録された駐車枠を示す駐車枠画像202を、俯瞰画像Gに重畳して表示させるための表示制御信号を生成し、ナビゲーション装置30に送出する。これにより、図8(a)に示すように、駐車枠A3,B1,B2の駐車枠画像202が俯瞰画像Gに重畳された画像がモニター31に表示される。
また、記憶部120に登録された駐車枠登録データ121が、車両制御ECU40に送出され、車両Vの駐車を支援する各種処理が実行される。
以上のステップS1~S14の処理を、カメラ20から画像信号を取得するたびに繰り返す。これにより、車両Vが駐車場Pを進行して、駐車枠A3,B1,B2に加えて、駐車枠A2が適切に検出されたときは、図8(b)に示すように、駐車枠A3,B1,B2の駐車枠画像202と、駐車枠A2の駐車枠画像202が表示される。その後、車両Vが進行することで、駐車枠A3,A4,B1,B2,B3が適切に検出されると、図8(c)に示すように、これらの駐車枠画像202が俯瞰画像Gに重畳されて表示される。このとき、駐車枠A2が再度表示対象外と判定された場合でも、すでに(過去に)表示対象と判定された駐車枠画像202(図8(b)参照)が、俯瞰画像Gに重畳されて表示される。
(画像処理装置の効果)
以上のように構成された本実施の形態である画像処理装置100では、駐車区画線検出部112が、車両Vの周囲の路面を撮像するカメラ20が取得した画像から、駐車区画線を検出する。駐車枠設定部113が、検出された駐車区画線に基づいて、駐車枠を設定する。駐車枠選択部114が、設定された駐車枠の隣り合う両側辺の長さ比を算出し、長さ比が所定の範囲内にあるときは、駐車枠を表示対象と判定し、長さ比が所定の範囲外にあるときは、駐車枠を表示対象外と判定する。そして、表示制御部115が、駐車枠選択部114で表示対象と判定された駐車枠を示す駐車枠画像202を、俯瞰画像Gに重畳して表示するようにモニター31を制御する。
これにより、影、光の反射、障害物の存在、レンズのゆがみ等の影響により、適切な形状や大きさで検出されなかった駐車枠や、実際の駐車領域以外の場所から検出された駐車枠等が表示対象外となって破棄される。これに対して、適切な形状や大きさで検出された駐車枠のみが駐車に適した駐車枠として登録され、その駐車枠画像202が俯瞰画像Gと重畳してモニター31に表示される。したがって、駐車枠を見易く表示でき、また、駐車枠の検出を高精度に行うことが可能な画像処理装置100及び画像処理方法を提供できる。
また、この画像処理装置100又は画像処理方法を備えることで、駐車枠の検出や走行車線の検出を高精度に行うことが可能な駐車支援装置、駐車支援方法、走行支援装置及び走行支援方法を提供できる。
また、本実施の形態では、駐車枠選択部114は、駐車枠の一方の側辺と、他方の側辺とが、次式
(一方の側辺の長さ/他方の側辺の長さ) 閾値
(他方の側辺の長さ/一方の側辺の長さ) 閾値
のすべてを満足するとき、駐車枠を表示対象と判定し、少なくとも何れか一方を満足しないとき、駐車枠を表示対象外と判定する。これにより、駐車枠の検出精度をより向上できる。
さらに、本実施の形態では、駐車枠選択部114は、駐車枠の車両側の端点が、画像上の車両の位置から所定距離以上離れた位置にあるときは、駐車枠を表示対象外と判定する。これにより、駐車枠の検出精度をさらに向上できる。
また、本実施の形態では、表示制御部115は、駐車枠選択部114により表示対象外と判定された場合には、すでに表示対象と判定された駐車枠を示す駐車枠画像202を、俯瞰画像Gに重畳して表示するようにモニター31を制御する。これにより、駐車支援をより高精度に行えるとともに、ドライバが駐車枠を見易くなり、違和感を与えることがなく、快適な運転が可能となる。
また、本実施の形態では、エッジ検出部111が、俯瞰画像Gを所定方向に走査し、画像信号に含まれる輝度又は色のパラメータが閾値よりも大きく変化する画素を検出し、検出した画素の並びが所定以上の長さとなっている部分をエッジとして検出する。そして、駐車区画線検出部112は、エッジ検出部111により検出されたエッジに基づいて、駐車区画線を検出する。これにより、駐車区画線を高精度に検出でき、演算速度も向上する。この結果、駐車枠をより高精度、かつより高速に検出できる。
以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
例えば、上述の実施の形態である画像処理装置100では、画像の輝度や色のパラメータ(例えば、RGB、RGBA等)の情報の変化の大きさ及び変化の方向(プラス方向又はマイナス方向)に基づいてエッジを検出しているが、これらに限定されることはなく、画像信号に含まれる他の情報の変化の大きさ及び変化の方向に基づいてエッジを検出してもよい。
20 カメラ(撮像装置) 20a 前方カメラ(撮像装置)
20b 後方カメラ(撮像装置) 20c 左側方カメラ(撮像装置)
20d 右側方カメラ(撮像装置) 100 画像処理装置
111 エッジ検出部 112 駐車区画線検出部
113 駐車枠設定部 114 駐車枠選択部
115 表示制御部 200 駐車区画線
201 駐車枠 202 駐車枠画像
G 俯瞰画像(画像) R 路面
V 車両

Claims (6)

  1. 車両の周囲の路面を撮像する撮像装置が取得した画像から、駐車区画線を検出する駐車区画線検出部と、
    検出された前記駐車区画線に基づいて、駐車枠を設定する駐車枠設定部と、
    設定された前記駐車枠の隣り合う両側辺の長さ比を算出し、前記長さ比が所定の範囲内にあるときは、前記駐車枠を表示対象と判定し、前記長さ比が所定の範囲外にあるときは、前記駐車枠を表示対象外と判定する駐車枠選択部と、
    前記駐車枠選択部で表示対象と判定された前記駐車枠を示す駐車枠画像を、前記画像に重畳して表示するように表示部を制御する表示制御部と、
    を備え
    前記駐車枠選択部は、前記駐車枠の一方の側辺と、他方の側辺とが、次式
    (一方の側辺の長さ/他方の側辺の長さ) ≧ 閾値
    (他方の側辺の長さ/一方の側辺の長さ) ≧ 閾値
    のすべてを満足するとき、前記駐車枠を表示対象と判定し、少なくとも何れか一方を満足しないとき、前記駐車枠を表示対象外と判定することを特徴とする画像処理装置。
  2. 車両の周囲の路面を撮像する撮像装置が取得した画像から、駐車区画線を検出する駐車区画線検出部と、
    検出された前記駐車区画線に基づいて、駐車枠を設定する駐車枠設定部と、
    設定された前記駐車枠の隣り合う両側辺の長さ比を算出し、前記長さ比が所定の範囲内にあるときは、前記駐車枠を表示対象と判定し、前記長さ比が所定の範囲外にあるときは、前記駐車枠を表示対象外と判定する駐車枠選択部と
    前記駐車枠選択部で表示対象と判定された前記駐車枠を示す駐車枠画像を、前記画像に重畳して表示するように表示部を制御する表示制御部と、
    を備え、
    前記駐車枠選択部は、前記駐車枠の車両側の端点が、前記画像上の前記車両の位置から所定距離以上離れた位置にあるときは、前記駐車枠を表示対象外と判定することを特徴とする画像処理装置。
  3. 前記表示制御部は、前記駐車枠選択部により表示対象外と判定された場合には、すでに表示対象と判定された前記駐車枠を示す前記駐車枠画像を、前記画像に重畳して表示するように前記表示部を制御することを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記画像を所定方向に走査し、前記画像の画像信号に含まれる輝度又は色のパラメータが閾値よりも大きく変化する画素を検出し、検出した前記画素の並びが所定以上の長さとなっている部分をエッジとして検出するエッジ検出部、を備え、前記駐車区画線検出部は、前記エッジ検出部により検出された前記エッジに基づいて、前記駐車区画線を検出することを特徴とする請求項1~のいずれか一項に記載の画像処理装置。
  5. 車両の周囲の路面を撮像する撮像装置が取得した画像から、駐車区画線を検出する駐車区画線検出工程と、
    検出された前記駐車区画線に基づいて、駐車枠を設定する駐車枠設定工程と、
    設定された前記駐車枠の隣り合う両側辺の長さ比を算出し、前記長さ比が所定の範囲内にあるときは、前記駐車枠を表示対象と判定し、前記長さ比が所定の範囲外にあるときは、前記駐車枠を表示対象外と判定する駐車枠選択工程と、
    前記駐車枠選択工程で表示対象と判定された前記駐車枠を示す駐車枠画像を、前記画像に重畳して表示させるための表示制御信号を送出する表示制御工程と、
    を含み、
    前記駐車枠選択工程は、前記駐車枠の一方の側辺と、他方の側辺とが、次式
    (一方の側辺の長さ/他方の側辺の長さ) ≧ 閾値
    (他方の側辺の長さ/一方の側辺の長さ) ≧ 閾値
    のすべてを満足するとき、前記駐車枠を表示対象と判定し、少なくとも何れか一方を満足しないとき、前記駐車枠を表示対象外と判定することを特徴とする画像処理方法。
  6. 車両の周囲の路面を撮像する撮像装置が取得した画像から、駐車区画線を検出する駐車区画線検出工程と、
    検出された前記駐車区画線に基づいて、駐車枠を設定する駐車枠設定工程と、
    設定された前記駐車枠の隣り合う両側辺の長さ比を算出し、前記長さ比が所定の範囲内にあるときは、前記駐車枠を表示対象と判定し、前記長さ比が所定の範囲外にあるときは、前記駐車枠を表示対象外と判定する駐車枠選択工程と、
    前記駐車枠選択工程で表示対象と判定された前記駐車枠を示す駐車枠画像を、前記画像に重畳して表示させるための表示制御信号を送出する表示制御工程と、
    を含み、
    前記駐車枠選択工程は、前記駐車枠の車両側の端点が、前記画像上の前記車両の位置から所定距離以上離れた位置にあるときは、前記駐車枠を表示対象外と判定することを特徴とする画像処理方法。
JP2020021396A 2020-02-12 2020-02-12 画像処理装置及び画像処理方法 Active JP7466324B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020021396A JP7466324B2 (ja) 2020-02-12 2020-02-12 画像処理装置及び画像処理方法
CN202110127090.0A CN113327201A (zh) 2020-02-12 2021-01-29 图像处理装置及图像处理方法
EP21155617.0A EP3866059A1 (en) 2020-02-12 2021-02-05 Image processor and image processing method
US17/171,162 US11620908B2 (en) 2020-02-12 2021-02-09 Image processor and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020021396A JP7466324B2 (ja) 2020-02-12 2020-02-12 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2021129157A JP2021129157A (ja) 2021-09-02
JP7466324B2 true JP7466324B2 (ja) 2024-04-12

Family

ID=74556832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020021396A Active JP7466324B2 (ja) 2020-02-12 2020-02-12 画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US11620908B2 (ja)
EP (1) EP3866059A1 (ja)
JP (1) JP7466324B2 (ja)
CN (1) CN113327201A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708571A (zh) * 2022-03-07 2022-07-05 深圳市德驰微视技术有限公司 基于域控制器平台的自动泊车的停车位标注方法及装置
CN116931532B (zh) * 2023-09-15 2023-12-05 深圳市今天国际智能机器人有限公司 运输车辆自动装卸车方法、***、计算机设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011051403A (ja) 2009-08-31 2011-03-17 Fujitsu Ltd 駐車支援装置
JP2012105033A (ja) 2010-11-10 2012-05-31 Suzuki Motor Corp 駐車支援装置
JP2013154730A (ja) 2012-01-30 2013-08-15 Fujitsu Ten Ltd 画像処理装置、画像処理方法、及び、駐車支援システム
WO2014083824A1 (ja) 2012-11-27 2014-06-05 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
JP2014107689A (ja) 2012-11-27 2014-06-09 Clarion Co Ltd 車載画像処理装置
JP2016016681A (ja) 2014-07-04 2016-02-01 クラリオン株式会社 駐車枠認識装置
US20160034768A1 (en) 2014-08-04 2016-02-04 Hyundai Mobis Co., Ltd. Around view monitoring apparatus and method thereof
WO2017068701A1 (ja) 2015-10-22 2017-04-27 日産自動車株式会社 駐車スペース検出方法および装置
JP2018077705A (ja) 2016-11-10 2018-05-17 株式会社デンソー 駐車枠認識装置
JP2019206208A (ja) 2018-05-28 2019-12-05 株式会社デンソーテン 画像認識装置、画像認識方法、及び駐車支援システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0399952A (ja) 1989-09-12 1991-04-25 Nissan Motor Co Ltd 車両用周囲状況モニタ
JP3943363B2 (ja) 2001-10-18 2007-07-11 クラリオン株式会社 駐車支援装置
JP6094266B2 (ja) 2013-02-28 2017-03-15 アイシン精機株式会社 駐車支援装置、駐車支援方法およびプログラム
CN106897655A (zh) * 2015-12-18 2017-06-27 富士通株式会社 停车位的检测装置、方法以及图像处理设备
KR102360158B1 (ko) * 2017-03-07 2022-02-09 현대자동차주식회사 주차구획 인식 장치 및 방법
US20200307616A1 (en) * 2019-03-26 2020-10-01 DENSO TEN AMERICA Limited Methods and systems for driver assistance
CN110414355A (zh) * 2019-06-27 2019-11-05 沈阳工业大学 基于视觉的右方位空停车位与泊车过程中车位线检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011051403A (ja) 2009-08-31 2011-03-17 Fujitsu Ltd 駐車支援装置
JP2012105033A (ja) 2010-11-10 2012-05-31 Suzuki Motor Corp 駐車支援装置
JP2013154730A (ja) 2012-01-30 2013-08-15 Fujitsu Ten Ltd 画像処理装置、画像処理方法、及び、駐車支援システム
WO2014083824A1 (ja) 2012-11-27 2014-06-05 日産自動車株式会社 車両用加速抑制装置及び車両用加速抑制方法
JP2014107689A (ja) 2012-11-27 2014-06-09 Clarion Co Ltd 車載画像処理装置
JP2016016681A (ja) 2014-07-04 2016-02-01 クラリオン株式会社 駐車枠認識装置
US20160034768A1 (en) 2014-08-04 2016-02-04 Hyundai Mobis Co., Ltd. Around view monitoring apparatus and method thereof
WO2017068701A1 (ja) 2015-10-22 2017-04-27 日産自動車株式会社 駐車スペース検出方法および装置
JP2018077705A (ja) 2016-11-10 2018-05-17 株式会社デンソー 駐車枠認識装置
JP2019206208A (ja) 2018-05-28 2019-12-05 株式会社デンソーテン 画像認識装置、画像認識方法、及び駐車支援システム

Also Published As

Publication number Publication date
JP2021129157A (ja) 2021-09-02
CN113327201A (zh) 2021-08-31
US11620908B2 (en) 2023-04-04
US20210248909A1 (en) 2021-08-12
EP3866059A1 (en) 2021-08-18

Similar Documents

Publication Publication Date Title
JP5132249B2 (ja) 車載用撮像装置
JP5233583B2 (ja) 車載用監視装置
JP4707109B2 (ja) 複数カメラ撮影画像処理方法及び装置
US8477191B2 (en) On-vehicle image pickup apparatus
JP7296768B2 (ja) 画像処理装置及び画像処理方法
CN111563405B (zh) 图像处理装置和图像处理方法
JP4772409B2 (ja) 画像表示システム
JP7482054B2 (ja) 画像処理装置及び画像処理方法
JP7466324B2 (ja) 画像処理装置及び画像処理方法
US11967158B2 (en) Image processor and image processing method
US11610317B2 (en) Image processor and image processing method
JP7426174B2 (ja) 車両周囲画像表示システム及び車両周囲画像表示方法
JP7246167B2 (ja) 画像処理装置及び画像処理方法
US11769338B2 (en) Image processor and image processing method
JP7446851B2 (ja) 画像処理装置及び画像処理方法
JP2020194470A (ja) 画像処理装置及び画像処理方法
JP7446830B2 (ja) 画像処理装置及び画像処理方法
JP4545485B2 (ja) 停車位置検出装置
JP7453008B2 (ja) 画像処理装置及び画像処理方法
JP2005335573A (ja) ハンドル中立位置検出方法及びハンドル中立位置検出装置
JP2009107411A (ja) 車載撮像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240402

R150 Certificate of patent or registration of utility model

Ref document number: 7466324

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150