JP2019174975A - 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体 - Google Patents

識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体 Download PDF

Info

Publication number
JP2019174975A
JP2019174975A JP2018060306A JP2018060306A JP2019174975A JP 2019174975 A JP2019174975 A JP 2019174975A JP 2018060306 A JP2018060306 A JP 2018060306A JP 2018060306 A JP2018060306 A JP 2018060306A JP 2019174975 A JP2019174975 A JP 2019174975A
Authority
JP
Japan
Prior art keywords
point
feature points
distance information
identification
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018060306A
Other languages
English (en)
Inventor
岩井 浩
Hiroshi Iwai
岩井  浩
柴田 修
Osamu Shibata
修 柴田
哲郎 奥山
Tetsuro Okuyama
哲郎 奥山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018060306A priority Critical patent/JP2019174975A/ja
Priority to US16/365,301 priority patent/US20190304123A1/en
Publication of JP2019174975A publication Critical patent/JP2019174975A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】対象と空間との境界を精度良く識別すること。【解決手段】第一の地点から対象の複数の特徴点までの第一の距離情報および前記第一の地点とは異なる第二の地点から複数の前記特徴点までの第二の距離情報の入力を受け付ける入力部と、前記第一の距離情報および前記第二の距離情報に基づいて、前記対象と空間との境界を識別する識別部と、を備える識別装置。【選択図】図3

Description

本開示は、識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体に関する。
従来、2台のカメラを用いて3次元モデルを生成するシステムが知られている。
特開2016−162034号公報
ところで、近年、自動駐車システムが普及している。自動駐車システムでは、自車を駐車するスペースの有無を精度良く検知することが重要である。そのためには、駐車車両(対象)と空間との境界を精度良く識別することが求められる。
また、光飛行時間測距法(以下、「TOF(Time of Flight)方式」という)を用いた測距法が知られている。TOF方式で自車両から駐車車両までの距離を求め、駐車車両と空間との境界を識別しようとする場合、自車両から駐車車両までの距離を精度良く推定することが重要となる。
本開示の目的は、対象と空間との境界を精度良く識別することである。
本開示の一形態は、第一の地点から対象の複数の特徴点までの第一の距離情報および前記第一の地点とは異なる第二の地点から複数の前記特徴点までの第二の距離情報の入力を受け付ける入力部と、前記第一の距離情報および前記第二の距離情報に基づいて、前記対象と空間との境界を識別する識別部と、を備える識別装置である。
なお、本開示の一形態は、方法、プログラムおよびプログラムを記録した一時的でない有形の記録媒体のいずれかであってもよい。
本開示によれば、対象と空間との境界を精度良く識別することができる。
識別装置を含む運転支援システムの構成を示すブロック図 出射光および戻り光の状態を示す図 光飛行時間測距法の概要を示す図 測距処理および識別処理の一例を示すフローチャート 撮像装置により駐車車両を撮像して得られた距離画像の一例を示す図 1台の駐車車両に隣接するスペースを検知する様子を示す図 1台の駐車車両に隣接するスペースを検知する様子を示す図 1台の駐車車両に隣接するスペースを検知する様子を示す図 1台の駐車車両に隣接するスペースを検知する様子を示す図 1台の駐車車両に隣接するスペースを検知する様子を示す図 1台の駐車車両に隣接するスペースを検知する様子を示す図 2台の駐車車両の間のスペースを検知する様子を示す図 2台の駐車車両の間のスペースを検知する様子を示す図 2台の駐車車両の間のスペースを検知する様子を示す図 2台の駐車車両の間のスペースを検知する様子を示す図 2台の駐車車両の間のスペースを検知する様子を示す図 2台の駐車車両の間のスペースを検知する様子を示す図 2台の駐車車両の間のスペースを検知する様子を示す図 2台の駐車車両の間のスペースを検知する様子を示す図 2台の駐車車両の間のスペースを検知する様子を示す図 2台の駐車車両の間のスペースを検知する様子を示す図 2台の駐車車両の間のスペースを検知する様子を示す図 2台の駐車車両の間のスペースを検知する様子を示す図
以下、本開示の一実施形態に係る識別装置100が搭載された周辺監視システム1について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は一例であり、本開示はこの実施形態により限定されるものではない。
周辺監視システム1は例えば車両Vに搭載される。以下、周辺監視システム1は、車両Vの側方を監視するものとして説明を続けるが、車両Vの側方以外(前方、後方または全周囲方向)を監視してもよい。
周辺監視システム1は、図1に示すように、光源210および画像センサ220を一体化した撮像装置200と、識別装置100とを備える。
撮像装置200は、例えば、車両Vの側面に、車両Vの進行方向と直交する向きに取り付けられる(図5Aを参照)。なお、撮像装置200の取り付け位置は、車両Vの側面には限定されない。また、撮像装置200の取り付け向きは、車両Vの進行方向と直交する向きには限定されない。
光源210は、撮像範囲に向けて、パルスや正弦波等の周期をもった不可視光(例えば、赤外光や近赤外光)を出射可能に取り付けられている。
画像センサ220は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサであって、光源210と概ね同じ場所に、自身の光軸が車両Vの進行方向と直交する方向に延在するように取り付けられる。
識別装置100は、例えばECU(Electronic Control Unit)であって、車両Vの側方監視を制御するために、制御基板上に実装された入力端子、出力端子、プロセッサ、プログラムメモリおよびメインメモリを含む。
プロセッサは、プログラムメモリに格納されたプログラムを、メインメモリを用いて実行して、入力端子を介して受け取った各種信号を処理するとともに、出力端子を介して光源210および画像センサ220に各種制御信号を出力する。
識別装置100は、プロセッサがプログラムを実行することで、図1に示すように、撮像制御部110、測距部120、識別部130、記憶部140等として機能する。
撮像制御部110は、光源210からの出射光の諸条件(具体的には、パルス幅、パルス振幅、パルス間隔、パルス数等)を制御すべく、光源210に対して制御信号を出力する。
また、撮像制御部110は、画像センサ220における戻り光の受光の諸条件(具体的には、露光時間、露光タイミング、露光回数等)を制御すべく、画像センサ220に含まれる周辺回路に対して制御信号を出力する。
上記露光制御等により、画像センサ220は、所定周期(所定フレームレート)で、撮像範囲に関する赤外画像信号および距離画像信号を識別装置100に出力する。
画像センサ220から識別装置100に出力される距離画像における各画素には、TOF方式により導出された距離情報が含まれている。なお、図2Aは、ターゲットTまでの距離dtを導出する際の出射光および戻り光の状態を示す模式図である。
ここで、TOF方式による測距の一例について説明する。光源210からの出射光は、図2Bに示すように、単位周期において、第一パルスPaと、第二パルスPbとを少なくとも一組含む。これらのパルス間隔(すなわち、第一パルスPaの立ち下がりエッジから第二パルスPbの立ち上がりエッジまでの時間)は、Gaである。また、これらのパルス振幅は互いに等しくSaとし、これらのパルス幅は互いに等しくWaとする。
画像センサ220は、撮像制御部110により、第一パルスPaおよび第二パルスPbの出射タイミングに基づくタイミングで露光するように制御される。具体的には、画像センサ220は、図2Bに例示するように、光源210からの出射光が撮像範囲のターゲットTで反射されて戻ってきた不可視光に対して、第一露光、第二露光および第三露光を行う。
第一露光は、第一パルスPaの立ち上がりと同時に始まり、光源210からの出射光との関係で予め設定される露光時間Tx後に終了する。このような第一露光は、第一パルスPaに対する戻り光成分を受光することを目的としている。
第一露光による画像センサ220の出力Oaは、斜格子状のハッチングを付した戻り光成分Sと、ドットのハッチングを付した背景成分BGとを含む。戻り光成分Sの振幅は、第一パルスPaの振幅よりも小さい。
ここで、第一パルスPaおよびその戻り光成分Sの各立ち上がりエッジの時間差をΔtとする。Δtは、撮像装置200から物標Tまでの距離dtを、不可視光が往復するのに要する時間である。
第二露光は、第二パルスPbの立ち下がりと同時に始まり、露光時間Tx後に終了する。このような第二露光は、第二パルスPbに対する戻り光成分を受光することを目的としている。
第二露光による画像センサ220の出力Obは、全ての戻り光成分ではなく部分的な戻り光成分S(斜格子状のハッチング部分を参照)と、ドットのハッチングを付した背景成分BGとを含む。
なお、上記成分Sは、次の式(1)で表せる。
=S×(Δt/Wa) …(1)
第三露光は、第一パルスPaおよび第二パルスPbの戻り光成分を含まないタイミングで始まり、露光時間Tx後に終了する。このような第三露光は、戻り光成分と無関係な不可視光成分である背景成分BGのみを受光することを目的としている。
第三露光による画像センサ220の出力Ocは、ドットのハッチングを付した背景成分BGのみを含む。
上記のような出射光と戻り光との関係から、撮像装置200からターゲットTまでの距離dtは、次の式(2)〜(4)により導出することができる。
=Oa−BG …(2)
=Ob−BG …(3)
dt=c×(Δt/2)={(c×Wa)/2}×(Δt/Wa)={(c×Wa)/2}×(S/S) …(4)
ここで、cは光速である。
また、本実施形態では、画像センサ220は、隣接する複数の画素の情報を加算して画像信号を生成する、いわゆる格子変換を行う。ただし、本開示において、隣接する複数の画素の情報を加算して画像信号を生成することは必須ではない。
測距部120は、画像センサ220から受け取った赤外画像または距離画像から、車両Vの側方に位置する駐車車両の特徴点を抽出するとともに、距離画像において特徴点に対応する画素を特定し、距離画像に含まれる距離情報に基づいて特徴点までの距離を導出する。なお、特徴点は、所定のルールにしたがって予め定められる点であり、例えば車両であれば、ヘッドライト、ドアノブ等、光波の反射率が高い部位およびこれらの部位から所定の距離だけ離れた部位等である。
識別部130は、測距部120で導出された特徴点までの距離に基づいて、駐車可能スペースを識別する。
記憶部140は、測距処理や識別処理で用いられる各種情報を記憶する。
周辺監視システム1からは、駐車可能スペースに関する信号等が出力される。このような情報は、例えばADAS(Advanced Driver Assistance System) ECUに送信される。ADAS ECUは、これらの情報を用いて、車両Vの自動駐車を行う。
次に、識別装置100の測距部120および識別部130において行われる測距処理および識別処理について、図3のフローチャートを参照して詳細に説明する。
まず、ステップS1で、測距部120は、画像センサ220から受け取った赤外画像または距離画像から駐車車両Pの複数の特徴点Ci(i=1〜N:Nは自然数)を抽出し、距離画像において特徴点Ciに対応する画素Piを特定する。なお、ステップS1の処理を実行する時点で、車両Vは第一の地点に存在している。また、ステレオカメラの場合と異なり、TOFカメラの場合には、赤外画像と距離画像間で物標の画素ずれが生じない。そのため、いずれの画像から特徴点Ciを抽出しても画面上の画素位置は同一であり、本実施形態で説明する効果は何ら変わりがないことは当然のことである。
続くステップS2で、測距部120は、ステップS1において特定した画素Piが有する距離情報に基づいて、車両Vから特徴点Ciまでの距離を導出する。なお、以下の説明において、「車両Vから特徴点Ciまでの距離」とは、「撮像装置200から特徴点Ciまでの距離」と同じ意味である。
なお、本実施形態では、画素Piが有する距離情報および距離画像において画素Piの上下に存在する複数の画素が有する距離情報を用いて、車両Vから特徴点Ciまでの距離を導出するようにしている。
これは以下の理由による。図4に示す撮像装置200により駐車車両Pを撮像して得られた距離画像において、特徴点Ciに対応する画素Piが有する距離情報には、出射部210から出射される光波の強さや駐車車両Pからの反射波の強さに起因する誤差が含まれる。
そのため、画素Piと概同一の距離情報を持つと考えられる画素Piの上下に存在する複数の画素Pi1〜Pi6の距離情報を併せて用いることで、車両Vから特徴点Ciまでの距離を、所定の範囲を有するものとして捉えるようにしている。なお、物標の座標系に対して画像センサの座標系が一致しない場合には、ヨー、ピッチ、ロールを補正して座標系を合わせた上で、特徴点Ciに対応する画素Piの上下に位置する画素を抽出する際に、最も近い画素を選択してもよいし、周辺画素の情報から推定してもよいことはもちろんのことである。
ステップS2に続くステップS3で、測距部120は、車両Vが上述の第一の地点から、所定の第二の地点に移動したか否かを判定する。
ステップS3で、車両Vが第二の地点に移動していないと判定された場合(ステップS3:NO)、ステップS3の処理を繰り返す。
一方、ステップS3で、車両Vが第二の地点に移動したと判定された場合(ステップS3:YES)、処理はステップS4へ進む。
ステップS4で、測距部120は、画像センサ220から受け取った赤外画像または距離画像において、駐車車両Pの特徴点Ciに対応する画素Piを特定する。
続くステップS5で、測距部120は、ステップS4で特定した画素Piが有する距離情報に基づいて、車両Vから特徴点Ciまでの距離を導出する。この際も、ステップS2と同様に、測距部120は、画素Piおよび距離画像において画素Piの上下に存在する複数の画素の距離情報を用いる。
続くステップS6で、識別部130は、測距部120で導出された第一の地点における車両Vから駐車車両Pの特徴点Ciまでの距離と、第二の地点における車両Vから駐車車両Pの特徴点Ciまでの距離とに基づいて、駐車車両Pと空間との境界を識別する。駐車車両Pと空間との境界を識別する方法については、後述する具体例において詳細に説明する。
続くステップS7で、識別部130は、駐車可能スペースを決定する。
次に、識別装置100によって行われる駐車可能スペースの決定の第一具体例について、図5A〜図5Fを参照して説明する。図5A〜図5Fは、駐車場内を移動する車両Vが駐車可能スペースを検出する様子を示す天頂図である。以下に説明する第一具体例では、車両Vの側方に1台の駐車車両Pが存在する状況で、車両Vが前進する際に、駐車車両Pに隣接する駐車可能スペースを決定するものとする。
図5Aに示すように、車両Vの側方に向けて光波が出射される。図5Aおよび図5Cでは、光波の出射された領域がハッチングを付して示されている。例えば、撮像装置200から出射される光波の水平方向のFOV(Field of View)は120°である。なお、このようなFOVは任意に設定することができる。
図5Aの状態では、車両Vが前進中で第一の地点におり、車両Vの進行方向に対して右斜め前方に駐車車両Pが駐車している。撮像装置200から出射された光波は、駐車車両Pの前面および左側面で反射する。
測距部120は、撮像装置200により得られた赤外画像または距離画像から、駐車車両Pの前面および左側面の特徴点C1〜C9を抽出し、特徴点C1〜C9に対応する画素PC1〜PC9を決定する。
なお、C3は、駐車車両Pの左側面の撮像装置200からみて手前側端に対応する特徴点であり、C9は、駐車車両Pの左側面の撮像装置200からみて奥側端に対応する特徴点である。
続いて、測距部120は、距離画像を用いて、車両Vから特徴点C1〜C9までの距離を導出する。具体的には、測距部120は、特徴点C1〜C9に対応する画素PC1〜PC9および距離画像においてこれらの画素の上下方向に存在する複数の画素が有する距離情報に基づいて、車両Vから特徴点C1〜C9までの距離を導出する。このようにして導出された車両Vから特徴点C1〜C9までの距離は、所定の範囲を有する値である。
続いて、測距部120は、導出された車両Vから特徴点C1〜C9までの距離をもとに、特徴点C1〜C9の位置(第一の推定位置)を推定する。図5Bは、特徴点C1〜C9の第一の推定位置を天頂図上にプロットしたものである。図5Bに示すように、特徴点C1〜C9の第一の推定位置は、線分L1C1〜L1C9として表される。各画素の距離情報にはショットノイズ等の雑音成分が含まれるため、実際の距離に対して誤差が含まれることになる。特徴点の上下方向に存在する画素は、撮像装置200からの方位角が等しいため、それらのうち最小距離となる画素と、最大距離となる画素とを結ぶことで、各線分L1C1〜L1C9を得ることができる。
車両Vが前進を続け、第二の地点に到達すると(図5C)、測距部120は、撮像装置200により得られた赤外画像または距離画像において、C1〜C9に対応する画素PC1〜PC9を決定する。なお、車両Vが第一の地点から第二の地点まで移動した際の移動量は、例えば車両Vの車速情報と舵角情報から算出してもよいことはもちろんのことである。また、それ以外にも、上述の移動量は、ミリ波レーダ、ソナー、カメラ等のセンサから推定してもよく、また、TOFカメラの画像情報から推定してもよいことは言うまでもない。
そして、測距部120は、距離画像を用いて、車両Vから特徴点C1〜C9までの距離を導出する。具体的には、測距部120は、特徴点C1〜C9に対応する画素PC1〜PC9および距離画像においてこれらの画素の上下方向に存在する複数の画素が有する距離情報に基づいて、車両Vから特徴点C1〜C9までの距離を導出する。このようにして導出された車両Vから特徴点C1〜C9までの距離は、所定の範囲を有する値である。
なお、第一具体例では、第二の地点は、撮像装置200、特徴点C3および特徴点C9が一直線上に存在しない地点である。換言すると、第二の地点は、撮像装置200から出射された光波が駐車車両Pの側面で反射する範囲に存在する。この場合、第二の地点は、車両Vに搭載したTOFカメラが、駐車車両Pの左側輪郭が存在する位置よりも手前となる位置である。このことは、駐車スペースを探索する際に、対象となる駐車車両を通過するよりも以前に駐車車両の輪郭を精度良く推定できることを意味している。つまり、自動駐車する際に車両制御を適用するタイミングを、対象となる駐車車両に至る以前の時刻に設定することができ、自動駐車の車両制御に関する設定の自由度を飛躍的に高めることが期待できる。
続いて、測距部120は、導出された車両Vから特徴点C1〜C9までの距離をもとに、特徴点C1〜C9の位置(第二の推定位置)を推定する。図5Dは、特徴点C1〜C9の第二の推定位置を天頂図上にプロットしたものである。特徴点C1〜C9の第二の推定位置は、線分L2C1〜L2C9として表される。
識別部130は、上述のようにして導出した第一の地点における撮像装置200から特徴点C1〜C9までの距離と、第二の地点における撮像装置200から特徴点C1〜C9までの距離とに基づいて、駐車車両Pと空間との境界を識別する。
例えば、図5Bと図5Dとを重ね合わせることで、図5Eが得られる。図5Bにおいて特徴点C1〜C9の第一の推定位置を示す線分L1C1〜L1C9と、図5Dにおいて特徴点C1〜C9の第二の推定位置を示す線分L2C1〜L2C9とは、図5Eに示すように交点IC1〜IC9でそれぞれ交差する。
識別部130は、図5Bにおいて特徴点C1を示す線分L1C1と、図5Dにおいて特徴点C1を示す線分L2C1との交点IC1を、特徴点C1の位置であると決定する。特徴点C2〜C9の位置についても同様である。
そして、識別部130は、上述の手順で決定された特徴点C1〜C9の位置を結ぶことにより、駐車車両Pと空間との境界を決定する。また、特徴点C9は撮像装置200からみて駐車車両Pの奥側端に対応する特徴点である。そのため、識別部130は、特徴点C9に基づいて駐車車両Pの後面を決定する。
図5Fには、駐車車両Pの前面、左側面および後面が決定された様子が描かれている。このように、駐車車両Pの左側面からの反射光を十分に得られる第一の地点および第二の地点での測距情報を用いることで、駐車車両Pの左側面を精度良く決定することができる。なお、駐車車両Pの右側面についても、左側面を決定したのと同様の手順により決定することができる。具体的には、車両Vが前進を続け、撮像装置200が駐車車両Pの右側面を超えて到達した地点(第一の地点)における測距情報と、車両Vがさらに前進を続けて到達した地点(第二の地点)における測距情報とを用いることで、駐車車両Pの右側面を決定することができる。
このようにして、駐車車両Pの輪郭(駐車車両Pと空間との境界)が決定されると、さらに、識別部130は、TOFカメラからの情報に基づいて、駐車車両Pの左側および/または右側に、車両Vが乗り越えられない障害物がないことを検知する。さらに、識別部130は、駐車車両Pの左側および/または右側に、車両Vが駐車可能な、例えば平面視で長方形のスペース(すなわち、車両Vが入る空間)が存在することを検知する。以上のようにして、最終的に、識別部130は、駐車車両Pの左側および/または右側に隣接する駐車可能スペースを決定する。
次に、識別装置100によって行われる駐車可能スペースの決定の第二具体例について、図6A〜図6Hを参照して説明する。図6A〜図6Hは、駐車場内を移動する車両Vが駐車可能スペースを検出する様子を示す天頂図である。以下に説明する第二具体例では、車両Vの側方に2台の駐車車両P1およびP2が間隔を空けて存在する状況で、車両Vが前進する際に、駐車車両P1と駐車車両P2との間の駐車可能スペースを決定するものとする。
図6Aに示すように、車両Vの側方に向けて光波が出射される。図6A、図6C、図6Gおよび図6Iでは、光波の出射された領域がハッチングを付して示されている。例えば、撮像装置200から出射される光波の水平方向のFOV(Field of View)は120°である。なお、このようなFOVは任意に設定することができる。
図6Aの状態では、車両Vが前進中で駐車車両P1に対する第一の地点におり、車両Vの進行方向に対して右斜め前方に駐車車両P1が駐車している。さらに、駐車車両P1の右側に、間隔を空けて駐車車両P2が駐車している。撮像装置200から出射された光波は、駐車車両P1の前面および左側面で反射する。
測距部120は、撮像装置200により得られた赤外画像または距離画像から、駐車車両P1の前面および左側面の特徴点C1〜C9を抽出し、特徴点C1〜C9に対応する画素PC1〜PC9を決定する。
なお、C3は、駐車車両P1の左側面の撮像装置200からみて手前側端に対応する特徴点であり、C9は、駐車車両P1の左側面の撮像装置200からみて奥側端に対応する特徴点である。
続いて、測距部120は、距離画像を用いて、車両Vから特徴点C1〜C9までの距離を導出する。具体的には、測距部120は、特徴点C1〜C9に対応する画素PC1〜PC9および距離画像においてこれらの画素の上下方向に存在する複数の画素が有する距離情報に基づいて、車両Vから特徴点C1〜C9までの距離を導出する。このようにして導出された車両Vから特徴点C1〜C9までの距離は、所定の範囲を有する値である。
続いて、測距部120は、導出された車両Vから特徴点C1〜C9までの距離をもとに、特徴点C1〜C9の位置(第一の推定位置)を推定する。図6Bは、特徴点C1〜C9の第一の推定位置を天頂図上にプロットしたものである。図6Bに示すように、特徴点C1〜C9の第一推定位置は、線分L1C1〜L1C9として表される。なお、この時点では、ハッチングを付したエリアA1が駐車禁止エリアとして設定される。
車両Vが前進を続けると、駐車車両P1の右側面の略延長線上に撮像装置200が存在する状態となる(図6C)。本例では、このような地点を駐車車両P1に対する第二の地点として扱う。このような状態となったことは、撮像装置200からみて奥行き方向の距離情報が得られたことにより判断することができる。
測距部120は、撮像装置200により得られた赤外画像または距離画像から、駐車車両P1の前面および右側面の特徴点C1〜C3およびC10〜C15を抽出し、特徴点C1〜C3およびC10〜C15に対応する画素PC1〜PC3およびPC10〜PC15を決定する。なお、この状態で、撮像装置200により得られた赤外画像または距離画像において、特徴点C10〜C15は、特徴点C1と重なっているか、特徴点C1のごく近傍に存在することになる。
測距部120は、距離画像を用いて、車両Vから特徴点C1〜C3およびC10〜C15までの距離を導出する。具体的には、測距部120は、特徴点C1〜C3およびC10〜C15に対応する画素PC1〜PC3およびP2iC10〜PC15および距離画像においてこれらの画素の上下方向に存在する複数の画素が有する距離情報に基づいて、車両Vから特徴点C1〜C3およびC10〜C15までの距離を導出する。このようにして導出された車両Vから特徴点C1〜C3およびC10〜C15までの距離は、所定の範囲を有する値である。
続いて、測距部120は、導出された車両Vから特徴点C1〜C3およびC10〜C15までの距離をもとに、特徴点C1〜C3およびC10〜C15の位置(第二の推定位置)を推定する。図6Dは、特徴点C1〜C3およびC10〜C15の第二の推定位置を天頂図上にプロットしたものである。
第二具体例では、特徴点C3、C10〜C15が略一直線上に存在する状態を第二の地点とすることで、図6Dに示すように、特徴点C3、C10〜C15を結んだ境界ラインLRが決定される。このような境界ラインLRは、駐車車両P1の右側面に相当する。
識別部130は、上述のようにして導出した第一の地点における車両Vから特徴点C1〜C9までの距離と、第二の地点における車両Vから特徴点C1〜C3およびC10〜C15までの距離とに基づいて、駐車車両P1と空間との境界を識別する。
例えば、図6Bと図6Dとを重ね合わせることで、図6Eが得られる。図6Bにおいて特徴点C2、C3の第一の推定位置を示す線分L1C2、L1C3と、図6Dにおいて特徴点C2、C3の第二の推定位置を示す線分L2C2、L2C3とは、図6Eに示すように交点IC2、IC3でそれぞれ交差する。
また、図6Bにおいて特徴点C1の第一の推定位置を示す線分L1C1と、図6Dにおいて駐車車両P1の右側面を示す境界ラインLRとは、図6Eに示すように交点IC1で交差する。
識別部130は、線分L1C2、L1C3と線分L2C2、L2C3との交点および線分L1C1と境界ラインLRとの交点を結ぶことにより、駐車車両P1と空間との境界を決定する。図6Fには、駐車車両P1の前面および右側面が決定された様子が描かれている。なお、この時点で、駐車禁止エリアはエリアA2に設定され、駐車車両P1の前面および右側面に関するエリアが最適化される。
また、この時点で、図6Cに示すように、撮像装置200から出射された光波は、駐車車両P2の前面および左側面でも反射している。すなわち、図6Cの状態において、車両Vは、駐車車両P2に対して第一の地点に存在している。そこで、測距部120は、撮像装置200により得られた赤外画像または距離画像から、駐車車両P2の前面および左側面の特徴点C21〜C29を抽出し、特徴点C21〜C29に対応する画素PC21〜PC29を決定する(図6G参照)。
なお、C23は、駐車車両P2の左側面の撮像装置200からみて手前側端に対応する特徴点であり、C29は、駐車車両P2の左側面の撮像装置200からみて奥側端に対応する特徴点である。
続いて、測距部120は、距離画像を用いて、車両Vから特徴点C21〜C29までの距離を導出する。具体的には、測距部120は、特徴点C21〜C29に対応する画素PC21〜PC29および距離画像においてこれらの画素の上下方向に存在する複数の画素が有する距離情報に基づいて、車両Vから特徴点C21〜C29までの距離を導出する。このようにして導出された車両Vから特徴点C21〜C29までの距離は、所定の範囲を有する値である。
続いて、測距部120は、導出された車両Vから特徴点C21〜C29までの距離をもとに、特徴点C21〜C29の位置(第一の推定位置)を推定する。図6Hは、特徴点C21〜C29の第一の推定位置を天頂図上にプロットしたものである。図6Hに示すように、特徴点C21〜C29の第一推定位置は、線分L1C21〜L1C29として表される。なお、この時点では、ハッチングを付したエリアA3が駐車禁止エリアとして設定される。
車両Vがさらに前進を続けると、撮像装置200、特徴点C23および特徴点C29が略一直線上に存在する状態となる(図6I)。本例では、このような地点を駐車車両P2に対する第二の地点として扱う。この状態で、撮像装置200により得られた赤外画像または距離画像において、特徴点C24〜C29は、特徴点C23と重なっているか、特徴点C23のごく近傍に存在することになる。
測距部120は、撮像装置200により得られた赤外画像または距離画像において、C23〜C29に対応する画素PiC21〜PiC29を決定する。
そして、測距部120は、距離画像を用いて、車両Vから特徴点C21〜C29までの距離を導出する。具体的には、測距部120は、特徴点C21〜C29に対応する画素PiC21〜PiC29および距離画像においてこれらの画素の上下方向に存在する複数の画素が有する距離情報に基づいて、車両Vから特徴点C21〜C29までの距離を導出する。このようにして導出された車両Vから特徴点C21〜C29までの距離は、所定の範囲を有する値である。
続いて、測距部120は、導出された車両Vから特徴点C21〜C29までの距離をもとに、特徴点C21〜C29の位置(第二の推定位置)を推定する。図6Jは、特徴点C21〜C29の第二の推定位置を天頂図上にプロットしたものである。
本例では、特徴点C23および特徴点C29が略一直線上に存在する状態を第二の地点とすることで、図6Jに示すように、特徴点C23〜C29を結んだ境界ラインLLが決定される。このような境界ラインLLは、駐車車両P2の左側面に相当する。
識別部130は、上述のようにして導出した第一の地点における車両Vから特徴点C21〜C29までの距離と、第二の地点における車両Vから特徴点C21〜C29までの距離とに基づいて、駐車車両P2と空間との境界を識別する。
例えば、図6Hと図6Jとを重ね合わせることで、図6Kが得られる。図6Hにおいて特徴点C21、C22の第一の推定位置を示すL1C21、L1C22と、図6Jにおいて特徴点C21、C22の第二の推定位置を示すL2C21、L2C22とは、図6Kに示すように交点IC21、IC22でそれぞれ交差する。
また、図6Hにおいて特徴点C23〜C29の第一の推定位置を示す線分L1C23〜L1C29と、図6Jにおいて駐車車両P2の左側面を示す境界ラインLLとは、図6Kに示すように交点IC23〜IC29でそれぞれ交差する。
また、特徴点C29は撮像装置200からみて駐車車両P2の奥側端に対応する特徴点である。そのため、識別部130は、特徴点C29に基づいて駐車車両P2の後端を決定する。図6Lには、駐車車両P2の前面および左側面が決定された様子が描かれている。なお、この時点で、駐車禁止エリアはエリアA4に設定され、駐車車両P2の左側面および前面に関するエリアが最適化される。
このようにして、駐車車両P1およびP2の輪郭が決定されると、さらに、識別部130は、TOFカメラからの情報に基づいて、駐車車両P1の右側と駐車車両P2の左側との間に、車両Vが乗り越えられない障害物がないことを検知する。さらに、識別部130は、駐車車両P1の右側と駐車車両P2の左側との間に、車両Vが駐車可能な、例えば平面視で長方形のスペース(すなわち、車両Vが入る空間)が存在することを検知する。以上のようにして、最終的に、識別部130は、駐車車両P1およびP2の間の駐車可能スペースを決定する。
なお、上述の例では、駐車車両P1に関して、車両Vが駐車車両P1の右側面の略延長線上に撮像装置200が存在する地点を第二の地点とし、第一の地点での測距情報および第二の地点での測距情報を用いるものを説明したが、これに限定されない。
車両Vが駐車車両P1の右側面の略延長線上に撮像装置200が存在する地点では、駐車車両P1のボディ色、構造等によっては、駐車車両P1の右側面からの反射光が十分に得られないことが考えられる。また、そこから少し進んだ地点においても、同様に、駐車車両P1の右側面からの反射光が十分でなく、実際には駐車車両P1が存在するエリアに駐車車両P1が存在しないと誤って推定してしまうことが考えられる。このような場合、駐車禁止エリアが過小推定される可能性がある。
これに対し、例えば、車両Vがさらに進んで、撮像装置200と駐車車両P1との角度がある程度大きくなり、駐車車両P1の右側面からの反射光が十分に得られる地点を、駐車車両P1に関する第三の地点とし、第三の地点でも測距を行うことが考えられる。このような第三の地点としては、例えば、駐車車両P2に関する第二の地点が挙げられる。
このようにすれば、実際には駐車車両P1が存在するエリアに駐車車両P1が存在しないと誤って推定してしまうことを防止することができ、駐車禁止エリアが過小推定されることを好適に防止することができる。
すなわち、撮像装置200と駐車車両の側面とが一直線上に存在しない第一の地点と、撮像装置200と駐車車両の側面とが略一直線上に存在する第二の地点での測距情報に加え、さらに、撮像装置200と駐車車両の側面とが一直線上に存在しない第三の地点での測距情報を用いることで、識別精度を向上させることができる。
以上説明したように、本開示に係る識別装置は、第一の地点から対象の複数の特徴点までの第一の距離情報および前記第一の地点とは異なる第二の地点から複数の前記特徴点までの第二の距離情報の入力を受け付ける入力部と、前記第一の距離情報および前記第二の距離情報に基づいて、前記対象と空間との境界を識別する識別部と、を備える。
本開示に係る識別装置によれば、対象と空間との境界を精度良く識別することができる。
なお、上述の実施形態では、駐車車両と空間との境界を識別するものを例に説明を行ったが、これに限定されない。例えば、駐車スペース内に放置されたショッピングカート等の障害物と空間との境界を識別することも可能である。なお、本実施形態では、第一の地点、第二の地点、および第三の地点で撮影した画像を用いて、駐車可能なスペースを精度良く推定する具体例を説明したが、これに限定されない。より多くの地点で撮影した画像を用いることで、より高い精度で駐車スペースを推定可能となることが期待できることは言うまでもない。ただし、より多くの画像を用いることにより演算量が増加するため、駐車スペースと駐車車両との境界を精度良く求めることができれば、用いる画像が少ないほど好ましいことは自明のことである。
本開示に係る識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体によれば、対象と空間との境界を精度良く識別することができ、車載用途に好適である。
1 周辺監視システム
100 識別装置
110 撮像制御部
120 測距部
130 識別部
140 記憶部
200 撮像装置
210 光源
220 画像センサ
V 車両
P、P1、P2 駐車車両

Claims (8)

  1. 第一の地点から対象の複数の特徴点までの第一の距離情報および前記第一の地点とは異なる第二の地点から複数の前記特徴点までの第二の距離情報の入力を受け付ける入力部と、
    前記第一の距離情報および前記第二の距離情報に基づいて、前記対象と空間との境界を識別する識別部と、
    を備える識別装置。
  2. 前記第一の距離情報は、撮像装置により前記第一の地点から前記対象を撮像して得られた第一の距離画像情報に含まれる情報であり、
    前記第二の距離情報は、前記撮像装置により前記第二の地点から前記対象を撮像して得られた第二の距離画像情報に含まれる情報である、
    請求項1に記載の識別装置。
  3. 複数の前記特徴点は、前記撮像装置からみて前記対象の手前側端に対応する第一の特徴点および前記対象の奥側端に対応する第二の特徴点を含み、
    前記第一の地点および前記第二の地点はともに、前記撮像装置、前記第一の特徴点および前記第二の特徴点が、一直線上に存在しない地点であり、
    前記識別部は、前記第一の距離情報に基づいて複数の前記特徴点の第一の推定位置をそれぞれ推定するとともに、前記第二の距離情報に基づいて複数の前記特徴点の第二の推定位置をそれぞれ推定し、
    前記第一の推定位置および前記第二の推定位置に基づいて、複数の前記特徴点の位置をそれぞれ特定し、
    特定された複数の前記特徴点の位置に基づいて、前記対象と前記空間との境界を識別する、
    請求項2に記載の識別装置。
  4. 複数の前記特徴点は、前記撮像装置からみて前記対象の手前側端に対応する第一の特徴点および前記対象の奥側端に対応する第二の特徴点を含み、
    前記第一の地点は、前記撮像装置、前記第一の特徴点および前記第二の特徴点が、一直線上に存在しない地点であり、
    前記第二の地点は、前記撮像装置、前記第一の特徴点および前記第二の特徴点が、略一直線上に存在する地点であり、
    前記識別部は、前記第一の距離情報に基づいて複数の前記特徴点の推定位置をそれぞれ推定するとともに、前記第二の距離情報に基づいて複数の前記特徴点同士を結ぶ境界ラインを決定し、
    前記推定位置および前記境界ラインに基づいて、複数の前記特徴点の位置をそれぞれ特定し、
    特定された複数の前記特徴点の位置に基づいて、前記対象と前記空間との境界を識別する、
    請求項2に記載の識別装置。
  5. 前記入力部は、前記第一の地点および前記第二の地点とは異なる第三の地点から複数の前記特徴点までの第三の距離情報の入力をさらに受け付け、
    前記識別部は、前記第一の距離情報、前記第二の距離情報および前記第三の距離情報に基づいて、前記対象と空間との境界を識別する、
    請求項4に記載の識別装置。
  6. 第一の地点から対象の複数の特徴点までの第一の距離情報および前記第一の地点とは異なる第二の地点から複数の前記特徴点までの第二の距離情報の入力を受け付ける入力ステップと、
    前記第一の距離情報および前記第二の距離情報に基づいて、前記対象と空間との境界を識別する識別ステップと、
    を備える識別方法。
  7. コンピュータに、
    第一の地点から対象の複数の特徴点までの第一の距離情報および前記第一の地点とは異なる第二の地点から複数の前記特徴点までの第二の距離情報の入力を受け付ける入力処理と、
    前記第一の距離情報および前記第二の距離情報に基づいて、前記対象と空間との境界を識別する識別処理と、
    を実行させる識別プログラム。
  8. 請求項7に記載の識別プログラムを記録した一時的でない有形の記録媒体。
JP2018060306A 2018-03-27 2018-03-27 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体 Pending JP2019174975A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018060306A JP2019174975A (ja) 2018-03-27 2018-03-27 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体
US16/365,301 US20190304123A1 (en) 2018-03-27 2019-03-26 Identification apparatus, identification method, and non-transitory recording medium storing identification program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018060306A JP2019174975A (ja) 2018-03-27 2018-03-27 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体

Publications (1)

Publication Number Publication Date
JP2019174975A true JP2019174975A (ja) 2019-10-10

Family

ID=68054521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018060306A Pending JP2019174975A (ja) 2018-03-27 2018-03-27 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体

Country Status (2)

Country Link
US (1) US20190304123A1 (ja)
JP (1) JP2019174975A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7499606B2 (ja) * 2020-05-12 2024-06-14 フォルシアクラリオン・エレクトロニクス株式会社 画像処理装置及び画像処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE502005002874D1 (de) * 2004-06-02 2008-04-03 Bosch Gmbh Robert Verfahren zur Unterstützung eines Einparkvorgangs eines Fahrzeugs
US8560169B2 (en) * 2007-12-18 2013-10-15 Honda Motor Co., Ltd. Vehicular parking feasibility determining system, vehicular parking space detection system and vehicular movable range detection system
JP6564346B2 (ja) * 2016-05-30 2019-08-21 株式会社Soken 駐車支援装置及び駐車支援方法

Also Published As

Publication number Publication date
US20190304123A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
US11719788B2 (en) Signal processing apparatus, signal processing method, and program
US10935643B2 (en) Sensor calibration method and sensor calibration apparatus
EP3382336B1 (en) Stereo camera device
US10127669B2 (en) Estimating distance to an object using a sequence of images recorded by a monocular camera
US9151626B1 (en) Vehicle position estimation system
JPWO2017057058A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11327154B2 (en) Error estimation for a vehicle environment detection system
JP2017111803A (ja) 駐車スペースの検出装置、方法及び画像処理装置
JP2010257138A (ja) 物体検出装置
US20190072648A1 (en) Imaging control apparatus, imaging control method, imaging control program, and recording medium having imaging control program recorded thereon
JP2017004176A (ja) 路面標示検出装置及び路面標示検出方法
WO2015125296A1 (ja) 自己位置算出装置及び自己位置算出方法
JP6038422B1 (ja) 車両判定装置、車両判定方法及び車両判定プログラム
JP2019028665A (ja) 車載カメラのキャリブレーション装置及び方法
CN112130158A (zh) 对象距离测量装置和方法
JP6988873B2 (ja) 位置推定装置および位置推定用コンピュータプログラム
JP2019045303A (ja) 撮像制御装置、撮像制御方法、撮像制御プログラムおよび撮像制御プログラムを記録した記録媒体
JP2020047210A (ja) 物体検出装置
JP2019045301A (ja) 撮像制御装置、撮像制御方法、撮像制御プログラムおよび撮像制御プログラムを記録した記録媒体
JP2019174975A (ja) 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体
JPWO2019123582A1 (ja) 物体情報生成装置及び物体情報生成プログラム
US20190118823A1 (en) Road surface detection apparatus, road surface detection method, and recording medium including road surface detection program recorded therein
JP2018036225A (ja) 状態推定装置
EP3435286A1 (en) Imaging control device and imaging control method
JP7134780B2 (ja) ステレオカメラ装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191021