JP2022155098A - 測距装置及び測距方法 - Google Patents
測距装置及び測距方法 Download PDFInfo
- Publication number
- JP2022155098A JP2022155098A JP2021058437A JP2021058437A JP2022155098A JP 2022155098 A JP2022155098 A JP 2022155098A JP 2021058437 A JP2021058437 A JP 2021058437A JP 2021058437 A JP2021058437 A JP 2021058437A JP 2022155098 A JP2022155098 A JP 2022155098A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target
- distance
- processing unit
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 11
- 238000012545 processing Methods 0.000 claims abstract description 47
- 238000003384 imaging method Methods 0.000 claims abstract description 9
- 230000010365 information processing Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000012952 Resampling Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
すなわち、本発明の一側面によれば、撮像手段により時系列の画像を取得する画像取得部と、
画像処理を行う処理部とを有し、
前記処理部は、
前記時系列の画像のうち、対象画像よりも前に取得した基準画像を、相異なる複数通りの拡大率で拡大した複数の拡大画像を生成し、前記複数の拡大画像の各々と前記対象画像との差分を求め、
前記対象画像から被写体である物標に対応するオブジェクトを検出し、
検出したオブジェクトのうちの着目オブジェクトの領域内の前記差分が最小となる前記拡大画像の拡大率に基づいて、前記着目したオブジェクトに対応する物標までの距離を特定する
ことを特徴とする測距装置が提供される。
●車両用制御装置の構成
図1は、本発明の一実施形態に係る車両用制御装置のブロック図であり、車両1を制御する。図1において、車両1はその概略が平面図と側面図とで示されている。車両1は一例としてセダンタイプの四輪の乗用車である。なお本実施形態では、車両用制御装置により提供する運転支援は、緊急ブレーキや適応的追従走行、車線維持支援といった限定的な機能としているが、目的地を設定すれば自動運転まで行うような高度の機能としてもよい。
図2(A)は、ECU22により実現される距離推定機能(すなわち測距装置)のブロック図である。この構成はECU22に含まれるハードウェア回路で実現されてもよいし、そこに含まれたCPUによりメモリに記録したプログラムを実行することで実現されてもよい。またそれらの組み合わせにより実現してもよい。これは他のECUについても同様である。いずれの構成であっても、ECU22あるいはその他のECUは、情報処理装置あるいは画像処理装置あるいは信号処理装置として機能する。また測距装置としても機能してよい。
ここで本実施形態の距離測定の基礎となる画像の拡大率と距離との関連について説明する。画像kは画像k-1よりも後に走行中の車両に固定されたカメラ41から撮影された画像であり、視線方向に移動していない被写体は、画像k-1に対して画像kでは拡大される。すなわち視角が大きくなる。しかも、拡大率は被写体までの距離によって異なる。たとえば車両が画像k-1を撮影し、一定の距離を走行して画像kを撮影したとする。この場合、画像kに含まれた被写体である物標の、画像k-1に対する拡大率は、被写体までの距離に応じて小さくなる。たとえば、画像k-1と画像kとの撮影間隔(距離)をD、画像kの撮影時の物標Pまでの距離をL、画像k-1の物標Pに対する画像kの物標Pの拡大率をEとする。このとき拡大率Eは、E=1+D/Lであり、物標Pまでの距離Lが大きいほど小さい。これを利用すれば、拡大率Eと間隔Dとを特定することで、距離LをL=D/(E-1)として求めることができる。
h1=k・tanφ1=k・(H/L+D)
h2=k・tanφ2=k・(H/L)
と表される。したがってL+D,Lはそれぞれ、
L+D=H/tanφ1、L=H/tanφ2
となり、
L/(L+D)=tanφ1/tanφ2
である。ここでtanφ2/tanφ1は、画像k-1における物標Pの高さに対する画像kにおける物標Pの高さの比、すなわち拡大率Eを示している。すなわち、
L/(L+D)=1/E
である。移動速度をv、撮影間隔をtとすると、D=vtとなので、
L=D/(E-1)=vt/(E-1) (1)
となる。
距離情報生成部210は、上記概略で説明したオブジェクトごとの拡大率Eを示す二値化距離情報を生成する。図2(B)は距離情報生成部210の詳細を示すブロック図である。カメラ41で撮影された画像(これを画像kまたは対象画像と呼ぶ)はグレースケール化処理部211に入力されてグレースケール画像に加工される。カメラ41がモノクロームカメラであれば特に加工は不要である。グレースケール化された画像kは画像バッファ212と差分算出二値化部214に入力される。
図4に物体検出部201による物体検出処理の一例を示す。物体検出部201では、画像k(画像401)から、人や物などを含む物標を検出する。検出は、たとえば機械学習を用いることができる。画像中の人や物など、距離を求めようとする物標を学習させておき、学習済みの学習データを用いて画像から物標を検出する。もちろんこのほかにも、画像のエッジなどを検出し、その特徴から物標を特定してもよい。
図5に距離推定部202の構成を示す。距離推定部202には、画像kから生成された二値検出物体情報(画像OB(m))と、画像k-1から生成された二値距離情報(画像CS(n))とが入力される。ここで二値検出物体情報に含まれた検出された物体はm(0≦m≦M)で示され、二値距離情報に含まれた拡大率の数はn(1≦n≦N)であるとする。なお、図示していないが、これらの情報は比較のために互いに同期がとられる。
PD(n) = ΣΣ(OBn(p, q)・CSm (p, q))
という計算を行う。なお上式では、この前にOB(n)、CS(m)と表されていた画像をそれぞれOBn、CSm と表している。また、p、qは画像内の画素を示すインデックスであり、ここでは画素単位の一座標を示し、1≦p≦P、1≦q≦Qとする。2つのΣは、p、qそれぞれについて1から最大値までの和を示す。これにより、物体が検知された領域内における、画像kと拡大した画像k-1との一致の程度が、距離判定パラメータPD(n)により示される。
画像k-1を拡大して切り出す際に、切り出す領域の位置を変えて、1つの拡大率で拡大した画像k-1から複数の拡大画像を生成してもよい旨を第一実施形態で述べた。これをさらに詳しく説明すると、1つの拡大画像k-1から生成された複数の拡大画像のうち、画像kとの相関が最も高い一つをその拡大率の拡大画像の代表とし、そのほかは廃棄してもよい。画像kとの相関は、たとえば二値化器340による二値化後の画素値の総和で示される。この例では二値化後の画素値の総和が最大の画像を代表としてよい。二値化後には、画像kと一致している部分は画素値1で示されるためである。これにより差分算出二値化部214からの出力は、第一実施形態と同様に、拡大率がN通りであれば、N個の画像CS(n)となる。したがって距離推定部202による処理は、第一実施形態と同様でよい。
上記実施形態は以下の情報処理装置を少なくとも開示する。
撮像手段により時系列の画像を取得する画像取得部と、
画像処理を行う処理部とを有し、
前記処理部は、
前記時系列の画像のうち、対象画像よりも前に取得した基準画像を、相異なる複数通りの拡大率で拡大した複数の拡大画像を生成し、前記複数の拡大画像の各々と前記対象画像との差分を求め、
前記対象画像から被写体である物標を検出し、
前記差分が最小となる前記拡大画像の拡大率に基づいて、検出した前記物標までの距離を特定する。
この構成により、画像に含まれた物標までの距離を測定できる。
前記処理部は、検出した前記物標それぞれに対応付けて前記対象画像を二値化し、二値化した前記対象画像それぞれと二値化した前記複数の拡大画像それぞれとの差分を求める。
この構成により、画像に含まれた物標ごとに対象画像を二値化することで、画像に含まれた複数の物標の処理を容易化することができる。
前記処理部は、検出した前記物標ごとに前記差分が最小となる前記拡大画像の拡大率に基づいて、前記物標ごとの距離を特定する。
この構成により、画像に含まれた物標ごとに、当該物標までの距離を特定できる。
前記処理手段は、前記対応する画素の間の差を二値化して反転した値の前記着目オブジェクトの領域内の総和が最大となる前記拡大画像を、前記差分が最小となる拡大画像とする。
この構成により、演算が簡素化されて処理負荷が軽減される。
前記処理手段は、拡大率に対応付けて距離が登録された所定のデータセットを用いて、前記物標までの距離を特定する。
この構成により、距離の特定を所定のデータセットを参照して行うことができ、処理負荷が軽減される。
前記処理手段は、前記拡大率に加えて、さらに前記撮像手段の移動する速度に対応付けて距離が登録された所定のデータセットを用いて、前記物標までの距離を特定する。
この構成により、距離をインデックスとすることで、特定した速度の精度をより向上させることができる。
前記処理手段は、前記拡大率に加えて、さらに前記撮像手段の移動する速度と、前記基準画像と前記対象画像との撮影の時間間隔とに基づいて、前記物標までの距離を特定する。
この構成により、より精度の高い距離の特定が可能となる。
Claims (8)
- 撮像手段により時系列の画像を取得する画像取得部と、
画像処理を行う処理部とを有し、
前記処理部は、
前記時系列の画像のうち、対象画像よりも前に取得した基準画像を、相異なる複数通りの拡大率で拡大した複数の拡大画像を生成し、前記複数の拡大画像の各々と前記対象画像との差分を求め、
前記対象画像から被写体である物標を検出し、
前記差分が最小となる前記拡大画像の拡大率に基づいて、検出した前記物標までの距離を特定する
ことを特徴とする測距装置。 - 請求項1に記載の測距装置であって、
前記処理部は、検出した前記物標それぞれに対応付けて前記対象画像を二値化し、二値化した前記対象画像それぞれと二値化した前記複数の拡大画像それぞれとの差分を求める
ことを特徴とする測距装置。 - 請求項1または2に記載の測距装置であって、
前記処理部は、検出した前記物標ごとに前記差分が最小となる前記拡大画像の拡大率に基づいて、前記物標ごとの距離を特定する
ことを特徴とする測距装置。 - 請求項2に記載の測距装置であって、
前記処理部は、前記対応する画素の間の差を二値化して反転した値の前記着目オブジェクトの領域内の総和が最大となる前記拡大画像を、前記差分が最小となる拡大画像とする
ことを特徴とする測距装置。 - 請求項1乃至4のいずれか一項に記載の測距装置であって、
前記処理部は、拡大率に対応付けて距離が登録された所定のデータセットを用いて、前記物標までの距離を特定する
ことを特徴とする情報処理装置。 - 請求項5に記載の測距装置であって、
前記処理部は、前記拡大率に加えて、さらに前記撮像手段の移動する速度に対応付けて距離が登録された所定のデータセットを用いて、前記物標までの距離を特定する
ことを特徴とする測距装置。 - 請求項1乃至4のいずれか一項に記載の測距装置であって、
前記処理部は、前記拡大率に加えて、さらに前記撮像手段の移動する速度と、前記基準画像と前記対象画像との撮影の時間間隔とに基づいて、前記物標までの距離を特定する
ことを特徴とする測距装置。 - 撮像手段により時系列の画像を取得する画像取得部と、
画像処理を行う処理部とを有する測距装置による測距方法であって、
前記処理部が、
前記時系列の画像のうち、対象画像よりも前に取得した基準画像を、相異なる複数通りの拡大率で拡大した複数の拡大画像を生成し、前記複数の拡大画像の各々と前記対象画像との差分を求め、
前記対象画像から被写体である物標を検出し、
前記差分が最小となる前記拡大画像の拡大率に基づいて、検出した前記物標までの距離を特定する
ことを特徴とする測距方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021058437A JP7236487B2 (ja) | 2021-03-30 | 2021-03-30 | 測距装置及び測距方法 |
US17/705,293 US20220319037A1 (en) | 2021-03-30 | 2022-03-26 | Distance measuring apparatus and distance measuring method |
CN202210312110.6A CN115143940A (zh) | 2021-03-30 | 2022-03-28 | 测距装置和测距方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021058437A JP7236487B2 (ja) | 2021-03-30 | 2021-03-30 | 測距装置及び測距方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022155098A true JP2022155098A (ja) | 2022-10-13 |
JP7236487B2 JP7236487B2 (ja) | 2023-03-09 |
Family
ID=83406592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021058437A Active JP7236487B2 (ja) | 2021-03-30 | 2021-03-30 | 測距装置及び測距方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220319037A1 (ja) |
JP (1) | JP7236487B2 (ja) |
CN (1) | CN115143940A (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011064639A (ja) * | 2009-09-18 | 2011-03-31 | Panasonic Corp | 距離計測装置及び距離計測方法 |
JP2015182604A (ja) * | 2014-03-24 | 2015-10-22 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 画像処理装置および画像処理プログラム |
JP2016148512A (ja) * | 2013-06-11 | 2016-08-18 | ヤマハ発動機株式会社 | 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107687841A (zh) * | 2017-09-27 | 2018-02-13 | 中科创达软件股份有限公司 | 一种测距方法及装置 |
-
2021
- 2021-03-30 JP JP2021058437A patent/JP7236487B2/ja active Active
-
2022
- 2022-03-26 US US17/705,293 patent/US20220319037A1/en active Pending
- 2022-03-28 CN CN202210312110.6A patent/CN115143940A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011064639A (ja) * | 2009-09-18 | 2011-03-31 | Panasonic Corp | 距離計測装置及び距離計測方法 |
JP2016148512A (ja) * | 2013-06-11 | 2016-08-18 | ヤマハ発動機株式会社 | 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置 |
JP2015182604A (ja) * | 2014-03-24 | 2015-10-22 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 画像処理装置および画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7236487B2 (ja) | 2023-03-09 |
CN115143940A (zh) | 2022-10-04 |
US20220319037A1 (en) | 2022-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11023788B2 (en) | Systems and methods for estimating future paths | |
WO2020104423A1 (en) | Method and apparatus for data fusion of lidar data and image data | |
JP2019028861A (ja) | 信号処理装置、および信号処理方法、プログラム、並びに移動体 | |
WO2019230339A1 (ja) | 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 | |
EP3349143B1 (en) | Nformation processing device, information processing method, and computer-readable medium | |
KR20200136905A (ko) | 신호 처리 장치 및 신호 처리 방법, 프로그램, 그리고 이동체 | |
US11288777B2 (en) | Image processing device, image processing method, and program | |
CN109300143B (zh) | 运动向量场的确定方法、装置、设备、存储介质和车辆 | |
US20090297036A1 (en) | Object detection on a pixel plane in a digital image sequence | |
US11308357B2 (en) | Training data generation apparatus | |
CN107830869B (zh) | 用于车辆的信息输出方法和装置 | |
JP6597792B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
WO2019009110A1 (ja) | 車両用外界認識装置 | |
JP2008298533A (ja) | 障害物計測方法、障害物計測装置及び障害物計測システム | |
JP2006318062A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
JPWO2017099199A1 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JPH09218937A (ja) | 区画線検出装置 | |
JP6826010B2 (ja) | カメラ運動推定装置、カメラ運動推定方法及びプログラム | |
JP7236487B2 (ja) | 測距装置及び測距方法 | |
EP3795952A1 (en) | Estimation device, estimation method, and computer program product | |
CN114694107A (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
WO2022125236A1 (en) | Systems and methods for object detection using stereovision information | |
US20240098231A1 (en) | Image processing device, image processing method, and computer-readable medium | |
US20210082140A1 (en) | Estimation device, estimation method, and computer program product | |
JP2017049666A (ja) | 飛び出し物体検知装置および飛び出し物体検知方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7236487 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |