JP6932015B2 - ステレオ画像処理装置 - Google Patents
ステレオ画像処理装置 Download PDFInfo
- Publication number
- JP6932015B2 JP6932015B2 JP2017058390A JP2017058390A JP6932015B2 JP 6932015 B2 JP6932015 B2 JP 6932015B2 JP 2017058390 A JP2017058390 A JP 2017058390A JP 2017058390 A JP2017058390 A JP 2017058390A JP 6932015 B2 JP6932015 B2 JP 6932015B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- unit
- image processing
- stereo image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 description 18
- 230000009466 transformation Effects 0.000 description 10
- 238000009826 distribution Methods 0.000 description 5
- 230000008034 disappearance Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
Z=α/d・・・(式1)
但し、αはステレオカメラ固有の値であり、レンズの焦点距離(f)、画素の物理サイズ(c)、カメラ間の距離の基線長(B)からα=fB/cで計算される。
Z´=α/(d+εd)・・・(式2)
で記載できる。このεdは、前述の通り経年・経時変化し、測定した距離や相対速度にずれが発生する。場合によっては車両の誤制御につながるため、走行中にこの値εdを推定し、観測された視差から補正することで測定された距離Z´をZに補正することが必要である。
次に左右の画像で同じ物体が映る位置を特定し、その左右画像間の位置の差分を視差として、画像座標ごとに求めて視差画像として算出する視差画像取得部204を備える。そのようにして得られた視差画像や左画像、右画像から物体の画像上の領域を特定する物体検出部205と、その物体の視差を算出する物体視差推定部206を持つ。これらの物体の視差と画像領域は記憶領域(記憶部)207に保持され、次の撮像フレーム以降の処理で参照できる状態になる。画像照合部208では、現在の物体の画像領域と、それと同一物体の映る過去の物体の画像領域を照合することで過去と現在の画像領域間の幾何変形のパラメータを推定する。視差オフセット推定部209では、幾何変形のパラメータと現在と過去のフレームの視差を用いることで視差オフセットの値を推定する。距離出力部210では算出された視差オフセットに基づいて距離を補正して出力する。
M=1/Σ(J(s*x+x´,s*y+y´)―I(x,y))2・・・(式3)
ここで、x、yは画像の座標を示し、sは拡大率、x´,y´は移動成分、I,Jは与えられた座標における画像の濃淡値を示す。Jは過去の画像,Iは現在の画像を示す。Σは総和記号であり、比較する対象となる画像領域に存在する(x,y)のすべての組が総和の対象である。この値Mが大きいほど、2つの画像は類似しており、値が小さいほど2つの画像は相違があると考えられる。
εd=(d―s*d´)/(1−s)・・・(式4)
なお、(式4)の導出は以下のように行われる。
この推定処理を繰り返し、各フレームで求まったεdの例えば平均や中央値や最頻値を取るなどして視差オフセットの代表値を決定し(ステップ409)、求められた視差オフセットを用いて距離を補正する(ステップ410)、算出するか否かを判断する(ステップ407)基準としては例えば以下が挙げられる。まずsが限りなく1に近いか否かが一つの指標として挙げられる。(式4)に示すとおり、もしsが1に限りなく近ければεdは無限大になり、推定値としてふさわしくない。そのため、1とsの差分が0よりも離れているか否かは判定基準のひとつとなりうる。次に、sやd,d´の計測誤差が推定できる際はその誤差の大小から判断しても良い。もちろん、sが照合がうまくいかず測定に失敗している時などは算出できないと考える。また、sがある程度大きいということは画像が拡大もしくは縮小しているということであり、目標となる物体と自車の間に相対速度が存在しているということであるから、物体と自車との相対速度が求まる場合には相対速度が一定以上の場合に用いても良い。他に拡大率の算出対象とした画像が等しい距離を含んでいたか否かも判断基準になりうる。冒頭に示したように視差オフセットの推定に用いる目標の物体は画像領域中にできるだけ等しい距離を持った物体が良いから、画像領域内の視差の分布の分散が大きい場合などは算出できないと判断される。
εd=(d―sτ*dτ)/(1−sτ)・・・(式5)
で算出できる。このようにして求められた視差オフセット値から代表値を求め、距離の補正出力をおこなう。
sκ=Πsk・・・(式6)
但し、Πは総乗記号であり、kを現在のフレームからκのフレームで記録された拡大率までを全て時系列順に乗算するものである。このsκを用いると、視差オフセットは以下の様に計算される(ステップ607)。
εd=(d―sκ*dκ´))/(1−sκ)・・・(式7)
但し、dκ´はdκのひとつ前に登録された視差である。すなわちκ´=κ―1である。これらの計算を繰り返して、最終的な視差オフセットを求める。図6に示した手法によれば、毎フレームの画像を記憶領域に保存する代わりに、2フレーム間の拡大率のみを毎フレーム保存することで、使用する記憶領域を小さくすることが挙げられる。
E=Σ(J(W(x,y))―I(x,y))2
但し、Wはx、yを射影変換する記号であり、座標(x、y)を入力として以下の操作を行い(x´,y´)を出力する。
(x´,y´,1)T=A(x,y,1)T
但し、ここでTは行列の転置を示しAは3×3の行列を示す。射影変換はこの行列Aで示される。この射影変換のパラメータは画像照合部で求めることが可能である。前述した拡大率もこの射影変換の式で表すことができ,以下の式になる。
A=(s 0 0;0 s 0;0 0 1)
但し、;は行と行の区切り記号を表す。
Claims (7)
- 撮像手段と、
一対の画像取得部と、
前記一対の画像取得部で得られた画像に基づいて被写体の視差を算出して視差画像を得る視差画像取得部と、
前記画像と前記視差画像とに基づいて物体を検出する物体検出部と、
前記物体の視差を推定する物体視差推定部と、
前記物体視差推定部によって得られた視差と前記物体検出部によって検出された前記物体の画像領域を保存する記憶部と、
異なる時刻に撮像された前記物体の画像同士の照合を行う画像照合部と、
視差オフセットを算出する視差オフセット推定部と、
前記視差オフセット推定部の推定した視差に基づいて前記物体の距離を補正する距離出力部と、
を備え、
前記画像照合部は、現フレームと過去フレームで同一物体が映っている画像領域で、一方の画像領域を幾何変形して、変形後の画像ともう一方の画像を比較して類似度が高くなる幾何変形を求め、
前記視差オフセット推定部は、前記画像照合部で求めた前記幾何変形と、前記物体視差推定部で推定された現フレームおよび過去フレームの前記物体の視差と、に基づいて、視差オフセットを算出する
ことを特徴とする、ステレオ画像処理装置。 - 請求項1に記載のステレオ画像処理装置において、
前記画像照合部は、記憶領域に保持された任意のフレームの二画像間の幾何変形を算出し、
前記視差オフセット推定部は、前期画像照合部が算出に用いたフレームに対応する時刻に保存された視差を用いて視差オフセットを推定する
ことを特徴とするステレオ画像処理装置 - 請求項1に記載のステレオ画像処理装置において、
前記視差オフセット推定部は、視差オフセット算出時に使用する前記画像照合部の結果である幾何変形及び視差の少なくともいずれかの値に基づいて推定の可否を判断する
ことを特徴としたステレオ画像処理装置。 - 請求項1に記載のステレオ画像処理装置において、
前記画像照合部で求める幾何変形は画像同士の拡大率である
ことを特徴としたステレオ画像処理装置。 - 請求項1に記載のステレオ画像処理装置において、
前記画像照合部で求める幾何変形は画像同士の台形変形である
ことを特徴としたステレオ画像処理装置。 - 請求項3に記載のステレオ画像処理装置において、
前記画像照合部に用いる対象物は平面である
ことを特徴としたステレオ画像処理装置。 - 請求項1に記載のステレオ画像処理装置において、
前記記憶部は、前記画像照合部で求められた幾何変形を保存して、
前記視差オフセット推定部は、推定対象となる時間帯における過去から現在の時刻までに算出された幾何変形の総積と、過去と現在の時刻における視差から視差オフセットを推定する
ことを特徴としたステレオ画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017058390A JP6932015B2 (ja) | 2017-03-24 | 2017-03-24 | ステレオ画像処理装置 |
PCT/JP2018/010154 WO2018173908A1 (ja) | 2017-03-24 | 2018-03-15 | ステレオ画像処理装置 |
EP18771059.5A EP3605015A4 (en) | 2017-03-24 | 2018-03-15 | STEREO IMAGE PROCESSING DEVICE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017058390A JP6932015B2 (ja) | 2017-03-24 | 2017-03-24 | ステレオ画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018159683A JP2018159683A (ja) | 2018-10-11 |
JP6932015B2 true JP6932015B2 (ja) | 2021-09-08 |
Family
ID=63584323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017058390A Active JP6932015B2 (ja) | 2017-03-24 | 2017-03-24 | ステレオ画像処理装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3605015A4 (ja) |
JP (1) | JP6932015B2 (ja) |
WO (1) | WO2018173908A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021008712A1 (en) * | 2019-07-18 | 2021-01-21 | Toyota Motor Europe | Method for calculating information relative to a relative speed between an object and a camera |
WO2021224955A1 (ja) * | 2020-05-07 | 2021-11-11 | 三菱電機株式会社 | 自己位置推定装置、航行制御装置、画像生成装置、人工衛星システム及び自己位置推定方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5383013A (en) * | 1992-09-18 | 1995-01-17 | Nec Research Institute, Inc. | Stereoscopic computer vision system |
JP3384278B2 (ja) * | 1997-03-24 | 2003-03-10 | 日産自動車株式会社 | 距離計測装置 |
JP4803927B2 (ja) | 2001-09-13 | 2011-10-26 | 富士重工業株式会社 | 監視システムの距離補正装置および距離補正方法 |
DE10149115A1 (de) * | 2001-10-05 | 2003-04-17 | Bosch Gmbh Robert | Objekterfassungsvorrichtung |
JP5234894B2 (ja) * | 2007-06-28 | 2013-07-10 | 富士重工業株式会社 | ステレオ画像処理装置 |
JP5957359B2 (ja) * | 2012-10-19 | 2016-07-27 | 日立オートモティブシステムズ株式会社 | ステレオ画像処理装置及びステレオ画像処理方法 |
JP6619589B2 (ja) * | 2015-09-02 | 2019-12-11 | 株式会社Subaru | 画像処理装置 |
-
2017
- 2017-03-24 JP JP2017058390A patent/JP6932015B2/ja active Active
-
2018
- 2018-03-15 EP EP18771059.5A patent/EP3605015A4/en active Pending
- 2018-03-15 WO PCT/JP2018/010154 patent/WO2018173908A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2018173908A1 (ja) | 2018-09-27 |
EP3605015A1 (en) | 2020-02-05 |
EP3605015A4 (en) | 2021-03-24 |
JP2018159683A (ja) | 2018-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4480083B2 (ja) | 物体認識装置 | |
JP5944781B2 (ja) | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 | |
WO2013132947A1 (ja) | 距離算出装置及び距離算出方法 | |
JP4556798B2 (ja) | 画像処理装置 | |
JP4943034B2 (ja) | ステレオ画像処理装置 | |
US9594966B2 (en) | Obstacle detection device and obstacle detection method | |
JP6138861B2 (ja) | 距離算出装置 | |
JP6708730B2 (ja) | 移動体 | |
JP2020123342A (ja) | 魚眼レンズが装着された2次元カメラを使用して2次元イメージショットで乗客の状態を予測するための方法及び装置{method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens} | |
JP6396499B2 (ja) | 三次元情報の規模測定 | |
JP6932015B2 (ja) | ステレオ画像処理装置 | |
JP6543935B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
WO2019068699A1 (en) | METHOD FOR CLASSIFYING AN OBJECT POINT AS STATIC OR DYNAMIC, DRIVER ASSISTANCE SYSTEM, AND MOTOR VEHICLE | |
JP2018503195A (ja) | 物体検出方法及び物体検出装置 | |
JP6564127B2 (ja) | 自動車用視覚システム及び視覚システムを制御する方法 | |
JP2011112507A (ja) | 3次元位置計測装置および3次元位置計測方法 | |
JP2009139324A (ja) | 車両用走行路面検出装置 | |
JP6799325B2 (ja) | 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム | |
JP4696925B2 (ja) | 画像処理装置 | |
US10019635B2 (en) | Vehicle-mounted recognition device | |
JP5655038B2 (ja) | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 | |
KR101837269B1 (ko) | 다중 마커 기반의 정합 가이드 방법 및 시스템 | |
KR101912085B1 (ko) | 차선 검출 신뢰도 계산방법 및 이를 수행하는 계산장치 | |
KR101531313B1 (ko) | 차량 하부의 물체 탐지장치 및 방법 | |
KR102479253B1 (ko) | 차량용 카메라 영상 기반 공차 보정 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170327 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210720 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6932015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |