JP2013120083A - 環境認識装置 - Google Patents
環境認識装置 Download PDFInfo
- Publication number
- JP2013120083A JP2013120083A JP2011267169A JP2011267169A JP2013120083A JP 2013120083 A JP2013120083 A JP 2013120083A JP 2011267169 A JP2011267169 A JP 2011267169A JP 2011267169 A JP2011267169 A JP 2011267169A JP 2013120083 A JP2013120083 A JP 2013120083A
- Authority
- JP
- Japan
- Prior art keywords
- reference image
- distance
- image sensor
- pixel
- deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 46
- 238000000034 method Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 13
- 230000003247 decreasing effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 57
- 230000014509 gene expression Effects 0.000 description 22
- 239000011159 matrix material Substances 0.000 description 5
- 238000013519 translation Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】環境認識装置は、第1コスト関数を対象点距離Zの減少関数として定義しているので、対象点距離Zが長いほど当該ピクセルの第1コストが小さく評価される。したがって、対象点距離Zの測定又は推定誤差が大きい蓋然性が高いピクセルの第1コストの合計コストCに対する寄与度が小さくなる。これにより、被写体の表面位置および姿勢を表わす平面パラメータ^qの推定精度の向上が図られる。
【選択図】図4
Description
図1に示されている環境認識装置1は、距離画像センサC0と、基準画像センサC1と、参照画像センサC2とを備えている。環境認識装置1は、たとえば、車両又は脚式移動ロボットなどの移動装置に搭載され、当該移動装置の環境を認識するために利用される。
前記構成の環境認識装置1によって実行される環境認識方法について説明する。
g1(Z)=1/Zn(n>0。たとえばn=1又は2。) ..(11)。
h1(r1)=1/r1 n(n>0。たとえばn=1。) ..(12)。
h1(r1)=1/r1 n(n>0。たとえばn=1。Σsr1(s)/Nは対象領域に属するピクセル群の確度r1の平均値。) ..(13)。
h2(r2)=1/r2 m(m>0。たとえばm=1。) ..(21)。
h2(r2)=1/r2 m(m>0。たとえばm=1。Σsr2(s)/Mは基準画像センサの対象領域又は参照画像センサにおいてこれに対応する領域に属するピクセル群の確度r2の平均値。) ..(22)。
Claims (7)
- 被写体までの距離を計測するように構成されている距離画像センサと、
前記被写体を撮像することにより、当該被写体の指定物理量を画素値として有する複数のピクセルによって構成される基準画像を取得するように構成されている基準画像センサと、
前記被写体を撮像することにより、当該被写体の前記指定物理量を画素値として有する複数のピクセルによって構成されている参照画像を取得するように構成されている参照画像センサと、を用いて前記被写体の表面の位置及び姿勢を推定する装置であって、
前記基準画像の少なくとも一部である対象領域に属する各ピクセルについて、前記距離画像センサによる距離計測値により位置が定まる実点と、当該実点を前記基準画像センサの視線方向について仮想面に投影した結果としての仮想点との間隔の長短に応じて定まる第1偏差と、前記基準画像センサの光軸方向について前記基準画像センサと前記実点及び前記仮想点のうち一方である対象点との距離である対象点距離とに基づき、前記第1偏差について増加関数であり、かつ、前記対象点距離について減少関数である多変数関数として定義されている第1コスト関数にしたがって、第1コストを算定するように構成されている第1演算処理要素と、
前記基準画像の前記対象領域に属する各ピクセルについて、前記基準画像のピクセルの画素値と、前記仮想面の位置及び姿勢に応じた形で当該基準画像のピクセルに対応する前記参照画像のピクセルの画素値との偏差としての第2偏差に基づき、前記第2偏差について増加関数である第2コスト関数にしたがって第2コストを算定するように構成されている第2演算処理要素と、
前記基準画像の前記対象領域に属する複数のピクセルについて、前記第1コストと前記第2コストとの総和である合計コストをその最小値に近づけるように前記仮想面を探索することにより、前記被写体の表面の位置及び姿勢を推定するように構成されている第3演算処理要素とを備えていることを特徴とする環境認識装置。 - 請求項1記載の環境認識装置において、
前記第1コスト関数が前記距離画像センサによる前記被写体までの距離の測定結果の確度について減少関数として定義され、
前記第1演算処理要素は、距離の測定結果の確度を認識した上で、前記第1偏差と、前記対象点距離と、当該確度とに基づき、前記第1コスト関数にしたがって前記第1コストを算定するように構成されていることを特徴とする環境認識装置。 - 請求項1又は2記載の環境認識装置において、
前記第2コスト関数が前記基準画像センサ及び前記参照画像センサのうち少なくとも一方による画素値の測定結果の確度について増加関数として定義され、
前記第2演算処理要素は、画素値の測定結果の確度を認識した上で、少なくとも前記第2偏差と、当該確度とに基づき、前記第2コスト関数にしたがって前記第2コストを算定するように構成されていることを特徴とする環境認識装置。 - 請求項1〜3のうちいずれか1つに記載の環境認識装置において、
前記第3演算処理要素は、最小二乗法にしたがって前記被写体の表面の位置及び姿勢を推定するように構成されていることを特徴とする環境認識装置。 - 被写体までの距離を計測するように構成されている距離画像センサと、
前記被写体を撮像することにより、当該被写体の指定物理量を画素値として有する複数のピクセルによって構成される基準画像を取得するように構成されている基準画像センサと、
前記被写体を撮像することにより、当該被写体の前記指定物理量を画素値として有する複数のピクセルによって構成されている参照画像を取得するように構成されている参照画像センサと、を用いて前記被写体の表面の位置及び姿勢を推定する装置であって、
前記距離画像センサにより取得された距離画像の複数のピクセル位置のそれぞれについて、前記基準画像センサ及び前記参照画像センサのそれぞれにより撮像された同一箇所の前記指定物理量は同一であるという拘束条件にしたがって、距離計測値に応じた前記基準画像センサのピクセル位置を参照画像センサに投影したピクセル位置と、距離候補値に応じた前記基準画像センサのピクセル位置を参照画像センサに投影したピクセル位置との偏差である視差残差に基づいて第1偏差を算出するように構成されている第1演算処理要素と、
前記基準画像センサ及び前記参照画像センサが前記距離候補値に応じた視差を有するという仮定に基づき、当該視差に応じた形で当該基準画像のピクセルに対応する前記参照画像のピクセルの画素値を取得した上で、前記基準画像及び前記参照画像の複数のピクセルのそれぞれについて画素値である前記指定物理量の偏差を第2偏差として算出するように構成されている第2演算処理要素と、
前記第1演算処理要素により算出された前記第1偏差と、前記第2演算処理要素により算出された前記第2偏差とに基づき、前記基準画像と前記参照画像との乖離度を算出するととともに、複数の前記距離候補値のうち前記乖離度が最小になるような前記距離候補値を、前記距離画像の各ピクセルにおける距離真値として推定するように構成されている第3演算処理要素とを備えていることを特徴とする環境認識装置。 - 請求項5記載の環境認識装置において、
前記第1演算処理要素が、前記視差残差から前記指定物理量の偏差への変換を実行することにより、前記第1偏差を算出することを特徴とする環境認識装置。 - 請求項6記載の環境認識装置において、
前記第1演算処理要素が、前記視差残差に対して前記指定物理量のエピポーラライン方向の勾配を乗じることにより、前記変換を実行することにより、前記第1偏差を算出することを特徴とする環境認識装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011267169A JP5515018B2 (ja) | 2011-12-06 | 2011-12-06 | 環境認識装置 |
US13/693,719 US8896689B2 (en) | 2011-12-06 | 2012-12-04 | Environment recognition apparatus |
DE102012222361.4A DE102012222361B4 (de) | 2011-12-06 | 2012-12-05 | Umgebungserkennungsvorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011267169A JP5515018B2 (ja) | 2011-12-06 | 2011-12-06 | 環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013120083A true JP2013120083A (ja) | 2013-06-17 |
JP5515018B2 JP5515018B2 (ja) | 2014-06-11 |
Family
ID=48431632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011267169A Expired - Fee Related JP5515018B2 (ja) | 2011-12-06 | 2011-12-06 | 環境認識装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8896689B2 (ja) |
JP (1) | JP5515018B2 (ja) |
DE (1) | DE102012222361B4 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015212942A (ja) * | 2014-04-25 | 2015-11-26 | グーグル インコーポレイテッド | レーザー点クラウドを用いる物体検出のための方法及びシステム |
JP2019158616A (ja) * | 2018-03-13 | 2019-09-19 | 株式会社リコー | 測距システム、測距方法、車載装置、車両 |
JP2020003236A (ja) * | 2018-06-25 | 2020-01-09 | 株式会社リコー | 測距装置、移動体、測距方法、測距システム |
JPWO2021132229A1 (ja) * | 2019-12-25 | 2021-07-01 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6843552B2 (ja) * | 2016-08-23 | 2021-03-17 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム。 |
CN110895822B (zh) * | 2018-09-13 | 2023-09-01 | 虹软科技股份有限公司 | 深度数据处理***的操作方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH095050A (ja) * | 1995-06-20 | 1997-01-10 | Olympus Optical Co Ltd | 三次元画像計測装置 |
JP2006331108A (ja) * | 2005-05-26 | 2006-12-07 | Tama Tlo Kk | 画像処理装置、画像処理方法、および、プログラム |
JP2007081806A (ja) * | 2005-09-14 | 2007-03-29 | Konica Minolta Holdings Inc | 撮像システム |
JP2007263669A (ja) * | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | 3次元座標取得装置 |
JP2008123019A (ja) * | 2006-11-08 | 2008-05-29 | Tokyo Institute Of Technology | 3次元サーフェス生成方法 |
JP2009186287A (ja) * | 2008-02-05 | 2009-08-20 | Tokyo Institute Of Technology | 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム |
JP2011013803A (ja) * | 2009-06-30 | 2011-01-20 | Ihi Corp | 周囲形状検出装置、自律移動装置、移動体の操縦補助装置、周囲形状検出方法、自律移動装置の制御方法及び移動体の操縦補助方法 |
JP2011203148A (ja) * | 2010-03-26 | 2011-10-13 | Toyota Motor Corp | 推定装置、推定方法、及び推定プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5234894B2 (ja) * | 2007-06-28 | 2013-07-10 | 富士重工業株式会社 | ステレオ画像処理装置 |
-
2011
- 2011-12-06 JP JP2011267169A patent/JP5515018B2/ja not_active Expired - Fee Related
-
2012
- 2012-12-04 US US13/693,719 patent/US8896689B2/en not_active Expired - Fee Related
- 2012-12-05 DE DE102012222361.4A patent/DE102012222361B4/de active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH095050A (ja) * | 1995-06-20 | 1997-01-10 | Olympus Optical Co Ltd | 三次元画像計測装置 |
JP2006331108A (ja) * | 2005-05-26 | 2006-12-07 | Tama Tlo Kk | 画像処理装置、画像処理方法、および、プログラム |
JP2007081806A (ja) * | 2005-09-14 | 2007-03-29 | Konica Minolta Holdings Inc | 撮像システム |
JP2007263669A (ja) * | 2006-03-28 | 2007-10-11 | Denso It Laboratory Inc | 3次元座標取得装置 |
JP2008123019A (ja) * | 2006-11-08 | 2008-05-29 | Tokyo Institute Of Technology | 3次元サーフェス生成方法 |
JP2009186287A (ja) * | 2008-02-05 | 2009-08-20 | Tokyo Institute Of Technology | 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム |
JP2011013803A (ja) * | 2009-06-30 | 2011-01-20 | Ihi Corp | 周囲形状検出装置、自律移動装置、移動体の操縦補助装置、周囲形状検出方法、自律移動装置の制御方法及び移動体の操縦補助方法 |
JP2011203148A (ja) * | 2010-03-26 | 2011-10-13 | Toyota Motor Corp | 推定装置、推定方法、及び推定プログラム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015212942A (ja) * | 2014-04-25 | 2015-11-26 | グーグル インコーポレイテッド | レーザー点クラウドを用いる物体検出のための方法及びシステム |
US9697606B2 (en) | 2014-04-25 | 2017-07-04 | Waymo Llc | Methods and systems for object detection using laser point clouds |
JP2017152049A (ja) * | 2014-04-25 | 2017-08-31 | グーグル インコーポレイテッド | レーザー点クラウドを用いる物体検出のための方法及びシステム |
JP2019158616A (ja) * | 2018-03-13 | 2019-09-19 | 株式会社リコー | 測距システム、測距方法、車載装置、車両 |
JP7119444B2 (ja) | 2018-03-13 | 2022-08-17 | 株式会社リコー | 測距システム、測距方法、車載装置、車両 |
JP2020003236A (ja) * | 2018-06-25 | 2020-01-09 | 株式会社リコー | 測距装置、移動体、測距方法、測距システム |
US11391840B2 (en) | 2018-06-25 | 2022-07-19 | Ricoh Company, Ltd. | Distance-measuring apparatus, mobile object, distance-measuring method, and distance measuring system |
JPWO2021132229A1 (ja) * | 2019-12-25 | 2021-07-01 | ||
JP7312275B2 (ja) | 2019-12-25 | 2023-07-20 | 京セラ株式会社 | 情報処理装置、センシング装置、移動体、情報処理方法、及び、情報処理システム |
Also Published As
Publication number | Publication date |
---|---|
DE102012222361B4 (de) | 2016-12-15 |
DE102012222361A1 (de) | 2013-06-06 |
US8896689B2 (en) | 2014-11-25 |
JP5515018B2 (ja) | 2014-06-11 |
US20130141546A1 (en) | 2013-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021093240A1 (en) | Method and system for camera-lidar calibration | |
US20200096317A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
US10288418B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP5515018B2 (ja) | 環境認識装置 | |
JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
US10083512B2 (en) | Information processing apparatus, information processing method, position and orientation estimation apparatus, and robot system | |
US9639942B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP6363863B2 (ja) | 情報処理装置および情報処理方法 | |
JP5297403B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体 | |
JP5959899B2 (ja) | 接触状態推定装置 | |
JP6370038B2 (ja) | 位置姿勢計測装置及び方法 | |
KR100855657B1 (ko) | 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법 | |
US20130230235A1 (en) | Information processing apparatus and information processing method | |
JP2019000136A (ja) | 視線計測装置及びプログラム | |
JP5615055B2 (ja) | 情報処理装置及びその処理方法 | |
JP2011174880A (ja) | 位置姿勢推定方法及びその装置 | |
US9914222B2 (en) | Information processing apparatus, control method thereof, and computer readable storage medium that calculate an accuracy of correspondence between a model feature and a measurement data feature and collate, based on the accuracy, a geometric model and an object in an image | |
EP3306529A1 (en) | Machine control measurements device | |
JP6817742B2 (ja) | 情報処理装置およびその制御方法 | |
JP6626338B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP4935769B2 (ja) | 平面領域推定装置及びプログラム | |
CN113723432B (zh) | 一种基于深度学习的智能识别、定位追踪的方法及*** | |
Iida et al. | High-accuracy Range Image Generation by Fusing Binocular and Motion Stereo Using Fisheye Stereo Camera | |
JP5359477B2 (ja) | 道路領域推定装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20131003 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140212 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5515018 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |