JP6541070B2 - 3次元情報復元装置及び3次元情報復元方法 - Google Patents
3次元情報復元装置及び3次元情報復元方法 Download PDFInfo
- Publication number
- JP6541070B2 JP6541070B2 JP2015225110A JP2015225110A JP6541070B2 JP 6541070 B2 JP6541070 B2 JP 6541070B2 JP 2015225110 A JP2015225110 A JP 2015225110A JP 2015225110 A JP2015225110 A JP 2015225110A JP 6541070 B2 JP6541070 B2 JP 6541070B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- corresponding point
- information
- point pair
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Description
第2の画像と、を取得する。プロセッサは、第1の画像における第1の特徴点と、第2の画像における第2の特徴点と、が対応する第1の対応点ペアを複数検出し、複数の第1の対応点ペアに基づいて、第1の特徴点が逆射影された3次元座標を復元する。入力デバイスは、第1の画像及び第2の画像における任意の対応点ペアを第2の対応点ペアとして、第2の対応点ペアの第1の画像及び第2の画像それぞれでの位置を示す位置情報と、第1の撮像装置から第2の対応点ペアまでの距離を示す距離情報と、を入力する。プロセッサは、入力された第2の対応点ペアの位置情報に基づいて、第2の対応点ペアの3次元座標を復元し、復元された第2の対応点ペアの3次元座標と、入力された距離情報と、に基づいて、3次元座標の精度を評価し、精度が所定値以下である場合、第1の対応点ペアを変更して3次元座標を導出するためのパラメータを再計算し、再計算されたパラメータに基づいて、入力された第2の対応点ペアの3次元座標の復元の再計算を行う。
[構成等]
図1は第1の実施形態におけるステレオカメラシステム5の概略構成例を示す模式図である。ステレオカメラシステム5は、例えば、第1カメラ10、第2カメラ11、及びPC(Personal Computer)20を備える。第1カメラ10及び第2カメラ11は、例えば、それぞれケーブル18A、18Bを介してPC20と接続される。第1カメラ10と第2カメラ11とは、例えば、ケーブル18Cを介して接続される。
R=R(θz)・R(θy)・R(θx) ・・・(式2)
θz,θy,θxは、それぞれZ軸、Y軸、X軸周りの回転角(ラジアン)を表し、各軸の回転角の成分(回転成分)を表す。R(θz),R(θy),R(θx)は、それぞれZ軸、Y軸、X軸の回転行列Rの成分を表す。なお、回転角θ=0は、第1カメラ10と第2カメラ11とが平行である状態を示す。
次に、ステレオカメラシステム5の動作例について説明する。
仮に入力デバイス26により、複数の対応点のうちの任意の対応点の位置やカメラから上記任意の対応点までの距離情報を入力しない場合、つまり全ての対応点を自動検出し、全ての対応点に係る距離情報を演算により求める場合に、3次元復元の推定精度が低いことがある。例えば、対応点の検出ができても、対応点の距離情報の導出精度が低い場合がある。
第1の実施形態では、ステレオカメラシステムの初期設定時に行われる初期キャリブレーションを示した。第2の実施形態では、運用時に行われるキャリブレーション、つまり、ステレオカメラシステムを設置した後に行われる再キャリブレーションを示す。再キャリブレーションは、例えば、定期的に、復元される3次元画像が乱れるようになった場合、又は台風や地震等の自然災害が発生した場合、に行われる。なお、第2の実施形態においても、第1の実施形態と同様の初期キャリブレーションが既に行われているものとする。
図9は第2の実施形態におけるPC20Aの構成例を示すブロック図である。PC20Aは、第1の実施形態のPC20の構成を含む他、読み出し部35及び位置探索部36を有する。
図10及び図11は、運用時に行われる再キャリブレーションの一例を示すフローチャートである。
このように、第2の実施形態のステレオカメラシステム5AのPC20Aでは、プロセッサ30Aは、3次元座標の復元を含むキャリブレーション(復元処理の一例)を複数回行う。初期キャリブレーション(第1の復元処理の一例)では、プロセッサ30Aは、入力デバイス26により入力された指定対応点am,bmの位置情報と、奥行き値と、初期キャリブレーションにおいて第1カメラ10により撮像された第1画像GZ1と、指定対応点amを含む周辺画像GZ11と、をメモリ27に保持しておく。
以上のように、本開示における技術の例示として、第1,第2の実施形態を説明した。しかし、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、各実施形態を組み合わせてもよい。
10 第1カメラ
11 第2カメラ
13 第1の筐体
14 第2の筐体
18A、18B、18C ケーブル
20、20A PC
21 特徴点抽出部
22 対応点検出部
23 カメラパラメータ推定部
24 3次元座標計算部
25 精度評価部
26 入力デバイス
27 メモリ
28 ポート
30、30A プロセッサ
31 ディスプレイ
35 読み出し部
36 位置探索部
41 対象点
62 ベースライン長
a1〜a7、b1〜b7 特徴点
a11〜a15、b11〜b15 対応点
am、bm 指定された対応点(指定対応点)
c1〜c7、cm 対応線
fr1、fr2 枠
g,h 点線枠
GZ1、GZ3 第1画像
GZ2、GZ4 第2画像
GZ11、GZ12 周辺画像
MK マーク
ms1 エラーメッセージ
ms2、ms3 ガイダンス
pf1、pf2 矩形枠
PGZ3、PGZ4 領域画像
SL カーソル
Claims (9)
- ポートと入力デバイスとプロセッサとを備える3次元情報復元装置であって、
前記ポートは、第1の撮像装置により撮像された第1の画像と、第2の撮像装置により撮像された第2の画像と、を取得し、
前記プロセッサは、
前記第1の画像における第1の特徴点と、前記第2の画像における第2の特徴点と、が対応する第1の対応点ペアを複数検出し、
複数の前記第1の対応点ペアに基づいて、前記第1の特徴点が逆射影された3次元座標を復元し、
前記入力デバイスは、
前記第1の画像及び前記第2の画像における任意の対応点ペアを第2の対応点ペアとして、前記第2の対応点ペアの前記第1の画像及び前記第2の画像それぞれでの位置を示す位置情報と、前記第1の撮像装置から前記第2の対応点ペアまでの距離を示す距離情報と、を入力し、
前記プロセッサは、
入力された前記第2の対応点ペアの前記位置情報に基づいて、前記第2の対応点ペアの3次元座標を復元し、
復元された前記第2の対応点ペアの3次元座標と、入力された前記距離情報と、に基づいて、前記3次元座標の精度を評価し、
前記精度が所定値以下である場合、前記第1の対応点ペアを変更して3次元座標を導出するためのパラメータを再計算し、
再計算された前記パラメータに基づいて、入力された前記第2の対応点ペアの3次元座標の復元の再計算を行う、
3次元情報復元装置。 - 請求項1に記載の3次元情報復元装置であって、更に、
前記プロセッサの制御により、前記第1の画像及び前記第2の画像の少なくとも一方に、前記複数の第1の対応点ペアに含まれる前記第2の対応点ペアの候補を表示するディスプレイを備える、3次元情報復元装置。 - 請求項2に記載の3次元情報復元装置であって、更に、
前記ディスプレイは、前記プロセッサの制御により、前記第2の対応点ペアの位置として、前記第1の画像及び前記第2の画像の少なくとも一方において、前記第1の撮像装置からの距離が長い位置を優先して前記位置情報を入力するように促す案内情報を表示する、3次元情報復元装置。 - 請求項2または3に記載の3次元情報復元装置であって、
前記プロセッサは、前記入力デバイスにより入力された距離情報と、前記3次元座標の復元により得られた前記第1の撮像装置から前記第2の対応点ペアまでの距離の情報と、に基づいて、前記3次元座標の復元の再計算の要否を判定する、3次元情報復元装置。 - 請求項4に記載の3次元情報復元装置であって、更に、
前記ディスプレイは、前記プロセッサの制御により、前記入力デバイスにより入力された距離情報と、前記3次元座標の復元により得られた前記第1の撮像装置から前記第2の対応点ペアまでの距離の情報との、差分が所定値以上である場合、前記第2の対応点ペアの入力に係る警告情報を表示する、3次元情報復元装置。 - 請求項1に記載の3次元情報復元装置であって、
前記プロセッサは、前記3次元座標の復元を含む復元処理を複数回行い、
第1の復元処理では、
前記入力デバイスにより入力された前記第2の対応点ペアの位置情報と、前記距離情報と、前記第1の復元処理において前記第1の撮像装置により撮像された前記第1の画像において前記第2の対応点ペアを含む第3の画像と、をメモリに保持し、
前記第1の復元処理に後続する第2の復元処理では、
前記第2の復元処理において前記第1の撮像装置により撮像された前記第1の画像における前記第3の画像に対応する領域を検出し、
前記領域に含まれる、前記第1の復元処理で得られた前記第2の対応点ペアに相当する対応点ペアを、前記第2の復元処理における第2の対応点ペアに設定し、
前記第2の対応点ペアの設定後、前記3次元座標の復元を再計算する、
3次元情報復元装置。 - 請求項6に記載の3次元情報復元装置であって、更に、
ディスプレイを備え、
前記ディスプレイは、前記プロセッサの制御により、前記第2の復元処理において、前記第1の画像における前記第3の画像に対応する領域が検出されなかった場合、又は、前記メモリに保持された距離情報と前記第2の復元処理により得られた前記第1の撮像装置から前記第2の対応点ペアまでの距離の情報との差分が所定値以上である場合、前記メモリに保持された前記第2の対応点ペアの位置情報と前記第3の画像とを表示する、3次元情報復元装置。 - 請求項7に記載の3次元情報復元装置であって、更に、
前記ディスプレイは、前記メモリに保持された前記第2の対応点ペアの位置情報と前記第3の画像とを参照して、前記第2の復元処理において前記第1の画像における前記第2の対応点ペアの位置情報を入力するように促す案内情報を表示する、3次元情報復元装置。 - ポートと入力デバイスとプロセッサとを備える3次元情報復元装置における3次元情報復元方法であって、
前記ポートは、第1の撮像装置により撮像された第1の画像と、第2の撮像装置により撮像された第2の画像と、を取得し、
前記プロセッサは、
前記第1の画像における第1の特徴点と、前記第2の画像における第2の特徴点と、が対応する第1の対応点ペアを複数検出し、
複数の前記第1の対応点ペアに基づいて、前記第1の特徴点が逆射影された3次元座標を復元し、
前記入力デバイスは、
前記第1の画像及び前記第2の画像における任意の対応点ペアを第2の対応点ペアとして、前記第2の対応点ペアの前記第1の画像及び前記第2の画像それぞれでの位置を示す位置情報と、前記第1の撮像装置から前記第2の対応点ペアまでの距離を示す距離情報と、を入力し、
入力された前記第2の対応点ペアの前記位置情報に基づいて、前記第2の対応点ペアの3次元座標を復元し、
復元された前記第2の対応点ペアの3次元座標と、入力された前記距離情報と、に基づいて、前記3次元座標の精度を評価し、
前記精度が所定値以下である場合、前記第1の対応点ペアを変更して3次元座標を導出するためのパラメータを再計算し、
再計算された前記パラメータに基づいて、入力された前記第2の対応点ペアの3次元座標の復元の再計算を行う、
3次元情報復元方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015225110A JP6541070B2 (ja) | 2015-11-17 | 2015-11-17 | 3次元情報復元装置及び3次元情報復元方法 |
PCT/JP2015/006218 WO2016103621A1 (ja) | 2014-12-24 | 2015-12-14 | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 |
US15/534,042 US10249058B2 (en) | 2014-12-24 | 2015-12-14 | Three-dimensional information restoration device, three-dimensional information restoration system, and three-dimensional information restoration method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015225110A JP6541070B2 (ja) | 2015-11-17 | 2015-11-17 | 3次元情報復元装置及び3次元情報復元方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017090420A JP2017090420A (ja) | 2017-05-25 |
JP6541070B2 true JP6541070B2 (ja) | 2019-07-10 |
Family
ID=58768044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015225110A Active JP6541070B2 (ja) | 2014-12-24 | 2015-11-17 | 3次元情報復元装置及び3次元情報復元方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6541070B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6760656B2 (ja) * | 2017-11-24 | 2020-09-23 | 国立大学法人 岡山大学 | 物体識別方法 |
WO2020153264A1 (ja) * | 2019-01-24 | 2020-07-30 | パナソニックIpマネジメント株式会社 | 校正方法および校正装置 |
JP7240258B2 (ja) * | 2019-05-30 | 2023-03-15 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
CN112634371B (zh) * | 2019-09-24 | 2023-12-15 | 阿波罗智联(北京)科技有限公司 | 用于输出信息、标定相机的方法和装置 |
CN116129036B (zh) * | 2022-12-02 | 2023-08-29 | 中国传媒大学 | 一种深度信息引导的全方向图像三维结构自动恢复方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0933248A (ja) * | 1995-07-20 | 1997-02-07 | Nissan Motor Co Ltd | パッシブ三角測量式距離計 |
JP3712847B2 (ja) * | 1997-05-20 | 2005-11-02 | 株式会社リコー | 3次元形状計測方法と3次元形状計測装置及び撮像手段の姿勢検出装置 |
JP4957134B2 (ja) * | 2006-09-12 | 2012-06-20 | 株式会社日立製作所 | 距離計測装置 |
JP2008304248A (ja) * | 2007-06-06 | 2008-12-18 | Konica Minolta Holdings Inc | 車載用ステレオカメラの校正方法、車載用距離画像生成装置及びプログラム |
JP5620200B2 (ja) * | 2010-09-06 | 2014-11-05 | 株式会社トプコン | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム |
-
2015
- 2015-11-17 JP JP2015225110A patent/JP6541070B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017090420A (ja) | 2017-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109087359B (zh) | 位姿确定方法、位姿确定装置、介质和计算设备 | |
JP6541070B2 (ja) | 3次元情報復元装置及び3次元情報復元方法 | |
EP3420530B1 (en) | A device and method for determining a pose of a camera | |
WO2016103621A1 (ja) | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 | |
US9501725B2 (en) | Interactive and automatic 3-D object scanning method for the purpose of database creation | |
JP6011548B2 (ja) | カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム | |
JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
JP5593177B2 (ja) | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム | |
US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
JP6403115B2 (ja) | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 | |
JP7420135B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR102450236B1 (ko) | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 | |
US10600202B2 (en) | Information processing device and method, and program | |
JP6240706B2 (ja) | グラフマッチングおよびサイクル検出による自動モデル初期化を用いた線トラッキング | |
CN113610702B (zh) | 一种建图方法、装置、电子设备及存储介质 | |
JP2015156540A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
WO2019244536A1 (ja) | 物体追跡装置、物体追跡システム、および物体追跡方法 | |
US9245343B1 (en) | Real-time image geo-registration processing | |
JP2004020398A (ja) | 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体 | |
JP5887974B2 (ja) | 類似画像領域探索装置、類似画像領域探索方法、及び類似画像領域探索プログラム | |
JP5464671B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6071142B2 (ja) | 画像変換装置 | |
JP6426215B2 (ja) | 内視鏡装置およびプログラム | |
JP6168601B2 (ja) | 画像変換装置 | |
JP2016021673A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190531 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6541070 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |