JP6403115B2 - 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 - Google Patents
3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 Download PDFInfo
- Publication number
- JP6403115B2 JP6403115B2 JP2014261173A JP2014261173A JP6403115B2 JP 6403115 B2 JP6403115 B2 JP 6403115B2 JP 2014261173 A JP2014261173 A JP 2014261173A JP 2014261173 A JP2014261173 A JP 2014261173A JP 6403115 B2 JP6403115 B2 JP 6403115B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- corresponding point
- point
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
特許文献1の3次元情報復元装置は、3次元座標を復元する際、2つの撮像装置により撮像された各撮像画像において特徴点をそれぞれ抽出する。しかし、各撮像画像の画像間で対応する特徴点の位置関係を表す対応点の数が少ない場合、又は、それぞれの撮像画像で抽出された特徴点が画像上の特定の位置に集中している場合、3次元座標を正しく復元できないことがあった。
図1は第1の実施形態におけるステレオカメラシステム5の概略構成例を示す模式図である。ステレオカメラシステム5は、例えば、第1カメラ10、第2カメラ11、及びPC(Personal Computer)20を備える。第1カメラ10及び第2カメラ11は、例えば、それぞれケーブル18A、18Bを介してPC20と接続される。第1カメラ10と第2カメラ11とは、例えば、ケーブル18Cを介して接続される。
R=R(θz)・R(θy)・R(θx) ・・・(2)
θz,θy,θxは、それぞれZ軸、Y軸、X軸周りの回転角(ラジアン)を表し、各軸の回転角の成分(回転成分)を表す。R(θz),R(θy),R(θx)は、それぞれZ軸、Y軸、X軸の回転行列Rの成分を表す。なお、回転角θ=0は、第1カメラ10と第2カメラ11とが平行である状態を示す。
第1の実施形態では、表示・入力部で指定された対応点領域に含まれる特徴点群は記憶されず、キャリブレーション(較正)が行われる場合、初期設定時と同様の処理が行われることを例示した。つまり、ステレオカメラシステムは、対象点の3次元座標が異常であると判定された場合、表示・入力部による対応点領域の指定をその都度行っていた。
第1及び第2の実施形態では、第1カメラ10及び第2カメラ11は、PC20,20Aにケーブル18A、18Bを介して直接に接続されることを例示した。変形例では、第1カメラ10及び第2カメラ11とPC20Bとは、直接に接続されず、送信機及び受信機を用いた通信によりデータ及び信号の送受信が行われる。
領域指定部は、表示部に表示された第1の画像及び第2の画像に対して行われた、入力部による入力操作に従って、第1の領域及び第2の領域を指定してもよい。表示部は、領域指定部によって指定された、第1の領域及び第2の領域を表示してもよい。
10 第1カメラ
11 第2カメラ
13 第1の筐体
14 第2の筐体
18A、18B、18C ケーブル
20、20A、20B PC
20L 表示部
20M 入力部
21 特徴点抽出部
22 対応点検出部
23 カメラパラメータ推定部
24 3次元座標計算部
25 異常検出部
26 表示・入力部
26e、26f 開始ボタン
26g OKボタン
26h NGボタン
26m、c1〜c7 対応線
26y1、26y2、56y1、56y2 対応点領域
26z カーソル
27 狭域対応点検出部
28 特徴点群保存部
33、33A 第1画像
36、36A 第2画像
38a、38b、a1〜a7、b1〜b7 特徴点
39a、39b、58a、58b 対応点
40 対象物(被写体)
41、41A 対象点
51、52 特徴点群
61 画像取込装置
62 ベースライン長
63 送信機
65 専用線
72 受信機
G1〜G5、G11〜G14 画面
Claims (7)
- 第1の撮像装置により撮像された第1の画像と、第2の撮像装置により撮像された第2の画像と、を取得する画像取得部と、
前記第1の画像における第1の特徴点と、前記第2の画像における第2の特徴点と、を取得する特徴点抽出部と、
前記第1の特徴点と前記第2の特徴点とが対応する第1の対応点ペアを複数検出する対応点検出部と、
複数の前記第1の対応点ペアに基づいて第1の3次元座標を復元する3次元座標導出部と、
前記3次元座標導出部により復元された前記第1の3次元座標の異常の有無を判定する異常判定部と、
復元された前記第1の3次元座標が前記異常判定部において異常と判定された場合に、前記第1の画像における第1の領域及び前記第2の画像における第2の領域の指定を受け付ける領域指定部と、
前記領域指定部により受け付けられた前記第1の領域に含まれる第3の特徴点と、前記領域指定部により受け付けられた前記第2の領域に含まれる第4の特徴点と、が対応する第2の対応点ペアを複数検出する狭域対応点検出部と、を備え、
前記複数の第2の対応点ペアの検出結果と、前記複数の第2の対応点ペアの検出結果に関する操作者による判定結果を受け付ける判定ボタンと、を表示部に表示する、
3次元情報復元装置。 - 請求項1に記載の3次元情報復元装置であって、
前記領域指定部は、前記判定ボタンのうち、前記複数の第2の対応点ペアの検出結果をもって前記第2の対応点ペアの検出を完了しない旨を示す第1のボタンが押下された場合、前記第1の領域及び前記第2の領域の再指定を受け付け、
前記特徴点抽出部は、前記領域指定部により再指定された前記第1の領域に含まれる第3の特徴点と、前記領域指定部により再指定された前記第2の領域に含まれる第4の特徴点と、を再取得し、
前記狭域対応点検出部は、再取得された前記第3の特徴点と再取得された前記第4の特徴点とが対応する第2の対応点ペアを複数再検出し、
再検出された前記複数の第2の対応点ペアの検出結果と、前記再検出された複数の第2の対応点ペアの検出結果に関する操作者による判定結果を受け付ける判定ボタンと、を表示部に再表示し、
前記判定ボタンのうち、前記複数の第2の対応点ペアの検出結果をもって前記第2の対応点ペアの検出を完了する旨を示す第2のボタンが押下された場合、前記3次元座標導出部は、複数の前記第2の対応点ペアに基づいて第2の3次元座標を復元し、前記3次元座標導出部により復元された前記第2の3次元座標を前記表示部に表示する、
3次元情報復元装置。 - 請求項1または2に記載の3次元情報復元装置であって、
複数の前記第1の対応点ペアに基づいて、前記第1の3次元座標を導出するためのパラメータを複数導出するパラメータ導出部を更に備え、
前記異常判定部は、前記パラメータ導出部によって導出された複数の前記パラメータに基づいて、前記3次元座標導出部により復元された第1の3次元座標の異常の有無を判定し、
前記領域指定部は、前記第1の3次元座標に異常がある場合に、前記第1の領域及び前記第2の領域を指定する、
3次元情報復元装置。 - 請求項1ないし3のうちいずれか一項に記載の3次元情報復元装置であって、
前記第2の対応点ペアとして検出された前記第3の特徴点及び前記第4の特徴点を記憶する特徴点記憶部を更に備え、
前記特徴点抽出部は、前記第1の撮像装置により撮像された第3の画像に含まれる第5の特徴点と、前記第2の撮像装置により撮像された第4の画像に含まれる第6の特徴点と、を複数抽出し、
前記狭域対応点検出部は、
前記特徴点記憶部に記憶された前記第3の特徴点と前記特徴点抽出部によって抽出された前記第5の特徴点との類似度及び前記特徴点記憶部に記憶された前記第4の特徴点と前記特徴点抽出部によって抽出された前記第6の特徴点との類似度に基づいて、前記第3の画像において前記第1の領域に対応する第3の領域、及び前記第4の画像において前記第2の領域に対応する第4の領域を検出し、
前記第5の特徴点のうち前記第3の領域に含まれる第7の特徴点と、前記第6の特徴点のうち前記第4の領域に含まれる第8の特徴点と、が対応する第3の対応点ペアを複数検出し、
前記3次元座標導出部は、複数の前記第3の対応点ペアに基づいて、第3の3次元座標を復元する、
3次元情報復元装置。 - 第1の画像を撮像する第1の撮像装置と、
第2の画像を撮像する第2の撮像装置と、
前記第1の画像及び前記第2の画像に基づいて3次元座標を復元する3次元情報復元装置と、を備える3次元情報復元システムであって、
前記3次元情報復元装置は、
前記第1の画像及び前記第2の画像を取得する画像取得部と、
前記第1の画像における第1の特徴点と、前記第2の画像における第2の特徴点と、を取得する特徴点抽出部と、
前記第1の特徴点と前記第2の特徴点とが対応する第1の対応点ペアを複数検出する対応点検出部と、
複数の前記第1の対応点ペアに基づいて第1の3次元座標を復元する3次元座標導出部と、
前記3次元座標導出部により復元された前記第1の3次元座標の異常の有無を判定する異常判定部と、
復元された前記第1の3次元座標が前記異常判定部において異常と判定された場合に、前記第1の画像における第1の領域及び前記第2の画像における第2の領域の指定を受け付ける領域指定部と、
前記領域指定部により受け付けられた前記第1の領域に含まれる第3の特徴点と、前記領域指定部により受け付けられた前記第2の領域に含まれる第4の特徴点と、が対応する第2の対応点ペアを複数検出する狭域対応点検出部と、を備え、
前記複数の第2の対応点ペアの検出結果と、前記複数の第2の対応点ペアの検出結果に関する操作者による判定結果を受け付ける判定ボタンと、を表示部に表示する、
3次元情報復元システム。 - 請求項5に記載の3次元情報復元システムであって、更に、
前記第1の画像を前記第1の撮像装置から取得し、前記第2の画像を前記第2の撮像装置から取得し、前記第1の画像及び前記第2の画像を送信する送信機と、
前記送信機からの前記第1の画像及び前記第2の画像を受信し、前記第1の画像及び前記第2の画像を前記3次元情報復元装置へ送る受信機と、を備える、
3次元情報復元システム。 - 3次元情報復元装置における3次元情報復元方法であって、
第1の撮像装置により撮像された第1の画像と、第2の撮像装置により撮像された第2の画像と、を取得するステップと、
前記第1の画像における第1の特徴点と、前記第2の画像における第2の特徴点と、を取得するステップと、
前記第1の特徴点と前記第2の特徴点とが対応する第1の対応点ペアを複数検出するステップと、
複数の前記第1の対応点ペアに基づいて第1の3次元座標を復元するステップと、
復元された前記第1の3次元座標の異常の有無を判定するステップと、
復元された前記第1の3次元座標が異常と判定された場合に、前記第1の画像における第1の領域及び前記第2の画像における第2の領域の指定を受け付けるステップと、
受け付けられた前記第1の領域に含まれる第3の特徴点と、受け付けられた前記第2の領域に含まれる第4の特徴点と、が対応する第2の対応点ペアを複数検出するステップと、
前記複数の第2の対応点ペアの検出結果と、前記複数の第2の対応点ペアの検出結果に関する操作者による判定結果を受け付ける判定ボタンと、を表示部に表示するステップと、を備える、
3次元情報復元方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014261173A JP6403115B2 (ja) | 2014-12-24 | 2014-12-24 | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 |
PCT/JP2015/006218 WO2016103621A1 (ja) | 2014-12-24 | 2015-12-14 | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 |
US15/534,042 US10249058B2 (en) | 2014-12-24 | 2015-12-14 | Three-dimensional information restoration device, three-dimensional information restoration system, and three-dimensional information restoration method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014261173A JP6403115B2 (ja) | 2014-12-24 | 2014-12-24 | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016121917A JP2016121917A (ja) | 2016-07-07 |
JP6403115B2 true JP6403115B2 (ja) | 2018-10-10 |
Family
ID=56327364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014261173A Active JP6403115B2 (ja) | 2014-12-24 | 2014-12-24 | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6403115B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6599014B2 (ja) * | 2016-08-26 | 2019-10-30 | オリンパス株式会社 | 計測処理装置 |
WO2019065536A1 (ja) * | 2017-09-26 | 2019-04-04 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 再構成方法および再構成装置 |
JP6985593B2 (ja) * | 2017-10-18 | 2021-12-22 | 富士通株式会社 | 画像処理プログラム、画像処理装置および画像処理方法 |
WO2019082797A1 (ja) * | 2017-10-23 | 2019-05-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 再構成方法および再構成装置 |
WO2019130409A1 (ja) * | 2017-12-26 | 2019-07-04 | 株式会社日立製作所 | ステレオ計測装置及び方法 |
WO2020111139A1 (ja) * | 2018-11-29 | 2020-06-04 | Necソリューションイノベータ株式会社 | 座標算出装置、座標算出方法、及びコンピュータ読み取り可能な記録媒体 |
US10565737B1 (en) * | 2019-07-09 | 2020-02-18 | Mujin, Inc. | Method and system for performing automatic camera calibration for a scanning system |
WO2023067868A1 (ja) * | 2021-10-18 | 2023-04-27 | 日立Astemo株式会社 | 車載撮像システム |
JP2023125635A (ja) * | 2022-02-28 | 2023-09-07 | パナソニックIpマネジメント株式会社 | 特徴点登録装置、特徴点登録方法および画像処理システム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0933248A (ja) * | 1995-07-20 | 1997-02-07 | Nissan Motor Co Ltd | パッシブ三角測量式距離計 |
JP2003207324A (ja) * | 2002-01-16 | 2003-07-25 | Olympus Optical Co Ltd | 3次元情報取得装置及び3次元情報取得方法 |
JP5620200B2 (ja) * | 2010-09-06 | 2014-11-05 | 株式会社トプコン | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム |
-
2014
- 2014-12-24 JP JP2014261173A patent/JP6403115B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016121917A (ja) | 2016-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6403115B2 (ja) | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 | |
WO2016103621A1 (ja) | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 | |
JP6226539B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP5710752B2 (ja) | 検出装置、方法及びプログラム | |
JP5549605B2 (ja) | 視線位置検出装置、視線位置検出方法、及びコンピュータプログラム | |
WO2017043258A1 (ja) | 計算装置および計算装置の制御方法 | |
JP6721111B2 (ja) | カメラパラメータ推定装置、方法およびプログラム | |
JP4941565B2 (ja) | 対応点探索装置および対応点探索方法 | |
JP6541070B2 (ja) | 3次元情報復元装置及び3次元情報復元方法 | |
KR20190027079A (ko) | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 | |
TWI528783B (zh) | 產生深度影像之方法及其系統及電腦程式產品 | |
WO2022237048A1 (zh) | 位姿获取方法、装置、电子设备、存储介质及程序 | |
EP3576419A1 (en) | Image processing apparatus, information processing apparatus, information processing method, and program | |
JP2006329684A (ja) | 画像計測装置及び方法 | |
JP6789899B2 (ja) | 計測装置および計測装置の作動方法 | |
JP5937977B2 (ja) | 変換行列推定装置、変換行列推定方法、及びプログラム | |
WO2017003424A1 (en) | Metric 3d stitching of rgb-d data | |
JP2016213578A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP6625654B2 (ja) | 投影装置、投影方法、および、プログラム | |
JP2017130047A (ja) | 情報処理装置、情報処理システム、及びプログラム | |
JP2020187557A (ja) | 温度画像表示装置、温度画像表示システムおよび温度画像表示プログラム | |
JP6242009B2 (ja) | 広域画像に撮影領域枠を重畳表示する映像転送システム、端末、プログラム及び方法 | |
JP5582572B2 (ja) | 画像処理方法、画像処理プログラム、これを記憶したコンピュータ読み取り可能な記憶媒体、及び画像処理装置 | |
US20230011093A1 (en) | Adjustment support system and adjustment support method | |
WO2023199583A1 (ja) | ビューワ制御方法及び情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180522 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180807 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180903 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6403115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |