JP4227037B2 - 撮像システム及び校正方法 - Google Patents
撮像システム及び校正方法 Download PDFInfo
- Publication number
- JP4227037B2 JP4227037B2 JP2004049108A JP2004049108A JP4227037B2 JP 4227037 B2 JP4227037 B2 JP 4227037B2 JP 2004049108 A JP2004049108 A JP 2004049108A JP 2004049108 A JP2004049108 A JP 2004049108A JP 4227037 B2 JP4227037 B2 JP 4227037B2
- Authority
- JP
- Japan
- Prior art keywords
- moving
- imaging means
- transformation matrix
- fixed
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
アイ キタハラ(I. Kitahara)他、「大規模仮想現実のための大規模空間におけるマルチ映像記録」(Recording of Multiple Videos in Large-scale Space for Large-scale Virtualized Reality)、国際ディスプレイワークショップ会報(Proc. of International Display Workshops (AD/IDW'01))、2001年、p.1377−p.1380 キュー ロン(Q. Luong)他、「対応点及びF行列からの移動カメラの自己校正」(Self-calibration of a Moving Camera from Point Correspondence and Fundamental Matrix)、コンピュータビジョンインターナショナルジャーナル(International Journal Computer Vision)、1997年、Vol.22,No.3,p.261−p.289
mt=PtM … (1)
(mt)TF0m0=0 … (2)
(mt)TF1m1=0 … (3)
m0=P0M … (4)
m1=P1M … (5)
移動カメラCtの画像上の2本のエピポーラ線が、以下のように求められる。
(mt)TF0P0M=0 … (6)
(mt)TF1P1M=0 … (7)
〔Xn−tx Yn−ty Zn−tz〕T=R〔X0−tx Y0−ty Z0−tz〕T … (8)
なお、移動物体を撮影するときには、撮影を希望する領域の3次元座標(X,Y,Z)を式(10)の右辺に代入することにより、移動カメラ41の制御値(pan,tilt)を計算して制御及び撮影を行う。具体的には、首振り移動時射影変換行列算出部78は、上記のようにして式(10)の制御行列Cを算出し、算出した制御行列Cを移動カメラパン値及びチルト値算出部81へ出力する。移動カメラパン値及びチルト値算出部81において、撮影命令85として与えられた3次元空間中で注目すべき位置(X,Y,Z)と首振り移動時射影変換行列算出部78から出力された制御行列Cとを用いて式(10)から移動カメラのパン値及びチルト値を算出し、移動カメラ制御部75に制御命令を渡す。移動カメラ制御部75は、受け取ったパン値及びチルト値に移動カメラを制御する。この場合、移動カメラパン値及びチルト値算出部81がパン値及びチルト値算出手段の一例に相当し、移動カメラ制御部75が制御手段の一例に相当し、撮影を希望する撮影対象領域に適したパン値及びチルト値に移動カメラを自動的に制御することができる。
21〜2m 固定カメラ用校正処理部
31 ネットワーク
41〜4n 移動カメラ
51〜5n 移動カメラ用校正処理部
61 固定用射影変換行列算出部
62 3次元位置計測部
71 対応点検出部
72 エピポーラ方程式算出部
73 観測座標算出部
74 移動用射影変換行列算出部
75 移動カメラ制御部
76 パン値及びチルト値取得部
77 回転中心算出部
78 首振り移動時射影変換行列算出部
Claims (5)
- 空間内の所定位置に固定された複数の固定撮像手段と、
前記空間内において任意の位置に移動可能な移動体に装着され、前記移動体の移動に伴い、前記空間内において任意の位置に移動可能な移動撮像手段と、
ストロングキャリブレーションにより、前記複数の固定撮像手段によって予め撮影されたマーカーの画像上の既知の観測座標及び前記マーカーの既知の3次元座標から前記複数の固定撮像手段の射影変換行列を算出する固定用射影変換行列算出手段と、
前記複数の固定撮像手段と前記移動撮像手段との間のエピポーラ方程式を算出するエピポーラ方程式算出手段と、
前記射影変換行列と前記エピポーラ方程式とから前記移動撮像手段の射影変換行列を算出する移動用射影変換行列算出手段と、
前記移動用射影変換行列算出手段により算出された前記移動撮像手段の射影変換行列を取得し、前記移動撮像手段の校正を行う校正手段とを備え、
前記複数の固定撮像手段及び前記移動撮像手段は、前記空間内の所定位置に配置された複数のマーカーを撮影し、
前記エピポーラ方程式算出手段は、前記複数の固定撮像手段及び前記移動撮像手段により撮影されたマーカーの、前記複数の固定撮像手段及び前記移動撮像手段の各画像上の対応点を検出し、検出した対応点の画像上の観測座標を用いて前記エピポーラ方程式を算出し、
前記移動用射影変換行列算出手段は、前記固定撮像手段の射影変換行列をP、前記固定撮像手段と前記移動撮像手段との間のエピポーラ方程式をF、前記空間内の任意の3次元座標をMとしたとき、前記空間内の任意の3次元座標Mを代入して(m t ) T FPM=0を解くことにより、前記空間内の任意の3次元座標Mに対応する、前記移動撮像手段の画像上の観測座標m t を算出し、前記3次元座標M及び前記観測座標m t から前記移動撮像手段の射影変換行列を算出することを特徴とする撮像システム。 - 前記移動撮像手段は、パン方向及びチルト方向に撮像方向を変更可能な可動撮像手段を含み、
前記移動撮像手段の回転中心位置を算出する回転中心算出手段をさらに備え、
前記校正手段は、前記回転中心算出手段により算出された回転中心位置と、前記回転中心位置に対する前記移動撮像手段の移動時のパン値及びチルト値とから、前記移動撮像手段の移動時の剛体変換行列を求め、求めた剛体変換行列を前記移動用射影変換行列算出手段により算出された射影変換行列に掛け合わせて前記移動撮像手段の移動時の射影変換行列を算出し、前記移動撮像手段のパン方向及びチルト方向の校正を行う移動時射影変換行列算出手段を備えることを特徴とする請求項1記載の撮像システム。 - 前記回転中心算出手段は、前記複数の固定撮像手段により撮影されたマーカーの3次元位置を算出するとともに、前記マーカーが画像中心に位置するときの前記移動撮像手段のパン値及びチルト値を取得し、前記3次元位置と前記パン値及びチルト値とから前記移動撮像手段の回転中心位置を算出することを特徴とする請求項2記載の撮像システム。
- 前記移動時射影変換行列算出手段は、前記可動撮像手段の撮影位置と前記可動撮像手段のパン値及びチルト値との関係を規定する制御行列をC、前記マーカーの3次元位置を(X,Y,Z)、前記マーカーを画像の中心で撮影したときのパン値をpan、チルト値をtilt、任意の実数をλとしたとき、λ〔pan tilt 1〕 T =C〔X Y Z 1〕 T を満たす前記可動撮像手段の制御行列Cを最小二乗法により算出し、
前記可動撮像手段の撮影対象領域の入力を受け付け、前記撮影対象領域として与えられた3次元空間中で注目すべき位置(X,Y,Z)と、前記移動時射影変換行列算出手段により算出された制御行列Cとを用いて、λ〔pan tilt 1〕 T =C〔X Y Z 1〕 T から、受け付けた撮影対象領域に応じたパン値及びチルト値を算出するパン値及びチルト値算出手段と、
前記パン値及びチルト値算出手段により算出されたパン値及びチルト値に応じて前記可動撮像手段を制御する制御手段とをさらに備えることを特徴とする請求項3記載の撮像システム。 - 複数の固定撮像手段が所定位置に固定された空間内における任意の位置に移動可能な移動体に装着され、前記移動体の移動に伴い、前記空間内において任意の位置に移動可能な移動撮像手段の校正方法であって、
ストロングキャリブレーションにより、前記複数の固定撮像手段によって予め撮影されたマーカーの画像上の既知の観測座標及び前記マーカーの既知の3次元座標から前記複数の固定撮像手段の射影変換行列を算出するステップと、
前記複数の固定撮像手段及び前記移動撮像手段により撮影されたマーカーの、前記複数の固定撮像手段及び前記移動撮像手段の各画像上の対応点を検出し、検出した対応点の画像上の観測座標を用いて、前記複数の固定撮像手段と前記移動撮像手段との間のエピポーラ方程式を算出するステップと、
前記固定撮像手段の射影変換行列をP、前記固定撮像手段と前記移動撮像手段との間のエピポーラ方程式をF、前記空間内の任意の3次元座標をMとしたとき、前記空間内の任意の3次元座標Mを代入して(m t ) T FPM=0を解くことにより、前記空間内の任意の3次元座標Mに対応する、前記移動撮像手段の画像上の観測座標m t を算出し、前記3次元座標M及び前記観測座標m t から前記移動撮像手段の射影変換行列を算出し、前記移動撮像手段の校正を行うステップとを含むことを特徴とする校正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004049108A JP4227037B2 (ja) | 2004-02-25 | 2004-02-25 | 撮像システム及び校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004049108A JP4227037B2 (ja) | 2004-02-25 | 2004-02-25 | 撮像システム及び校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005241323A JP2005241323A (ja) | 2005-09-08 |
JP4227037B2 true JP4227037B2 (ja) | 2009-02-18 |
Family
ID=35023218
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004049108A Expired - Fee Related JP4227037B2 (ja) | 2004-02-25 | 2004-02-25 | 撮像システム及び校正方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4227037B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4604774B2 (ja) * | 2005-03-14 | 2011-01-05 | オムロン株式会社 | 3次元計測のためのキャリブレーション方法 |
JP4892982B2 (ja) * | 2006-01-12 | 2012-03-07 | 株式会社島津製作所 | 磁気マッピング装置 |
JP4991395B2 (ja) * | 2007-05-28 | 2012-08-01 | キヤノン株式会社 | 情報処理方法及び情報処理装置 |
US8044991B2 (en) * | 2007-09-28 | 2011-10-25 | The Boeing Company | Local positioning system and method |
JP2011227073A (ja) * | 2010-03-31 | 2011-11-10 | Saxa Inc | 3次元位置測定装置 |
JP5745178B2 (ja) | 2012-06-29 | 2015-07-08 | 富士フイルム株式会社 | 3次元測定方法、装置及びシステム、並びに画像処理装置 |
CN104395692B (zh) | 2012-06-29 | 2016-08-24 | 富士胶片株式会社 | 三维测定方法、装置、***以及图像处理装置 |
JP6180925B2 (ja) * | 2013-12-26 | 2017-08-16 | 日本放送協会 | ロボットカメラ制御装置、そのプログラム及び多視点ロボットカメラシステム |
JP2016125956A (ja) * | 2015-01-07 | 2016-07-11 | ソニー株式会社 | 情報処理装置、情報処理方法、および情報処理システム |
JP2018053616A (ja) * | 2016-09-30 | 2018-04-05 | 積水化学工業株式会社 | 下水管路内通信システム、下水管路内監視システム及び下水管路内通信装置 |
JP6985593B2 (ja) * | 2017-10-18 | 2021-12-22 | 富士通株式会社 | 画像処理プログラム、画像処理装置および画像処理方法 |
WO2020152810A1 (ja) * | 2019-01-23 | 2020-07-30 | 株式会社ソシオネクスト | カメラ情報算出装置、システム、カメラ情報算出方法およびプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07111324B2 (ja) * | 1991-10-04 | 1995-11-29 | 株式会社エイ・ティ・アール視聴覚機構研究所 | カメラの回転機構を利用したキヤリブレーション装置 |
JP3122629B2 (ja) * | 1997-07-16 | 2001-01-09 | 株式会社エイ・ティ・アール知能映像通信研究所 | 任意視点画像生成装置 |
JPH1153549A (ja) * | 1997-08-01 | 1999-02-26 | Sony Corp | 画像処理装置、画像処理方法、および、伝送媒体 |
JP4235858B2 (ja) * | 1999-05-07 | 2009-03-11 | ソニー株式会社 | ロボット装置及びロボット装置の障害物マップ生成方法 |
JP4453119B2 (ja) * | 1999-06-08 | 2010-04-21 | ソニー株式会社 | カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ |
JP2002042139A (ja) * | 2000-07-25 | 2002-02-08 | Hitachi Ltd | 映像認識方法および映像表示装置 |
JP2002350131A (ja) * | 2001-05-25 | 2002-12-04 | Minolta Co Ltd | 多眼カメラのキャリブレーション方法および装置並びにコンピュータプログラム |
JP2003279315A (ja) * | 2002-01-16 | 2003-10-02 | Advanced Telecommunication Research Institute International | カメラの自動校正方法 |
JP3996805B2 (ja) * | 2002-06-06 | 2007-10-24 | 株式会社日立製作所 | 監視カメラ装置、監視カメラシステム装置及び撮像画面のマスク方法 |
JP4027294B2 (ja) * | 2003-09-26 | 2007-12-26 | 株式会社国際電気通信基礎技術研究所 | 移動体検出装置、移動体検出方法及び移動体検出プログラム |
-
2004
- 2004-02-25 JP JP2004049108A patent/JP4227037B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005241323A (ja) | 2005-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108765498B (zh) | 单目视觉跟踪方法、装置及存储介质 | |
CN110728715B (zh) | 一种智能巡检机器人摄像机角度自适应调整方法 | |
JP6734940B2 (ja) | 三次元計測装置 | |
JP5746477B2 (ja) | モデル生成装置、3次元計測装置、それらの制御方法及びプログラム | |
JP6635690B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP4437748B2 (ja) | プロジェクタによる位置および向きの読み取り | |
JP3859574B2 (ja) | 3次元視覚センサ | |
US8625854B2 (en) | 3D scene scanner and a position and orientation system | |
JP2008506953A5 (ja) | ||
JP6658001B2 (ja) | 位置推定装置、プログラム、位置推定方法 | |
CN111025283B (zh) | 雷达与球机联动的方法及装置 | |
JP5566281B2 (ja) | 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム | |
CA2573728A1 (en) | Method and apparatus for machine-vision | |
Castaneda et al. | SLAM combining ToF and high-resolution cameras | |
WO2011105522A1 (en) | Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium | |
JP4227037B2 (ja) | 撮像システム及び校正方法 | |
JP2007033257A (ja) | 情報処理方法および装置 | |
JP2000097637A5 (ja) | 姿勢位置検出装置及び移動体姿勢検出装置 | |
Aliakbarpour et al. | An efficient algorithm for extrinsic calibration between a 3d laser range finder and a stereo camera for surveillance | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
Kyriakoulis et al. | Color-based monocular visuoinertial 3-D pose estimation of a volant robot | |
Núnez et al. | Data Fusion Calibration for a 3D Laser Range Finder and a Camera using Inertial Data. | |
WO2007041696A2 (en) | System and method for calibrating a set of imaging devices and calculating 3d coordinates of detected features in a laboratory coordinate system | |
JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
JP2005233639A (ja) | ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071016 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081125 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081127 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |