JP6540155B2 - 画像処理装置、方法及びプログラム、並びに画像処理システム - Google Patents
画像処理装置、方法及びプログラム、並びに画像処理システム Download PDFInfo
- Publication number
- JP6540155B2 JP6540155B2 JP2015067275A JP2015067275A JP6540155B2 JP 6540155 B2 JP6540155 B2 JP 6540155B2 JP 2015067275 A JP2015067275 A JP 2015067275A JP 2015067275 A JP2015067275 A JP 2015067275A JP 6540155 B2 JP6540155 B2 JP 6540155B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- correction parameter
- unit
- camera array
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 99
- 238000000034 method Methods 0.000 title claims description 60
- 238000012937 correction Methods 0.000 claims description 265
- 238000004364 calculation method Methods 0.000 claims description 152
- 238000003491 array Methods 0.000 claims description 47
- 239000011159 matrix material Substances 0.000 claims description 32
- 238000009434 installation Methods 0.000 claims description 16
- 238000003702 image correction Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 9
- 230000036544 posture Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Description
m=PM …(1)
P=K[R|T] …(2)
mideal=Hmreal…(4)
ISO/IEC JTC1/SC29/WG11 M15379"Adjusting method for multi view image;color and geometry correction for MPEG−FTV test sequences,"Apr.2008 Z.Zhang,"A Flexible New Technique for Camera Calibration", IEEE Trans. PAMI, Vol.22,No.11, PP.1330−1334, 2000
ることを特徴とする。
以下、本発明による画像処理装置、方法及びプログラム、並びに画像処理システムの一実施形態を、図面を参照しながら詳述する。
図1は、この実施形態の画像処理システム1の全体構成を示すブロック図である。
次に、以上のような構成を有する画像処理システム1の動作を説明する。
Pideal=HPreal …(10)
H=Pideal(Preal)−1 …(11)
次に、制御部101は、入出力部109を用いて、ユーザに対し、平面パターンを設置すべきカメラペア(結合カメラアレイ補正パラメータ計算部104から通知されたカメラペア)を通知(カメラペアの情報を通知)する(S710)。
この実施形態によれば、以下のような効果を奏することができる。
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
Claims (7)
- 複数のカメラで構成されたカメラアレイで撮像された画像を処理する画像処理装置において、
上記カメラアレイを構成する各カメラの相対的な位置関係を示す相対位置情報を含む情報を保持するカメラアレイ情報保持手段と、
上記カメラアレイ情報保持手段が保持している各カメラの情報を利用して、各カメラで撮像された画像の補正に必要な補正パラメータを算出する補正パラメータ算出手段と、
上記補正パラメータ算出手段が算出した補正パラメータを用いて、上記カメラアレイを構成する各カメラが撮像した画像を補正する画像補正手段とを有し、
上記カメラアレイは、複数のカメラで構成された単位カメラアレイを複数備えており、
上記補正パラメータ算出手段は、
各単位カメラアレイ内の補正パラメータを計算する第1の補正パラメータ計算部と、
上記第1の補正パラメータ計算部が計算した補正パラメータ、及び上記第1の補正パラメータ計算部が補正パラメータを計算する過程で算出した各カメラに係るカメラパラメータ利用して、複数の単位カメラアレイを結合した際の補正パラメータを計算する第2の補正パラメータ計算部とを有し、
上記第1の補正パラメータ計算部は、補正パラメータの計算を行う際に必要となる平面パターンを撮像すべき単位カメラアレイを特定し、特定した単位カメラアレイのカメラに対して平面パターンの設置が必要である旨を出力し、単位カメラアレイの各カメラから平面パターンを撮像した画像を取得し、取得した画像を用いて単位カメラアレイ内の平行化のための補正パラメータを計算し、
上記第2の補正パラメータ計算部は、単位カメラアレイ間で組となるカメラペアを選択し、選択したカメラペアの各カメラに対して平面パターンの設置が必要である旨を出力し、選択したカメラペアの各カメラから平面パターンを撮像した画像を取得し、取得した画像を用いて、複数の単位カメラアレイを結合した際の補正パラメータを計算する
ことを特徴とする画像処理装置。 - 上記単位カメラアレイは、それぞれ3つ以上のカメラを備えていることを特徴とする請求項1に記載の画像処理装置。
- 上記第2の補正パラメータ計算部は、選択したカメラペアの各カメラから、平面パターンを撮像した画像を取得し、取得した画像に基づいて、単位カメラアレイ間の相対位置及び相対姿勢を計算し、単位カメラアレイ間の相対位置及び相対姿勢を用いて、上記カメラアレイを構成する全てのカメラの位置及び姿勢を共通の座標系に変換し、上記共通の座標系を用いて、複数の単位カメラアレイを結合した際の補正パラメータを計算することを特徴とする請求項1又は2に記載の画像処理装置。
- 上記第2の補正パラメータ計算部は、上記第1の補正パラメータ計算部が補正パラメータを計算する過程で算出した各カメラに係る内部パラメータ及び外部パラメータを用いて、上記共通の座標系で、上記カメラアレイを構成する各カメラを理想的な状態に配置した場合のカメラパラメータを計算し、計算したカメラパラメータについて疑似逆行列を計算することにより、上記カメラアレイを構成する各カメラで撮像される画像を、上記カメラアレイを構成する各カメラを理想的な状態に配置して撮像した画像へ補正するためのホモグラフィ行列を計算し、計算したホモグラフィティ行列を補正パラメータとして出力することを特徴とする請求項3に記載の画像処理装置。
- 複数のカメラで構成されたカメラアレイで撮像された画像を処理する画像処理装置に搭載されたコンピュータを、
上記カメラアレイを構成する各カメラの相対的な位置関係を示す相対位置情報を含む情報を保持するカメラアレイ情報保持手段と、
上記カメラアレイ情報保持手段が保持している各カメラの情報を利用して、各カメラで撮像された画像の補正に必要な補正パラメータを算出する補正パラメータ算出手段と、
上記補正パラメータ算出手段が算出した補正パラメータを用いて、上記カメラアレイを構成する各カメラが撮像した画像を補正する画像補正手段として機能させ、
上記カメラアレイは、複数のカメラで構成された単位カメラアレイを複数備えており、
上記補正パラメータ算出手段は、
各単位カメラアレイ内の補正パラメータを計算する第1の補正パラメータ計算部と、
上記第1の補正パラメータ計算部が計算した補正パラメータ、及び上記第1の補正パラメータ計算部が補正パラメータを計算する過程で算出した各カメラに係るカメラパラメータ利用して、複数の単位カメラアレイを結合した際の補正パラメータを計算する第2の補正パラメータ計算部とを有し、
上記第1の補正パラメータ計算部は、補正パラメータの計算を行う際に必要となる平面パターンを撮像すべき単位カメラアレイを特定し、特定した単位カメラアレイのカメラに対して平面パターンの設置が必要である旨を出力し、単位カメラアレイの各カメラから平面パターンを撮像した画像を取得し、取得した画像を用いて単位カメラアレイ内の平行化のための補正パラメータを計算し、
上記第2の補正パラメータ計算部は、単位カメラアレイ間で組となるカメラペアを選択し、選択したカメラペアの各カメラに対して平面パターンの設置が必要である旨を出力し、選択したカメラペアの各カメラから平面パターンを撮像した画像を取得し、取得した画像を用いて、複数の単位カメラアレイを結合した際の補正パラメータを計算する
ことを特徴とする画像処理プログラム。 - 複数のカメラで構成されたカメラアレイで撮像された画像を処理する画像処理装置が行う画像処理方法において、
カメラアレイ情報保持手段、補正パラメータ算出手段、及び画像補正手段を有し、上記補正パラメータ算出手段は、第1の補正パラメータ計算部及び第2の補正パラメータ計算部を有し、
上記カメラアレイ情報保持手段は、上記カメラアレイを構成する各カメラの相対的な位置関係を示す相対位置情報を含む情報を保持し、
上記補正パラメータ算出手段は、上記カメラアレイ情報保持手段が保持している各カメラの情報を利用して、各カメラで撮像された画像の補正に必要な補正パラメータを算出し、
上記画像補正手段は、上記補正パラメータ算出手段が算出した補正パラメータを用いて、上記カメラアレイを構成する各カメラが撮像した画像を補正し、
上記カメラアレイは、複数のカメラで構成された単位カメラアレイを複数備えており、
上記第1の補正パラメータ計算部は、各単位カメラアレイ内の補正パラメータを計算し、
上記第2の補正パラメータ計算部は、上記第1の補正パラメータ計算部が計算した補正パラメータ、及び上記第1の補正パラメータ計算部が補正パラメータを計算する過程で算出した各カメラに係るカメラパラメータ利用して、複数の単位カメラアレイを結合した際の補正パラメータを計算し、
上記第1の補正パラメータ計算部は、補正パラメータの計算を行う際に必要となる平面パターンを撮像すべき単位カメラアレイを特定し、特定した単位カメラアレイのカメラに対して平面パターンの設置が必要である旨を出力し、単位カメラアレイの各カメラから平面パターンを撮像した画像を取得し、取得した画像を用いて単位カメラアレイ内の平行化のための補正パラメータを計算し、
上記第2の補正パラメータ計算部は、単位カメラアレイ間で組となるカメラペアを選択し、選択したカメラペアの各カメラに対して平面パターンの設置が必要である旨を出力し、選択したカメラペアの各カメラから平面パターンを撮像した画像を取得し、取得した画像を用いて、複数の単位カメラアレイを結合した際の補正パラメータを計算する
ことを特徴とする画像処理方法。 - 複数のカメラで構成されたカメラアレイと、上記カメラアレイで撮像された画像を処理する画像処理装置とを備える画像処理システムにおいて、上記画像処理装置として請求項1〜4のいずれかに記載の画像処理装置を適用したことを特徴とする画像処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015067275A JP6540155B2 (ja) | 2015-03-27 | 2015-03-27 | 画像処理装置、方法及びプログラム、並びに画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015067275A JP6540155B2 (ja) | 2015-03-27 | 2015-03-27 | 画像処理装置、方法及びプログラム、並びに画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016187148A JP2016187148A (ja) | 2016-10-27 |
JP6540155B2 true JP6540155B2 (ja) | 2019-07-10 |
Family
ID=57202673
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015067275A Active JP6540155B2 (ja) | 2015-03-27 | 2015-03-27 | 画像処理装置、方法及びプログラム、並びに画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6540155B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115442517B (zh) * | 2022-07-26 | 2023-07-25 | 荣耀终端有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
CN115103127B (zh) * | 2022-08-22 | 2022-11-08 | 环球数科集团有限公司 | 一种嵌入式智能摄像机设计方法与*** |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9188973B2 (en) * | 2011-07-08 | 2015-11-17 | Restoration Robotics, Inc. | Calibration and transformation of a camera system's coordinate system |
EP3041228A4 (en) * | 2013-08-30 | 2017-06-28 | Clarion Co., Ltd. | Camera calibration device, camera calibration system, and camera calibration method |
-
2015
- 2015-03-27 JP JP2015067275A patent/JP6540155B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016187148A (ja) | 2016-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11232593B2 (en) | Calibration apparatus, calibration system, and calibration method | |
JP5018980B2 (ja) | 撮像装置、長さ測定方法、及びプログラム | |
JP5158223B2 (ja) | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム | |
JP5230114B2 (ja) | 情報処理装置、情報処理方法 | |
JP6622503B2 (ja) | カメラモデルパラメータ推定装置及びそのプログラム | |
JP5067476B2 (ja) | 三次元モデル作成システム | |
JP2012253444A (ja) | 撮像装置、画像処理装置およびその方法 | |
JP5924295B2 (ja) | パラメータ推定装置、パラメータ推定プログラム、機器決定システム及び機器決定プログラム | |
US20090141043A1 (en) | Image mosaicing apparatus for mitigating curling effect | |
WO2020031950A1 (ja) | 計測校正装置、計測校正方法、及びプログラム | |
JP2013083505A (ja) | 3次元座標位置推定装置、その方法、そのプログラムおよび3次元座標推定システム、ならびに、カメラ較正情報生成装置 | |
JP5067477B2 (ja) | 撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラム | |
JP7151879B2 (ja) | カメラ校正装置、カメラ校正方法、及びプログラム | |
JP7046567B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5263437B2 (ja) | 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム | |
JP4948552B2 (ja) | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体 | |
JP6540155B2 (ja) | 画像処理装置、方法及びプログラム、並びに画像処理システム | |
JP2015031601A (ja) | 3次元計測装置及び方法並びにプログラム | |
CN106461414A (zh) | 一种智能设备的姿态关系计算方法和智能设备 | |
JP2016126673A (ja) | 情報処理装置及びその制御方法、並びに、ビデオカメラ | |
JP2010273091A (ja) | 広域多視点カメラ校正方法、広域多視点カメラ校正装置、およびプログラム | |
WO2018056206A1 (ja) | 変位計測装置、変位計測システム、変位計測方法及びプログラム | |
CN110176035B (zh) | 标志点的定位方法、装置、计算机设备和存储介质 | |
JP5901379B2 (ja) | 撮像装置校正方法および画像合成装置 | |
JP2013231607A (ja) | 校正器具表示装置、校正器具表示方法、校正装置、校正方法、校正システム及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190527 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6540155 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |