JP6372805B2 - 画像処理装置、方法、及びプログラム - Google Patents
画像処理装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP6372805B2 JP6372805B2 JP2015134267A JP2015134267A JP6372805B2 JP 6372805 B2 JP6372805 B2 JP 6372805B2 JP 2015134267 A JP2015134267 A JP 2015134267A JP 2015134267 A JP2015134267 A JP 2015134267A JP 6372805 B2 JP6372805 B2 JP 6372805B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color channel
- color
- unit
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 128
- 238000000034 method Methods 0.000 title description 49
- 238000004364 calculation method Methods 0.000 claims description 47
- 230000009466 transformation Effects 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 11
- 230000010354 integration Effects 0.000 claims description 9
- 230000001360 synchronised effect Effects 0.000 description 23
- 230000003595 spectral effect Effects 0.000 description 22
- 238000001228 spectrum Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 238000002834 transmittance Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Description
なお各画像センサが非同期の状態で、複数のカラーチャンネルの画像が1回だけ撮影された場合には、変形対象画像選択部を省くことができる。
111〜113、2111〜2113 画像入力部
121〜123、311 イメージセンサ
131〜133 タイムスタンプ付与部
3121〜3126 フィルタ
18、218、318 画像処理装置
26 撮影画像記録部
281〜283、2281〜2283、3281〜3286 画像蓄積部
327 カメラ内部パラメータ記憶部
20、220、320 演算部
302〜303、2302〜2303、3302〜3306 同期画像生成部
322〜323、2322〜2323、3322〜3326 変形対象画像選択部
2332〜2333、3332〜3336 画像記憶部
2342〜2343 画像間類似度計算部
2382〜2383 画像間類似度評価部
422〜423、3342〜3346 対応点探索部
442〜443、3352〜3356 検出対応点記憶部
3362〜3366 カメラ位置推定部
3382〜3386 カメラ間距離評価部
402〜403、3402〜3406 画像変形パラメータ算出処理部
462〜463 画像変形パラメータ算出部
60 カラー画像統合部
70 色再現部
80 出力部
100、200、300 画像処理システム
Claims (9)
- 複数のカラーチャンネルごとに撮影された複数のカラーチャンネル画像から、マルチカラーチャンネル画像を生成する画像処理装置であって、
前記複数のカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像において、前記基準画像と撮影時刻若しくは撮影位置が最も近いカラーチャンネル画像、又は前記基準画像と最も類似しているカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択する変形対象画像選択部と、
前記基準画像と、前記変形対象画像選択部で選択された変形対象画像との間で検出された対応点に基づいて、前記変形対象画像の画像変形に必要なパラメータを算出する画像変形パラメータ算出処理部と、
前記変形対象画像選択部によって選択された前記変形対象画像の各々を、前記画像変形パラメータ算出処理部によって算出されたパラメータに基づいて、前記基準画像に合わせて変形する画像変形処理部と、
前記画像変形処理部によって前記基準画像で使用したもの以外のカラーチャンネルの各々に関する前記変形対象画像をそれぞれ変形させて得られた結果画像と、前記基準画像とに基づいて、マルチカラーチャンネル画像を生成するカラー画像統合部と、
を含む画像処理装置。 - 前記複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像の各々にはタイムスタンプが付与されており、
前記変形対象画像選択部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像において、前記基準画像とタイムスタンプが最も近いカラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択する請求項1に記載の画像処理装置。 - 前記変形対象画像選択部は、画像間類似度計算部と、画像間類似度評価部とを含み、
前記画像間類似度計算部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々と前記基準画像との類似度を計算し、
前記画像間類似度評価部は、前記画像間類似度計算部によって算出された前記類似度に基づいて、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像のうち、前記基準画像との類似度が最も高い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択する請求項1に記載の画像処理装置。 - 前記変形対象画像選択部は、対応点探索部と、カメラ位置推定部と、カメラ間距離評価部とを含み、
前記対応点探索部は、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記基準画像及び基準画像以外の当該カラーチャンネル画像間で対応する特徴点のペアである対応点を検出し、
前記カメラ位置推定部は、前記複数のカラーチャンネルのうち前記基準画像で使用した以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記対応点探索部によって前記基準画像及び基準画像以外の当該カラーチャンネル画像間において検出された対応点と、前記基準画像を撮影したカメラ及び前記カラーチャンネル画像を撮影したカメラの幾何光学系パラメータとに基づいて、前記基準画像を撮影したカメラに対する前記カラーチャンネルの画像を撮影した各々のカメラの位置および姿勢を推定し、
前記カメラ間距離評価部は、前記カメラ位置推定部によって推定された前記カラーチャンネルの画像を撮影したカメラの位置および姿勢に基づいて、前記カラーチャンネルで撮影されたカラーチャンネル画像の中から、前記基準画像に撮影位置が最も近い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択する請求項1に記載の画像処理装置。 - 複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像から、マルチカラーチャンネル画像を生成する画像処理装置における画像処理方法であって、
変形対象画像選択部が、前記複数のカラーチャンネルのうちの一つのカラーチャンネルで撮影されたカラーチャンネル画像を基準画像とし、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について、前記カラーチャンネルで複数枚撮影されたカラーチャンネル画像において、前記基準画像と撮影時刻若しくは撮影位置が最も近いカラーチャンネル画像、又は前記基準画像と最も類似しているカラーチャンネル画像を、当該カラーチャンネルの変形対象画像として選択するステップと、
画像変形パラメータ算出処理部が、前記基準画像と、前記変形対象画像選択部で選択された変形対象画像との間で検出された対応点に基づいて、前記変形対象画像の画像変形に必要なパラメータを算出するステップと、
画像変形処理部が、前記変形対象画像選択部によって選択された前記変形対象画像の各々を、前記画像変形パラメータ算出処理部によって算出されたパラメータに基づいて、前記基準画像に合わせて変形するステップと、
カラー画像統合部が、前記画像変形処理部によって前記基準画像で使用したもの以外のカラーチャンネルの各々に関する前記変形対象画像をそれぞれ変形させて得られた結果画像と、前記基準画像とに基づいて、マルチカラーチャンネル画像を生成するステップと、
を含む画像処理方法。 - 前記複数のカラーチャンネルごとに複数枚撮影されたカラーチャンネル画像の各々にはタイムスタンプが付与されており、
前記変形対象画像選択部が選択するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用した以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像において、前記基準画像とタイムスタンプが最も近いカラーチャンネル画像を、当該カラーチャンネルの前記変形対象画像として選択する請求項5に記載の画像処理方法。 - 前記変形対象画像選択部は、画像間類似度計算部と、画像間類似度評価部とを含み、
前記画像間類似度計算部が計算するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用した以外のカラーチャンネルの各々について、前記カラーチャンネルで複数枚撮影されたカラーチャンネル画像の各々と前記基準画像との類似度を計算し、
前記画像間類似度評価部が選択するステップは、前記画像間類似度計算部によって算出された前記類似度に基づいて、前記複数のカラーチャンネルのうちの前記基準画像で使用したもの以外のカラーチャンネルの各々について、前記カラーチャンネルで撮影された複数枚のカラーチャンネル画像のうち、前記基準画像との類似度が最も高い前記カラーチャンネル画像を当該カラーチャンネルの前記変形対象画像として選択する請求項5に記載の画像処理方法。 - 前記変形対象画像選択部は、対応点探索部と、カメラ位置推定部と、カメラ間距離評価部とを含み、
前記対応点探索部が検出するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用したもの以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記基準画像及び基準画像以外の当該カラーチャンネル画像間で対応する特徴点のペアである対応点を検出し、
前記カメラ位置推定部が推定するステップは、前記複数のカラーチャンネルのうち前記基準画像で使用した以外のカラーチャンネルの各々について複数枚撮影されたカラーチャンネル画像の各々に対し、前記対応点探索部によって前記基準画像及び基準画像以外の当該カラーチャンネル画像間において検出された対応点と、前記基準画像を撮影したカメラ及び前記カラーチャンネル画像を撮影したカメラの幾何光学系パラメータとに基づいて、前記基準画像を撮影したカメラに対する前記カラーチャンネルの画像を撮影した各々のカメラの位置および姿勢を推定し、
前記カメラ間距離評価部が選択するステップは、前記カメラ位置推定部によって推定された前記カラーチャンネルの画像を撮影したカメラの位置および姿勢に基づいて、前記カラーチャンネルで撮影されたカラーチャンネル画像の中から、前記基準画像に撮影位置が最も近い前記カラーチャンネル画像を、当該カラーチャンネルにおける前記変形対象画像として選択する請求項5に記載の画像処理方法。 - コンピュータを、請求項1〜請求項4のいずれか1項に記載の画像処理装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015134267A JP6372805B2 (ja) | 2015-07-03 | 2015-07-03 | 画像処理装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015134267A JP6372805B2 (ja) | 2015-07-03 | 2015-07-03 | 画像処理装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017017607A JP2017017607A (ja) | 2017-01-19 |
JP6372805B2 true JP6372805B2 (ja) | 2018-08-15 |
Family
ID=57828291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015134267A Active JP6372805B2 (ja) | 2015-07-03 | 2015-07-03 | 画像処理装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6372805B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102401659B1 (ko) * | 2017-03-23 | 2022-05-25 | 삼성전자 주식회사 | 전자 장치 및 이를 이용한 카메라 촬영 환경 및 장면에 따른 영상 처리 방법 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003223638A (ja) * | 2002-01-31 | 2003-08-08 | Electric Power Dev Co Ltd | 画像処理におけるレジストレーション補正処理方法及びこれを利用した植生状態表示方法 |
JP5499363B2 (ja) * | 2010-07-23 | 2014-05-21 | 日本電信電話株式会社 | 画像入力装置、画像入力方法及び画像入力プログラム |
JP6123360B2 (ja) * | 2013-03-07 | 2017-05-10 | セイコーエプソン株式会社 | 分光測定装置 |
JP6213950B2 (ja) * | 2013-06-03 | 2017-10-18 | 日本電信電話株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
-
2015
- 2015-07-03 JP JP2015134267A patent/JP6372805B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017017607A (ja) | 2017-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9210398B2 (en) | Method and apparatus for temporally interpolating three-dimensional depth image | |
JP4815807B2 (ja) | Rawデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ | |
JP4469019B2 (ja) | 画像データを生成する装置、方法およびプログラム | |
US9092883B2 (en) | Image processing device, image processing method and storage medium storing image processing program | |
JP2012186755A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
KR101801100B1 (ko) | 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법 | |
CN105324991A (zh) | 摄像装置、图像处理装置、摄像方法和图像处理方法 | |
JPWO2017222021A1 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
JP5034927B2 (ja) | 情報取得装置、情報取得方法および情報取得プログラム | |
JP5777031B2 (ja) | 画像処理装置、方法、及びプログラム | |
JP6372805B2 (ja) | 画像処理装置、方法、及びプログラム | |
US10893223B2 (en) | Systems and methods for rolling shutter compensation using iterative process | |
KR101733125B1 (ko) | 배경스크린이 필요 없는 크로마키 영상 합성 방법 | |
JP7308913B2 (ja) | 敵対的生成ネットワークアルゴリズムを活用した超分光高速カメラ映像生成方法 | |
JP2019207464A (ja) | 位相差検出器及び画像処理装置、並びにプログラム | |
JP6807538B2 (ja) | 画像処理装置、方法、及びプログラム | |
JP2005346393A (ja) | ステレオ画像認識装置及びその方法 | |
JP6103767B2 (ja) | 画像処理装置、方法、及びプログラム | |
JP2013157729A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP5836878B2 (ja) | 画像処理装置、方法、及びプログラム | |
JP5733706B2 (ja) | 画像処理装置、方法、及びプログラム | |
JP6256625B2 (ja) | 合成画像におけるカラーフリンジを低減するための方法および装置 | |
CN114208153B (zh) | 不使用防抖的多重拍摄图像捕获 | |
JP6154781B2 (ja) | 画像処理方法及び画像処理システム | |
JP5834712B2 (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170602 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180522 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180709 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6372805 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |