JP2013135363A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2013135363A JP2013135363A JP2011284969A JP2011284969A JP2013135363A JP 2013135363 A JP2013135363 A JP 2013135363A JP 2011284969 A JP2011284969 A JP 2011284969A JP 2011284969 A JP2011284969 A JP 2011284969A JP 2013135363 A JP2013135363 A JP 2013135363A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sub
- partial
- setting
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【解決手段】画像処理装置1は、被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、前記副画像から部分画像を切り出す切り出し手段と、前記部分画像の切り出しサイズを設定するサイズ設定手段と、前記部分画像の複数の切り出し位置を設定する位置設定手段と、前記複数の切り出し位置に対応した複数の部分画像を前記切り出しサイズと前記副画像の整列位置とに基づいて合成することで、再構成画像を生成する画像生成手段とを備える。
【選択図】図3
Description
プレノプティックカメラの光学系においては、従来の撮像レンズ(以下、「メインレンズ」と呼ぶ)と撮像素子との間に、極小のレンズ(以下、「マイクロレンズ」と呼ぶ)を縦横に連続して繰り返し配置した複眼状レンズ(以下、「マイクロレンズアレイ」と呼ぶ)が挿入されている。
即ち、個々のマイクロレンズの各々によって撮像素子に集光された像を、以下「サブイメージ」と呼ぶならば、複数のサブイメージの集合体からなる画像のデータが、撮像画像のデータとして撮像素子から出力される。
なお、このようなプレノプティックカメラの撮像画像、即ち、複数のサブイメージの集合体からなる画像を、以下、「ライトフィールド画像」と呼ぶ。
ライトフィールド画像は、このように従来のメインレンズのみならず、マイクロレンズアレイを介して入射された光により生成される。このため、ライトフィールド画像は、従来の撮像画像にも含まれていた2次元の空間情報を有することは勿論のこと、さらに、従来の撮像画像には含まれていなかった情報として、撮像素子からみて何れの方向から到達した光線なのかを示す2次元の方向情報を有している。
換言すると、プレノプティックカメラは、所定距離で焦点を合わせずにライトフィールド画像を撮像した場合であっても、その撮像後に、当該ライトフィールド画像のデータを用いることで、当該所定距離で合焦して撮像したような画像(以下、「再構成画像」と呼ぶ)のデータを自在に作り出すことができる。
このため、当該ノイズを低減する手法が求められている。
出力部18は、モニタやスピーカ等により構成され、各種画像や各種音声を出力する。
記憶部19は、ハードディスクやDRAM(Dynamic Random Access Memory)等で構成され、後述するライトフィールド画像や再構成画像等、各種画像のデータを記憶する。
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
マイクロレンズアレイ32においては、N個(Nは2以上の任意の整数値)のマイクロレンズ32−1乃至32−Nの各々が規則的に連続して繰り返して配置されている。
即ち、撮像素子33においては、複数のマイクロレンズ32−1乃至32−Nの各々により複数のサブイメージが結像され、これらの複数のサブイメージの集合体であるライトフィールド画像が生成される。
このようにして、同一の被写体に対して異なる角度から見た像が、対応する複数のサブイメージに記録される。言い換えると被写体を複数の視点から見た複数の副画像が整列した画像が得られる。
なお、このようにして画像処理装置1が再構成画像のデータを生成するまでの処理を、以下、「再構成処理」と呼び、再構成対象の面を、「再構成面」と呼ぶ。
なお、画像処理装置1は、再構成処理の前に、被写体を撮像して、その結果得られるライトフィールド画像のデータを記憶部19等に記憶しているものとする。
ステップS12において、CPU11は、メインレンズ31の前方の所定距離の位置にある面の像を、再構成面として設定する。この所定距離を以下、再焦点距離と呼ぶ。
始めにライトフィールド画像LFの左上のサブイメージSが選択される(S15)。選択されたサブイメージSから部分画像Cが切り出されて(S16)、この部分画像Cが中間画像1の左上に配置される(S17)。次に右隣のサブイメージSが選択される(S15)。選択されたサブイメージSから部分画像Cが切り出されて(S16)、この部分画像Cが、先ほど中間画像1内に配置された部分画像Cの右隣に配置される(S17)。この作業がライトフィールド画像LFの右端まで繰り返される。右端のサブイメージSの処理が済んだら、ライトフィールド画像LFの左端に戻り、上から2段目のサブイメージSが選択される(S15)。選択されたサブイメージSから部分画像Cが切り出され(S16)、この部分画像Cが最初に中間画像1内に配置された部分画像Cの下側に配置される(S17)。一段目と同様にこの作業がライトフィールド画像LFの右端まで繰り返される。右端のサブイメージSの処理が済んだら、ライトフィールド画像LFの次の段のサブイメージSが処理される。これらの作業が繰り返される。ライトフィールド画像LFの右下のサブイメージSまで処理したと判定されたら(S18)、中間画像1が記憶部19に保存される(S19)。こうして、中間画像1の作成が終わる。
ライトフィールド画像LFの左上のサブイメージSの処理について説明する。選択されたサブイメージSでの切り出し位置が設定されて(S35)、選択されたサブイメージSから部分画像Cが切り出される(S36)。切り出された部分画像Cが切り出しサイズとサブイメージS中の切り出し位置とサブイメージSのライトフィールド画像LF中の整列位置とに基づいて再構成画像Rに加算される(S37)。図11はこの加算位置を示すものである。
ライト−フィールド画像LFは複数のサブイメージSを含んだ一続きの画像であるため、サブイメージSとして有効な領域も無効な領域も部分画像Cとして切り出せてしまう。無効な領域を含んだ部分画像Cはノイズ源となるため、部分画像CがサブイメージSの境界内に納まっている必要がある。そのため、部分画像Cの切り出し位置のオフセット量を絞りの形状に応じて制限する必要がある。例えば、絞りが略円形状で、切り出された部分画像Cの形状が四角形の場合、部分画像Cの対角線方向の切り出し位置の変動範囲は、副画像の上下方向のそれよりも小さくしておく。
[付記1]
被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、
前記副画像から部分画像を切り出す切り出し手段と、
前記部分画像の切り出しサイズを設定するサイズ設定手段と、
前記部分画像の複数の切り出し位置を設定する位置設定手段と、
前記複数の切り出し位置に対応した複数の部分画像を前記切り出しサイズと前記副画像の整列位置とに基づいて合成することで、再構成画像を生成する画像生成手段と
を備えた画像処理装置。
[付記2]
前記再構成画像のための再焦点距離を設定する再焦点距離設定手段を更に備え、
前記サイズ設定手段は前記再焦点距離に応じて前記切り出しサイズを設定することを特徴とする付記1に記載の画像処理装置。
[付記3]
前記サイズ設定手段は前記再焦点距離が大きくなるほど前記切り出しサイズを小さく設定することを特徴とする付記2に記載の画像処理装置。
[付記4]
前記位置設定手段は絞り形状に応じて切り出し位置を設定することを特徴とする付記1に記載の画像処理装置。
[付記5]
被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、
前記副画像から部分画像を切り出す切り出し手段と、
前記部分画像の切り出しサイズを設定するサイズ設定手段と、
前記部分画像の切り出し位置を設定する位置設定手段と、
前記副画像の整列位置と前記切り出し位置に基づいて前記部分画像を配置して中間画像を生成する中間画像生成手段と、
前記切り出し位置を設定し直す度に前記中間画像を表示する表示手段と
を備えた画像処理装置。
[付記6]
メインレンズと、撮像素子と、各々のマイクロレンズが該撮像素子の複数の画素をカバーするマイクロレンズアレイを含む光学系からなる撮像手段を更に備え、
前記画像取得手段は、前記撮像手段によって撮像された画像を取得する
ことを特徴とする付記1乃至5に記載の画像処理装置。
[付記7]
被写体を複数の視点から見た複数の副画像が整列した画像を取得する工程と、
前記副画像から部分画像を切り出す工程と、
前記部分画像の切り出しサイズを設定する工程と、
前記部分画像の複数の切り出し位置を設定する工程と、
前記複数の切り出し位置に対応した複数の部分画像を前記切り出しサイズと前記副画像の整列位置とに基づいて合成することで、再構成画像を生成する工程と
を備えた画像処理方法。
[付記8]
被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段を備えた画像処理装置のコンピュータに、
前記副画像から部分画像を切り出す手順と、
前記部分画像の切り出しサイズを設定する手順と、
前記部分画像の複数の切り出し位置を設定する手順と、
前記複数の切り出し位置に対応した複数の部分画像を前記切り出しサイズと前記副画像の整列位置とに基づいて合成することで、再構成画像を生成する手順と
を実行させるプログラム。
Claims (8)
- 被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、
前記副画像から部分画像を切り出す切り出し手段と、
前記部分画像の切り出しサイズを設定するサイズ設定手段と、
前記部分画像の複数の切り出し位置を設定する位置設定手段と、
前記複数の切り出し位置に対応した複数の部分画像を前記切り出しサイズと前記副画像の整列位置とに基づいて合成することで、再構成画像を生成する画像生成手段と
を備えた画像処理装置。 - 前記再構成画像のための再焦点距離を設定する再焦点距離設定手段を更に備え、
前記サイズ設定手段は前記再焦点距離に応じて前記切り出しサイズを設定することを特徴とする請求項1に記載の画像処理装置。 - 前記サイズ設定手段は前記再焦点距離が大きくなるほど前記切り出しサイズを小さく設定することを特徴とする請求項2に記載の画像処理装置。
- 前記位置設定手段は絞り形状に応じて切り出し位置を設定することを特徴とする請求項1に記載の画像処理装置。
- 被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、
前記副画像から部分画像を切り出す切り出し手段と、
前記部分画像の切り出しサイズを設定するサイズ設定手段と、
前記部分画像の切り出し位置を設定する位置設定手段と、
前記副画像の整列位置と前記切り出し位置に基づいて前記部分画像を配置して中間画像を生成する中間画像生成手段と、
前記切り出し位置を設定し直す度に前記中間画像を表示する表示手段と
を備えた画像処理装置。 - メインレンズと、撮像素子と、各々のマイクロレンズが該撮像素子の複数の画素をカバーするマイクロレンズアレイを含む光学系からなる撮像手段を更に備え、
前記画像取得手段は、前記撮像手段によって撮像された画像を取得する
ことを特徴とする請求項1乃至5に記載の画像処理装置。 - 被写体を複数の視点から見た複数の副画像が整列した画像を取得する工程と、
前記副画像から部分画像を切り出す工程と、
前記部分画像の切り出しサイズを設定する工程と、
前記部分画像の複数の切り出し位置を設定する工程と、
前記複数の切り出し位置に対応した複数の部分画像を前記切り出しサイズと前記副画像の整列位置とに基づいて合成することで、再構成画像を生成する工程と
を備えた画像処理方法。 - 被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段を備えた画像処理装置のコンピュータに、
前記副画像から部分画像を切り出す手順と、
前記部分画像の切り出しサイズを設定する手順と、
前記部分画像の複数の切り出し位置を設定する手順と、
前記複数の切り出し位置に対応した複数の部分画像を前記切り出しサイズと前記副画像の整列位置とに基づいて合成することで、再構成画像を生成する手順と
を実行させるプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011284969A JP5360190B2 (ja) | 2011-12-27 | 2011-12-27 | 画像処理装置、画像処理方法およびプログラム |
US13/721,582 US8941750B2 (en) | 2011-12-27 | 2012-12-20 | Image processing device for generating reconstruction image, image generating method, and storage medium |
US13/723,827 US9749601B2 (en) | 2011-12-27 | 2012-12-21 | Imaging device, image display method, and storage medium for displaying reconstruction image |
CN201210579821.6A CN103188441B (zh) | 2011-12-27 | 2012-12-27 | 生成重构图像的图像处理装置及图像生成方法 |
CN201210579793.8A CN103188430B (zh) | 2011-12-27 | 2012-12-27 | 摄像装置及图像显示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011284969A JP5360190B2 (ja) | 2011-12-27 | 2011-12-27 | 画像処理装置、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013135363A true JP2013135363A (ja) | 2013-07-08 |
JP5360190B2 JP5360190B2 (ja) | 2013-12-04 |
Family
ID=48911774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011284969A Expired - Fee Related JP5360190B2 (ja) | 2011-12-27 | 2011-12-27 | 画像処理装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5360190B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014057181A (ja) * | 2012-09-12 | 2014-03-27 | Canon Inc | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム |
JP2018533066A (ja) * | 2015-10-09 | 2018-11-08 | ヴィスバイ カメラ コーポレイション | ホログラフィックライトフィールドイメージングデバイス及びその使用方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102637913B1 (ko) * | 2018-01-12 | 2024-02-20 | 삼성전자주식회사 | 영상 합성 방법 및 장치 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
WO2011152531A1 (ja) * | 2010-06-03 | 2011-12-08 | 株式会社ニコン | 撮像装置 |
-
2011
- 2011-12-27 JP JP2011284969A patent/JP5360190B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
WO2011152531A1 (ja) * | 2010-06-03 | 2011-12-08 | 株式会社ニコン | 撮像装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014057181A (ja) * | 2012-09-12 | 2014-03-27 | Canon Inc | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム |
JP2018533066A (ja) * | 2015-10-09 | 2018-11-08 | ヴィスバイ カメラ コーポレイション | ホログラフィックライトフィールドイメージングデバイス及びその使用方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5360190B2 (ja) | 2013-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9208569B2 (en) | Image processing apparatus and control method thereof capable of performing refocus calculation processing for light field data | |
JP6159097B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP6548367B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP6202910B2 (ja) | 映像処理装置およびその制御方法、プログラム | |
JP2011182317A (ja) | 撮像装置 | |
JP2014057181A (ja) | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム | |
JP2013009274A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP2012205111A (ja) | 撮像装置 | |
JP6003578B2 (ja) | 画像生成方法及び装置 | |
JP2013026844A (ja) | 画像生成方法及び装置、プログラム、記録媒体、並びに電子カメラ | |
JP6095266B2 (ja) | 画像処理装置及びその制御方法 | |
JP2015201722A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 | |
JP5360190B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6321991B2 (ja) | 画像処理装置、制御方法、プログラム、及び記録媒体 | |
JP2017034682A (ja) | 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム | |
Oberdörster et al. | Digital focusing and refocusing with thin multi-aperture cameras | |
JP5895587B2 (ja) | 画像記録装置、画像記録方法、画像再生装置および画像再生方法 | |
JP5354005B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2017201810A (ja) | 撮像装置及び撮像方法 | |
JP2015084517A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP6757245B2 (ja) | 動画再生装置、撮像装置、動画再生方法及びプログラム | |
US9602701B2 (en) | Image-pickup apparatus for forming a plurality of optical images of an object, control method thereof, and non-transitory computer-readable medium therefor | |
JP6585890B2 (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
JP6387149B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2014110442A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130819 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5360190 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |