JP5766034B2 - 画像処理方法、画像処理装置及びプログラム。 - Google Patents
画像処理方法、画像処理装置及びプログラム。 Download PDFInfo
- Publication number
- JP5766034B2 JP5766034B2 JP2011128466A JP2011128466A JP5766034B2 JP 5766034 B2 JP5766034 B2 JP 5766034B2 JP 2011128466 A JP2011128466 A JP 2011128466A JP 2011128466 A JP2011128466 A JP 2011128466A JP 5766034 B2 JP5766034 B2 JP 5766034B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- weight
- image
- image processing
- aliasing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000003384 imaging method Methods 0.000 claims description 36
- 239000002131 composite material Substances 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 20
- 239000000203 mixture Substances 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 12
- 238000005070 sampling Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/676—Bracketing for image capture at varying focusing conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Description
図5に撮像部1301の概念図を示す。
図5(a)は撮像部1301を正面から見た図である。符号507は小型カメラを表す。小型カメラ507には左上から右下に向かって、(-M,-M),(-M+1,-M),・・,(M,-M),(-M,-M+1)・・・,(M-1,M),(M,M)と番号が付いているものとする。ここでは小型カメラ507を(2M+1)2台あるものとしているが、実際は縦・横任意の台数を並べて構わない。符号508は小型カメラ507が並んでいる平面である。
図4から図8を参照して画像合成部400による画像の補間、重み付け、再構成(加算)の動作について説明する。画像合成部400は画像処理装置として機能する。
まず、S604において行われる補間処理について説明する。m番目の小型カメラ507下にある撮像素子が取得した光情報は、m番目のレンズ503のどこを通った光情報か特定することができない。そこで、本実施例では光線はレンズ503の光軸中心を通ったと仮定する。仮想センサ505上の点506(X, σvirtual)の光の強度を求める場合は仮想センサ上の点506と、レンズ503の光軸中心(um, 0)を結んだ直線上にある撮像素子504の座標xmを特定する。図5より、xmは以下の関係式を満たす。
図7(a)は異なる距離にある被写体501を小型カメラ701〜703で撮影した様子を表している。
図3を参照して、重み決定部200による重み算出の動作について説明する。
重み決定部200のブロック図を図3に示す。図3において、仮想センサ位置は仮想センサ位置入力端子301より入力される。カメラパラメータと仮想センサ位置から、理論的な画素ズレ量を画素ズレ量算出部302が算出する。実際の画素ズレ量はカメラのパラメータから理論的に導かれる画素ズレ量とは少し異なる可能性がある。そこで、画素ズレ量算出部302は理論的な画素ズレ量で画像をおおまかに位置合わせしたあと、ブロックマッチングやオプティカルフローなどを用いて、実際の画素ズレ量を算出してもよい。画素ズレ量が求められると、画素ズレ量に応じて抑制することのできるエイリアシングの数が決まる(算出方法については後述する)。超解像倍率決定部303はこのエイリアシングの数を、抑制するエイリアシングの数として決定する。重み算出部304が画素ズレ量と、抑制するエイリアシングの数の情報を元に重みを算出する(算出方法については後述する)。算出された重みは重みデータ出力端子305より出力され、抑制するエイリアシングの個数は超解像倍率出力端子306より出力される。
m番目の小型カメラ507のレンズ中心からのズレ座標は、xm-umで表される。仮想センサの同一点Xに対する、各画像のズレ量は式(1)より
次に、補間関数決定部300による補間関数の決定方法について説明する。
前述のように、重み決定部200は、画素ズレ量に応じて発生するエイリアシングである-N番目〜N番目までのエイリアシングを抑制するように重みの決定を行う。
以上が補間決定部300の動作である。
図11に撮像部1301の別の概念図を示す。図5との差異のみ示すと、符号1101はメインレンズである。符号1102は被写体から出た光線である。本実施例ではレンズ503をメインレンズと区別するため特にマイクロレンズと呼称することにする。符号502はメインレンズ1101によって曲げられた光線1102の中で、マイクロレンズ503の光軸中心を通る光線を表す。光線502が仮想センサ505と交わる座標を(X, σvirtual)とする。ここで、σvirtual は正の値を取るものとする。図5と異なり、ピントが合った被写体であっても、被写体501と交点506は一致しない。
画像合成部400においては画像補間部403の動作のみ実施例1と異なる。
m番目のマイクロレンズ503下のセンサが取得した情報を、仮想センサ505上に投影すると、補間関数をφとして、
仮想センサの同一点Xに対する、各画像のズレ量は式(1)より
撮像素子504のサンプリングは仮想センサ上ではαΔrealのサンプリングに該当し、画素ズレは式(20)で表されるので、実施例1の式(11)を導いたのとと同様にして合成部400の合成後の画像の周波数特性は、
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (14)
- 多視点で撮像された複数の画像のデータを取得し、当該複数の画像を合成するための当該複数の画像それぞれの重みを決定する重み決定手段と、
前記重み決定手段で決定された重みに従って前記複数の画像を合成することにより、前記複数の画像のピント位置とは異なるピント位置でピントを合わせた合成画像を生成する生成手段と、
を備え、
前記重み決定手段は、前記合成画像において、前記複数の画像の周波数特性に含まれるエイリアシング成分が小さくなるように、前記合成画像のピント位置及び前記複数の画像を撮像した撮像装置の特性を表すカメラパラメータに基づいて、前記重みを決定する
ことを特徴とする画像処理装置。 - 前記重み決定手段は、前記複数の画像の画素ズレ量を用いて、前記複数の画像の周波数特性に含まれるエイリアシング成分を導出することを特徴とする請求項1に記載の画像処理装置。
- 前記重み決定手段は、前記複数の画像の画素ズレ量に応じて決まる抑制可能なエイリアシングの数を用いて、前記重みを決定することを特徴とする請求項1又は2に記載の画像処理装置。
- 画素ズレ量に応じて決まる抑制可能なエイリアシング以外のエイリアシングを抑制するように、前記合成のための補間関数を決定する手段をさらに備え、
前記生成手段は、前記重みと前記補間関数を用いて、前記複数の画像を合成する
ことを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。 - 被写体を選択する選択手段をさらに備え、
前記複数の画像のピント位置とは異なるピント位置は、前記選択手段による選択に基づいていることを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。 - 前記選択手段は、ユーザの選択に基づいて又は自動的に、被写体を選択することを特徴とする請求項5に記載の画像処理装置。
- 視差がついた複数の画像を撮像する撮像手段と、
前記複数の画像を合成するための当該複数の画像それぞれの重みを決定する重み決定手段と、
前記重み決定手段で決定された重みに従って前記複数の画像を合成することにより、前記複数の画像のピント位置とは異なるピント位置でピントを合わせた合成画像を生成する生成手段と、
を備え、
前記重み決定手段は、前記合成画像において、前記複数の画像の周波数特性に含まれるエイリアシング成分が小さくなるように、前記合成画像のピント位置及び前記撮像手段の特性を表すカメラパラメータに基づいて、前記重みを決定する
ことを特徴とする撮像装置。 - 多視点で撮像された複数の画像のデータを取得するステップと、
前記複数の画像を合成するための、前記複数の画像それぞれの重みを決定する重み決定ステップと、
前記重み決定ステップで決定された重みに従って前記複数の画像を合成することにより、前記複数の画像のピント位置とは異なるピント位置でピントを合わせた合成画像を生成する生成ステップと、
を含み、
前記重み決定ステップは、前記合成画像において、前記複数の画像の周波数特性に含まれるエイリアシング成分が小さくなるように、前記合成画像のピント位置及び前記複数の画像を撮像した撮像装置の特性を表すカメラパラメータに基づいて、前記重みを決定する
ことを特徴とする画像処理方法。 - コンピュータに、請求項8に記載の画像処理方法を実行させるためのプログラム。
- 前記重み決定手段は、
前記合成画像のピント位置及び前記カメラパラメータに基づいて、前記複数の画像間の画素ズレ量を算出する手段を含み、
算出された前記画素ズレ量を用いて、前記重みを決定する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記重み決定手段は、
算出された前記画素ズレ量に基づいて、抑制可能なエイリアシングの数を決定する手段を含み、
算出された前記画素ズレ量及び決定された前記抑制可能なエイリアシングの数を用いて、前記重みを決定する
ことを特徴とする請求項10に記載の画像処理装置。 - 前記重み決定手段は、前記撮像装置のレンズ位置から前記合成画像のピント位置を示す仮想センサの位置までの距離、及び前記撮像装置の前記レンズ位置から前記撮像装置の撮像素子までの距離に基づいて、前記重みを決定することを特徴とする請求項1に記載の画像処理装置。
- 前記重み決定手段は、以下の式で表されるBnの絶対値が小さくなるように前記重みを決定し、
上記式においてmは前記複数の画像のそれぞれに割り当てられた数であり、Cmは前記複数の画像のそれぞれの重みであり、Umは前記複数の画像のそれぞれに対応する視点位置を表すベクトルであり、Znは以下の式で表されるベクトルであり、
ことを特徴とする請求項12に記載の画像処理装置。 - コンピュータを、請求項1〜6、10〜13のいずれか1項に記載の画像処理装置として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011128466A JP5766034B2 (ja) | 2011-06-08 | 2011-06-08 | 画像処理方法、画像処理装置及びプログラム。 |
US13/486,338 US8810672B2 (en) | 2011-06-08 | 2012-06-01 | Image processing method, image processing device, and recording medium for synthesizing image data with different focus positions |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011128466A JP5766034B2 (ja) | 2011-06-08 | 2011-06-08 | 画像処理方法、画像処理装置及びプログラム。 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012256177A JP2012256177A (ja) | 2012-12-27 |
JP2012256177A5 JP2012256177A5 (ja) | 2014-06-26 |
JP5766034B2 true JP5766034B2 (ja) | 2015-08-19 |
Family
ID=47292882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011128466A Active JP5766034B2 (ja) | 2011-06-08 | 2011-06-08 | 画像処理方法、画像処理装置及びプログラム。 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8810672B2 (ja) |
JP (1) | JP5766034B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5818514B2 (ja) * | 2011-05-27 | 2015-11-18 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム |
JP5968107B2 (ja) | 2011-09-01 | 2016-08-10 | キヤノン株式会社 | 画像処理方法、画像処理装置およびプログラム |
EP2590398B1 (en) * | 2011-11-02 | 2021-07-07 | Sony Group Corporation | Displaying of images with lighting on the basis of captured auxiliary images |
JP6112824B2 (ja) | 2012-02-28 | 2017-04-12 | キヤノン株式会社 | 画像処理方法および装置、プログラム。 |
JP2013254432A (ja) * | 2012-06-08 | 2013-12-19 | Canon Inc | 画像処理装置及び画像処理方法 |
RU2012156158A (ru) * | 2012-12-24 | 2014-07-10 | ЭлЭсАй Корпорейшн | Генерация целевого изображения с использованием функционала на основе функций от информации из других изображений |
WO2014132754A1 (ja) * | 2013-02-26 | 2014-09-04 | コニカミノルタ株式会社 | 画像処理装置および画像処理方法 |
JP6223169B2 (ja) * | 2013-12-19 | 2017-11-01 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP6504910B2 (ja) * | 2015-05-19 | 2019-04-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
JP6494416B2 (ja) * | 2015-05-19 | 2019-04-03 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
CN111405199B (zh) * | 2020-03-27 | 2022-11-01 | 维沃移动通信(杭州)有限公司 | 一种图像拍摄方法和电子设备 |
CN111586296B (zh) | 2020-04-27 | 2021-11-16 | 北京小米移动软件有限公司 | 图像拍摄方法、图像拍摄装置及存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6023535A (en) * | 1995-08-31 | 2000-02-08 | Ricoh Company, Ltd. | Methods and systems for reproducing a high resolution image from sample data |
US20030081276A1 (en) * | 2001-10-29 | 2003-05-01 | Jen-Shou Tseng | Method for scanning selected target image area of document |
JP4240395B2 (ja) * | 2004-10-01 | 2009-03-18 | シャープ株式会社 | 画像合成装置、電子機器、画像合成方法、制御プログラムおよび可読記録媒体 |
US8044994B2 (en) | 2006-04-04 | 2011-10-25 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for decoding and displaying 3D light fields |
US7609906B2 (en) | 2006-04-04 | 2009-10-27 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for acquiring and displaying 3D light fields |
WO2008050904A1 (fr) * | 2006-10-25 | 2008-05-02 | Tokyo Institute Of Technology | Procédé de génération d'image dans un plan de focalisation virtuel haute résolution |
WO2009020977A1 (en) * | 2007-08-06 | 2009-02-12 | Adobe Systems Incorporated | Method and apparatus for radiance capture by multiplexing in the frequency domain |
JP2010224886A (ja) | 2009-03-24 | 2010-10-07 | Toshiba Corp | 立体画像描画装置および描画方法 |
KR101608970B1 (ko) * | 2009-11-27 | 2016-04-05 | 삼성전자주식회사 | 광 필드 데이터를 이용한 영상 처리 장치 및 방법 |
JP5653104B2 (ja) * | 2010-07-16 | 2015-01-14 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5761988B2 (ja) | 2010-12-20 | 2015-08-12 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US20120287249A1 (en) * | 2011-05-12 | 2012-11-15 | Electronics And Telecommunications Research Institute | Method for obtaining depth information and apparatus using the same |
-
2011
- 2011-06-08 JP JP2011128466A patent/JP5766034B2/ja active Active
-
2012
- 2012-06-01 US US13/486,338 patent/US8810672B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8810672B2 (en) | 2014-08-19 |
JP2012256177A (ja) | 2012-12-27 |
US20120314104A1 (en) | 2012-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5766034B2 (ja) | 画像処理方法、画像処理装置及びプログラム。 | |
JP5968107B2 (ja) | 画像処理方法、画像処理装置およびプログラム | |
JP6112824B2 (ja) | 画像処理方法および装置、プログラム。 | |
JP5795324B2 (ja) | 光フィールドデータを利用した映像処理装置及び方法 | |
JP6436783B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP6548367B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP5618943B2 (ja) | 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム | |
JP6047025B2 (ja) | 撮像装置及びその制御方法 | |
JP5725953B2 (ja) | 撮像装置及びその制御方法、並びに情報処理装置 | |
JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JP2013009274A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP6655379B2 (ja) | 焦点スタックから適応スライス画像を生成する方法および装置 | |
JP2014010783A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2015073185A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5809607B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2013176073A (ja) | 撮像装置、画像表示方法、及びプログラム | |
JP2015201722A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 | |
JP2015171097A (ja) | 画像処理装置及びその制御方法 | |
JP2012003503A (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
JP6089742B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
CN109923854B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
JP2013120435A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP2017050662A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2019207611A (ja) | 画像処理装置、画像処理プログラム、画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140513 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140513 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150616 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5766034 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |