JP5822613B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP5822613B2 JP5822613B2 JP2011198878A JP2011198878A JP5822613B2 JP 5822613 B2 JP5822613 B2 JP 5822613B2 JP 2011198878 A JP2011198878 A JP 2011198878A JP 2011198878 A JP2011198878 A JP 2011198878A JP 5822613 B2 JP5822613 B2 JP 5822613B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus area
- focus
- processing
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000000034 method Methods 0.000 claims description 106
- 238000003384 imaging method Methods 0.000 claims description 74
- 239000000203 mixture Substances 0.000 claims description 34
- 238000002156 mixing Methods 0.000 claims description 28
- 239000002131 composite material Substances 0.000 claims description 22
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000011946 reduction process Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Description
本実施例では、複数のカメラユニットを備えた多眼方式の撮像装置から得られた複数枚の撮影画像から、画像処理によって任意の仮想フォーカス距離にピントを合わせを所望する画像を生成するリフォーカス処理に関するものである。すなわち、本実施例のリフォーカス処理においては、一定のピントを合わせたい領域に対して高解像度化処理を行い、ぼかしたい領域に対しては、出力解像度より低解像度なぼけ画像を生成する。まず、本実施例における画像処理装置のシステム構成例について、図1を参照して説明する。
ここでは、図13に示すフローチャートのステップS903で行う距離推定処理の詳細について説明する。距離推定処理では、位置の異なる複数の撮像画像302を基に、撮像したシーンの距離を推定することでデプスマップ308を生成し、これを用いてピントを合わせたい領域(ピント内領域)とそれ以外の領域(ピント外領域)にシーンを分割する。分割の結果、ピントマップが作られる。この距離推定方法には公知の方法を用いればよい。例えば、ステレオ法、マルチベースラインステレオ法などが適用可能である。本実施例では、ステレオ法によって距離推定を行う。以下、図14に示すフローチャートを用い、距離推定処理の詳細を説明する。
ここでは、図13に示すフローチャートのステップS904で行うピントマップ生成処理の詳細について説明する。本処理では、ステップS902で取得した仮想ピントパラメータ305およびステップS903で取得したデプスマップ308に基づき、ピントを合わせたい領域(ピント内領域)とそれ以外の領域(ピント外領域)にシーンを分割しピントマップ310を生成する。以下、図15に示すフローチャートを用い、ピントマップ生成処理の詳細を説明する。
本実施例では、ピント内領域とピント外領域とで異なる画像処理を行うことを特徴とするので、以降それぞれの処理を説明する。まず、ここでは、図13に示すフローチャートのステップS906で行うピント外領域画像処理の詳細について説明する。ピント外領域画像処理では、ピントマップ310においてピント外領域として設定された領域に重点を置いた処理を行い、ピント外領域画像314を生成する。以下、図17に示すフローチャートおよび図4に示す処理部構成を参照し、ピント外領域画像処理の詳細を説明するが、一部の処理の詳細はさらに後述する。すなわち、本処理では以下に説明するように処理負荷を軽減するため、対象画像を縮小し、補間処理を行って合成し、処理すべきデータ量を削減するが、画像補間処理および画像合成処理の詳細は図18および19を参照して後述する。
ここで、図17のステップS1302で行う画像補間処理の詳細について、図18を参照して説明する。画像補間処理では、まず、撮像装置情報303に基づいて撮像画像302の撮像位置を内挿するように仮想視点位置409を設定する。次に、視差補間処理を用いてS1301で得られた縮小画像405を基に、各仮想視点位置409に対応する補間画像406を生成する。以下、図18に示すフローチャートおよび図4に示す処理部構成を参照して画像補間処理の詳細を説明する。
次に、図17に示すステップS1303で行う画像合成処理について説明する。画像合成処理では、まず仮想絞りパラメータ306を基に、各画像に対する重み係数を設定する。そして、撮像装置情報303および仮想視点位置409を基に、各画像をシフトし領域毎に異なる重み係数を用いて重み付け加算を行い、合成画像(ピント外領域)407を生成する。以下、図19に示すフローチャートおよび図4に示す処理部構成を参照し、画像合成処理の詳細を説明する。
ここでは、ステップS905で行うピント内領域画像処理について説明する。ピント内領域画像処理では、ピントマップ310においてピント内領域として設定された領域に重点を置いた処理を行い、ピント内領域画像312を生成する。ピント内領域画像処理の詳細について、図16に示すフローチャートを参照して説明する。
次に、ステップS907で行う画像ブレンド処理について説明する。画像ブレンド処理では、ピントマップ310に基づき、ピント内領域画像312とピント外領域画像314とをブレンド処理することで、リフォーカス画像316を生成する。以下、図20に示すフローチャートおよび図3の構成を参照し、画像ブレンド処理の詳細を説明する。
実施例1では、ピント外領域処理において生成する合成画像(ピント外領域)の解像度は1つとして処理した。本実施例では、これを複数設定してピント外領域画像を複数保持し、画像ブレンド処理の際に、デプスマップから得られる距離情報等に応じて、使用する画像を切り替える処理を行う。これにより、画像合成処理に必要な補間画像の生成にかかる計算コストをより小さくすることができる。
本実施例におけるピント外領域画像処理の詳細を図22のフローチャートを参照して説明する。図17で説明した実施例1のピント外領域画像処理と同内容の処理に関しては同じ図番号を付与し説明は省略する。
本実施例における画像ブレンド処理は、ピント内領域画像312、解像度の異なる複数のピント外領域画像314およびデプスマップ308を用いて行われる。図24のフローチャートおよび図23のブレンド処理の概要を参照して、本実施例における画像ブレンド処理の詳細を説明する。ステップS1901で、ブレンド処理を行う対象画素のインデックスを初期値に設定する。
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。
Claims (5)
- 少なくとも2つの異なる視点から撮像された複数の画像を取得する撮像データ入力手段と、
仮想的なピント面までの距離を示すリフォーカスパラメータを入力する入力手段と、
前記取得された画像について、画素に対応する撮像対象と撮像装置との距離を示すデプスマップを生成する距離推定処理手段と、
前記リフォーカスパラメータに応じて、前記デプスマップからフォーカスを所望するピント内領域および所望しないピント外領域を含む領域を算出し、前記ピント内領域およびピント外領域を示すピントマップを生成するピントマップ生成手段と、
前記ピント内領域について一定の処理を施し、少なくとも前記撮像画像を含む画像群を合成することによって合成画像を生成するピント内領域画像処理手段と、
前記ピント外領域について前記ピント内領域画像処理手段とは異なる処理を施し、少なくとも前記撮像画像を含む画像群を合成することによって合成画像を生成するピント外領域画像処理手段と、
前記ピントマップに応じて、前記ピント内領域および前記ピント外領域ごとに生成された合成画像をブレンドしてリフォーカス画像を生成する画像ブレンド手段と
を備え、
前記ピント外領域画像処理手段は、前記ピント外領域の画像について縮小処理を実行する画像縮小処理手段と、視点位置の補間により前記縮小処理された画像を補間して補間画像を生成する補間画像生成手段とを含み、前記縮小処理された画像と前記補間画像とを合成することにより前記ピント外領域についての合成画像を生成する
ことを特徴とする画像処理装置。 - 前記ピント内領域に対する一定の処理は、高解像度化処理であることを特徴とする請求項1に記載の画像処理装置。
- 前記ピント外領域画像処理手段は、前記ピント外領域には前記画像縮小処理手段によって撮像画像の解像度より低解像度の合成画像を生成し、さらに出力解像度へと変換する画像拡大手段をさらに含むことを特徴とする請求項1又は2に記載の画像処理装置。
- 前記ピント外領域において解像度の異なる複数枚の合成画像を生成し保持することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 少なくとも2つの異なる視点から撮像された複数の画像を取得する撮像データ入力ステップと、
仮想的なピント面までの距離を示すリフォーカスパラメータを入力する入力ステップと、
前記取得された画像について、画素に対応する撮像対象と撮像装置との距離を示すデプスマップを生成する距離推定処理ステップと、
前記リフォーカスパラメータに応じて、前記デプスマップからフォーカスを所望するピント内領域および所望しないピント外領域を含む領域を算出し、前記ピント内領域およびピント外領域を示すピントマップを生成するピントマップ生成ステップと、
前記ピント内領域について一定の処理を施し、少なくとも前記撮像画像を含む画像群を合成することによって合成画像を生成するピント内領域画像処理ステップと、
前記ピント外領域について前記ピント内領域画像処理ステップとは異なる処理を施し、少なくとも前記撮像画像を含む画像群を合成することによって合成画像を生成するピント外領域画像処理ステップと、
前記ピントマップに応じて、前記ピント内領域および前記ピント外領域ごとに生成された合成画像をブレンドしてリフォーカス画像を生成する画像ブレンドステップと、
を含み、
前記ピント外領域画像処理ステップは、前記ピント外領域の画像について縮小処理を実行する画像縮小処理ステップと、視点位置の補間により前記縮小処理された画像を補間して補間画像を生成する補間画像生成ステップとを含み、 前記縮小処理された画像と前記補間画像とを合成することにより前記ピント外領域についての合成画像を生成する
ことを特徴とする画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011198878A JP5822613B2 (ja) | 2011-09-12 | 2011-09-12 | 画像処理装置および画像処理方法 |
US13/603,952 US9412151B2 (en) | 2011-09-12 | 2012-09-05 | Image processing apparatus and image processing method |
CN201210334783.8A CN103002218B (zh) | 2011-09-12 | 2012-09-11 | 图像处理装置及图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011198878A JP5822613B2 (ja) | 2011-09-12 | 2011-09-12 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013061743A JP2013061743A (ja) | 2013-04-04 |
JP5822613B2 true JP5822613B2 (ja) | 2015-11-24 |
Family
ID=47829515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011198878A Active JP5822613B2 (ja) | 2011-09-12 | 2011-09-12 | 画像処理装置および画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9412151B2 (ja) |
JP (1) | JP5822613B2 (ja) |
CN (1) | CN103002218B (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013008121A1 (en) * | 2011-07-13 | 2013-01-17 | Koninklijke Philips Electronics N.V. | Method for automatically adjusting a focal plane of a digital pathology image |
JP6000520B2 (ja) * | 2011-07-25 | 2016-09-28 | キヤノン株式会社 | 撮像装置およびその制御方法およびプログラム |
US9215433B2 (en) * | 2014-02-11 | 2015-12-15 | Duelight Llc | Systems and methods for digital photography |
WO2015005672A1 (en) * | 2013-07-09 | 2015-01-15 | Samsung Electronics Co., Ltd. | Image generating apparatus and method and non-transitory recordable medium |
CN104281397B (zh) * | 2013-07-10 | 2018-08-14 | 华为技术有限公司 | 多深度区间的重聚焦方法、装置及电子设备 |
US9344619B2 (en) | 2013-08-30 | 2016-05-17 | Qualcomm Incorporated | Method and apparatus for generating an all-in-focus image |
CN103559742B (zh) * | 2013-10-23 | 2017-05-10 | Tcl集团股份有限公司 | 一种用于3d场景的焦点切换方法及*** |
JP2015129846A (ja) * | 2014-01-07 | 2015-07-16 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP6249825B2 (ja) * | 2014-03-05 | 2017-12-20 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
JP6381266B2 (ja) * | 2014-04-15 | 2018-08-29 | キヤノン株式会社 | 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体 |
CN103973978B (zh) * | 2014-04-17 | 2018-06-26 | 华为技术有限公司 | 一种实现重对焦的方法和电子设备 |
CN105335950B (zh) * | 2014-05-28 | 2019-02-12 | 华为技术有限公司 | 图像处理方法和图像处理装置 |
KR102224851B1 (ko) | 2014-12-11 | 2021-03-08 | 삼성전자주식회사 | 서브 픽셀 보간을 수행하는 이미지 처리 장치 및 이미지 처리 시스템 |
JP6486149B2 (ja) | 2015-03-03 | 2019-03-20 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
CN108886572B (zh) * | 2016-11-29 | 2021-08-06 | 深圳市大疆创新科技有限公司 | 调整图像焦点的方法和*** |
CN106780300B (zh) * | 2016-11-30 | 2020-05-05 | 努比亚技术有限公司 | 图片处理方法及装置 |
JP7159057B2 (ja) * | 2017-02-10 | 2022-10-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 自由視点映像生成方法及び自由視点映像生成システム |
CN107222737B (zh) * | 2017-07-26 | 2019-05-17 | 维沃移动通信有限公司 | 一种深度图像数据的处理方法及移动终端 |
CN108055452B (zh) * | 2017-11-01 | 2020-09-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置及设备 |
US10972714B2 (en) | 2018-02-15 | 2021-04-06 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method and storage medium for storing program |
JP7137313B2 (ja) * | 2018-02-15 | 2022-09-14 | キヤノン株式会社 | 出力装置、画像処理方法およびプログラム |
JP2019146155A (ja) | 2018-02-20 | 2019-08-29 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
CN110278366B (zh) * | 2018-03-14 | 2020-12-01 | 虹软科技股份有限公司 | 一种全景图像虚化方法、终端及计算机可读存储介质 |
TWI701637B (zh) * | 2018-07-02 | 2020-08-11 | 緯創資通股份有限公司 | 影像合成方法與系統 |
US10699875B2 (en) * | 2018-11-13 | 2020-06-30 | Fei Company | Confocal imaging technique in a charged particle microscope |
CN109800786B (zh) * | 2018-12-13 | 2023-05-30 | 天津大学 | 一种基于opmif的uhf rfid标签室内定位方法 |
JP2019092215A (ja) * | 2019-02-21 | 2019-06-13 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 |
CN113016003A (zh) | 2019-03-21 | 2021-06-22 | 华为技术有限公司 | 景深图像重聚焦 |
US10984513B1 (en) | 2019-09-30 | 2021-04-20 | Google Llc | Automatic generation of all-in-focus images with a mobile camera |
EP4084481A4 (en) | 2019-12-27 | 2023-12-27 | Nippon Hoso Kyokai | TRANSMISSION DEVICE AND RECEIVING DEVICE |
US20230186550A1 (en) * | 2021-12-09 | 2023-06-15 | Unity Technologies Sf | Optimizing generation of a virtual scene for use in a virtual display environment |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006140594A (ja) | 2004-11-10 | 2006-06-01 | Pentax Corp | デジタルカメラ |
JP2008294785A (ja) * | 2007-05-25 | 2008-12-04 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置、画像ファイル及び画像処理方法 |
US8290358B1 (en) * | 2007-06-25 | 2012-10-16 | Adobe Systems Incorporated | Methods and apparatus for light-field imaging |
JP2009009404A (ja) * | 2007-06-28 | 2009-01-15 | Olympus Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP4706882B2 (ja) | 2009-02-05 | 2011-06-22 | ソニー株式会社 | 撮像装置 |
JP2011022796A (ja) * | 2009-07-15 | 2011-02-03 | Canon Inc | 画像処理方法および画像処理装置 |
JP5436566B2 (ja) | 2009-10-02 | 2014-03-05 | ザ チャイニーズ ユニバーシティー オブ ホンコン | 画像を編集する方法及び装置 |
-
2011
- 2011-09-12 JP JP2011198878A patent/JP5822613B2/ja active Active
-
2012
- 2012-09-05 US US13/603,952 patent/US9412151B2/en active Active
- 2012-09-11 CN CN201210334783.8A patent/CN103002218B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20130063571A1 (en) | 2013-03-14 |
JP2013061743A (ja) | 2013-04-04 |
CN103002218A (zh) | 2013-03-27 |
US9412151B2 (en) | 2016-08-09 |
CN103002218B (zh) | 2016-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5822613B2 (ja) | 画像処理装置および画像処理方法 | |
JP5818514B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
KR101820349B1 (ko) | 화상 표시 방법 및 장치 | |
JP5762142B2 (ja) | 撮像装置、画像処理装置およびその方法 | |
JP6112824B2 (ja) | 画像処理方法および装置、プログラム。 | |
JP6016061B2 (ja) | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム | |
JP4658223B2 (ja) | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 | |
JP6655379B2 (ja) | 焦点スタックから適応スライス画像を生成する方法および装置 | |
JP5812716B2 (ja) | 画像処理装置および方法 | |
JP5473173B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5832211B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6552256B2 (ja) | 画像処理装置及び画像処理装置の制御方法 | |
JP5566199B2 (ja) | 画像処理装置およびその制御方法、並びにプログラム | |
JP7416573B2 (ja) | 立体画像生成装置及びそのプログラム | |
JP2016213578A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP6702755B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP5906033B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
JP5995614B2 (ja) | 距離情報推定装置 | |
WO2014077024A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP4925112B2 (ja) | 自由視点画像の生成方法 | |
KR20170111964A (ko) | 임의 시점의 영상 생성 방법, 이를 수행하기 위한 기록 매체 및 장치 | |
JP6471428B2 (ja) | 画像補正方法、画像補正装置及び画像補正プログラム | |
JP2016024490A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2017175401A (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150602 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151006 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5822613 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |