JP2015088832A - 画像処理装置、撮像装置、および画像処理方法 - Google Patents
画像処理装置、撮像装置、および画像処理方法 Download PDFInfo
- Publication number
- JP2015088832A JP2015088832A JP2013224442A JP2013224442A JP2015088832A JP 2015088832 A JP2015088832 A JP 2015088832A JP 2013224442 A JP2013224442 A JP 2013224442A JP 2013224442 A JP2013224442 A JP 2013224442A JP 2015088832 A JP2015088832 A JP 2015088832A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image data
- distance information
- image
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 86
- 238000003384 imaging method Methods 0.000 title claims description 31
- 238000003672 processing method Methods 0.000 title claims description 26
- 238000000034 method Methods 0.000 claims description 119
- 230000008569 process Effects 0.000 claims description 96
- 238000012935 Averaging Methods 0.000 claims description 26
- 230000002093 peripheral effect Effects 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 238000009826 distribution Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】 被写体の距離情報を基に、撮影画像データにぼかし処理を行う画像処理装置13であって、撮影画像データから、互いに異なる距離情報に対応した複数の分割画像データに分割する分割部134と、複数の分割画像データそれぞれに対して、オクルージョン領域を含めてぼかし処理を行い、複数のぼかし画像データを生成する生成部135と、複数のぼかし画像データを合成する合成部136と、を有する。
【選択図】 図1
Description
図1は、本発明の実施形態1に係る撮像装置の構成を模式的に示している。撮像装置1は、撮像光学系10、撮像素子11、制御部12、画像処理装置13、記憶部14、入力部15、表示部16を有している。
図8は、本実施形態に係る画像処理装置23を備えた撮像装置2の構成を模式的に示している。実施形態1に係る画像処理装置13と異なる点は、画像処理装置13に対して、オクルージョン領域の画素値を推定する推定部137を有する点である。
上述した本発明の画像処理方法は、例えば、デジタルカメラやカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器(携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む)にも本発明の技術を適用可能である。上記実施形態では撮像装置の本体に画像処理装置の機能を組み込んだ構成を示したが、画像処理装置の機能はどのように構成してもよい。たとえば、撮像装置を有するコンピュータに画像処理装置を組み込み、撮像装置で撮影した画像をコンピュータが取得して、それに基づいて距離算出を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに画像処理装置が組み込まれて、そのコンピュータがネットワークを介して複数枚の画像を取得し、それに基づいて距離算出を行うようにしてもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ぼけ効果のエミュレーションなどの各種画像処理に利用することができる。
134 分割部
135 生成部
136 合成部
Claims (22)
- 被写体の距離情報を基に、撮影画像データにぼかし処理を行う画像処理装置であって、
前記撮影画像データを、互いに異なる前記距離情報に対応した複数の分割画像データに分割する分割部と、
前記複数の分割画像データそれぞれに対して、オクルージョン領域を含めてぼかし処理を行い、複数のぼかし画像データを生成する生成部と、
前記複数のぼかし画像データを合成する合成部と、を有することを特徴とする画像処理装置。 - 前記生成部が、相対的に後ろ側を表す距離情報に対応する分割画像のオクルージョン領域のぼかし処理後の画素値を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記生成部が、前記オクルージョン領域に対してぼかし処理を行い前記オクルージョン領域のぼかし処理後の画素値を算出することを特徴とする請求項2に記載の画像処理装置。
- 前記ぼかし処理が、少なくとも平均化処理に使用する周辺画素の範囲を表すフィルタを用いた平均化処理により行われ、
相対的に後ろ側を表す距離情報に対応する分割画像データのぼかし処理に使用されるフィルタのサイズが、相対的に前側を表す距離情報に対応する分割画像データのぼかし処理に使用されるフィルタのサイズより大きいことを特徴とする請求項3に記載の画像処理装置。 - 着目画素のぼかし処理が、前記フィルタと、前記周辺画素に対応付けられたフィルタのサイズが前記着目画素に対応付けられたフィルタサイズより小さい場合には0を表し、同じまたは大きい場合には1を表すマスクデータと、を用いて行われることを特徴とする請求項4に記載の画像処理装置。
- 前記フィルタが、着目画素及び周辺画素の平均化処理における重みをさらに表していることを特徴とする請求項4又は5に記載の画像処理装置。
- 前記オクルージョン領域の画素値を推定する推定部をさらに有し、
前記生成部が、前記推定された画素値を用いて前記オクルージョン領域のぼかし処理を行い、前記オクルージョン領域のぼかし処理後の画素値を算出することを特徴とする請求項2に記載の画像処理装置。 - 前記ぼかし処理が、少なくとも平均化処理に使用する周辺画素の範囲を表すフィルタを用いた平均化処理により行われ、
相対的に後ろ側を表す距離情報に対応する分割画像データのぼかし処理に使用されるフィルタのサイズが、相対的に前側を表す距離情報に対応する分割画像データのぼかし処理に使用されるフィルタのサイズより大きいことを特徴とする請求項7に記載の画像処理装置。 - 前記フィルタが、着目画素及び周辺画素の平均化処理における重みをさらに表していることを特徴とする請求項8に記載の画像処理装置。
- 前記合成部が、前記オクルージョン領域のぼかし処理後の画素値を、前記オクルージョン領域内の少なくとも一部の領域で割合を変えて、相対的に前側を表す距離情報に対応するぼかし画像に含まれる前記オクルージョン領域に対応する画素値と加算することを特徴とする請求項2乃至9のいずれか1項に記載の画像処理装置。
- 前記ぼかし処理によって画素値が算出される前記オクルージョン領域の範囲は、前記加算における割合がゼロではない範囲をすべて含むことを特徴とする請求項10に記載の画像処理装置。
- 前記生成部が、前記撮影画像データから前記割合を表すマスクデータを生成し、
前記合成部が、前記マスクと前記オクルージョン領域のぼかし処理後の画素値を含む相対的に後ろ側を表す距離情報に対応するぼかし画像データと、相対的に前側を表す距離情報に対応するぼかし画像データと、を用いて各画素値を加算することを特徴とする請求項10又は11に記載の画像処理装置。 - 撮像素子と、請求項1乃至12のいずれか1項に記載の画像処理装置と、を有する撮像装置であって、
前記撮像素子の信号から前記撮影画像データを取得されることを特徴とする撮像装置。 - 被写体の距離情報を基に、撮影画像データにぼかし処理を行う画像処理方法であって、
撮影画像データから、互いに異なる前記距離情報に対応した複数の分割画像データに分割する分割工程と、
前記複数の分割画像データのそれぞれに対して、オクルージョン領域を含めてぼかし処理を行い、複数のぼかし画像データを生成する生成工程と、
前記複数のぼかし画像データを合成する合成工程と、を有することを特徴とする画像処理方法。 - 前記生成工程が、相対的に後ろ側を表す距離情報に対応した分割画像のオクルージョン領域のぼかし処理後の画素値を算出することを特徴とする請求項14に記載の画像処理方法。
- 前記生成工程が、前記オクルージョン領域に対してぼかし処理を行い前記オクルージョン領域のぼかし処理後の画素値を算出することを特徴とする請求項15に記載の画像処理方法。
- 前記ぼかし処理が、少なくとも平均化処理に使用する周辺画素の範囲を表すフィルタを用いた平均化処理により行われ、
相対的に後ろ側を表す距離情報に対応する分割画像データのぼかし処理に使用されるフィルタのサイズが、相対的に前側を表す距離情報に対応する分割画像データのぼかし処理に使用されるフィルタのサイズより大きいことを特徴とする請求項16に記載の画像処理方法。 - 着目画素のぼかし処理が、前記フィルタと、前記周辺画素に対応付けられたフィルタのサイズが前記着目画素に対応付けられたフィルタサイズより小さい場合には0を表し、同じまたは大きい場合には1を表すマスクデータと、を用いて行われることを特徴とする請求項17に記載の画像処理方法。
- 前記オクルージョン領域の画素値を推定する推定工程をさらに有し、
前記生成工程が、前記推定された画素値を用いて前記オクルージョン領域のぼかし処理を行い、前記オクルージョン領域のぼかし処理後の画素値を算出することを特徴とする請求項15に記載の画像処理方法。 - 前記合成工程は、前記オクルージョン領域のぼかし処理後の画素値を、前記オクルージョン領域内の少なくとも一部の領域で割合を変えて、前記オクルージョン領域に対応する、相対的に前側を表す距離情報に対応するぼかし画像データの画素値と加算されることを特徴とする請求項15乃至19のいずれか1項に記載の画像処理方法。
- 前記生成工程によってぼかし後の画素値が算出される前記オクルージョン領域の範囲は、前記加算における割合がゼロではない範囲であることを特徴とする請求項20に記載の画像処理方法。
- 前記生成工程が、前記撮影画像データから前記割合を表すマスクを生成し、
前記合成工程が、前記マスクと前記オクルージョン領域のぼかし処理後の画素値を含む相対的に後ろ側を表す距離情報に対応するぼかし画像データと、相対的に前側を表す距離情報に対応するぼかし画像データと、を用いて各画素値を加算することを特徴とする請求項20又は21に記載の画像処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013224442A JP6270413B2 (ja) | 2013-10-29 | 2013-10-29 | 画像処理装置、撮像装置、および画像処理方法 |
US14/523,580 US9538074B2 (en) | 2013-10-29 | 2014-10-24 | Image processing apparatus, imaging apparatus, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013224442A JP6270413B2 (ja) | 2013-10-29 | 2013-10-29 | 画像処理装置、撮像装置、および画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015088832A true JP2015088832A (ja) | 2015-05-07 |
JP2015088832A5 JP2015088832A5 (ja) | 2016-11-24 |
JP6270413B2 JP6270413B2 (ja) | 2018-01-31 |
Family
ID=52994980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013224442A Active JP6270413B2 (ja) | 2013-10-29 | 2013-10-29 | 画像処理装置、撮像装置、および画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9538074B2 (ja) |
JP (1) | JP6270413B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9251613B2 (en) * | 2013-10-28 | 2016-02-02 | Cyberlink Corp. | Systems and methods for automatically applying effects based on media content characteristics |
US20180180882A1 (en) * | 2016-12-23 | 2018-06-28 | Raja Singh Tuli | Augmented Reality Eyewear |
CN110555809B (zh) * | 2018-06-04 | 2022-03-15 | 瑞昱半导体股份有限公司 | 基于前景影像的背景虚化方法与电子装置 |
US10897558B1 (en) * | 2018-09-11 | 2021-01-19 | Apple Inc. | Shallow depth of field (SDOF) rendering |
CN111836103B (zh) * | 2019-12-31 | 2022-04-05 | 北京无忧乐道科技有限公司 | 基于数据分析的防遮挡处理*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002300373A (ja) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 画像処理方法、画像処理装置、記録媒体及びプログラム |
WO2013136403A1 (ja) * | 2012-03-15 | 2013-09-19 | パナソニック株式会社 | 画像処理装置、集積回路、プログラム、撮像装置、表示装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7286168B2 (en) * | 2001-10-12 | 2007-10-23 | Canon Kabushiki Kaisha | Image processing apparatus and method for adding blur to an image |
FR2857133A1 (fr) | 2003-07-03 | 2005-01-07 | Thomson Licensing Sa | Procede de generation de flou |
JP4321287B2 (ja) * | 2004-02-10 | 2009-08-26 | ソニー株式会社 | 撮影装置および撮影方法、並びに、プログラム |
CN101297545B (zh) * | 2005-10-28 | 2012-05-02 | 株式会社尼康 | 摄影装置、图像处理装置 |
GB0809631D0 (en) * | 2008-05-28 | 2008-07-02 | Mirriad Ltd | Zonesense |
JP5517746B2 (ja) * | 2010-05-26 | 2014-06-11 | キヤノン株式会社 | 画像処理装置およびその方法 |
JP5934929B2 (ja) * | 2011-05-27 | 2016-06-15 | パナソニックIpマネジメント株式会社 | 画像処理装置および画像処理方法 |
JP5760727B2 (ja) * | 2011-06-14 | 2015-08-12 | リコーイメージング株式会社 | 画像処理装置および画像処理方法 |
JP5906033B2 (ja) | 2011-07-26 | 2016-04-20 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム |
KR101822462B1 (ko) * | 2011-11-29 | 2018-01-30 | 삼성전자주식회사 | Ui 제공 방법 및 이를 적용한 영상 촬영 장치 |
US8941750B2 (en) * | 2011-12-27 | 2015-01-27 | Casio Computer Co., Ltd. | Image processing device for generating reconstruction image, image generating method, and storage medium |
JP5968073B2 (ja) * | 2012-05-18 | 2016-08-10 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム |
-
2013
- 2013-10-29 JP JP2013224442A patent/JP6270413B2/ja active Active
-
2014
- 2014-10-24 US US14/523,580 patent/US9538074B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002300373A (ja) * | 2001-03-30 | 2002-10-11 | Minolta Co Ltd | 画像処理方法、画像処理装置、記録媒体及びプログラム |
WO2013136403A1 (ja) * | 2012-03-15 | 2013-09-19 | パナソニック株式会社 | 画像処理装置、集積回路、プログラム、撮像装置、表示装置 |
Also Published As
Publication number | Publication date |
---|---|
US9538074B2 (en) | 2017-01-03 |
JP6270413B2 (ja) | 2018-01-31 |
US20150116546A1 (en) | 2015-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6271990B2 (ja) | 画像処理装置、画像処理方法 | |
JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
TWI602152B (zh) | 影像擷取裝置及其影像處理方法 | |
JP6319972B2 (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
JP5709911B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 | |
WO2021047345A1 (zh) | 图像降噪方法、装置、存储介质及电子设备 | |
JP5968073B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム | |
TW201501533A (zh) | 調整對焦位置的方法及電子裝置 | |
JP2018137648A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP6270413B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
JP2015152484A (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
JP2013031154A (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JP2015040941A (ja) | 撮像装置、その制御方法およびプログラム | |
KR20200110320A (ko) | 화상 처리 장치, 출력 정보 제어 방법, 및 프로그램 | |
JP2015046678A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP2018037857A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5843599B2 (ja) | 画像処理装置および撮像装置並びにその方法 | |
JP6645711B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP2015109681A (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび撮像装置 | |
JP2015186198A (ja) | 撮像装置 | |
JP2014138378A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2020046475A (ja) | 画像処理装置およびその制御方法 | |
JP6818734B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP5854801B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2016072893A (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161004 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161004 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171226 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6270413 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |