JP2018050192A - 画像処理装置、撮像装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、撮像装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP2018050192A JP2018050192A JP2016184564A JP2016184564A JP2018050192A JP 2018050192 A JP2018050192 A JP 2018050192A JP 2016184564 A JP2016184564 A JP 2016184564A JP 2016184564 A JP2016184564 A JP 2016184564A JP 2018050192 A JP2018050192 A JP 2018050192A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- subject
- imaging
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 184
- 238000003384 imaging method Methods 0.000 title claims abstract description 115
- 238000003672 processing method Methods 0.000 title claims description 5
- 210000001747 pupil Anatomy 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 30
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000010365 information processing Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000005484 gravity Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】画像処理装置20,50は、撮像を経て生成された入力画像に対して画像処理を行う。該装置は、入力画像に含まれる複数の第1の被写体領域に対して、該第1の被写体領域ごとに第1の画像処理パラメータを設定し、第1の画像処理パラメータを用いて設定した第2の画像処理パラメータを用いて入力画像に対する画像処理を行う。入力画像のうち第2の被写体領域が選択されると、第2の被写体領域に含まれる被写体と第1の被写体領域に含まれる被写体との位置関係に関する情報を取得し、第1の画像処理パラメータと上記位置関係に関する情報とを用いて第2の画像処理パラメータを設定する。
【選択図】図1
Description
10は撮像光学系としての撮像レンズである。12は絞り機能を備えたシャッタである。14は撮像レンズにより形成された被写体の光学像を電気信号に変換する撮像素子であり、本実施例ではCMOSセンサにより構成されている。16はA/D変換器であり、撮像素子14の各画素からのアナログ出力信号をデジタル信号としての画素信号に変換する。
(変形例)
上記実施例では、リフォーカス画像に対する画像処理を行う場合に被写体領域ごとに画質パラメータを設定する場合について説明した。しかし、リフォーカス画像ではない撮像画像(入力画像)に対する画像処理を行う場合に被写体領域ごとに画質パラメータを設定してもよい。この場合、特定被写体領域は、ユーザが注目する被写体として選択した特定被写体を含む領域とすればよい。本変形例によれば、ユーザが注目する被写体に重きを置きつつ他の被写体の画質も良好とする画像処理を行うことで、ユーザの意思を反映した全体として高画質の撮像画像(出力画像)を生成することができる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する部(例えば、ASIC)によっても実現可能である。
50 システム制御部
Claims (16)
- 撮像を経て生成された入力画像に対して画像処理を行う画像処理装置であって、
前記入力画像に含まれる複数の第1の被写体領域に対して、該第1の被写体領域ごとに第1の画像処理パラメータを設定するパラメータ設定手段と、
前記第1の画像処理パラメータを用いて設定した第2の画像処理パラメータを用いて前記入力画像に対する前記画像処理を行う処理手段と、
前記入力画像のうち第2の被写体領域を選択する選択手段とを有し、
前記処理手段は、
前記第2の被写体領域に含まれる被写体と前記第1の被写体領域に含まれる被写体との位置関係に関する情報を取得し、
前記第1の画像処理パラメータと前記位置関係に関する情報とを用いて前記第2の画像処理パラメータを設定することを特徴とする画像処理装置。 - 前記第2の被写体領域が前記複数の被写体領域に含まれており、
前記処理手段は、前記第2の被写体領域に対する前記第1の画像処理パラメータに対する前記第の画像処理パラメータに最大の重みを付け、他の前記第1の被写体領域に対する前記第1の画像処理パラメータに前記最大の重みに対して前記位置関係に応じて異なる重みを付けて前記複数の第1の被写体領域のそれぞれに対する前記第1の画像処理パラメータを加重平均することにより、前記第2の画像処理パラメータを設定することを特徴とする請求項1に記載の画像処理装置。 - 前記入力画像において被写体領域を検出する検出手段を有し、
前記パラメータ設定手段は、検出された前記第1の被写体領域ごとに前記第1の画像処理パラメータを設定することを特徴とする請求項1または2に記載の画像処理装置。 - 前記入力画像は、該入力画像を用いたリフォーカス処理が可能な画像であり、
前記選択手段は、前記リフォーカス処理においてピントを合わせる被写体領域として前記第2の被写体領域を選択することを特徴とする請求項1から3のいずれか一項に記載の画像処理装置。 - 前記入力画像は、該入力画像から互いに視差を有する複数の視差画像を取得可能な画像であることを特徴とする請求項4に記載の画像処理装置。
- 前記入力画像は、前記撮像光学系の射出瞳のうち互いに異なる瞳領域を通過した光線をそれぞれ光電変換する複数の画素を有する撮像素子を用いて生成された画像であることを特徴とする請求項4または5に記載の画像処理装置。
- 前記位置関係は、奥行き方向での位置関係であることを特徴とする請求項1から6のいずれか一項に記載の画像処理装置。
- 前記位置関係は、画像面内での位置関係を含むことを特徴とする請求項7に記載の画像処理装置。
- 前記処理手段は、前記位置関係に関する情報を、前記撮像における焦点状態に関する情報に基づいて取得することを特徴とする請求項1から8のいずれか一項に記載の画像処理装置。
- 前記処理手段は、前記位置関係に関する情報を、前記入力画像に対する前記第1および第2の被写体領域のそれぞれの大きさの割合に基づいて取得することを特徴とする請求項1から8のいずれか一項に記載の画像処理装置。
- 前記処理手段は、
前記入力画像における被写界深度範囲を取得し、
該被写界深度範囲に含まれる前記第1の被写体領域に対して設定された前記第1の画像処理パラメータを用いて前記第2の画像処理パラメータを設定することを特徴とする請求項1から10のいずれか一項に記載の画像処理装置。 - 前記画像処理は、ホワイトバランス処理、色変換処理および輝度処理のうち少なくとも1つであることを特徴とする請求項1から11のいずれか一項に記載の画像処理装置。
- 被写体からの光により形成された光学像を撮像する撮像素子と、
該撮像素子からの出力信号を用いて生成された撮像画像を入力画像として又は前記撮像画像を用いて生成された入力画像に対して画像処理を行う請求項1から12のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。 - 前記パラメータ設定手段が前記撮像画像を用いて設定した前記第1の画像処理パラメータと、該処理手段が前記撮像時に取得した前記位置関係に関する情報とが記憶されており、
前記処理手段は、記憶された前記第1の画像処理パラメータと前記位置関係に関する情報とを用いて前記画像処理を行うことを特徴とする請求項13に記載の撮像装置。 - 撮像を経て生成された入力画像に対して画像処理を行う画像処理方法であって、
前記入力画像に含まれる複数の第1の被写体領域に対して、該第1の被写体領域ごとに第1の画像処理パラメータを設定するステップと、
前記第1の画像処理パラメータを用いて設定した第2の画像処理パラメータを用いて前記入力画像に対する前記画像処理を行う処理ステップと、
前記入力画像のうち第2の被写体領域を選択するステップとを有し、
前記処理ステップにおいて、
前記第2の被写体領域に含まれる被写体と前記第1の被写体領域に含まれる被写体との位置関係に関する情報を取得し、
前記第1の画像処理パラメータと前記位置関係に関する情報とを用いて前記第2の画像処理パラメータを設定することを特徴とする画像処理方法。 - コンピュータに、撮像を経て生成された入力画像に対して画像処理を実行させるコンピュータプログラムであって、
前記コンピュータに、
前記入力画像に含まれる複数の第1の被写体領域に対して、該第1の被写体領域ごとに第1の画像処理パラメータを設定する処理を行わせ、
前記第1の画像処理パラメータを用いて設定した第2の画像処理パラメータを用いて前記入力画像に対する前記画像処理を行わせ、
前記入力画像のうち第2の被写体領域を選択する処理を行わせ、
さらに前記コンピュータに、
前記第2の被写体領域に含まれる被写体と前記第1の被写体領域に含まれる被写体との位置関係に関する情報を取得させ、
前記第1の画像処理パラメータと前記位置関係に関する情報とを用いて前記第2の画像処理パラメータを設定させることを特徴とする画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016184564A JP6720037B2 (ja) | 2016-09-21 | 2016-09-21 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
US15/708,432 US10447937B2 (en) | 2016-09-21 | 2017-09-19 | Image processing apparatus, imaging apparatus, image processing method, and storage medium that perform image processing based on an image processing parameter set for a first object area, and information on a positional relationship between an object in a second object area and an object in the first object area |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016184564A JP6720037B2 (ja) | 2016-09-21 | 2016-09-21 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018050192A true JP2018050192A (ja) | 2018-03-29 |
JP6720037B2 JP6720037B2 (ja) | 2020-07-08 |
Family
ID=61620775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016184564A Active JP6720037B2 (ja) | 2016-09-21 | 2016-09-21 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10447937B2 (ja) |
JP (1) | JP6720037B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10789288B1 (en) * | 2018-05-17 | 2020-09-29 | Shutterstock, Inc. | Relational model based natural language querying to identify object relationships in scene |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004362443A (ja) * | 2003-06-06 | 2004-12-24 | Canon Inc | パラメータ決定方式 |
JP2008022240A (ja) * | 2006-07-12 | 2008-01-31 | Fujifilm Corp | 撮影装置,画像処理装置、及び画像ファイル生成方法,画像処理方法、並びに画像処理プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6244655B2 (ja) * | 2013-05-16 | 2017-12-13 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP6548367B2 (ja) | 2014-07-16 | 2019-07-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
-
2016
- 2016-09-21 JP JP2016184564A patent/JP6720037B2/ja active Active
-
2017
- 2017-09-19 US US15/708,432 patent/US10447937B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004362443A (ja) * | 2003-06-06 | 2004-12-24 | Canon Inc | パラメータ決定方式 |
JP2008022240A (ja) * | 2006-07-12 | 2008-01-31 | Fujifilm Corp | 撮影装置,画像処理装置、及び画像ファイル生成方法,画像処理方法、並びに画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6720037B2 (ja) | 2020-07-08 |
US20180084201A1 (en) | 2018-03-22 |
US10447937B2 (en) | 2019-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8593509B2 (en) | Three-dimensional imaging device and viewpoint image restoration method | |
US8471952B2 (en) | Image pickup apparatus | |
US9258545B2 (en) | Stereoscopic imaging apparatus | |
JP5517514B2 (ja) | 撮像装置及びその制御方法 | |
JP6555863B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
US20150326798A1 (en) | Imaging device and imaging method | |
JP5767755B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP7051373B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
JP2011022386A5 (ja) | ||
JP2012049773A (ja) | 撮像装置および方法、並びにプログラム | |
JP2014171236A (ja) | 撮影装置、撮影方法及びプログラム | |
CN107637067B (zh) | 图像处理设备和图像处理方法 | |
JP7091053B2 (ja) | 撮像装置および焦点検出方法 | |
JP2020017807A (ja) | 画像処理装置および画像処理方法、ならびに撮像装置 | |
US9106900B2 (en) | Stereoscopic imaging device and stereoscopic imaging method | |
JP2016213757A (ja) | 撮像装置およびその制御方法 | |
JP6624834B2 (ja) | 撮像装置およびその制御方法 | |
JP6720037B2 (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
JP2016197826A (ja) | 撮像装置および撮像制御プログラム | |
WO2016199381A1 (en) | Image processing apparatus and image processing method | |
JP2019009694A (ja) | 撮像装置、制御方法、及びプログラム | |
JP2018005008A (ja) | カメラボディおよび交換レンズ | |
JP2012124650A (ja) | 撮像装置および撮像方法 | |
JP6671868B2 (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
JP2019186831A (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190801 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200617 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6720037 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |