JP6397281B2 - 撮像装置、その制御方法およびプログラム - Google Patents
撮像装置、その制御方法およびプログラム Download PDFInfo
- Publication number
- JP6397281B2 JP6397281B2 JP2014185232A JP2014185232A JP6397281B2 JP 6397281 B2 JP6397281 B2 JP 6397281B2 JP 2014185232 A JP2014185232 A JP 2014185232A JP 2014185232 A JP2014185232 A JP 2014185232A JP 6397281 B2 JP6397281 B2 JP 6397281B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- exposure
- pixel data
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Description
また、本発明の他の観点によれば、撮影光学系の複数の異なる射出瞳領域のいずれかからの光束のいずれかをそれぞれ受光する複数の画素を有する撮像手段を有する撮像装置であって、前記射出瞳領域の一部に対応する画素から得られる画素データに基づいて、前記撮像手段の露光条件を決定する露光条件決定手段と、前記露光条件決定手段によって決定される前記露光条件に基づいて前記撮像手段の露光を制御する制御手段と、を備えることを特徴とする撮像装置が提供される。
また、本発明の更に他の観点によれば、撮影光学系によって形成される被写体の光学像を光電変換する複数の光電変換手段を有する撮像手段を有する撮像装置であって、前記撮影光学系の像面と、前記撮影光学系の前記像面とは異なる所定の像面とのうちのいずれかにおける再構成画像を、前記光電変換手段によって生成される画素データから生成する再構成手段と、前記再構成手段によって生成される前記再構成画像に基づいて前記撮像手段の露光条件を決定する露光条件決定手段と、前記露光条件決定手段によって決定された前記露光条件に基づいて前記撮像手段の露光を制御する制御手段と、を備えることを特徴とする撮像装置が提供される。
また、本発明の更に他の観点によれば、撮影光学系の複数の異なる射出瞳領域のいずれかからの光束のいずれかをそれぞれ受光する複数の画素を有する撮像手段を有する撮像装置であって、前記光束を前記複数の画素で光電変換することにより生成される画素データに基づいて、前記撮像手段の露光条件を決定する露光条件決定手段と、を備え、前記露光条件決定手段は、前記光束を前記複数の画素で光電変換することにより生成される前記画素データが適正露光になるように前記露光条件を決定する第1の露光モードと、前記光束を前記複数の画素で光電変換することにより生成される前記画素データを前記射出瞳領域に関して加算することにより得られるデータが適正露光となるように前記露光条件を決定する第2の露光モードとを有することを特徴とする撮像装置が提供される。
また、本実施例に係る撮像装置は、後述するように、光線空間情報の取得を可能にする撮影光学系と撮像手段とを有し、それらによって取得された画素データを用いた露出条件の決定を本発明の構成に従って制御する。このように、本発明は、光線空間情報の取得を可能な撮像装置における絞り位置や露出時間などの露出条件を決定するための技術的思想を対象にしている。
メモリ部8は実際にデータを記憶する記憶部に加えて記録に必要な処理部を備えている。メモリ部は、記録部へ出力を行うとともに、表示部9に出力する像を生成、保存する。また、メモリ部8は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
図2を用いて説明した光学系では、MLAを利用することで光線の入射角度を規定することができる。すなわち、図2の光学系を使用して被写体光を撮像することで、入射した光線の位置に加えて角度の情報を取得可能である。近年、このような光線の位置および角度の情報は、ライトフィールド情報と呼ばれて、ライトフィールド情報を取得可能な撮像装置をライトフィールドカメラまたはプレノプティックカメラと通称されている。
Claims (17)
- 撮影光学系の複数の異なる射出瞳領域のいずれかからの光束のいずれかをそれぞれ受光する複数の画素を有する撮像手段を有する撮像装置であって、
前記光束を前記複数の画素で光電変換することにより生成される画素データに基づいて、前記撮像手段の露光条件を決定する露光条件決定手段と、
前記撮影光学系の構成に関する情報に基づいて、前記撮影光学系のケラレ状態を決定するケラレ決定手段と、
を備え、
前記露光条件決定手段は、前記光束を前記複数の画素で光電変換することにより生成される前記画素データから前記ケラレ状態に従って選択された画素データに基づいて前記露光条件を決定する第1の露光モードと、前記光束を前記複数の画素で光電変換することにより生成される前記画素データを前記射出瞳領域に関して加算することにより得られるデータに基づいて前記露光条件を決定する第2の露光モードとを有することを特徴とする撮像装置。 - ユーザーによる設定を受け付ける設定手段をさらに備え、
前記露光条件決定手段は、前記ユーザーによる設定に基づいて前記第1の露光モードと前記第2の露光モードとを切り替え、前記ユーザーによる設定は、少なくとも連写速度、再構成画像の出力、露出条件の決定でのノイズ対策に関する設定の内のいずれか1つを含むことを特徴とする請求項1に記載の撮像装置。 - 露光モードに従って、前記光束を前記複数の画素で光電変換することにより生成される前記画素データから所定の画像を生成する画像生成手段をさらに備え、
前記露光条件決定手段は、前記所定の画像に基づいて前記露光条件を決定することを特徴とする請求項1に記載の撮像装置。 - 前記第1の露光モードにおいて前記画像生成手段によって生成される前記所定の画像は、視差画像であり、
前記露光条件決定手段が露光モードを前記第1の露光モードに切り替えた場合は、前記画像生成手段は、各画素における画素面積とケラレが生じていない面積との比に従って、前記決定されたケラレ状態に基づいて選択された画素データから前記視差画像を生成することを特徴とする請求項3に記載の撮像装置。 - 前記第2の露光モードにおいて前記画像生成手段によって生成される前記所定の画像は、撮影画像であることを特徴とする請求項3に記載の撮像装置。
- 前記露光条件決定手段は、前記光束を前記複数の画素で光電変換することにより生成される前記画素データから生成される再構成画像に基づいて前記露光条件を決定する第3の露光モードをさらに有し、前記ユーザーによる設定に基づいて前記第1の露光モード、前記第2の露光モードおよび第3の露光モードを切り替えることを特徴とする請求項2に記載の撮像装置。
- 露光モードに従って、前記光束を前記複数の画素で光電変換することにより生成される前記画素データから所定の画像を生成する画像生成手段をさらに備え、
前記第3の露光モードにおいて前記画像生成手段によって生成される前記所定の画像は、再構成画像であり、
前記露光条件決定手段が露光モードを前記第3の露光モードに切り替えた場合には、前記画像生成手段は、前記設定手段で設定される像面に従って、前記光束を前記複数の画素で光電変換することにより生成される前記画素データを用いて光学像のデフォーカス量を算出し、算出された前記デフォーカス量に基づいて、前記光束を前記複数の画素で光電変換することにより生成される前記画素データを選択して加算することにより、前記再構成画像を生成することを特徴とする請求項6に記載の撮像装置。 - マイクロレンズを2次元に配列したマイクロレンズアレイをさらに備え、
各マイクロレンズは、前記撮像手段の複数の画素のうちの所定数の画素に対応し、
前記第1の露光モードにおける前記画素データの選択は、各マイクロレンズに対応する前記所定数の画素のうちの所定の画素データの選択であり、
前記第2の露光モードにおける前記画素データの加算は、各マイクロレンズに対応する前記所定数の画素についての画素データの加算であることを特徴とする請求項6に記載の撮像装置。 - 前記第3の露光モードにおける前記画素データの選択は、前記光束を前記所定数の画素のうちの前記複数の画素で光電変換することにより生成される前記画素データから像面における再構成画像の画素に対応する画素データの選択であることを特徴とする請求項8に記載の撮像装置。
- 前記所定の画像を出力する出力手段と、
前記出力手段から出力された画像を表示する表示手段と、
前記出力手段から出力された画像を記憶する記憶手段とをさらに備えることを特徴とする請求項3に記載の撮像装置。 - 前記撮影光学系は絞りを含み、
前記撮影光学系の構成に関する情報は、前記撮像手段と前記絞りとの距離、Fナンバー、前記撮影光学系の撮影レンズの枠と前記撮像手段との距離、および像高の情報を含むことを特徴とする請求項1乃至10のいずれか1項に記載の撮像装置。 - 撮影光学系の複数の異なる射出瞳領域のいずれかからの光束のいずれかをそれぞれ受光する複数の画素を有する撮像手段を有する撮像装置の制御方法であって、
前記光束を前記複数の画素で光電変換することにより生成される画素データに基づいて、前記撮像手段の露光条件を決定する露光条件決定ステップと、
前記撮影光学系の構成に関する情報に基づいて、前記撮影光学系のケラレ状態を決定するケラレ決定ステップと、
を備え、
前記露光条件決定ステップは、前記光束を前記複数の画素で光電変換することにより生成される前記画素データから前記ケラレ状態に従って選択された画素データに基づいて前記露光条件を決定する第1の露光モードと、前記光束を前記複数の画素で光電変換することにより生成される前記画素データを前記射出瞳領域に関して加算することにより得られるデータに基づいて前記露光条件を決定する第2の露光モードとを有することを特徴とする制御方法。 - コンピュータに請求項12の制御方法を実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
- 撮影光学系の複数の異なる射出瞳領域のいずれかからの光束のいずれかをそれぞれ受光する複数の画素を有する撮像手段を有する撮像装置であって、
前記射出瞳領域の一部に対応する画素から得られる画素データに基づいて、前記撮像手段の露光条件を決定する露光条件決定手段と、
前記露光条件決定手段によって決定される前記露光条件に基づいて前記撮像手段の露光を制御する制御手段と、
前記撮影光学系の構成に関する情報に基づいて、前記撮影光学系のケラレ状態を決定するケラレ決定手段と、
を備え、
前記露光条件決定手段は、前記光束を前記複数の画素で光電変換することにより生成される前記画素データから前記ケラレ状態に従って選択された前記画素データに基づいて前記露光条件を決定することを特徴とする撮像装置。 - 前記撮影光学系は絞りを含み、
前記撮影光学系の構成に関する情報は、前記撮像手段と前記絞りとの距離、Fナンバー、前記撮影光学系の撮影レンズの枠と前記撮像手段との距離、および像高の情報を含むことを特徴とする請求項14に記載の撮像装置。 - マイクロレンズを2次元に配列したマイクロレンズアレイをさらに備え、
各マイクロレンズは、前記撮像手段の複数の画素のうちの所定数の画素に対応していることを特徴とする請求項14に記載の撮像装置。 - 第1の露光モードにおける前記画素データの選択は、各マイクロレンズに対応する前記所定数の画素のうちの所定の画素データの選択であることを特徴とする請求項16に記載の撮像装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014185232A JP6397281B2 (ja) | 2013-10-23 | 2014-09-11 | 撮像装置、その制御方法およびプログラム |
US14/518,230 US9554054B2 (en) | 2013-10-23 | 2014-10-20 | Imaging apparatus and its control method and program |
EP14003617.9A EP2866430B1 (en) | 2013-10-23 | 2014-10-23 | Imaging apparatus and its control method and program |
CN201410571902.0A CN104580921B (zh) | 2013-10-23 | 2014-10-23 | 摄像设备及其控制方法 |
KR1020140143897A KR20150047112A (ko) | 2013-10-23 | 2014-10-23 | 촬상장치, 그 제어 방법 및 기억매체 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013220217 | 2013-10-23 | ||
JP2013220217 | 2013-10-23 | ||
JP2014185232A JP6397281B2 (ja) | 2013-10-23 | 2014-09-11 | 撮像装置、その制御方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015109635A JP2015109635A (ja) | 2015-06-11 |
JP2015109635A5 JP2015109635A5 (ja) | 2017-10-19 |
JP6397281B2 true JP6397281B2 (ja) | 2018-09-26 |
Family
ID=51794712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014185232A Active JP6397281B2 (ja) | 2013-10-23 | 2014-09-11 | 撮像装置、その制御方法およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9554054B2 (ja) |
EP (1) | EP2866430B1 (ja) |
JP (1) | JP6397281B2 (ja) |
KR (1) | KR20150047112A (ja) |
CN (1) | CN104580921B (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6548367B2 (ja) * | 2014-07-16 | 2019-07-24 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
JP6758946B2 (ja) | 2015-09-09 | 2020-09-23 | キヤノン株式会社 | 撮像装置及び再生装置 |
US10001654B2 (en) * | 2016-07-25 | 2018-06-19 | Disney Enterprises, Inc. | Retroreflector display system for generating floating image effects |
CN109937382B (zh) | 2016-08-26 | 2020-12-18 | 华为技术有限公司 | 成像装置和成像方法 |
JP2018050231A (ja) * | 2016-09-23 | 2018-03-29 | キヤノン株式会社 | 撮像装置、撮像方法および撮像制御プログラム |
US10602051B2 (en) * | 2017-03-28 | 2020-03-24 | Canon Kabushiki Kaisha | Imaging apparatus, control method, and non-transitory storage medium |
EP3422723B1 (en) * | 2017-06-30 | 2023-04-26 | InterDigital VC Holdings, Inc. | Method for encoding and decoding at least one matrix of image views obtained from data acquired by a plenoptic camera, and corresponding electronic devices |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7723662B2 (en) | 2005-10-07 | 2010-05-25 | The Board Of Trustees Of The Leland Stanford Junior University | Microscopy arrangements and approaches |
JP2008070510A (ja) | 2006-09-13 | 2008-03-27 | Pentax Corp | 撮像装置 |
JP4867554B2 (ja) | 2006-09-29 | 2012-02-01 | カシオ計算機株式会社 | 電子カメラ、撮像制御プログラム及び撮像制御方法 |
JP5159515B2 (ja) * | 2008-08-26 | 2013-03-06 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP5424679B2 (ja) * | 2009-03-18 | 2014-02-26 | キヤノン株式会社 | 撮像装置及び信号処理装置 |
JP5213813B2 (ja) * | 2009-08-18 | 2013-06-19 | キヤノン株式会社 | 撮像装置及び撮像装置の制御方法 |
JP2011182304A (ja) * | 2010-03-03 | 2011-09-15 | Renesas Electronics Corp | 撮像装置及びその制御方法 |
JP5457240B2 (ja) | 2010-03-18 | 2014-04-02 | 富士フイルム株式会社 | 立体撮像装置 |
JP5411842B2 (ja) | 2010-12-07 | 2014-02-12 | シャープ株式会社 | 撮像装置 |
US20140176592A1 (en) * | 2011-02-15 | 2014-06-26 | Lytro, Inc. | Configuring two-dimensional image processing based on light-field parameters |
JP5473977B2 (ja) * | 2011-04-14 | 2014-04-16 | キヤノン株式会社 | 撮像装置およびカメラシステム |
JP5618943B2 (ja) | 2011-08-19 | 2014-11-05 | キヤノン株式会社 | 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム |
JP6095266B2 (ja) * | 2012-01-13 | 2017-03-15 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP5898501B2 (ja) * | 2012-01-13 | 2016-04-06 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体 |
US8948545B2 (en) * | 2012-02-28 | 2015-02-03 | Lytro, Inc. | Compensating for sensor saturation and microlens modulation during light-field image processing |
CN104205808B (zh) * | 2012-03-30 | 2020-06-05 | 株式会社尼康 | 摄像装置以及摄像元件 |
-
2014
- 2014-09-11 JP JP2014185232A patent/JP6397281B2/ja active Active
- 2014-10-20 US US14/518,230 patent/US9554054B2/en active Active
- 2014-10-23 KR KR1020140143897A patent/KR20150047112A/ko not_active Application Discontinuation
- 2014-10-23 CN CN201410571902.0A patent/CN104580921B/zh active Active
- 2014-10-23 EP EP14003617.9A patent/EP2866430B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9554054B2 (en) | 2017-01-24 |
EP2866430A1 (en) | 2015-04-29 |
KR20150047112A (ko) | 2015-05-04 |
JP2015109635A (ja) | 2015-06-11 |
EP2866430B1 (en) | 2018-08-29 |
CN104580921B (zh) | 2018-04-03 |
CN104580921A (zh) | 2015-04-29 |
US20150109522A1 (en) | 2015-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6397281B2 (ja) | 撮像装置、その制御方法およびプログラム | |
US9826215B2 (en) | Stereoscopic image pickup unit, image pickup device, picture processing method, control method, and program utilizing diaphragm to form pair of apertures | |
JP5988790B2 (ja) | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム | |
JP6341736B2 (ja) | 撮像装置、制御方法、プログラム、記憶媒体 | |
US9208569B2 (en) | Image processing apparatus and control method thereof capable of performing refocus calculation processing for light field data | |
JP6202910B2 (ja) | 映像処理装置およびその制御方法、プログラム | |
US9344617B2 (en) | Image capture apparatus and method of controlling that performs focus detection | |
JP5914192B2 (ja) | 撮像装置及びその制御方法 | |
US20200252568A1 (en) | Image sensor and image capture apparatus | |
US20150287208A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP2017005689A (ja) | 画像処理装置および画像処理方法 | |
JP2016001853A (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
JP6190119B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP6478587B2 (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
JP2012150826A (ja) | 画像合成装置及びプログラム | |
JP6012396B2 (ja) | 画像処理装置、画像処理方法およびプログラム。 | |
JP6056160B2 (ja) | 自動合焦装置、自動合焦方法及びプログラム | |
JP5743769B2 (ja) | 画像処理装置および画像処理方法 | |
JP2019009694A (ja) | 撮像装置、制御方法、及びプログラム | |
JP6188290B2 (ja) | 測距装置、撮像装置、ピント評価方法、プログラム及び記憶媒体 | |
JP6157290B2 (ja) | 再生装置、再生装置の制御方法およびプログラム | |
JP2016220016A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
US20180109720A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5853510B2 (ja) | 撮像装置 | |
JP6377225B2 (ja) | 画像処理装置およびその制御方法、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170905 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170905 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20171214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180831 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6397281 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |