JP2013219736A - 画像処理装置、撮像装置および画像処理プログラム - Google Patents
画像処理装置、撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JP2013219736A JP2013219736A JP2012180648A JP2012180648A JP2013219736A JP 2013219736 A JP2013219736 A JP 2013219736A JP 2012180648 A JP2012180648 A JP 2012180648A JP 2012180648 A JP2012180648 A JP 2012180648A JP 2013219736 A JP2013219736 A JP 2013219736A
- Authority
- JP
- Japan
- Prior art keywords
- color
- pixel value
- viewpoint
- pixel
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 title claims description 135
- 238000006243 chemical reaction Methods 0.000 claims description 76
- 238000000605 extraction Methods 0.000 claims description 53
- 238000004364 calculation method Methods 0.000 claims description 51
- 239000000284 extract Substances 0.000 claims description 17
- 241000257465 Echinoidea Species 0.000 claims 1
- 230000002195 synergetic effect Effects 0.000 claims 1
- 230000003287 optical effect Effects 0.000 abstract description 23
- 239000003086 colorant Substances 0.000 abstract description 8
- 238000009826 distribution Methods 0.000 description 54
- 238000000034 method Methods 0.000 description 38
- 230000003252 repetitive effect Effects 0.000 description 38
- 230000004907 flux Effects 0.000 description 36
- 230000008569 process Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 28
- 238000012935 Averaging Methods 0.000 description 14
- 210000001747 pupil Anatomy 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 9
- 230000007423 decrease Effects 0.000 description 7
- 238000005315 distribution function Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 229910004298 SiO 2 Inorganic materials 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】被写体像のカラーを構成する特定色において、第1視点に対応する第1視点カラー画像データから対象画素位置における特定色の画素値を抽出し、第2視点および第3視点に対応する第2視点カラー画像データ及び第3視点カラー画像データからそれぞれのカラー画像データの第1色成分と第2色成分の画素値を抽出し、第2視点カラー画像データの新たに求める特定色の画素値を、第2視点の新たに求める特定色の画素値と第1視点カラー画像データの特定色の画素値との間の差が、第2視点カラー画像データの第1色成分の画素値と第3視点カラー画像データの第1色成分の画素値との間の差、及び第2視点カラー画像データの第2色成分の画素値と第3視点カラー画像データの第2色成分の画素値との間の差との和に対して相関を保つように算出する。
【選択図】図15
Description
[先行技術文献]
[特許文献]
[特許文献1] 特開平8−47001号公報
図1は、本発明の実施形態に係るデジタルカメラ10の構成を説明する図である。デジタルカメラ10は、撮影光学系としての撮影レンズ20を備え、光軸21に沿って入射する被写体光束を撮像素子100へ導く。撮影レンズ20は、デジタルカメラ10に対して着脱できる交換式レンズであっても構わない。デジタルカメラ10は、撮像素子100、制御部201、A/D変換回路202、メモリ203、駆動部204、画像処理部205、メモリカードIF207、操作部208、表示部209、LCD駆動回路210およびAFセンサ211を備える。
次に、カラーフィルタ102と視差画像について説明する。図6は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、Gフィルタが左上(Gb)と右下(Gr)の2画素に、Rフィルタが左下の1画素に、Bフィルタが右上の1画素に割り当てられる配列である。
P51…視差Rt画素+Gフィルタ(=GRt)
P32…視差Lt画素+Bフィルタ(=BLt)
P63…視差Rt画素+Rフィルタ(=RRt)
P15…視差Rt画素+Gフィルタ(=GRt)
P55…視差Lt画素+Gフィルタ(=GLt)
P76…視差Rt画素+Bフィルタ(=BRt)
P27…視差Lt画素+Rフィルタ(=RLt)
他の画素は視差なし画素であり、視差無し画素+Rフィルタ(=RN)、視差なし画素+Gフィルタ(=GN)、視差無し画素+Bフィルタ(=BN)のいずれかである。
図9は、2D画像データとしてのGNプレーンデータ、RNプレーンデータ、BNプレーンデータの生成処理の例を説明する図である。上段の図のそれぞれは、撮像素子100における一つの繰り返しパターン110およびその周囲の出力の一部を、その画素配列に一致させてそのまま羅列した様子を示す。具体的には、上図は左側から順に、G画素のみを抽出したG0プレーンデータを示す図、R画素のみを抽出したR0プレーンデータを示す図、B画素のみを抽出したB0プレーンデータを示す図である。図においては、図7の例に則して画素の種類が理解されるように記載するが、実際には各画素に対応した出力値が並ぶ。
図10は、左視差画像データとしてのGLtプレーンデータ、RLtプレーンデータ、BLtプレーンデータの生成処理の例を説明する図である。
本実施形態においては、このような光強度分布の性質を利用して、図9〜11に示す9つのプレーンデータから、高精細な左側視点のカラー画像データおよび右側視点のカラー画像データを生成する。具体的には、画像処理部205は、図10、11で示した視差画像が持つ視差成分を、図9で示した視差なし画像に重畳することによって、高精細な左右のカラー画像データを生成する。この生成処理を視差変調処理という。
の関係が成り立ち、視差なし画像の間で存在しているG面とR面との変動の様子の違いがそのまま左視差画像の間でも存在しているかのように、求めるG'Lt(x,y)に射影される。同じことが、G成分、B成分についても成り立ち、それらの変動情報、あるいは高周波成分がG'Lt(x,y)に射影される。
視差変調方式を代えた実施形態について説明する。第2実施形態においては、画素配列として、視差C画素、視差Lt画素、視差Rt画素が配置され、かつ、図17で説明したように、視差C画素の開口部が、視差Lt画素の開口部の形状、視差Rt画素の開口部の形状に等しいものとする。そうすると、視差C画素のボケ量は、視差Lt画素および視差Rt画素のボケ量とほぼ一致することになる。相乗平均を用いて視差変調を行うことによって、視差変調後の左右のカラー画像のボケ量を視差画素のボケ量と一致させることができる。
視差変調方式を代えた実施形態について説明する。第3実施形態においては、図17で説明したように、視差なし画素の開口部が、視差Lt画素の開口部の面積と視差Rt画素の開口部の面積の和に等しいものとする。そうすると、視差なし画素のボケ量は、視差Lt画素および視差Rt画素のボケ量の和と同程度となる。相加平均を用いて視差変調を行うことによって、視差変調後の左右のカラー画像のボケ量を視差画素のボケ量と一致させることができる。
(a)立方根階調特性
(c)対数特性
Claims (26)
- 被写体像のカラーを構成するn個(n≧2)の色成分の一つである特定色において、前記被写体像を捉える複数の視点の一つである第1視点に対応する第1視点カラー画像データから、対象画素位置における前記第1視点カラー画像データの前記特定色の画素値を抽出する第1視点画素値抽出部と、
前記第1視点とは異なる第2視点および第3視点に対応する第2視点カラー画像データおよび第3視点カラー画像データから、前記対象画素位置における前記第2視点カラー画像データの少なくとも第1色成分と第2色成分の画素値および前記第3視点カラー画像データの少なくとも第1色成分と第2色成分の画素値を抽出する第2と第3視点画素値抽出部と、
前記第2視点カラー画像データの新たに求める特定色の画素値を、該第2視点の新たに求める特定色の画素値と前記第1視点画素値抽出部が抽出した前記第1視点カラー画像データの特定色の画素値との間の差が、少なくとも
1)前記第2と第3画素値抽出部が抽出した前記第2の視点カラー画像データの第1色成分の画素値と前記第3視点カラー画像データの第1色成分の画素値との間の差、及び
2)前記第2と第3画素値抽出部が抽出した前記第2の視点カラー画像データの第2色成分の画素値と前記第3視点カラー画像データの第2色成分の画素値との間の差
との和に対して相関を保つように算出する第2視点画素値算出部と
を備える画像処理装置。 - 前記第2視点画素値算出部は、前記第2視点カラー画像データの新たに求める特定色の画素値を、該第2視点の新たに求める特定色の画素値と前記第1視点画素値抽出部が抽出した前記第1視点カラー画像データの特定色の画素値との間の差が、少なくとも
1)前記第2と第3画素値抽出部が抽出した前記第2の視点カラー画像データの第1色成分の画素値と前記第3視点カラー画像データの第1色成分の画素値との間の差、及び
2)前記第2と第3画素値抽出部が抽出した前記第2の視点カラー画像データの第2色成分の画素値と前記第3視点カラー画像データの第2色成分の画素値との間の差
との和に比例するように算出することを特徴とする請求項1に記載の画像処理装置。 - 被写体像のカラーを構成するn個(n≧2)の色成分の一つである特定色において、前記被写体像を捉える複数の視点の一つである第1視点に対応する第1視点カラー画像データから、対象画素位置における前記第1視点カラー画像データの前記特定色の画素値を抽出する第1視点画素値抽出部と、
前記第1視点とは異なる第2視点および第3視点に対応する第2視点カラー画像データおよび第3視点カラー画像データから、前記対象画素位置における前記第2視点カラー画像データの少なくとも第1色成分と第2色成分の画素値および前記第3視点カラー画像データの少なくとも第1色成分と第2色成分の画素値を抽出する第2と第3視点画素値抽出部と、
前記第2視点カラー画像データの新たに求める特定色の画素値を、該第2視点の新たに求める特定色の画素値と前記第1視点画素値抽出部が抽出した前記第1視点カラー画像データの特定色の画素値との間の比が、少なくとも2つの比
1)前記第2と第3画素値抽出部が抽出した前記第2の視点カラー画像データの第1色成分の画素値と、前記第3視点カラー画像データの第1色成分の画素値によって定義される比、及び
2)前記第2と第3画素値抽出部が抽出した前記第2の視点カラー画像データの第2色成分の画素値と、前記第3視点カラー画像データの第2色成分の画素値によって定義される比
の積に対して相関を保つように算出する第2視点画素値算出部と
を備える画像処理装置。 - 前記第2視点画素値算出部は、前記第2視点カラー画像データの新たに求める特定色の画素値を、該第2視点の新たに求める特定色の画素値と前記第1視点画素値抽出部が抽出した前記第1視点カラー画像データの特定色の画素値との間の比が、少なくとも
1)前記第2と第3画素値抽出部が抽出した前記第2の視点カラー画像データの第1色成分の画素値と前記第3視点カラー画像データの第1色成分の画素値との間の比の平方根、及び
2)前記第2と第3画素値抽出部が抽出した前記第2の視点カラー画像データの第2色成分の画素値と前記第3視点カラー画像データの第2色成分の画素値との間の比の平方根
の積に比例するように算出することを特徴とする請求項3に記載の画像処理装置。 - 前記第2視点画素値算出部は、前記第2視点カラー画像データの新たに求める特定色の画素値を、該第2視点の新たに求める特定色の画素値と前記第1視点画素値抽出部が抽出した前記第1視点カラー画像データの特定色の画素値との間の比が、少なくとも
1)前記第2と第3画素値抽出部が抽出した前記第2の視点カラー画像データの第1色成分の画素値と、前記第3視点カラー画像データの第1色成分の画素値と前記第2視点カラー画像データの第1色成分の画素値との和との間の比、及び
2)前記第2と第3画素値抽出部が抽出した前記第2の視点カラー画像データの第2色成分の画素値と、前記第3視点カラー画像データの第2色成分の画素値と前記第2視点カラー画像データの第2色成分の画素値との和との間の比
の積に比例するように算出することを特徴とする請求項3に記載の画像処理装置。 - 前記第1視点は、前記第2視点と前記第3視点の間の視点であることを特徴とする請求項1、請求項3のいずれかに記載の画像処理装置。
- 前記カラー画像データの画素値のそれぞれは、ガンマ変換後の値である請求項1に記載の画像処理装置。
- 前記カラー画像データの画素値のそれぞれは、受光量に比例した線形階調の値である請求項3に記載の画像処理装置。
- 前記第2視点画素値算出部は、前記n個の色成分の全てに対応する前記第2視点の新たなカラー画像データが揃うように、前記特定色を順次変更して前記新たなカラー画像データを生成する請求項1、請求項3のいずれかに記載の画像処理装置。
- 前記被写体像を撮像する撮像素子と、
請求項1から9のいずれか1項に記載の画像処理装置と
を備える撮像装置であって、
前記第1視点画素値抽出部は、前記撮像素子が出力する前記第1視点に対応する特定色の画素値を有するカラー画像データから前記特定色の画素値を抽出し、
第2と第3視点画素値抽出部は、前記撮像素子が出力する第2視点および第3視点に対応する第1色成分の画素値および第2色成分の画素値を有するカラー画像データから前記第1色成分の画素値および前記第2色成分の画素値を抽出する撮像装置。 - 被写体像のカラーを構成するn個(n≧2)の色成分の一つである特定色において、前記被写体像を捉える複数の視点の一つである第1視点に対応する第1視点カラー画像データから、対象画素位置における前記第1視点カラー画像データの前記特定色の画素値を抽出する第1視点画素値抽出ステップと、
前記第1視点とは異なる第2視点および第3視点に対応する第2視点カラー画像データおよび第3視点カラー画像データから、前記対象画素位置における前記第2視点カラー画像データの少なくとも第1色成分と第2色成分の画素値および前記第3視点カラー画像データの少なくとも第1色成分と第2色成分の画素値を抽出する第2と第3視点画素値抽出ステップと、
前記第2視点カラー画像データの新たに求める特定色の画素値を、該第2視点の新たに求める特定色の画素値と前記第1視点画素値抽出部が抽出した前記第1視点カラー画像データの特定色の画素値との間の差が、少なくとも
1)前記第2と第3画素値抽出部が抽出した前記第2の視点カラー画像データの第1色成分の画素値と前記第3視点カラー画像データの第1色成分の画素値との間の差、及び
2)前記第2と第3画素値抽出部が抽出した前記第2の視点カラー画像データの第2色成分の画素値と前記第3視点カラー画像データの第2色成分の画素値との間の差
との和に対して相関を保つように算出する第2視点画素値算出ステップと
をコンピュータに実行させる画像処理プログラム。 - 被写体像のカラーを構成するn個(n≧2)の色成分の一つである特定色において、前記被写体像を捉える複数の視点の一つである第1視点に対応する第1視点カラー画像データから、対象画素位置における前記第1視点カラー画像データの前記特定色の画素値を抽出する第1視点画素値抽出ステップと、
前記第1視点とは異なる第2視点および第3視点に対応する第2視点カラー画像データおよび第3視点カラー画像データから、前記対象画素位置における前記第2視点カラー画像データの少なくとも第1色成分と第2色成分の画素値および前記第3視点カラー画像データの少なくとも第1色成分と第2色成分の画素値を抽出する第2と第3視点画素値抽出ステップと、
前記第2視点カラー画像データの新たに求める特定色の画素値を、該第2視点の新たに求める特定色の画素値と前記第1視点画素値抽出部が抽出した前記第1視点カラー画像データの特定色の画素値との間の比が、少なくとも2つの比
1)前記第2と第3画素値抽出部が抽出した前記第2の視点カラー画像データの第1色成分の画素値と、前記第3視点カラー画像データの第1色成分の画素値によって定義される比、及び
2)前記第2と第3画素値抽出部が抽出した前記第2の視点カラー画像データの第2色成分の画素値と、前記第3視点カラー画像データの第2色成分の画素値によって定義される比
の積に対して相関を保つように算出する第2視点画素値算出ステップと
をコンピュータに実行させる画像処理プログラム。 - 被写体像のカラーを構成する複数の色成分の一つであるX成分色において、前記被写体像を捉える複数の視点の一つである第1視点に対応する1X画素値を有するカラー画像データから、対象画素位置における前記1X画素値を抽出し、
前記複数の色成分の一つであるA成分色において、前記第1視点とは異なる第2視点および第3視点に対応する2A画素値および3A画素値を有するカラー画像データから、前記対象画素位置における前記2A画素値および前記3A画素値を抽出し、
前記複数の色成分の一つであって前記A成分色とは異なるB成分色において、前記第2視点および前記第3視点に対応する2B画素値および3B画素値を有するカラー画像データから、前記対象画素位置における前記2B画素値および前記3B画素値を抽出する画素値抽出部と、
前記X成分色に対する前記第2視点の2X画素値または前記第3視点の3X画素値と、前記1X画素値との差が、前記2A画素値と前記3A画素値との差に、前記2B画素値と前記3B画素値との差を加えた値に対して相関を保つように前記2X画素値および前記3X画素値の少なくともいずれかを算出する算出部と
を備える画像処理装置。 - 前記算出部は、前記2X画素値または前記3X画素値と、前記1X画素値との差が、前記2A画素値と前記3A画素値との差に、前記2B画素値と前記3B画素値との差を加えた値に対して比例するように前記2X画素値および前記3X画素値の少なくともいずれかを算出する請求項13に記載の画像処理装置。
- 被写体像のカラーを構成する複数の色成分の一つであるX成分色において、前記被写体像を捉える複数の視点の一つである第1視点に対応する1X画素値を有するカラー画像データから、対象画素位置における前記1X画素値を抽出し、
前記複数の色成分の一つであるA成分色において、前記第1視点とは異なる第2視点および第3視点に対応する2A画素値および3A画素値を有するカラー画像データから、前記対象画素位置における前記2A画素値および前記3A画素値を抽出し、
前記複数の色成分の一つであって前記A成分色とは異なるB成分色において、前記第2視点および前記第3視点に対応する2B画素値および3B画素値を有するカラー画像データから、前記対象画素位置における前記2B画素値および前記3B画素値を抽出する画素値抽出部と、
前記X成分色に対する前記第2視点の2X画素値または前記第3視点の3X画素値と前記1X画素値との比が、前記2A画素値と前記3A画素値によって定義される比に、前記2B画素値と前記3B画素値によって定義される比を乗じた値に対して相関を保つように前記2X画素値および前記3X画素値の少なくともいずれかを算出する算出部と
を備える画像処理装置。 - 前記算出部は、前記2X画素値または前記3X画素値と、前記1X画素値との比が、前記2A画素値と前記3A画素値の相乗平均に、前記2B画素値と前記3B画素値の相乗平均を乗じた値に対して比例するように前記2X画素値および前記3X画素値の少なくともいずれかを算出する請求項15に記載の画像処理装置。
- 前記算出部は、前記2X画素値または前記3X画素値と、前記1X画素値との比が、前記2A画素値と前記3A画素値の相加平均に、前記2B画素値と前記3B画素値の相加平均を乗じた値に対して比例するように前記2X画素値および前記3X画素値の少なくともいずれかを算出する請求項15に記載の画像処理装置。
- 前記第1視点は、前記第2視点と前記第3視点の間の視点である請求項13から17のいずれか1項に記載の画像処理装置。
- 前記カラー画像データの画素値のそれぞれは、ガンマ変換後の値である請求項13または14に記載の画像処理装置。
- 前記対象画素位置を前記カラー画像データにおける画像領域に対して順次移動して、前記画素値抽出部および前記算出部に算出させた複数の画素値を用いて、前記第2視点および前記第3視点の少なくともいずれかに対応する前記X成分色の前記カラー画像データを生成する画像データ生成部を備える請求項13から19のいずれか1項に記載の画像処理装置。
- 前記画像データ生成部は、前記複数の色成分の全てに対応する前記第2視点および前記第3視点の前記カラー画像データが揃うように、前記複数の色成分における前記X成分色を変更して前記カラー画像データを生成する請求項20に記載の画像処理装置。
- 前記X成分色は、前記A成分色と同一である請求項13から21のいずれか1項に記載の画像処理装置。
- 前記被写体像を撮像する撮像素子と、
請求項13から22のいずれか1項に記載の画像処理装置と
を備える撮像装置であって、
前記画素値抽出部は、前記撮像素子が出力する前記第1視点に対応する1X画素値を有するカラー画像データから前記1X画素値を抽出し、前記撮像素子が出力する第2視点および第3視点に対応する2A画素値および3A画素値を有するカラー画像データから前記2A画素値および前記3A画素値を抽出する撮像装置。 - 被写体像のカラーを構成する複数の色成分の一つであるX成分色において、前記被写体像を捉える複数の視点の一つである第1視点に対応する1X画素値を有するカラー画像データから、対象画素位置における前記1X画素値を抽出する第1抽出ステップと、
前記複数の色成分の一つであるA成分色において、前記第1視点とは異なる第2視点および第3視点に対応する2A画素値および3A画素値を有するカラー画像データから、前記対象画素位置における前記2A画素値および前記3A画素値を抽出し、前記複数の色成分の一つであって前記A成分色とは異なるB成分色において、前記第2視点および前記第3視点に対応する2B画素値および3B画素値を有するカラー画像データから、前記対象画素位置における前記2B画素値および前記3B画素値を抽出する第2抽出ステップと、
前記X成分色に対する前記第2視点の2X画素値または前記第3視点の3X画素値と、前記1X画素値との差が、前記2A画素値と前記3A画素値との差に、前記2B画素値と前記3B画素値との差を加えた値に対して相関を保つように前記2X画素値および前記3X画素値の少なくともいずれかを算出する算出ステップと
をコンピュータに実行させる画像処理プログラム。 - 被写体像のカラーを構成する複数の色成分の一つであるX成分色において、前記被写体像を捉える複数の視点の一つである第1視点に対応する1X画素値を有するカラー画像データから、対象画素位置における前記1X画素値を抽出する第1抽出ステップと、
前記複数の色成分の一つであるA成分色において、前記第1視点とは異なる第2視点および第3視点に対応する2A画素値および3A画素値を有するカラー画像データから、前記対象画素位置における前記2A画素値および前記3A画素値を抽出し、前記複数の色成分の一つであって前記A成分色とは異なるB成分色において、前記第2視点および前記第3視点に対応する2B画素値および3B画素値を有するカラー画像データから、前記対象画素位置における前記2B画素値および前記3B画素値を抽出する第2抽出ステップと、
前記X成分色に対する前記第2視点の2X画素値または前記第3視点の3X画素値と前記1X画素値との比が、前記2A画素値と前記3A画素値によって定義される比に、前記2B画素値と前記3B画素値によって定義される比を乗じた値に対して相関を保つように前記2X画素値および前記3X画素値の少なくともいずれかを算出する算出ステップと
をコンピュータに実行させる画像処理プログラム。 - 被写体像のカラーを構成する複数の色成分の一つであるX成分色において、前記被写体像を捉える複数の視点の一つである第1視点に対応する1X画素値を有するカラー画像データから、対象画素位置における前記1X画素値を抽出し、
前記複数の色成分の一つであるA成分色において、前記第1視点とは異なる第2視点および第3視点に対応する2A画素値および3A画素値を有するカラー画像データから、前記対象画素位置における前記2A画素値および前記3A画素値を抽出し、
前記複数の色成分の一つであって前記A成分色とは異なるB成分色において、前記第2視点および前記第3視点に対応する2B画素値および3B画素値を有するカラー画像データから、前記対象画素位置における前記2B画素値および前記3B画素値を抽出する画素値抽出部と、
前記X成分色、前記A成分色および前記B成分色の組み合わせで表現される色空間からYCbCr空間に変換する変換部と、
前記第2視点の輝度値Yまたは前記第3視点の輝度値Yと、前記第1視点の輝度値Yとの差が、前記第2視点の色差Cbと前記第3視点の色差Cbとの差に、前記第2視点の色差Crと前記第3視点の色差Crとの差を加えた値に対して相関を保つように前記第2視点の輝度値Yまたは前記第3視点の輝度値Yの少なくともいずれかを算出する算出部と
を備える画像処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012180648A JP6131545B2 (ja) | 2012-03-16 | 2012-08-16 | 画像処理装置、撮像装置および画像処理プログラム |
CN201380014451.4A CN104185984B (zh) | 2012-03-16 | 2013-03-14 | 图像处理装置、摄像装置及图像处理程序 |
PCT/JP2013/001745 WO2013136808A1 (ja) | 2012-03-16 | 2013-03-14 | 画像処理装置、撮像装置および画像処理プログラム |
US14/485,253 US9727985B2 (en) | 2012-03-16 | 2014-09-12 | Image processing apparatus, image-capturing apparatus, and storage medium having image processing program stored thereon |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012060732 | 2012-03-16 | ||
JP2012060732 | 2012-03-16 | ||
JP2012180648A JP6131545B2 (ja) | 2012-03-16 | 2012-08-16 | 画像処理装置、撮像装置および画像処理プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013219736A true JP2013219736A (ja) | 2013-10-24 |
JP2013219736A5 JP2013219736A5 (ja) | 2015-09-03 |
JP6131545B2 JP6131545B2 (ja) | 2017-05-24 |
Family
ID=49160731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012180648A Active JP6131545B2 (ja) | 2012-03-16 | 2012-08-16 | 画像処理装置、撮像装置および画像処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9727985B2 (ja) |
JP (1) | JP6131545B2 (ja) |
CN (1) | CN104185984B (ja) |
WO (1) | WO2013136808A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017038254A (ja) * | 2015-08-11 | 2017-02-16 | キヤノン株式会社 | 撮像装置、画像処理装置、画像処理方法およびプログラム |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014024500A1 (ja) | 2012-08-10 | 2014-02-13 | 株式会社ニコン | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム |
CN105122793B (zh) | 2013-03-29 | 2017-05-10 | 株式会社尼康 | 图像处理装置、摄像装置及图像处理程序 |
JPWO2014192300A1 (ja) | 2013-05-31 | 2017-02-23 | 株式会社ニコン | 撮像素子、撮像装置、および画像処理装置 |
JP6354838B2 (ja) | 2014-04-04 | 2018-07-11 | 株式会社ニコン | 撮像素子、撮像装置および画像処理装置 |
US9743015B2 (en) * | 2015-05-22 | 2017-08-22 | Samsung Electronics Co., Ltd. | Image capturing apparatus and method of controlling the same |
US11327018B2 (en) * | 2018-04-13 | 2022-05-10 | The Regents Of The University Of Michigan | Sub-diffraction imaging, coding and decoding of non-bleaching scatters |
CN109829852B (zh) * | 2019-01-17 | 2023-04-25 | 浙江大华技术股份有限公司 | 颜色滤波阵列图像处理的方法、装置及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2009165115A (ja) * | 2007-12-12 | 2009-07-23 | Sony Corp | 撮像装置 |
JP2011211381A (ja) * | 2010-03-29 | 2011-10-20 | Fujifilm Corp | 立体撮像装置 |
WO2012002297A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
WO2012039180A1 (ja) * | 2010-09-24 | 2012-03-29 | 富士フイルム株式会社 | 撮像デバイス及び撮像装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4642678A (en) | 1984-09-10 | 1987-02-10 | Eastman Kodak Company | Signal processing method and apparatus for producing interpolated chrominance values in a sampled color image signal |
US5541653A (en) | 1993-07-27 | 1996-07-30 | Sri International | Method and appartus for increasing resolution of digital color images using correlated decoding |
JP3186448B2 (ja) | 1994-08-01 | 2001-07-11 | ミノルタ株式会社 | 立体テレビカメラ |
JP4599672B2 (ja) | 1999-12-21 | 2010-12-15 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
JP2003007994A (ja) | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP4239483B2 (ja) | 2002-05-31 | 2009-03-18 | 株式会社ニコン | 画像処理方法、画像処理プログラム、画像処理装置 |
JP4910699B2 (ja) | 2004-07-07 | 2012-04-04 | 株式会社ニコン | 画像処理装置 |
WO2009066770A1 (ja) | 2007-11-22 | 2009-05-28 | Nikon Corporation | デジタルカメラおよびデジタルカメラシステム |
WO2010004677A1 (ja) * | 2008-07-08 | 2010-01-14 | パナソニック株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 |
JP5254762B2 (ja) * | 2008-11-28 | 2013-08-07 | キヤノン株式会社 | 撮像装置、撮像システム、及び撮像装置における信号の補正方法 |
KR101629479B1 (ko) * | 2009-11-04 | 2016-06-10 | 삼성전자주식회사 | 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법 |
US20120105584A1 (en) * | 2010-10-28 | 2012-05-03 | Gallagher Andrew C | Camera with sensors having different color patterns |
US9532033B2 (en) | 2010-11-29 | 2016-12-27 | Nikon Corporation | Image sensor and imaging device |
US8742309B2 (en) | 2011-01-28 | 2014-06-03 | Aptina Imaging Corporation | Imagers with depth sensing capabilities |
-
2012
- 2012-08-16 JP JP2012180648A patent/JP6131545B2/ja active Active
-
2013
- 2013-03-14 WO PCT/JP2013/001745 patent/WO2013136808A1/ja active Application Filing
- 2013-03-14 CN CN201380014451.4A patent/CN104185984B/zh active Active
-
2014
- 2014-09-12 US US14/485,253 patent/US9727985B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007004471A (ja) * | 2005-06-23 | 2007-01-11 | Nikon Corp | 画像合成方法及び撮像装置 |
JP2009165115A (ja) * | 2007-12-12 | 2009-07-23 | Sony Corp | 撮像装置 |
JP2011211381A (ja) * | 2010-03-29 | 2011-10-20 | Fujifilm Corp | 立体撮像装置 |
WO2012002297A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
WO2012039180A1 (ja) * | 2010-09-24 | 2012-03-29 | 富士フイルム株式会社 | 撮像デバイス及び撮像装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017038254A (ja) * | 2015-08-11 | 2017-02-16 | キヤノン株式会社 | 撮像装置、画像処理装置、画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN104185984B (zh) | 2016-12-14 |
US20140375673A1 (en) | 2014-12-25 |
JP6131545B2 (ja) | 2017-05-24 |
US9727985B2 (en) | 2017-08-08 |
CN104185984A (zh) | 2014-12-03 |
WO2013136808A1 (ja) | 2013-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6131545B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5804055B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2013038503A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
WO2013136819A1 (ja) | 撮像素子、撮像装置および撮像システム | |
JP6131546B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6354838B2 (ja) | 撮像素子、撮像装置および画像処理装置 | |
JP6003983B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
WO2013161313A1 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5979134B2 (ja) | 画像処理装置および画像処理プログラム | |
JP6288088B2 (ja) | 撮像装置 | |
JP6197316B2 (ja) | 撮像素子および撮像装置 | |
JP5874729B2 (ja) | 撮像装置 | |
JP5978736B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JPWO2013136820A1 (ja) | 撮像素子および撮像装置 | |
JP5979137B2 (ja) | 撮像装置および撮像装置の制御プログラム | |
JP5887845B2 (ja) | 画像処理方法および画像処理プログラム | |
JP5978737B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP5978738B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP6205770B2 (ja) | 撮像素子および撮像システム | |
JP2014107594A (ja) | 撮像素子および撮像装置 | |
JP5978735B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2012212975A (ja) | 撮像装置および撮像装置の制御プログラム | |
JP6051568B2 (ja) | 撮像素子および撮像装置 | |
JP2013090265A (ja) | 画像処理装置および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150714 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150714 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170321 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170403 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6131545 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |