JP5749403B2 - 撮像装置及び画像処理方法 - Google Patents
撮像装置及び画像処理方法 Download PDFInfo
- Publication number
- JP5749403B2 JP5749403B2 JP2014523552A JP2014523552A JP5749403B2 JP 5749403 B2 JP5749403 B2 JP 5749403B2 JP 2014523552 A JP2014523552 A JP 2014523552A JP 2014523552 A JP2014523552 A JP 2014523552A JP 5749403 B2 JP5749403 B2 JP 5749403B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- phase difference
- pixels
- color
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 115
- 238000003672 processing method Methods 0.000 title claims description 28
- 238000000605 extraction Methods 0.000 claims description 66
- 239000003086 colorant Substances 0.000 claims description 64
- 238000001514 detection method Methods 0.000 claims description 61
- 238000002834 transmittance Methods 0.000 claims description 36
- 210000001747 pupil Anatomy 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000000737 periodic effect Effects 0.000 claims description 9
- 238000003491 array Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 104
- 238000000034 method Methods 0.000 description 39
- 230000006870 function Effects 0.000 description 33
- 230000008569 process Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 16
- 230000035945 sensitivity Effects 0.000 description 15
- 239000004973 liquid crystal related substance Substances 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000003595 spectral effect Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 230000000295 complement effect Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 241000579895 Chlorostilbon Species 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 229910052876 emerald Inorganic materials 0.000 description 3
- 239000010976 emerald Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/01—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by phase separation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
- G02B7/346—Systems for automatic generation of focusing signals using different areas in a pupil plane using horizontal and vertical areas in the pupil plane, i.e. wide area autofocusing
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14623—Optical shielding
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/767—Horizontal readout lines, multiplexers or registers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8045—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Description
図1及び図2は、それぞれ撮像装置の一例(デジタルカメラ)を示す斜視図及び背面図である。この撮像装置10は、レンズを通った光を撮像素子で受け、デジタル信号に変換して静止画又は動画の画像データとして記録メディアに記録するデジタルカメラである。
図3は上記撮像装置10の内部構成の実施形態を示すブロック図である。この撮像装置10は、撮像した画像をメモリカード54に記録するもので、装置全体の動作は、中央処理装置(CPU)40によって統括制御される。
撮像素子16は、水平方向(第1の方向)及び垂直方向(第2の方向)に配列された光電変換素子(フォトダイオード)で構成される複数の画素上に、以下に例示するカラーフィルタ配列のカラーフィルタが配設されて構成される。
図9は、本発明に係る画像処理方法を示すフローチャートであり、特に動画撮影時の画像処理に関して示す。
図11は、撮像素子16における位相差画素の第2の配置例、及び画像データの間引き読み出しに関する概念図である。なお本配置例に関し、図10に示す第1の配置例と同様の構成及び作用効果についての詳細な説明は省略する。
図12は、撮像素子16における位相差画素の第3の配置例、及び画像データの間引き読み出しに関する概念図である。なお本配置例に関し、図10に示す第1の配置例及び図11に示す第2の配置例と同様の構成及び作用効果についての詳細な説明は省略する。
<R、G、B以外の画素を有する撮像素子の他の実施形態>
上記各実施形態では、本発明の第1の色を有する第1のフィルタとしてG色のGフィルタを例に挙げて説明を行ったが、Gフィルタの代わりに、あるいはGフィルタの一部に代えて、下記条件(1)から条件(4)のいずれかを満たすフィルタを用いてもよい。
〔条件(1)〕
条件(1)は、輝度信号を得るための寄与率が50%以上であることである。この寄与率50%は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定めた値であって、輝度データを得るための寄与率がR色、B色などよりも相対的に高くなる色が「第1の色」に含まれるように定めた値である。
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタ(白色画素に対応するWフィルタ)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えてWフィルタを配置することが好ましい。このようにG画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。
条件(2)は、フィルタの透過率のピークが波長480nm以上570nm以下の範囲内にあることである。フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この波長範囲は、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、前述の寄与率が相対的に低くなるR色、B色などのピークが含まれず、かつ寄与率が相対的に高くなるG色などのピークが含まれるように定められた範囲である。したがって、透過率のピークが波長480nm以上570nm以下の範囲内にあるフィルタを第1のフィルタとして用いることができる。尚、透過率のピークが波長480nm以上570nm以下の範囲外となるフィルタが本発明の第2のフィルタ(Rフィルタ、Bフィルタ)となる。
条件(3)は、波長500nm以上560nm以下の範囲内での透過率が第2のフィルタ(RフィルタやBフィルタ)の透過率よりも高いことである。この条件(3)においても、フィルタの透過率は、例えば分光光度計で測定された値が用いられる。この条件(3)の波長範囲も、本発明の第1の色(G色など)と、第2の色(R、B色など)とを区別するために定められた範囲であって、R色やB色などよりも前述の寄与率が相対的に高くなる色を有するフィルタの透過率が、RBフィルタなどの透過率よりも高くなる範囲である。したがって、透過率が波長500nm以上560nm以下の範囲内で相対的に高いフィルタを第1のフィルタとして用い、透過率が相対的に低いフィルタを第2のフィルタとして用いることができる。
条件(4)は、3原色のうち最も輝度信号に寄与する色(例えばRGBのうちのG色)と、この3原色とは異なる色とを含む2色以上のフィルタを、第1のフィルタとして用いることである。この場合には、第1のフィルタの各色以外の色に対応するフィルタが第2のフィルタとなる。
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を透明フィルタ(白色画素に対応するWフィルタ)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えてWフィルタWを配置することが好ましい。このようにG画素の一部を白色画素に置き換えることにより、画素サイズを微細化しても色再現性の劣化を抑制することができる。
第1のフィルタとしてのG色のGフィルタは一種類に限定されるものではなく、例えば複数種類のGフィルタを第1のフィルタとして用いることもできる。即ち、上述の各実施形態に係るカラーフィルタ(基本配列パターン)のGフィルタが、G1フィルタ、G2フィルタに適宜置き換えられてもよい。
上述の実施形態では、主としてRGB色に対応する色フィルタから成るカラーフィルタが示されているが、これらの色フィルタの一部を他の色フィルタとしてもよく、例えばエメラルド(E)色に対応するフィルタ(E画素に対応するEフィルタ)としてもよい。特に第1のフィルタ(Gフィルタ)の一部に代えてEフィルタを配置することが好ましい。このようにGフィルタの一部をEフィルタで置き換えた4色のカラーフィルタ配列を用いることで、輝度の高域成分の再現を向上させ、ジャギネスを低減させるとともに、解像度感の向上を可能とすることができる。
上述の各実施形態では、原色RGBのカラーフィルタで構成されるカラーフィルタ配列について説明したが、例えば原色RGBの補色であるC(シアン)、M(マゼンタ)、Y(イエロー)に、Gを加えた4色の補色系のカラーフィルタのカラーフィルタ配列にも本発明を適用することができる。この場合も上記条件(1)〜(4)のいずれかを満たすカラーフィルタを本発明の第1のフィルタとし、他のカラーフィルタを第2のフィルタとする。
図16は、撮像装置10の他の実施形態であるスマートフォン500の外観を示すものである。図16に示すスマートフォン500は、平板状の筐体502を有し、筐体502の一方の面に表示部としての表示パネル521と、入力部としての操作パネル522とが一体となった表示入力部520を備えている。また、筐体502は、スピーカ531と、マイクロホン532、操作部540と、カメラ部541とを備えている。なお、筐体502の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
本発明の実施形態では、動画撮影時に撮像素子から間引きパターンにしたがって直接画素信号を間引き読出しするようにしたが、これに限らず、撮像素子から全画素の画像を読み出しし、読み出した画像から間引きパターンにしたがって画素信号を抽出し、位相差画素を含む所定のカラー配列のカラー画像を取得するようにしてもよい。この場合でも同時化処理を含む信号処理の対象画像の画像サイズを小さくすることができるため、動画の処理時間の短縮化を図ることができる。尚、間引きパターンにしたがった画素信号を抽出する方法としては、周辺の複数の同色画素の出力信号を加算または混合する画素混合処理により、間引きパターンにしたがった画素信号を抽出するようにしても良い。特に、撮像素子において読み出した直後に画素混合処理を行うことで動画の処理時間をより短縮することが可能である。
Claims (25)
- 撮影レンズと、
第1の方向及び当該第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子と、
前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備える撮像装置であって、
前記所定のカラーフィルタ配列は、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記複数の画素のうち前記カラー画像取得手段により間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第1の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第2の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第1の位相差画素及び前記第2の位相差画素のいずれも含まず前記第1の方向に延在する画素ラインとを周期的に有し、
前記間引かれたカラー画像は、前記第1の方向及び第2の方向の少なくとも一方の方向において、前記第1、第2の位相差画素に隣接して該第1、第2の位相差画素の位置における画素の色と同じ色の画素が配置され、
前記撮像装置は、前記間引かれたカラー画像中の第1、第2の位相差画素の位置における画素の画素値を、前記第1、第2の位相差画素に隣接する同じ色の画素を含む周辺画素の画素値を補間して算出する補間演算手段を更に備え、
前記動画生成手段は、前記間引かれたカラー画像中の前記第1、第2の位相差画素の位置における画素の画素値として前記補間演算手段により算出された値を使用したカラー画像に基づいて前記動画データを生成する撮像装置。 - 撮影レンズと、
第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子と、
前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備える撮像装置であって、
前記所定のカラーフィルタ配列は、透過率のピークが波長480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが前記範囲外にある2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記複数の画素のうち前記カラー画像取得手段により間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第1の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第2の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第1の位相差画素及び前記第2の位相差画素のいずれも含まず前記第1の方向に延在する画素ラインとを周期的に有し、
前記間引かれたカラー画像は、前記第1の方向及び第2の方向の少なくとも一方の方向において、前記第1、第2の位相差画素に隣接して該第1、第2の位相差画素の位置における画素の色と同じ色の画素が配置され、
前記撮像装置は、前記間引かれたカラー画像中の第1、第2の位相差画素の位置における画素の画素値を、前記第1、第2の位相差画素に隣接する同じ色の画素を含む周辺画素の画素値を補間して算出する補間演算手段を更に備え、
前記動画生成手段は、前記間引かれたカラー画像中の前記第1、第2の位相差画素の位置における画素の画素値として前記補間演算手段により算出された値を使用したカラー画像に基づいて前記動画データを生成する撮像装置。 - 撮影レンズと、
第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子と、
前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備える撮像装置であって、
前記所定のカラーフィルタ配列は、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が前記第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記複数の画素のうち前記カラー画像取得手段により間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第1の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第2の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第1の位相差画素及び前記第2の位相差画素のいずれも含まず前記第1の方向に延在する画素ラインとを周期的に有し、
前記間引かれたカラー画像は、前記第1の方向及び第2の方向の少なくとも一方の方向において、前記第1、第2の位相差画素に隣接して該第1、第2の位相差画素の位置における画素の色と同じ色の画素が配置され、
前記撮像装置は、前記間引かれたカラー画像中の第1、第2の位相差画素の位置における画素の画素値を、前記第1、第2の位相差画素に隣接する同じ色の画素を含む周辺画素の画素値を補間して算出する補間演算手段を更に備え、
前記動画生成手段は、前記間引かれたカラー画像中の前記第1、第2の位相差画素の位置における画素の画素値として前記補間演算手段により算出された値を使用したカラー画像に基づいて前記動画データを生成する撮像装置。 - 撮影レンズと、
第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子と、
前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって前記複数の画素から画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得手段と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成手段と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出手段と、
前記位相差検出手段により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節手段と、を備える撮像装置であって、
前記所定のカラーフィルタ配列は、3原色のうち最も輝度信号に寄与する色と前記3原色とは異なる色の第4色とを含む2色以上の第1の色に対応する第1のフィルタと、前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記複数の画素のうち前記カラー画像取得手段により間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第1の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第2の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第1の位相差画素及び前記第2の位相差画素のいずれも含まず前記第1の方向に延在する画素ラインとを周期的に有し、
前記間引かれたカラー画像は、前記第1の方向及び第2の方向の少なくとも一方の方向において、前記第1、第2の位相差画素に隣接して該第1、第2の位相差画素の位置における画素の色と同じ色の画素が配置され、
前記撮像装置は、前記間引かれたカラー画像中の第1、第2の位相差画素の位置における画素の画素値を、前記第1、第2の位相差画素に隣接する同じ色の画素を含む周辺画素の画素値を補間して算出する補間演算手段を更に備え、
前記動画生成手段は、前記間引かれたカラー画像中の前記第1、第2の位相差画素の位置における画素の画素値として前記補間演算手段により算出された値を使用したカラー画像に基づいて前記動画データを生成する撮像装置。 - 前記第1の位相差画素及び前記第2の位相差画素には前記第1のフィルタが配置され、
前記抽出画素群のうち前記第1の位相差画素及び前記第2の位相差画素のいずれも含まない前記画素ラインは前記第1のフィルタに対応する画素を含み、
前記抽出画素群において、前記第1の位相差画素及び前記第2の位相差画素のいずれも含まない前記画素ラインの前記第1のフィルタに対応する画素は、前記第1の方向及び第2の方向の少なくとも一方の方向において前記第1の位相差画素又は前記第2の位相差画素に隣接する位置に配置される請求項1から4のいずれか1項に記載の撮像装置。 - 前記間引きパターンは、前記画素信号の間引き読み出し又は抽出に関する前記第2の方向の周期を規定する抽出画素周期を有し、
前記第1の位相差画素と前記第2の位相差画素との間の前記第2の方向に関する画素数t1と、前記抽出画素周期の前記第2の方向に関する対応画素数t2とは、t1=t2×I(Iは、1以上の整数)を満たす請求項1から5のいずれか1項に記載の撮像装置。 - 前記間引きパターンは、前記画素信号の間引き読み出し又は抽出に関する前記第2の方向の周期を規定する抽出画素周期を有し、
前記第1の位相差画素及び前記第2の位相差画素の前記第2の方向に関する繰り返し周期に対応する画素数は、前記抽出画素周期の前記第2の方向に関する対応画素数と前記基本配列パターンの前記第2の方向の画素数との公倍数である請求項1から6のいずれか1項に記載の撮像装置。 - 前記第1の位相差画素と前記第2の位相差画素との間の前記第2の方向に関する画素数は、前記基本配列パターンの前記第2の方向の画素数とは異なる請求項1から7のいずれか1項に記載の撮像装置。
- 前記抽出画素群は、前記第1のフィルタ及び前記第2のフィルタの配列パターンに関し、前記基本配列パターンと同じ配列パターンを有する請求項1から8のいずれか1項に記載の撮像装置。
- 前記カラーフィルタ配列において、前記第1のフィルタに対応する第1の色の全画素数の比率は、前記第2のフィルタに対応する第2の色の各色の画素数の比率よりも大きく、
前記第1、第2の位相差画素は、前記第1のフィルタの位置に配置される請求項1から9のいずれか1項に記載の撮像装置。 - 前記第1のフィルタは、M×N画素(M、N:3以上の整数)内に複数配置され、該M×N画素が前記第1、第2の方向に繰り返し配置される請求項1から10のいずれか1項に記載の撮像装置。
- 前記第1、第2の位相差画素のうちの一方の位相差画素が、前記M×N画素内に1又は2つ配置される請求項11に記載の撮像装置。
- 前記第1、第2の位相差画素は、前記第2の方向に一対となって配置される請求項1から12のいずれか1項に記載の撮像装置。
- 前記第1、第2の位相差画素は、前記第1の方向に延在する1画素ライン上に交互に配置される請求項1から13のいずれか1項に記載の撮像装置。
- 前記間引かれたカラー画像は、前記第1の方向の画素ライン上の全ての画素を有する請求項1から14のいずれか1項に記載の撮像装置。
- 前記間引かれたカラー画像は、前記第1の方向において、前記第1、第2の位相差画素に隣接して該第1、第2の位相差画素の位置における画素の色と同じ色の画素が配置される請求項15に記載の撮像装置。
- 前記基本配列パターンは、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×M(Mは3以上の整数)画素に対応する配列パターンで配列されてなり、
前記第1の位相差画素が配置される前記基本配列パターンと、前記第2の位相差画素が配置される前記基本配列パターンと、前記第1の位相差画素及び前記第2の位相差画素のいずれも含まない少なくとも1つの前記基本配列パターンとが前記第2の方向に並置される請求項1から16のいずれか1項に記載の撮像装置。 - 前記基本配列パターンは、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×N(Mは3以上の整数、Nは6以上の偶数)画素に対応する配列パターンで配列されてなり、
前記基本配列パターンは、前記カラーフィルタがM×(N/2)画素に対応する配列パターンで配列された2種類のサブ配列である第1のサブ配列及び第2のサブ配列をそれぞれ1つずつ含み、
前記第1のサブ配列及び前記第2のサブ配列の各々において、前記第1のフィルタ及び前記第2の色の各色に対応する前記第2のフィルタの各々が少なくとも1画素分配置され、
前記第1の位相差画素及び前記第2の位相差画素を含む前記基本配列パターンと、前記第1の位相差画素及び前記第2の位相差画素のいずれも含まない前記基本配列パターンとが前記第2の方向に並置され、
前記第1の位相差画素は前記第1のサブ配列に配置され、前記第2の位相差画素は前記第2のサブ配列に配置される請求項1から16のいずれか1項に記載の撮像装置。 - 前記基本配列パターンは、前記カラーフィルタが前記第1の方向及び前記第2の方向にM×M(Mは6以上の偶数)画素に対応する配列パターンで配列されてなり、
前記基本配列パターンは、前記カラーフィルタが(M/2)×(M/2)画素に対応する配列パターンで配列された2種類のサブ配列である第1のサブ配列及び第2のサブ配列をそれぞれ2つずつ含み、
前記第1のサブ配列及び前記第2のサブ配列の各々において、前記第1のフィルタ及び前記第2の色の各色に対応する前記第2のフィルタの各々が少なくとも1画素分配置され、
前記第1の位相差画素を含む前記第1のサブ配列と、前記第1の位相差画素及び前記第2の位相差画素のいずれも含まない前記第2のサブ配列と、前記第2の位相差画素を含む前記第1のサブ配列と、前記第1の位相差画素及び前記第2の位相差画素のいずれも含まない前記第2のサブ配列とが前記第2の方向に並置される請求項1から16のいずれか1項に記載の撮像装置。 - 前記第1の色は緑(G)色であり、前記第2の色は赤(R)色及び青(B)色であり、前記第1のフィルタはGフィルタであり、前記第2のフィルタはRフィルタ及びBフィルタであり、
前記基本配列パターンは、前記カラーフィルタが前記第1の方向及び前記第2の方向に6×6画素に対応する配列パターンで配列されてなり、前記第1のサブ配列及び前記第2のサブ配列は前記第1の方向及び前記第2の方向に3×3画素に対応する配列パターンで配列されてなり、
前記第1のサブ配列は、前記基本配列パターンの一方の対角線方向に並置され、前記第2のサブ配列は、前記基本配列パターンの他方の対角線方向に並置され、
前記Gフィルタは、前記第1のサブ配列及び前記第2のサブ配列の各々の中央画素及び4隅の画素に配置され、
前記Rフィルタは、前記第1のサブ配列における前記中央画素に対し前記第2の方向に隣接する画素、及び前記第2のサブ配列における前記中央画素に対し前記第1の方向に隣接する画素に配置され、
前記Bフィルタは、前記第1のサブ配列における前記中央画素に対し前記第1の方向に隣接する画素、及び前記第2のサブ配列における前記中央画素に対し前記第2の方向に隣接する画素に配置され、
前記第1の位相差画素及び前記第2の位相差画素には前記Gフィルタが配置される請求項19に記載の撮像装置。 - 前記第1、第2の位相差画素には、透明フィルタを有する画素を使用する請求項1から19のいずれか1項に記載の撮像装置。
- 撮影レンズと、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子と、を備えた撮像装置における画像処理方法であって、
前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による前記動画データの生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
前記所定のカラーフィルタ配列は、1色以上の第1の色に対応する第1のフィルタと、輝度信号を得るための寄与率が前記第1の色よりも低い2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記複数の画素のうち前記カラー画像取得工程で間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第1の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第2の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第1の位相差画素及び前記第2の位相差画素のいずれも含まず前記第1の方向に延在する画素ラインとを周期的に有し、
前記間引かれたカラー画像は、前記第1の方向及び第2の方向の少なくとも一方の方向において、前記第1、第2の位相差画素に隣接して該第1、第2の位相差画素の位置における画素の色と同じ色の画素が配置され、
前記画像処理方法は、前記間引かれたカラー画像中の第1、第2の位相差画素の位置における画素の画素値を、前記第1、第2の位相差画素に隣接する同じ色の画素を含む周辺画素の画素値を補間して算出する補間演算工程を更に含み、
前記動画生成工程では、前記間引かれたカラー画像中の前記第1、第2の位相差画素の位置における画素の画素値として前記補間演算工程で算出された値を使用したカラー画像に基づいて前記動画データが生成される画像処理方法。 - 撮影レンズと、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子と、を備えた撮像装置における画像処理方法であって、
前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による前記動画データの生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
前記所定のカラーフィルタ配列は、透過率のピークが波長480nm以上570nm以下の範囲内にある1色以上の第1の色に対応する第1のフィルタと、透過率のピークが前記範囲外にある2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記複数の画素のうち前記カラー画像取得工程で間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第1の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第2の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第1の位相差画素及び前記第2の位相差画素のいずれも含まず前記第1の方向に延在する画素ラインとを周期的に有し、
前記間引かれたカラー画像は、前記第1の方向及び第2の方向の少なくとも一方の方向において、前記第1、第2の位相差画素に隣接して該第1、第2の位相差画素の位置における画素の色と同じ色の画素が配置され、
前記画像処理方法は、前記間引かれたカラー画像中の第1、第2の位相差画素の位置における画素の画素値を、前記第1、第2の位相差画素に隣接する同じ色の画素を含む周辺画素の画素値を補間して算出する補間演算工程を更に含み、
前記動画生成工程では、前記間引かれたカラー画像中の前記第1、第2の位相差画素の位置における画素の画素値として前記補間演算工程で算出された値を使用したカラー画像に基づいて前記動画データが生成される画像処理方法。 - 撮影レンズと、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子と、を備えた撮像装置における画像処理方法であって、
前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記所定のカラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による前記動画データの生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
前記所定のカラーフィルタ配列は、1色以上の第1の色に対応する第1のフィルタと、波長500nm以上560nm以下の範囲内で透過率が前記第1のフィルタよりも低くなる2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記複数の画素のうち前記カラー画像取得工程で間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第1の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第2の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第1の位相差画素及び前記第2の位相差画素のいずれも含まず前記第1の方向に延在する画素ラインとを周期的に有し、
前記間引かれたカラー画像は、前記第1の方向及び第2の方向の少なくとも一方の方向において、前記第1、第2の位相差画素に隣接して該第1、第2の位相差画素の位置における画素の色と同じ色の画素が配置され、
前記画像処理方法は、前記間引かれたカラー画像中の第1、第2の位相差画素の位置における画素の画素値を、前記第1、第2の位相差画素に隣接する同じ色の画素を含む周辺画素の画素値を補間して算出する補間演算工程を更に含み、
前記動画生成工程では、前記間引かれたカラー画像中の前記第1、第2の位相差画素の位置における画素の画素値として前記補間演算工程で算出された値を使用したカラー画像に基づいて前記動画データが生成される画像処理方法。 - 撮影レンズと、第1の方向及び第1の方向に垂直な第2の方向に配列された光電変換素子で構成される複数の画素上に、所定のカラーフィルタ配列のカラーフィルタが配設されてなる撮像素子であって、前記撮影レンズの異なる第1、第2の領域を通過した被写体像が瞳分割されてそれぞれ結像される第1、第2の位相差画素を含む撮像素子と、を備えた撮像装置における画像処理方法であって、
前記撮像素子から、間引きパターンにしたがって前記複数の画素から画素信号を間引き読み出しし、又は前記撮像素子から読み出した前記カラーフィルタ配列に対応するカラー画像から前記間引きパターンにしたがって画素信号を抽出して、間引かれたカラー画像を取得するカラー画像取得工程と、
前記間引かれたカラー画像に基づいて動画データを生成する動画生成工程と、
前記間引かれたカラー画像中に含まれる前記第1、第2の位相差画素に対応する各出力信号に基づいて各出力信号の位相差を検出する位相差検出工程と、
前記位相差検出工程により検出された位相差に基づいて前記撮影レンズの焦点位置を調節する焦点調節工程であって、前記動画生成工程による前記動画データの生成と並行して前記撮影レンズの焦点位置を調節する焦点調節工程と、を含み、
前記所定のカラーフィルタ配列は、3原色のうち最も輝度信号に寄与する色と前記3原色とは異なる色の第4色とを含む2色以上の第1の色に対応する第1のフィルタと、前記第1の色以外の2色以上の第2の色に対応する第2のフィルタとを有し、前記第1のフィルタと前記第2のフィルタとが配列された基本配列パターンを含み、当該基本配列パターンが前記第1の方向及び前記第2の方向に繰り返されて配置され、
前記複数の画素のうち前記カラー画像取得工程で間引き読み出し又は抽出される前記画素信号に対応する画素から成る抽出画素群は、前記第1の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第2の位相差画素を含む前記第1の方向に延在する画素ラインと、前記第1の位相差画素及び前記第2の位相差画素のいずれも含まず前記第1の方向に延在する画素ラインとを周期的に有し、
前記間引かれたカラー画像は、前記第1の方向及び第2の方向の少なくとも一方の方向において、前記第1、第2の位相差画素に隣接して該第1、第2の位相差画素の位置における画素の色と同じ色の画素が配置され、
前記画像処理方法は、前記間引かれたカラー画像中の第1、第2の位相差画素の位置における画素の画素値を、前記第1、第2の位相差画素に隣接する同じ色の画素を含む周辺画素の画素値を補間して算出する補間演算工程を更に含み、
前記動画生成工程では、前記間引かれたカラー画像中の前記第1、第2の位相差画素の位置における画素の画素値として前記補間演算工程で算出された値を使用したカラー画像に基づいて前記動画データが生成される画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014523552A JP5749403B2 (ja) | 2012-07-06 | 2012-12-28 | 撮像装置及び画像処理方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012152818 | 2012-07-06 | ||
JP2012152818 | 2012-07-06 | ||
JP2014523552A JP5749403B2 (ja) | 2012-07-06 | 2012-12-28 | 撮像装置及び画像処理方法 |
PCT/JP2012/084089 WO2014006785A1 (ja) | 2012-07-06 | 2012-12-28 | 撮像装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5749403B2 true JP5749403B2 (ja) | 2015-07-15 |
JPWO2014006785A1 JPWO2014006785A1 (ja) | 2016-06-02 |
Family
ID=49881563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014523552A Expired - Fee Related JP5749403B2 (ja) | 2012-07-06 | 2012-12-28 | 撮像装置及び画像処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9172927B2 (ja) |
JP (1) | JP5749403B2 (ja) |
WO (1) | WO2014006785A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9939140B2 (en) | 2014-09-28 | 2018-04-10 | Jiaxing Super Lighting Electric Appliance Co., Ltd. | LED tube lamp |
JP5747124B2 (ja) * | 2012-06-01 | 2015-07-08 | 富士フイルム株式会社 | 撮像装置 |
WO2014006784A1 (ja) * | 2012-07-06 | 2014-01-09 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
JP5807125B2 (ja) * | 2012-10-26 | 2015-11-10 | 富士フイルム株式会社 | 撮像装置及びその合焦制御方法 |
US9185377B1 (en) * | 2014-06-26 | 2015-11-10 | Himax Imaging Limited | Color processing system and apparatus |
JP6364259B2 (ja) * | 2014-07-02 | 2018-07-25 | オリンパス株式会社 | 撮像装置、画像処理方法、及び画像処理プログラム |
JP6218799B2 (ja) | 2015-01-05 | 2017-10-25 | キヤノン株式会社 | 撮像素子及び撮像装置 |
US10070088B2 (en) * | 2015-01-05 | 2018-09-04 | Canon Kabushiki Kaisha | Image sensor and image capturing apparatus for simultaneously performing focus detection and image generation |
JP6355595B2 (ja) | 2015-06-02 | 2018-07-11 | キヤノン株式会社 | 撮像素子、撮像装置、撮像素子の制御方法、プログラムおよび記憶媒体 |
CN108028898B (zh) | 2015-09-16 | 2020-09-04 | 佳能株式会社 | 图像传感器和摄像设备 |
CN112040118B (zh) | 2015-09-16 | 2022-06-07 | 佳能株式会社 | 摄像设备 |
US10044959B2 (en) * | 2015-09-24 | 2018-08-07 | Qualcomm Incorporated | Mask-less phase detection autofocus |
JP6765859B2 (ja) * | 2016-05-31 | 2020-10-07 | キヤノン株式会社 | 撮像装置、およびその制御方法 |
JP6364698B2 (ja) * | 2016-09-30 | 2018-08-01 | 三菱重工機械システム株式会社 | 合焦位置調整装置、合焦位置調整システム、プログラム、および合焦位置調整方法 |
US10044926B2 (en) * | 2016-11-04 | 2018-08-07 | Qualcomm Incorporated | Optimized phase detection autofocus (PDAF) processing |
JP2019012968A (ja) * | 2017-06-30 | 2019-01-24 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置、及び電子機器 |
CN110915196B (zh) * | 2017-07-24 | 2023-01-10 | 索尼公司 | 成像设备、图像处理方法和程序 |
KR20210144429A (ko) * | 2020-05-22 | 2021-11-30 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2739586B2 (ja) | 1989-02-10 | 1998-04-15 | 富士写真フイルム株式会社 | カラー固体撮像デバイス |
DE19616440A1 (de) | 1996-04-25 | 1997-10-30 | Eastman Kodak Co | Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter |
JP5151075B2 (ja) | 2005-06-21 | 2013-02-27 | ソニー株式会社 | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
JP5029268B2 (ja) | 2007-10-01 | 2012-09-19 | 株式会社ニコン | 電子カメラ |
US7745779B2 (en) | 2008-02-08 | 2010-06-29 | Aptina Imaging Corporation | Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers |
JP5400406B2 (ja) | 2009-02-06 | 2014-01-29 | キヤノン株式会社 | 撮像装置 |
JP2010258110A (ja) * | 2009-04-22 | 2010-11-11 | Panasonic Corp | 固体撮像素子 |
JP2012032723A (ja) | 2010-08-03 | 2012-02-16 | Sony Corp | 撮像装置、撮像素子、撮像方法およびプログラム |
JP2012182332A (ja) * | 2011-03-02 | 2012-09-20 | Sony Corp | 撮像素子および撮像装置 |
JP5853594B2 (ja) * | 2011-10-31 | 2016-02-09 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN105827983B (zh) * | 2012-07-12 | 2018-11-06 | 奥林巴斯株式会社 | 摄像装置 |
JP6263035B2 (ja) * | 2013-05-17 | 2018-01-17 | キヤノン株式会社 | 撮像装置 |
-
2012
- 2012-12-28 WO PCT/JP2012/084089 patent/WO2014006785A1/ja active Application Filing
- 2012-12-28 JP JP2014523552A patent/JP5749403B2/ja not_active Expired - Fee Related
-
2015
- 2015-01-05 US US14/589,514 patent/US9172927B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2014006785A1 (ja) | 2014-01-09 |
JPWO2014006785A1 (ja) | 2016-06-02 |
US9172927B2 (en) | 2015-10-27 |
US20150124129A1 (en) | 2015-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5749403B2 (ja) | 撮像装置及び画像処理方法 | |
JP5740054B2 (ja) | 撮像装置及び画像処理方法 | |
WO2014006783A1 (ja) | 撮像装置及び画像処理方法 | |
JP5697801B2 (ja) | 撮像装置及び自動焦点調節方法 | |
JP5542249B2 (ja) | 撮像素子及びこれを用いた撮像装置及び撮像方法 | |
JP5755814B2 (ja) | 画像処理装置、方法、プログラム及び撮像装置 | |
JP6606307B2 (ja) | 撮像素子及び撮像装置 | |
CN110463193B (zh) | 摄像装置及图像处理方法 | |
JP5542248B2 (ja) | 撮像素子及び撮像装置 | |
US20150092093A1 (en) | Imaging device and imaging method | |
JP5740053B6 (ja) | 撮像装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20150414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150513 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5749403 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |