JP2023061999A - 画像処理装置、画像処理方法、および撮像装置 - Google Patents
画像処理装置、画像処理方法、および撮像装置 Download PDFInfo
- Publication number
- JP2023061999A JP2023061999A JP2023014212A JP2023014212A JP2023061999A JP 2023061999 A JP2023061999 A JP 2023061999A JP 2023014212 A JP2023014212 A JP 2023014212A JP 2023014212 A JP2023014212 A JP 2023014212A JP 2023061999 A JP2023061999 A JP 2023061999A
- Authority
- JP
- Japan
- Prior art keywords
- map data
- image
- pixel values
- processing
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims description 319
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000012545 processing Methods 0.000 claims abstract description 730
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 107
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 107
- 238000003709 image segmentation Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims description 122
- 230000002194 synthesizing effect Effects 0.000 claims description 46
- 230000008569 process Effects 0.000 claims description 40
- 239000002131 composite material Substances 0.000 claims description 3
- 238000004886 process control Methods 0.000 claims 1
- 238000006243 chemical reaction Methods 0.000 description 89
- 238000010586 diagram Methods 0.000 description 63
- 238000001514 detection method Methods 0.000 description 33
- 101000964052 Rattus norvegicus 5-hydroxytryptamine receptor 5B Proteins 0.000 description 32
- 238000004891 communication Methods 0.000 description 27
- 210000003128 head Anatomy 0.000 description 25
- 230000004048 modification Effects 0.000 description 22
- 238000012986 modification Methods 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 15
- 238000001727 in vivo Methods 0.000 description 15
- 239000002775 capsule Substances 0.000 description 14
- 238000000926 separation method Methods 0.000 description 14
- 238000002674 endoscopic surgery Methods 0.000 description 12
- 239000004065 semiconductor Substances 0.000 description 12
- 239000003086 colorant Substances 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 11
- 239000000758 substrate Substances 0.000 description 11
- 108091008065 MIR21 Proteins 0.000 description 10
- 108091062170 Mir-22 Proteins 0.000 description 10
- 108091029067 miR-11 stem-loop Proteins 0.000 description 10
- 108091084079 miR-12 stem-loop Proteins 0.000 description 10
- 108091063445 miR-13 stem-loop Proteins 0.000 description 10
- 108091053008 miR-23 stem-loop Proteins 0.000 description 10
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 108091084679 miR-3 stem-loop Proteins 0.000 description 6
- 108091033354 miR-3-1 stem-loop Proteins 0.000 description 6
- 108091058771 miR-3-2 stem-loop Proteins 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 101000648503 Homo sapiens Tumor necrosis factor receptor superfamily member 11A Proteins 0.000 description 5
- 102100028787 Tumor necrosis factor receptor superfamily member 11A Human genes 0.000 description 5
- 239000010410 layer Substances 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 101100433754 Arabidopsis thaliana ABCG30 gene Proteins 0.000 description 4
- 101100054291 Oryza sativa subsp. japonica ABCG35 gene Proteins 0.000 description 4
- 101100107595 Oryza sativa subsp. japonica ABCG41 gene Proteins 0.000 description 4
- 101150024488 PDR2 gene Proteins 0.000 description 4
- 101100321174 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) YRR1 gene Proteins 0.000 description 4
- 230000005284 excitation Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 208000005646 Pneumoperitoneum Diseases 0.000 description 3
- 229910004298 SiO 2 Inorganic materials 0.000 description 3
- 238000010336 energy treatment Methods 0.000 description 3
- 235000012239 silicon dioxide Nutrition 0.000 description 3
- 239000000377 silicon dioxide Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002406 microsurgery Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002572 peristaltic effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Closed-Circuit Television Systems (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】撮像画像の画質を高めることできる画像処理装置を得る。【解決手段】本開示の画像処理装置は、第1の色の複数の画素値を含む第1の画像マップデータに基づいて、第1の色の画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第1のマップデータを生成可能な画像分割処理部と、複数の第1のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、複数の第1のマップデータに対応する複数の第2のマップデータを生成可能な補間処理部と、複数の第2のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第3のマップデータを生成可能な合成処理部とを備える。【選択図】図6
Description
本開示は、画像処理を行う画像処理装置、画像処理方法、およびそのような画像処理装置を備えた撮像装置に関する。
撮像装置では、赤色、緑色、および青色の光電変換素子により変換された電気信号に基づいて撮像画像が生成される。例えば、特許文献1には、赤色、緑色、および青色の光電変換素子を1つの画素領域に積み重ねたものが開示されている。
ところで、撮像装置では、撮像画像の画質が高いことが望まれており、さらなる画質の向上が期待されている。
撮像画像の画質を高めることできる画像処理装置、画像処理方法、および撮像装置を提供することが望ましい。
本開示の一実施の形態における画像処理装置は、画像分割処理部と、補間処理部と、合成処理部とを備える。画像分割処理部は、第1の色の複数の画素値を含む第1の画像マップデータに基づいて、第1の色の画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第1のマップデータを生成可能なものである。補間処理部は、複数の第1のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、複数の第1のマップデータに対応する複数の第2のマップデータを生成可能なものである。合成処理部は、複数の第2のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第3のマップデータを生成可能なものである。
本開示の一実施の形態における画像処理方法は、第1の色の複数の画素値を含む第1の画像マップデータに基づいて、第1の色の画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第1のマップデータを生成する画像分割処理と、記複数の第1のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、複数の第1のマップデータに対応する複数の第2のマップデータを生成する補間処理と、複数の第2のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第3のマップデータを生成する合成処理とを含むものである。
本開示の一実施の形態における撮像装置は、撮像部と、画像分割処理部と、補間処理部と、合成処理部とを備えている。撮像部は、第1の色の複数の画素値を含む第1の画像マップデータを生成するものである。画像分割処理部は、第1の画像マップデータに基づいて、第1の色の画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第1のマップデータを生成することが可能なものである。補間処理部は、複数の第1のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、複数の第1のマップデータに対応する複数の第2のマップデータを生成することが可能なものである。合成処理部は、複数の第2のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第3のマップデータを生成することが可能なものである。
ここで、「撮像装置」とは、いわゆるイメージセンサ単体に限定されるものではなく、デジタルカメラやスマートフォンなど、撮像機能を有する電子機器を含むものである。
本開示の一実施の形態における画像処理装置、画像処理方法、および撮像装置では、画像分割処理により、第1の色の複数の画素値を含む第1の画像マップデータに基づいて、複数の第1のマップデータが生成される。この複数の第1のマップデータは、第1の色の画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置されたものである。そして、補間処理により、これらの複数の第1のマップデータのそれぞれに基づいて、複数の第2のマップデータが生成される。これらの複数の第2のマップデータは、複数の第1のマップデータにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより生成される。そして、合成処理により、これらの複数の第2のマップデータに基づいて、第3のマップデータが生成される。この第3のマップデータは、これらの複数の第2のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより生成される。
本開示の一実施の形態における画像処理装置、画像処理方法、および撮像装置によれば、第1の色の複数の画素値を含む第1の画像マップデータに基づいて、第1の色の画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第1のマップデータを生成し、複数の第1のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、複数の第2のマップデータを生成し、複数の第2のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第3のマップデータを生成するようにしたので、撮像画像の画質を高めることできる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果があってもよい。
以下、本開示の実施の形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.第4の実施の形態
5.撮像装置の使用例
6.応用例
1.第1の実施の形態
2.第2の実施の形態
3.第3の実施の形態
4.第4の実施の形態
5.撮像装置の使用例
6.応用例
<1.第1の実施の形態>
[構成例]
図1は、第1の実施の形態に係る画像処理装置を備えた撮像装置1の一構成例を表すものである。なお、本開示の実施の形態に係る画像処理方法は、本実施の形態により具現化されるので、併せて説明する。撮像装置1は、光学系9と、撮像部10と、画像処理部20とを備えている。
[構成例]
図1は、第1の実施の形態に係る画像処理装置を備えた撮像装置1の一構成例を表すものである。なお、本開示の実施の形態に係る画像処理方法は、本実施の形態により具現化されるので、併せて説明する。撮像装置1は、光学系9と、撮像部10と、画像処理部20とを備えている。
光学系9は、例えば、撮像部10の撮像面Sにおいて像を結像させるレンズを含んで構成されるものである。
撮像部10は、被写体を撮像することにより、画像信号DTおよびゲイン信号SGAINを生成するものである。撮像部10は、例えば、CMOS(complementary metal oxide semiconductor)イメージセンサを用いて構成される。
図2は、撮像部10の一構成例を表すものである。撮像部10は、画素アレイ11と、走査部12と、読出部13と、撮像制御部14とを有している。
画素アレイ11は、複数の撮像画素Pがマトリクス状に配置されたものである。撮像画素Pは、赤色(R)の光を受光可能な光電変換素子、緑色(G)の光を受光可能な光電変換素子、および青色(B)の光を受光可能な光電変換素子を含んで構成されるものである。
図3は、撮像画素Pの断面構造を模式的に表すものである。この図3は、図2に示した領域Xに配置された4つの撮像画素Pのうちの2つの撮像画素Pの断面構造を模式的に示している。
半導体基板100には、1つの撮像画素Pに対応する画素領域において、2つのフォトダイオードPDR,PDBが形成される。フォトダイオードPDRは、赤色(R)の光を受光可能な光電変換素子であり、フォトダイオードPDBは、青色(B)の光を受光可能な光電変換素子である。フォトダイオードPDRおよびフォトダイオードPDBは、半導体基板100において、フォトダイオードPDBが撮像面Sの側になるように積層されて形成される。フォトダイオードPDRおよびフォトダイオードPDBは、半導体基板100における光の吸収係数が光の波長により異なることを利用して、赤色の光および青色の光に基づいてそれぞれ光電変換を行うようになっている。
半導体基板100の撮像面S側の表面には絶縁膜101が形成される。この絶縁膜101は、例えば二酸化ケイ素(SiO2)を用いて構成される。そして、この絶縁膜101の上には、透明電極102、光電変換膜103G、および透明電極104が、この順に形成される。透明電極102,104は、赤色の光、緑色の光、および青色の光を透過可能な電極である。光電変換膜103Gは、緑色(G)の光を受光可能な光電変換膜であり、赤色の光および青色の光を透過可能に構成されている。この光電変換膜103Gおよび透明電極102,104は、緑色(G)の光を受光可能な光電変換素子を構成する。透明電極104の上には、オンチップレンズ105が形成される。
図4は、図2に示した領域Xに配置された4つの撮像画素Pにおける光電変換素子の配置を模式的に表すものである。このように、撮像部10では、1つの撮像画素Pに対応する画素領域に、緑色(G)に係る光電変換素子、青色(B)に係る光電変換素子、赤色(R)に係る光電変換素子が積層されて形成される。これにより、撮像部10では、各撮像画素Pのそれぞれが、赤色に係る画素信号、緑色に係る画素信号、青色に係る画素信号を生成することができるようになっている。
走査部12は、撮像制御部14からの指示に基づいて、画素アレイ11における複数の撮像画素Pを、例えば画素ライン単位で順次駆動するものであり、例えばアドレスデコーダを含んで構成されるものである。
読出部13は、撮像制御部14からの指示に基づいて、各撮像画素Pから供給された画素信号に基づいてAD変換を行うことにより、画像信号DTを生成するものである。画像信号DTは、3つの画像マップデータMPG,MPB,MPRを含んでいる。画像マップデータMPGは、緑色(G)に係る1フレーム画像分の画素値を含み、画像マップデータMPBは、青色(B)に係る1フレーム画像分の画素値を含み、画像マップデータMPRは、赤色(R)に係る1フレーム画像分の画素値を含む。各画素値は、複数ビットのデジタルコードで表されるものである。
撮像制御部14は、走査部12および読出部13に制御信号を供給し、これらの回路の動作を制御することにより、撮像部10の動作を制御するものである。また、撮像制御部14は、読出部13がAD変換を行う際の変換ゲインGCを設定する機能をも有している。具体的には、撮像制御部14は、撮像部10が暗い被写体を撮像する場合には、AD変換を行う際の変換ゲインGCを高くし、撮像部10が明るい被写体を撮像する場合には、AD変換を行う際の変換ゲインGCを低くする。これにより、撮像装置1は、様々な明るさの被写体を撮像することができる。また、撮像制御部14は、この変換ゲインGCについての情報を、ゲイン信号SGAINとして出力する機能をも有している。
画像処理部20(図1)は、画像信号DTおよびゲイン信号SGAINに基づいて画像処理を行うものである。画像処理部20は、切替部21と、画像分割処理部22と、補間処理部23と、合成処理部24と、信号処理部25とを有している。
切替部21は、ゲイン信号SGAINが示す変換ゲインGCに基づいて、画像信号DTを、画像分割処理部22または信号処理部25に選択的に供給するものである。具体的には、切替部21は、例えば、変換ゲインGCが所定のしきい値Gthよりも高い場合には、画像信号DTを画像分割処理部22に供給し、変換ゲインGCが所定のしきい値Gthよりも低い場合には、画像信号DTを信号処理部25に供給する。これにより、画像処理部20では、変換ゲインGCが所定のしきい値Gthよりも高い場合には、画像分割処理部22、補間処理部23、および合成処理部24が処理を行い、変換ゲインGCが所定のしきい値Gthよりも低い場合には、画像分割処理部22、補間処理部23、および合成処理部24が処理を行わないようにすることができる。
画像分割処理部22は、撮像部10から切替部21を介して供給された画像信号DTに含まれる3つの画像マップデータMPG,MPB,MPRに基づいて、画像分割処理A1を行うことにより、6つのマップデータMG11,MG12,MB11,MB12,MR11,MR12を生成するものである。具体的には、画像分割処理部22は、後述するように、画像信号DTに含まれる、緑色(G)に係る画像マップデータMPGに基づいて、画素値の配置パターンPATが互いに異なり、互いに異なる位置に画素値が配置された2つのマップデータMG11,MG12を生成する。同様に、画像分割処理部22は、画像信号DTに含まれる、青色(B)に係る画像マップデータMPBに基づいて、2つのマップデータMB11,MB12を生成し、画像信号DTに含まれる、赤色(R)に係る画像マップデータMPRに基づいて、2つのマップデータMR11,MR12を生成する。このようにして、画像分割処理部22は、画像信号DTに基づいて、6つのマップデータMG11,MG12,MB11,MB12,MR11,MR12を生成するようになっている。
補間処理部23は、画像分割処理部22から供給された6つのマップデータMG11,MG12,MB11,MB12,MR11,MR12のそれぞれに対して補間処理A2を行うことにより、6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22を生成するものである。具体的には、補間処理部23は、後述するように、緑色(G)に係るマップデータMG11において、補間処理A2を用いて、画素値が欠落した位置における画素値を求めることにより、マップデータMG21を生成するとともに、緑色(G)に係るマップデータMG12において、補間処理A2を用いて、画素値が欠落した位置における画素値を求めることにより、マップデータMG22を生成する。同様に、補間処理部23は、青色(B)に係るマップデータMB11において補間処理A2を行うことによりマップデータMB21を生成するとともに、青色(B)に係るマップデータMB12において補間処理A2を行うことによりマップデータMB22を生成する。また、補間処理部23は、赤色(R)に係るマップデータMR11において補間処理A2を行うことによりマップデータMR21を生成するとともに、赤色(R)に係るマップデータMR12において補間処理A2を行うことによりマップデータMR22を生成するようになっている。
合成処理部24は、補間処理部23から供給された6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22に基づいて合成処理A3を行うことにより、3つのマップデータMG3,MB3,MR3を生成するものである。具体的には、合成処理部24は、後述するように、緑色(G)に係る2つのマップデータMG21,MG22に基づいてマップデータMG3を生成する。同様に、合成処理部24は、青色(B)に係る2つのマップデータMB21,MB22に基づいてマップデータMB3を生成し、赤色(R)に係る2つのマップデータMR21,MR22における互いに対応する位置の画素値に基づいて、その位置での画素値を生成することによりマップデータMR3を生成する。そして、合成処理部24は、3つのマップデータMG3,MB3,MR3を、画像信号DT2として信号処理部25に供給するようになっている。
信号処理部25は、合成処理部24から供給された画像信号DT2、または撮像部10から切替部21を介して供給された画像信号DTに基づいて、所定の信号処理を行うものである。所定の信号処理は、例えば、ホワイトバランス調整、非線形変換、輪郭強調処理、画像サイズ変換などを含む。そして、信号処理部25は、これらの所定の信号処理の処理結果を、画像信号DT3として出力するようになっている。
この構成により、撮像装置1では、暗い被写体を撮像する場合には、変換ゲインGCが高くなるため、画像分割処理A1、補間処理A2、および合成処理A3を行う。これにより、撮像装置1では、撮像画像における信号雑音比(S/N比)を高めることができる。また、撮像装置1では、撮像装置1が明るい被写体を撮像する場合には、変換ゲインGCが低くなるため、画像分割処理A1、補間処理A2、および合成処理A3を行わないようにする。これにより、撮像装置1では、撮像画像における解像度を高めることができるようになっている。
ここで、画像処理部20は、本開示における「画像処理装置」の一具体例に対応する。画像分割処理部22は、本開示における「画像分割処理部」の一具体例に対応する。補間処理部23は、本開示における「補間処理部」の一具体例に対応する。合成処理部24は、本開示における「合成処理部」の一具体例に対応する。信号処理部25は、本開示における「処理部」の一具体例に対応する。切替部21は、本開示における「処理制御部」の一具体例に対応する。
[動作および作用]
続いて、本実施の形態の撮像装置1の動作および作用について説明する。
続いて、本実施の形態の撮像装置1の動作および作用について説明する。
(全体動作概要)
まず、図1を参照して、撮像装置1の全体動作概要を説明する。撮像部10は、被写体を撮像することにより画像信号DTおよびゲイン信号SGAINを生成する。画像処理部20の切替部21は、ゲイン信号SGAINが示す変換ゲインGCに基づいて、画像信号DTを、画像分割処理部22または信号処理部25に選択的に供給する。画像分割処理部22は、撮像部10から切替部21を介して供給された画像信号DTに含まれる3つの画像マップデータMPG、MPB,MPRに基づいて、画像分割処理A1を行うことにより、6つのマップデータMG11,MG12,MB11,MB12,MR11,MR12を生成する。補間処理部23は、画像分割処理部22から供給された6つのマップデータMG11,MG12,MB11,MB12,MR11,MR12のそれぞれに対して補間処理A2を行うことにより、6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22を生成する。合成処理部24は、補間処理部23から供給された6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22に基づいて合成処理A3を行うことにより、3つのマップデータMG3,MB3,MR3を生成する。そして、合成処理部24は、これらの3つのマップデータMG3,MB3,MR3を、画像信号DT2として信号処理部25に供給する。信号処理部25は、合成処理部24から供給された画像信号DT2、または撮像部10から切替部21を介して供給された画像信号DTに基づいて、所定の信号処理を行うことにより画像信号DT3を生成する。
まず、図1を参照して、撮像装置1の全体動作概要を説明する。撮像部10は、被写体を撮像することにより画像信号DTおよびゲイン信号SGAINを生成する。画像処理部20の切替部21は、ゲイン信号SGAINが示す変換ゲインGCに基づいて、画像信号DTを、画像分割処理部22または信号処理部25に選択的に供給する。画像分割処理部22は、撮像部10から切替部21を介して供給された画像信号DTに含まれる3つの画像マップデータMPG、MPB,MPRに基づいて、画像分割処理A1を行うことにより、6つのマップデータMG11,MG12,MB11,MB12,MR11,MR12を生成する。補間処理部23は、画像分割処理部22から供給された6つのマップデータMG11,MG12,MB11,MB12,MR11,MR12のそれぞれに対して補間処理A2を行うことにより、6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22を生成する。合成処理部24は、補間処理部23から供給された6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22に基づいて合成処理A3を行うことにより、3つのマップデータMG3,MB3,MR3を生成する。そして、合成処理部24は、これらの3つのマップデータMG3,MB3,MR3を、画像信号DT2として信号処理部25に供給する。信号処理部25は、合成処理部24から供給された画像信号DT2、または撮像部10から切替部21を介して供給された画像信号DTに基づいて、所定の信号処理を行うことにより画像信号DT3を生成する。
(詳細動作)
図5は、画像処理部20の一動作例を表すものである。画像処理部20は、ゲイン信号SGAINが示す変換ゲインGCに基づいて、画像分割処理A1、補間処理A2、および合成処理A3を行うかどうかを決定する。以下に、この動作について詳細に説明する。
図5は、画像処理部20の一動作例を表すものである。画像処理部20は、ゲイン信号SGAINが示す変換ゲインGCに基づいて、画像分割処理A1、補間処理A2、および合成処理A3を行うかどうかを決定する。以下に、この動作について詳細に説明する。
まず、切替部21は、ゲイン信号SGAINが示す変換ゲインGCと、所定のしきい値Gthとを比較する(ステップS101)。変換ゲインGCが所定のしきい値Gthより低い場合(ステップS101において“N”)には、ステップS105に進む。
変換ゲインGCが所定のしきい値Gth以上(G≧Gth)である場合(ステップS101において“Y”)には、画像分割処理部22は画像分割処理A1を行い(ステップS102)、補間処理部23は補間処理A2を行い(ステップS103)、合成処理部24は合成処理A3を行う(ステップS104)。
そして、信号処理部25は、所定の信号処理を行う(ステップS105)。すなわち、信号処理部25は、変換ゲインGCが所定のしきい値Gth以上である場合(ステップS101において“Y”)には、合成処理A3により生成された画像信号DT2に基づいて所定の信号処理を行い、変換ゲインGCが所定のしきい値Gthより低い場合(ステップS101において“N”)には、撮像部10により生成された画像信号DTに基づいて所定の信号処理を行う。
以上で、このフローは終了する。
このように、画像処理部20では、変換ゲインGCが高い場合には、画像分割処理A1、補間処理A2、および合成処理A3を行う。また、撮像装置1では、変換ゲインGCが低い場合には、画像分割処理A1、補間処理A2、および合成処理A3を行わないようにする。これにより、撮像装置1では、以下に説明するように、撮像画像の画質を高めることができる。
次に、画像分割処理A1、補間処理A2、および合成処理A3について、具体的な動作例を挙げて詳細に説明する。
図6は、画像処理部20における、画像分割処理A1、補間処理A2、および合成処理A3の一例を模式的に表すものである。
(画像分割処理A1)
画像分割処理部22は、撮像部10から供給された画像信号DTに含まれる3つの画像マップデータMPG、MPB,MPRに基づいて画像分割処理A1を行うことにより、6つのマップデータMG11,MG12,MB11,MB12,MR11,MR12を生成する。以下に、緑色(G)に係る画像マップデータMPGに対する画像分割処理A1を例に挙げて、詳細に説明する。
画像分割処理部22は、撮像部10から供給された画像信号DTに含まれる3つの画像マップデータMPG、MPB,MPRに基づいて画像分割処理A1を行うことにより、6つのマップデータMG11,MG12,MB11,MB12,MR11,MR12を生成する。以下に、緑色(G)に係る画像マップデータMPGに対する画像分割処理A1を例に挙げて、詳細に説明する。
図7は、緑色(G)に係る画像マップデータMPGを模式的に表すものである。図8A,8Bは、緑色(G)に係るマップデータMG11,MG12をそれぞれ模式的に表すものである。図8A,8Bにおいて、網掛けされた部分は、画素値が存在する位置を示し、網掛けされていない部分は、画素値が存在しない(欠落した)位置を示す。
画像信号DTに含まれる画像マップデータMPG(図7)は、緑色(G)に係る1フレーム画像分の画素値を含んでいる。図6に示した画像マップデータMPGの一例は、図7に示した領域Xにおける2行2列に配置された4つの画素値を模式的に示している。
画像分割処理部22は、このような画像マップデータMPGに基づいて、画素値の配置パターンPATが互いに異なり、互いに異なる位置に画素値が配置された2つのマップデータMG11,MG12(図8A,8B)を生成する。マップデータMG11,MG12における画素値の配置パターンPATは、互いに水平方向(横方向)および垂直方向(縦方向)に1画素分ずれた市松模様パターン(Checkered Pattern)である。言い換えれば、マップデータMG11,MG12における市松模様パターンは、画素値が存在する位置と、画素値が存在しない位置とが、互いに反転したものであり、互いに異なる位置に画素値が配置されている。具体的には、例えば、マップデータMG11では、図8Aに示したように、領域Xにおいて、左上および右下において画素値が存在するとともに、左下および右上において画素値が欠落している。一方、マップデータMG12では、図8Bに示したように、領域Xにおいて、左下および右上において画素値が存在するとともに、左上および右下において画素値が欠落している。図6に示したマップデータMG11,MG12の一例は、この領域Xにおける4つの画素値を模式的に示している。マップデータMG11における、各位置での画素値は、画像マップデータMPGにおける対応する位置での画素値と同じである。同様に、マップデータMG12における、各位置での画素値は、画像マップデータMPGにおける対応する位置での画素値と同じである。
画像分割処理部22は、画像マップデータMPGに基づいて画像分割処理A1を行うことにより、このようなマップデータMG11,MG12を生成する。同様に、画像分割処理部22は、画像マップデータMPBに基づいて画像分割処理A1を行うことによりマップデータMB11,MB12を生成し、画像マップデータMPRに基づいて画像分割処理A1を行うことによりマップデータMR11,MR12を生成する。図6に示したように、マップデータMG11,MB11,MR11は、互いに同じ配置パターンPATを有し、マップデータMG12,MB12,MR12は、互いに同じ配置パターンPATを有する。
(補間処理A2)
次に、補間処理部23は、画像分割処理A1により生成された6つのマップデータMG11,MR12,MB11,MB12,MR11,MR12のそれぞれに対して補間処理A2を行うことにより、6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22を生成する。以下に、緑色(G)に係るマップデータMG11,MG12(図8A,8B)に対する補間処理A2を例に挙げて、詳細に説明する。
次に、補間処理部23は、画像分割処理A1により生成された6つのマップデータMG11,MR12,MB11,MB12,MR11,MR12のそれぞれに対して補間処理A2を行うことにより、6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22を生成する。以下に、緑色(G)に係るマップデータMG11,MG12(図8A,8B)に対する補間処理A2を例に挙げて、詳細に説明する。
図9A,9Bは、緑色(G)に係るマップデータMG21,MG22をそれぞれ模式的に表すものである。図9A,9Bにおいて、網掛けされた部分は、補間処理A2の処理前のマップデータMG11,MG12において画素値が存在する位置を示し、網掛けされていない部分は、補間処理A2の処理前のマップデータMG11,MG12において画素値が存在しない位置であり、この補間処理A2により画素値が生成された位置を示す。
補間処理部23は、図8Aに示したマップデータMG11において、補間処理A2を用いて、画素値が欠落した位置における画素値を求めることにより、図9Aに示したマップデータMG21を生成するとともに、図8Bに示したマップデータMG12において、補間処理A2を用いて、画素値が欠落した位置における画素値を求めることにより、図9Bに示したマップデータMG22を生成する。具体的には、補間処理部23は、画素値が欠落した位置の1つ上に配置された画素値、1つ左に配置された画素値、1つ下に配置された画素値、および1つ右に配置された画素値に基づいて、補間処理A2を行うことにより、画素値が欠落した位置における画素値を求める。すなわち、補間処理A2の補間方法は、この例では、画素値が欠落した位置の上下左右における画素値を用いるものである。補間処理部23は、これらの4つの画素値を用いて、例えばバイリニア補間を行うことにより、補間処理A2を行うことができる。なお、これに限定されるものではなく、バイキュービック補間、スプライン補間など、公知の様々な補間方法を用いることができる。例えば、マップデータMG21では、図9Aに示したように、補間処理部23は、領域Xにおける左下の位置において、補間処理A2により画素値を生成するとともに、領域Xにおける右上の位置において、補間処理A2により画素値を生成する。同様に、マップデータMG22では、図9Bに示したように、補間処理部23は、領域Xにおける左上の位置において、補間処理A2により画素値を生成するとともに、領域Xにおける右下の位置において、補間処理A2により画素値を生成する。この図9A,9Bにおいて、“G´”は、補間処理A2により画素値が生成されたことを示す。図6に示したマップデータMG21,MG22の一例は、この領域Xにおける4つの画素値を模式的に示している。
補間処理部23は、マップデータMG11に対して補間処理A2を行うことによりこのようなマップデータMG21を生成するとともに、マップデータMG12に対して補間処理A2を行うことによりこのようなマップデータMG22を生成する。同様に、補間処理部23は、マップデータMB11に対して補間処理A2を行うことによりマップデータMB21を生成するとともに、マップデータMB12に対して補間処理A2を行うことによりマップデータMB22を生成する。また、補間処理部23は、マップデータMR11に対して補間処理A2を行うことによりマップデータMR21を生成するとともに、マップデータMR12に対して補間処理A2を行うことによりマップデータMR22を生成する。6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22をそれぞれ生成する際の補間方法は、互いに同じである。
(合成処理A3)
次に、合成処理部24は、補間処理A2により生成された6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22に基づいて合成処理A3を行うことにより、3つのマップデータMG3,MB3,MR3を生成する。以下に、緑色(G)に係るマップデータMG21,MG22(図9A,図9B)に対する合成処理A3を例に挙げて、詳細に説明する。
次に、合成処理部24は、補間処理A2により生成された6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22に基づいて合成処理A3を行うことにより、3つのマップデータMG3,MB3,MR3を生成する。以下に、緑色(G)に係るマップデータMG21,MG22(図9A,図9B)に対する合成処理A3を例に挙げて、詳細に説明する。
図10は、緑色(G)に係るマップデータMG3を模式的に表すものである。合成処理部24は、2つのマップデータMG21,MG22における互いに対応する位置の画素値に基づいて、その位置での画素値を生成することによりマップデータMG3を生成する。具体的には、合成処理部24は、2つのマップデータMG21,MG22における互いに対応する位置の画素値を足し合わせることにより、マップデータMG3におけるその位置での画素値を生成することができる。例えば、合成処理部24は、図9Aに示したマップデータMG21の領域Xにおける左上の画素値と、図9Bに示したマップデータMG22の領域Xにおける左上の画素値とを足し合わせることにより、図10に示したマップデータMG3の領域Xにおける左上の画素値を生成する。同様に、合成処理部24は、マップデータMG21,MG22の領域Xにおける左下の画素値を足し合わせることにより、マップデータMG3の領域Xにおける左下の画素値を生成し、マップデータMG21,MG22の領域Xにおける右上の画素値を足し合わせることにより、マップデータMG3の領域Xにおける右上の画素値を生成し、マップデータMG21,MG22の領域Xにおける右下の画素値を足し合わせることにより、マップデータMG3の領域Xにおける右下の画素値を生成する。この図10において、“2G”は、合成処理A3により、画素値が、画像マップデータMPGにおける画素値の約2倍になったことを示す。図6に示したマップデータMG3の一例は、この領域Xにおける画素値を模式的に示している。
合成処理部24は、マップデータMG21,MG22に基づいて合成処理A3を行うことによりこのようなマップデータMG3を生成する。同様に、合成処理部24は、マップデータMB21,MB22に基づいて合成処理A3を行うことによりマップデータMB3を生成し、マップデータMR21,MR22に基づいて合成処理A3を行うことによりマップデータMR3を生成する。マップデータMB3における画素値は、画像マップデータMPBにおける画素値の約2倍であり、マップデータMR3における画素値は、画像マップデータMPRにおける画素値の約2倍である。
このようにして、合成処理部24は、3つのマップデータMG3,MB3,MR3を生成する。そして、合成処理部24は、これらの3つのマップデータMG3,MB3,MR3を、画像信号DT2として信号処理部25に供給する。
ここで、画像マップデータMPG,MPB,MPRは、本開示における「第1の画像マップデータ」、「第2の画像マップデータ」、および「第3の画像マップデータ」の一具体例にそれぞれ対応する。マップデータMG11,MG12は、本開示における「複数の第1のマップデータ」の一具体例に対応する。マップデータMG21,MG22は、本開示における「複数の第2のマップデータ」の一具体例に対応する。マップデータMG3は、本開示における「第3のマップデータ」の一具体例に対応する。マップデータMB11,MB12は、本開示における「複数の第4のマップデータ」の一具体例に対応する。マップデータMB21,MB22は、本開示における「複数の第5のマップデータ」の一具体例に対応する。マップデータMB3は、本開示における「第6のマップデータ」の一具体例に対応する。マップデータMR11,MR12は、本開示における「複数の第7のマップデータ」の一具体例に対応する。マップデータMR21,MR22は、本開示における「複数の第8のマップデータ」の一具体例に対応する。マップデータMR3は、本開示における「第9のマップデータ」の一具体例に対応する。
以上のように、撮像装置1では、例えば、画像マップデータMPGに基づいて画像分割処理A1を行うことによりマップデータMG11,MG12を生成し、これらのマップデータMG11,MG12にそれぞれに対して補間処理A2を行うことによりマップデータMG21,MG22を生成し、これらのマップデータMG21,MG22に基づいて合成処理A3を行うことによりマップデータMG3を生成するようにした。画像マップデータMPB,MPRについても同様である。これにより、撮像装置1では、マップデータMG3,MB3,MR3における信号雑音比(S/N比)を高めることができる。
すなわち、合成処理部24は、例えば、マップデータMG21の領域Xにおける左上の画素値と、マップデータMG22の領域Xにおける左上の画素値とを足し合わせることにより、マップデータMG3の領域Xにおける左上の画素値を求める。各画素値は、信号成分と、ランダムノイズであるノイズ成分とを有している。よって、合成処理部24が、マップデータMG21の領域Xにおける左上の画素値と、マップデータMG22の領域Xにおける左上の画素値とを足し合わせることにより、信号成分が約2倍になり、ノイズ成分は約1.4倍になる。つまり、ノイズ成分は、上述したようにランダムノイズであり、マップデータMG21の領域Xにおける左上の画素値に含まれるノイズ成分と、マップデータMG22の領域Xにおける左上の画素値に含まれるノイズ成分とは、互いに独立したノイズ成分であるので、約2倍にはならずに、約1.4倍(2の平方根)になる。このように、撮像装置1では、信号成分を約2倍にするとともに、ノイズ成分を約1.4倍にするため、マップデータMG3における信号雑音比(S/N比)を高めることができる。マップデータMB3,MR3についても同様である。その結果、撮像装置1では、撮像画像の画質を高めることができる。
また、撮像装置1では、画像分割処理A1において、画素値の配置パターンPATを市松模様パターンにした。これにより、図8A,8Bに示したように、画素値が欠落した位置の上下左右には画素値がそれぞれ存在するので、補間処理A2を行うことにより、これらの4つの画素値に基づいて、画素値が欠落した位置における画素値を求めることができる。このように、撮像装置1では、上下左右の画素値に基づいて補間処理A2を行うことができるので、水平方向の解像度の低下と垂直方向の解像度の低下とを互いに同程度にすることができ、解像度の低下を抑えることができる。その結果、撮像装置1では、撮像画像の画質を高めることができる。
また、撮像装置1では、画像分割処理A1において、マップデータMG11,MB11,MR11における画素値の配置パターンPATを互いに同じにするとともに、マップデータMG12,MB12,MR12における画素値の配置パターンPATを互いに同じにした。これにより、画像分割処理部22は、3つの画像マップデータMPG、MPB,MPRに基づいて、同じ方法で画像分割処理A1を行うことができるため、3つの画像マップデータMPG、MPB,MPRに基づいてそれぞれ異なる方法で画像分割処理A1を行う場合に比べて、画像分割処理部22の回路構成をシンプルにすることができる。
また、撮像装置1では、補間処理A2において、マップデータMG21,MG22,MB21,MB22,MR21,MR22を生成する際の補間方法を互いに同じにした。これにより、補間処理部23は、互いに同じ補間方法を用いて6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22を生成することができるため、互いに異なる補間方法を用いて6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22を生成する場合に比べて、補間処理部23の回路構成をシンプルにすることができる。
また、撮像装置1では、画像分割処理A1において、マップデータMG11,MB11,MR11における画素値の配置パターンPATを互いに同じにするとともに、マップデータMG12,MB12,MR12における画素値の配置パターンPATを互いに同じにした。そして、補間処理A2において、6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22を生成する際の補間方法を互いに同じにした。これにより、撮像装置1では、撮像画像における偽色を抑えることができる。すなわち、例えば、補間処理A2において、緑色(G)に係るマップデータMG21,MG22を生成する際に、画素値が欠落した位置の1つ上および1つ下に配置された画素値に基づいて補間処理A2を行い、青色(B)に係るマップデータMB21,MB22を生成する際に、画素値が欠落した位置の1つ左および1つ右に配置された画素値に基づいて補間処理A2を行う場合には、色により補間方法が異なるため、局所的に偽色が生じるおそれがある。一方、本実施の形態に係る撮像装置1では、画像分割処理A1において、マップデータMG11,MB11,MR11における画素値の配置パターンPATを互いに同じにするとともに、マップデータMG12,MB12,MR12における画素値の配置パターンPATを互いに同じにした。そして、補間処理A2において、6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22を生成する際の補間方法を互いに同じにした。これにより、撮像装置1では、このような偽色が生じるおそれを低減することができる。その結果、撮像装置1では、撮像画像の画質を高めることができる。
また、撮像装置1では、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにしたので、撮像画像の画質を高めることができる。特に、撮像装置1では、撮像部10における変換ゲインGCに基づいて、画像分割処理、補間処理、および合成処理を行うかどうかを制御するようにした。具体的には、ゲイン信号SGAINが示す変換ゲインGCが所定のしきい値Gthよりも高い場合には、画像分割処理、補間処理、および合成処理を行い、変換ゲインGCが所定のしきい値Gthよりも低い場合には、画像分割処理、補間処理、および合成処理を行わないようにした。これにより、例えば、撮像装置1が暗い被写体を撮像する場合には、変換ゲインGCが高くなるため、画像分割処理A1、補間処理A2、および合成処理A3を行う。これにより、撮像装置1では、撮像画像における信号雑音比(S/N比)を高めることができる。すなわち、暗い被写体を撮像する場合には、ノイズが多くなるおそれがあるため、画像分割処理A1、補間処理A2、および合成処理A3を行うことにより、撮像画像における信号雑音比(S/N比)を高めることができる。また、撮像装置1が明るい被写体を撮像する場合には、変換ゲインGCが低くなるため、画像分割処理A1、補間処理A2、および合成処理A3を行わないようにする。これにより、撮像装置1では、撮像画像における解像度を高めることができる。すなわち、明るい被写体を撮像する場合には、ノイズが少ないため、画像分割処理A1、補間処理A2、および合成処理A3を行わないようにすることにより、解像度を高めることができる。その結果、撮像装置1では、撮像画像の画質を高めることができる。
[効果]
以上のように本実施の形態では、画像分割処理、補間処理、および合成処理を行うようにしたので、撮像画像における信号雑音比を高めることができるので、撮像画像の画質を高めることができる。
以上のように本実施の形態では、画像分割処理、補間処理、および合成処理を行うようにしたので、撮像画像における信号雑音比を高めることができるので、撮像画像の画質を高めることができる。
本実施の形態では、画像分割処理において、画素値の配置パターンを市松模様パターンにしたので、水平方向の解像度の低下と垂直方向の解像度の低下とを互いに同程度にすることができ、解像度の低下を抑えることができるため、撮像画像の画質を高めることができる。
本実施の形態では、画像分割処理において、マップデータMG11,MB11,MR11における画素値の配置パターンを互いに同じにするとともに、マップデータMG12,MB12,MR12における画素値の配置パターンを互いに同じにしたので、画像分割処理部の回路構成をシンプルにすることができる。
本実施の形態では、補間処理において、6つのマップデータを生成する際の補間方法を互いに同じにしたので、補間処理部の回路構成をシンプルにすることができる。
本実施の形態では、画像分割処理において、マップデータMG11,MB11,MR11における画素値の配置パターンを互いに同じにするとともに、マップデータMG12,MB12,MR12における画素値の配置パターンを互いに同じにした。そして、補間処理において、6つのマップデータを生成する際の補間方法を互いに同じにした。これにより、偽色が生じるおそれを低減することができるので、撮像画像の画質を高めることができる。
本実施の形態では、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにしたので、撮像画像の画質を高めることができる。
[変形例1-1]
上記実施の形態では、合成処理部24は、例えば、2つのマップデータMG21,MG22における互いに対応する位置の画素値を足し合わせることにより、マップデータMG3におけるその位置での画素値を生成したが、これに限定されるものではない。これに代えて、例えば図11に示す撮像装置1Aのように、2つのマップデータMG21,MG22における互いに対応する位置の画素値を足し合わせ、足し合わされた画素値を半分にすることにより、マップデータMG3におけるその位置での画素値を生成してもよい。これにより、マップデータMG3における画素値を、画像マップデータMPGにおける画素値と同程度にすることができる。マップデータMB3,MR3についても同様である。これにより、信号雑音比を維持したまま、マップデータMG3,MB3,MR3における画素値を示すデジタルコードのビット数を抑えることができる。その結果、信号処理部25におけるダイナミックレンジの設計を容易にすることができる。
上記実施の形態では、合成処理部24は、例えば、2つのマップデータMG21,MG22における互いに対応する位置の画素値を足し合わせることにより、マップデータMG3におけるその位置での画素値を生成したが、これに限定されるものではない。これに代えて、例えば図11に示す撮像装置1Aのように、2つのマップデータMG21,MG22における互いに対応する位置の画素値を足し合わせ、足し合わされた画素値を半分にすることにより、マップデータMG3におけるその位置での画素値を生成してもよい。これにより、マップデータMG3における画素値を、画像マップデータMPGにおける画素値と同程度にすることができる。マップデータMB3,MR3についても同様である。これにより、信号雑音比を維持したまま、マップデータMG3,MB3,MR3における画素値を示すデジタルコードのビット数を抑えることができる。その結果、信号処理部25におけるダイナミックレンジの設計を容易にすることができる。
[変形例1-2]
上記の実施の形態では、画像分割処理A1における画素値の配置パターンPATを、1つの画素値を単位とした市松模様パターンにしたが、これに限定されるものではない。以下に、本変形例について、いくつか例を挙げて詳細に記載する。なお、以下では、緑色(G)に係るマップデータを例に説明するが、青色(B)に係るマップデータ、および赤色(R)に係るマップデータについても同様である。
上記の実施の形態では、画像分割処理A1における画素値の配置パターンPATを、1つの画素値を単位とした市松模様パターンにしたが、これに限定されるものではない。以下に、本変形例について、いくつか例を挙げて詳細に記載する。なお、以下では、緑色(G)に係るマップデータを例に説明するが、青色(B)に係るマップデータ、および赤色(R)に係るマップデータについても同様である。
(他の市松模様パターン)
図12A,12Bは、画素値の配置パターンPATを、2行2列に配置された4つの画素値を単位とした市松模様パターンにした場合における、マップデータMG11,MG12の一例を表すものである。この図12A,12Bに示した配置パターンPATにおける水平方向(横方向)のピッチは、図8A,8Bに示した配置パターンPATにおける垂直方向のピッチの2倍である。同様に、図12A,12Bに示した配置パターンPATにおける垂直方向(縦方向)のピッチは、図8A,8Bに示した配置パターンPATにおける垂直方向のピッチの2倍である。マップデータMG11,MG12における画素値の配置パターンPATは、互いに水平方向(横方向)および垂直方向(縦方向)に2画素分ずれている。
図12A,12Bは、画素値の配置パターンPATを、2行2列に配置された4つの画素値を単位とした市松模様パターンにした場合における、マップデータMG11,MG12の一例を表すものである。この図12A,12Bに示した配置パターンPATにおける水平方向(横方向)のピッチは、図8A,8Bに示した配置パターンPATにおける垂直方向のピッチの2倍である。同様に、図12A,12Bに示した配置パターンPATにおける垂直方向(縦方向)のピッチは、図8A,8Bに示した配置パターンPATにおける垂直方向のピッチの2倍である。マップデータMG11,MG12における画素値の配置パターンPATは、互いに水平方向(横方向)および垂直方向(縦方向)に2画素分ずれている。
図13A,13Bは、図12A,12Bに示したマップデータMG11,MG12に基づいて補間処理A2を行うことにより生成されたマップデータMG21,MG22の一例を表すものである。補間処理部23は、例えば、画素値が欠落した位置の2つ上に配置された画素値、2つ左に配置された画素値、2つ下に配置された画素値、および2つ右に配置された画素値に基づいて、補間処理A2を行うことにより、画素値が欠落した位置における画素値を求めることができる。
(縞模様パターン)
図14A,14Bは、画素値の配置パターンPATを、画素値が存在する位置と画素値が欠落した位置が水平方向(横方向)に交互に並ぶ縞模様パターンにした場合における、マップデータMG11,MG12の一例を表すものである。マップデータMG11,MG12における画素値の配置パターンPATは、互いに水平方向に1画素分ずれている。
図14A,14Bは、画素値の配置パターンPATを、画素値が存在する位置と画素値が欠落した位置が水平方向(横方向)に交互に並ぶ縞模様パターンにした場合における、マップデータMG11,MG12の一例を表すものである。マップデータMG11,MG12における画素値の配置パターンPATは、互いに水平方向に1画素分ずれている。
図15A,15Bは、図14A,14Bに示したマップデータMG11,MG12に基づいて補間処理A2を行うことにより生成されたマップデータMG21,MG22の一例を表すものである。補間処理部23は、画素値が欠落した位置の1つ左に配置された画素値、および1つ右に配置された画素値に基づいて、補間処理A2を行うことにより、画素値が欠落した位置における画素値を求めることができる。
図16A,16Bは、画素値の配置パターンPATを、画素値が存在する位置と画素値が欠落した位置が垂直方向(縦方向)に交互に並ぶ縞模様パターンにした場合における、マップデータMG11,MG12の一例を表すものである。マップデータMG11,MG12における画素値の配置パターンPATは、互いに垂直方向に1画素分ずれている。
図17A,17Bは、図16A,16Bに示したマップデータMG11,MG12に基づいて補間処理A2を行うことにより生成されたマップデータMG21,MG22の一例を表すものである。補間処理部23は、画素値が欠落した位置の1つ上に配置された画素値、および1つ下に配置された画素値に基づいて、補間処理A2を行うことにより、画素値が欠落した位置における画素値を求めることができる。
(その他のパターン)
以上の例では、画像分割処理部22は、例えば、1つの画像マップデータMPGに基づいて画像分割処理A1を行うことにより2つのマップデータMG11,MG12を生成し、補間処理部23は、この2つのマップデータMG11,MG12に対して補間処理A2を行うことにより2つのマップデータMG21,MG22を生成し、合成処理部24は、この2つのマップデータMG21,MG22に基づいて合成処理A3を行うことによりマップデータMG3を生成したが、これに限定されるものではない。これに代えて、例えば、画像分割処理部22は、例えば1つの画像マップデータMPGに基づいて画像分割処理A1を行うことにより3つのマップデータMG11,MG12,MG13を生成し、補間処理部23は、この3つのマップデータMG11,MG12,MG13に対して補間処理A2を行うことにより3つのマップデータMG21,MG22,MG23を生成し、合成処理部24は、この3つのマップデータMG21,MG22,MG23に基づいて合成処理A3を行うことによりマップデータMG3を生成してもよい。
以上の例では、画像分割処理部22は、例えば、1つの画像マップデータMPGに基づいて画像分割処理A1を行うことにより2つのマップデータMG11,MG12を生成し、補間処理部23は、この2つのマップデータMG11,MG12に対して補間処理A2を行うことにより2つのマップデータMG21,MG22を生成し、合成処理部24は、この2つのマップデータMG21,MG22に基づいて合成処理A3を行うことによりマップデータMG3を生成したが、これに限定されるものではない。これに代えて、例えば、画像分割処理部22は、例えば1つの画像マップデータMPGに基づいて画像分割処理A1を行うことにより3つのマップデータMG11,MG12,MG13を生成し、補間処理部23は、この3つのマップデータMG11,MG12,MG13に対して補間処理A2を行うことにより3つのマップデータMG21,MG22,MG23を生成し、合成処理部24は、この3つのマップデータMG21,MG22,MG23に基づいて合成処理A3を行うことによりマップデータMG3を生成してもよい。
図18A,18B,18Cは、画素値の配置パターンPATを、いわゆるベイヤー(Bayer)配列のようなパターンにした場合における、マップデータMG11,MG12,MG13の一例を表すものである。具体的には、例えば、マップデータMG11では、図18Aに示したように、領域Xにおいて、左上において画素値が存在するとともに、左下、右上、および右下において画素値が欠落している。マップデータMG12では、図18Bに示したように、領域Xにおいて、左下および右上において画素値が存在するとともに、左上および右下において画素値が欠落している。また、マップデータMG13では、図18Cに示したように、領域Xにおいて、右下において画素値が存在するとともに、左上、左下、および右上において画素値が欠落している。マップデータMG11における各位置での画素値は、画像マップデータMPGにおける対応する位置での画素値と同じであり、マップデータMG12における各位置での画素値は、画像マップデータMPGにおける対応する位置での画素値と同じであり、マップデータMG13における各位置での画素値は、画像マップデータMPGにおける対応する位置での画素値と同じである。
図19A,19B,19Cは、図18A,18B,18Cに示したマップデータMG11,MG12,MG13に基づいて補間処理A2を行うことにより生成されたマップデータMG21,MG22,MG23の一例を表すものである。補間処理部23は、マップデータMG11,MG13(図18A,18C)に対して、画素値が欠落した位置の上下に画素値が配置されている場合には、これらの2つの画素値に基づいて補間処理A2を行い、画素値が欠落した位置の左右に画素値が配置されている場合には、これらの2つの画素値に基づいて補間処理A2を行い、画素値が欠落した位置の左上、左下、右上、および右下に画素値が配置されている場合には、これらの4つの画素値に基づいて補間処理A2を行うことにより、マップデータMG21,MG23を生成する。また、補間処理部23は、マップデータMG12(図18B)に対して、画素値が欠落した位置の上下左右に配置された4つの画素値に基づいて補間処理A2を行うことにより、マップデータMG22を生成する。
図20は、図19A,19B,19Cに示したマップデータMG21,MG22,MG23に基づいて合成処理A3を行うことにより生成されたマップデータMG3の一例を表すものである。合成処理部24は、3つのマップデータMG21,MG22,MG23における互いに対応する位置の画素値を足し合わせることにより、マップデータMG3におけるその位置での画素値を生成する。図20において、“3G”は、合成処理A3により、画素値が、画像マップデータMPGにおける画素値の約3倍になったことを示す。
[変形例1-3]
上記の実施の形態では、補間処理部23が補間処理A2を行うようにしたが、この補間処理A2における補間方法を変更可能にしてもよい。以下に、本変形例について詳細に説明する。
上記の実施の形態では、補間処理部23が補間処理A2を行うようにしたが、この補間処理A2における補間方法を変更可能にしてもよい。以下に、本変形例について詳細に説明する。
図21は、本変形例に係る撮像装置2の一構成例を表すものである。撮像装置2は、画像処理部30を備えている。画像処理部30は、補間制御部36と、補間処理部33とを有している。
補間制御部36は、画像信号DTに含まれる画像マップデータMPG,MPB,MPRに基づいて、補間制御処理B1を行うことにより、補間処理部33における補間処理A2の補間方法を決定するものである。補間制御部36は、本開示における「補間制御部」の一具体例に対応する。
補間処理部33は、画像分割処理部22から供給された6つのマップデータMG11,MG12,MB11,MB12,MR11,MR12のそれぞれに対して、補間制御部36から指示された補間方法を用いて補間処理A2を行うことにより、6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22を生成するものである。
図22は、画像処理部30における、画像分割処理A1、補間制御処理B1、補間処理A2、および合成処理A3の一例を模式的に表すものである。
補間制御部36は、まず、画像信号DTに含まれる画像マップデータMPG,MPB,MPRに基づいて合成処理B2を行うことにより、マップデータMWを生成する。この合成処理B2では、補間制御部36は、3つの画像マップデータMPR,MPB,MPRにおける互いに対応する位置の画素値を足し合わせることにより、マップデータMWにおけるその位置での画素値を生成することができる。
次に、補間制御部36は、このマップデータMWに基づいて、空間周波数検出処理B3を行うことにより、空間周波数を検出する。この空間周波数検出処理B3では、補間制御部36は、1フレーム画像を複数の画像領域に区分し、各画像領域において、マップデータMWに基づいて空間周波数を求める。
次に、補間制御部36は、空間周波数検出処理B3により求めた空間周波数に基づいて、補間方法決定処理B4を行うことにより、補間処理A2の補間方法を決定する。
図23A,23B,23Cは、補間処理A2の補間方法の例を表すものである。これらの図では、補間処理A2を行うことにより生成されたマップデータMG21を示している。図23Aに示した補間方法では、画素値が欠落した位置の1つ上に配置された画素値、および1つ下に配置された画素値に基づいて、画素値が欠落した位置における画素値を求める。すなわち、図23Aの例では、補間処理を行う方向(補間方向)は、垂直方向(縦方向)である。図23Bに示した補間方法では、画素値が欠落した位置の1つ左に配置された画素値、および1つ右に配置された画素値に基づいて、画素値が欠落した位置における画素値を求める。すなわち、図23Bの例では、補間処理を行う方向(補間方向)は、水平方向(横方向)である。また、図23Cに示した補間方法では、画素値が欠落した位置の1つ上に配置された画素値、1つ左に配置された画素値、1つ下に配置された画素値、および1つ右に配置された画素値に基づいて、画素値が欠落した位置における画素値を求める。すなわち、図23Cの例では、補間処理を行う方向(補間方向)は、垂直方向および水平方向である。なお、図23A~23Cでは、3つの例を挙げて説明したが、これに限定されるものではない。
補間制御部36は、補間方法決定処理B4において、画像領域ごとに、空間周波数に基づいて補間処理A2の補間方法を決定する。具体的には、補間制御部36は、ある画像領域における空間周波数に基づいて、その画像領域における画像が縦縞模様であると判断した場合には、補間方向が垂直方向である補間方法(図23A)を選択する。また、例えば、補間制御部36は、ある画像領域における空間周波数に基づいて、その画像領域における画像が横縞模様であると判断した場合には、補間方向が水平方向である補間方法(図23B)を選択する。そして、補間制御部36は、補間処理部33に対して、画像領域ごとに、補間方法を指示する。
補間処理部33は、画像分割処理部22から供給された6つのマップデータMG11,MG12,MB11,MB12,MR11,MR12のそれぞれに対して、画像領域ごとに、補間制御部36から指示された補間方法を用いて補間処理A2を行うことにより、6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22を生成する。6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22をそれぞれ生成する際の補間方法は、互いに同じである。
以上のように、撮像装置2では、補間処理A2における補間方法を変更可能に構成したので、撮像画素に応じて最適な補間方法を用いることができるので、撮像画像の画質を高めることができる。
特に、撮像装置2では、画像マップデータMPG,MPB,MPRに基づいて、合成処理B2を行うことによりマップデータMWを生成し、このマップデータMWに基づいて空間周波数を検出するようにした。これにより、撮像装置2では、空間周波数を高い精度で検出することができ、このようにして得られた空間周波数に基づいて補間処理A2を行うので、補間処理A2の精度を高めることができる。その結果、撮像装置2では、より高い復元効果を得ることができるので、撮像画像の画質を高めることができる。
なお、この例では、画像マップデータMPG,MPB,MPRに基づいて、合成処理B2を行うことによりマップデータMWを生成し、このマップデータMWに基づいて空間周波数を検出したが、これに限定されるものではない。これに代えて、例えば図24に示す画像処理部30Aのように、緑色(G)に係る画像マップデータMPGに基づいて空間周波数検出処理B3を行い、この空間周波数検出処理B3により得られた画像領域ごとの空間周波数に基づいて、画像領域ごとに、緑色(G)のマップデータMG21,MG22を生成する補間処理A2における補間方法を決定してもよい。画像マップデータMPB,MPRについても同様である。また、これに限定されるものではなく、例えば、緑色(G)に係る画像マップデータMPGに基づいて空間周波数検出処理B3を行い、青色(B)に係る画像マップデータMPBに基づいて空間周波数検出処理B3を行い、赤色(R)に係る画像マップデータMPRに基づいて空間周波数検出処理B3を行い、これらの空間周波数検出処理B3により得られた画像領域ごとの空間周波数に基づいて、画像領域ごとに、6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22を生成する補間処理A2における補間方法をまとめて決定してもよい。この場合には、6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22を生成する際の補間方法を互いに同じにすることができる。
[変形例1-4]
上記実施の形態では、画像処理部20は、赤色(R)に係る画像マップデータMPR、緑色(G)に係る画像マップデータMPG、および青色(B)に係る画像マップデータMPBに基づいて、画像分割処理A1、補間処理A2、および合成処理A3を行うようにしたが、これに限定されるものではなく、これに代えて、例えば、輝度信号に基づいて、画像分割処理A1、補間処理A2、および合成処理A3を行うようにしてもよい。以下に、本変形例について詳細に説明する。
上記実施の形態では、画像処理部20は、赤色(R)に係る画像マップデータMPR、緑色(G)に係る画像マップデータMPG、および青色(B)に係る画像マップデータMPBに基づいて、画像分割処理A1、補間処理A2、および合成処理A3を行うようにしたが、これに限定されるものではなく、これに代えて、例えば、輝度信号に基づいて、画像分割処理A1、補間処理A2、および合成処理A3を行うようにしてもよい。以下に、本変形例について詳細に説明する。
図25は、本変形例に係る撮像装置1Dの一構成例を表すものである。この撮像装置1Dは、画像処理部20Dを備えている。画像処理部20Dは、Y/C分離部29Dと、画像分割処理部22Dと、補間処理部23Dと、合成処理部24Dと、信号処理部25Dとを有している。
Y/C分離部29Dは、Y/C分離処理C1を行うことにより、画像信号DTに含まれるRGB信号を、輝度(Y)信号および色(C)信号に分離し、これらの輝度信号および色信号を、画像信号DT11として出力するものである。画像信号DT11は、マップデータMY,MCr,MCbとを含んでいる。マップデータMYは、輝度(Y)に係る1フレーム画像分の画素値を含み、マップデータMCrは、R-Y色差(Cr)に係る1フレーム画像分の画素値を含み、マップデータMCbは、B-Y色差(Cb)に係る1フレーム画像分の画素値を含む。各画素値は、複数ビットのデジタルコードで表されるものである。Y/C分離部29Dは、本開示における「生成部」の一具体例にそれぞれ対応する。
画像分割処理部22Dは、Y/C分離部29Dから切替部21を介して供給された画像信号DT11に含まれるマップデータMYに基づいて、画像分割処理A1を行うことにより、2つのマップデータMY11,MY12を生成するものである。また、画像分割処理部22Dは、画像信号DT11に含まれるマップデータMCr,MCbを、そのまま出力するようになっている。
補間処理部23Dは、画像分割処理部22Dから供給された2つのマップデータMY11,MY12のそれぞれに対して補間処理A2を行うことにより、2つのマップデータMY21,MY22を生成するものである。また、補間処理部23Dは、画像分割処理部22Dから供給されたマップデータMCr,MCbを、そのまま出力するようになっている。
合成処理部24Dは、補間処理部23Dから供給された2つのマップデータMY21,MY22に基づいて、合成処理A3を行うことにより、1つのマップデータMY3を生成するものである。そして、合成処理部24Dは、合成処理A3により生成したマップデータMY3、および補間処理部23Dから供給されたマップデータMCr,MCbを、画像信号DT12として信号処理部25Dに供給するようになっている。
信号処理部25Dは、合成処理部24Dから供給された画像信号DT12、またはY/C分離部29Dから切替部21を介して供給された画像信号DT11に基づいて、所定の信号処理を行うものである。そして、信号処理部25Dは、これらの所定の信号処理の処理結果を、画像信号DT13として出力するようになっている。
図26は、画像処理部20Dにおける、画像分割処理A1、補間処理A2、および合成処理A3の一例を模式的に表すものである。
Y/C分離部29Dは、Y/C分離処理C1を行うことにより、画像信号DTに含まれるRGB信号を、輝度(Y)信号および色(C)信号に分離する。具体的には、Y/C分離部29Dは、画像マップデータMPG,MPB,MPRに基づいて、マップデータMY,MCb,MCrを生成する。Y/C分離部29Dは、3つの画像マップデータMPG,MPB,MPRにおける互いに対応する位置の画素値に基づいて、例えば以下の式を用いて、輝度(Y)に係る画素値を生成する。
VY = VG×0.59 + VB×0.11 + VR×0.3
この式において、“VY”は輝度(Y)に係る画素値であり、“VG”は緑色(G)に係る画素値であり、“VB”は青色(B)に係る画素値であり、“VR”は赤色(R)に係る画素値である。
VY = VG×0.59 + VB×0.11 + VR×0.3
この式において、“VY”は輝度(Y)に係る画素値であり、“VG”は緑色(G)に係る画素値であり、“VB”は青色(B)に係る画素値であり、“VR”は赤色(R)に係る画素値である。
画像分割処理部22Dは、このようにして生成されたマップデータMYに基づいて画像分割処理A1を行うことにより、2つのマップデータMY11,MY12を生成する。補間処理部23Dは、これらの2つのマップデータMY11,MY12のそれぞれに対して補間処理A2を行うことにより、2つのマップデータMY21,MY22を生成する。合成処理部24Dは、2つのマップデータMY21,MY22に基づいて合成処理A3を行うことにより、1つのマップデータMY3を生成する。具体的には、合成処理部24Dは、2つのマップデータMY21,MY22における互いに対応する位置の画素値を足し合わせ、その足し合わせされた画素値を半分にすることにより、マップデータMY3におけるその位置での画素値を生成する。マップデータMYは、本開示における「第1の画像マップデータ」の一具体例に対応する。マップデータMY11,MY12は、本開示における「複数の第1のマップデータ」の一具体例に対応する。マップデータMY21,MY22は、本開示における「複数の第2のマップデータ」の一具体例に対応する。マップデータMY3は、本開示における「第3のマップデータ」の一具体例に対応する。
これにより、撮像装置1Dでは、輝度信号についての信号雑音比(S/N比)を高めることができるので、撮像画像の画質を高めることができる。また、この例では、輝度(Y)に関するマップデータMYに対してのみ、画像分割処理A1、補間処理A2、および合成処理A3を行うようにしたので、処理量を抑えることができる。その結果、撮像装置1Dでは、例えば消費電力を低減することができる。
[その他の変形例]
また、これらの変形例のうちの2以上を組み合わせてもよい。
また、これらの変形例のうちの2以上を組み合わせてもよい。
<2.第2の実施の形態>
次に、第2の実施の形態に係る撮像装置3について説明する。本実施の形態は、撮像部における青色および赤色の光電変換素子の構成が、上記第1の実施の形態の場合と異なるものである。なお、上記第1の実施の形態に係る撮像装置1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
次に、第2の実施の形態に係る撮像装置3について説明する。本実施の形態は、撮像部における青色および赤色の光電変換素子の構成が、上記第1の実施の形態の場合と異なるものである。なお、上記第1の実施の形態に係る撮像装置1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
図27は、本実施の形態に係る撮像装置3の一構成例を表すものである。撮像装置3は、撮像部40と、画像処理部50とを備えている。
図28は、撮像部40に係る撮像画素Pの断面構造を模式的に表すものである。半導体基板100には、1つの撮像画素Pに対応する画素領域において、1つのフォトダイオードPDが形成される。このフォトダイオードPDは、上記第1の実施の形態に係るフォトダイオードPDB,PDRとは異なり、可視光に対応する様々な波長の光を受光可能なものである。半導体基板100の撮像面S側の表面には絶縁膜101が形成され、この絶縁膜101の上には、カラーフィルタ111が形成される。具体的には、絶縁膜101の上には、カラーフィルタ111Bまたはカラーフィルタ111Rが選択的に形成される。カラーフィルタ111Bは、青色(B)の光を透過するとともに赤色(R)および緑色(G)の光を遮断するものである。カラーフィルタ111Rは、赤色(R)の光を透過するとともに青色(B)および緑色(G)の光を遮断するものである。カラーフィルタ111BおよびフォトダイオードPDは、青色(B)の光を受光可能な光電変換素子を構成し、カラーフィルタ111RおよびフォトダイオードPDは、赤色(R)の光を受光可能な光電変換素子を構成する。カラーフィルタ111の上には、絶縁膜112が形成される。この絶縁膜112は、例えば二酸化ケイ素(SiO2)を用いて構成される。そして、この絶縁膜112の上には、透明電極102、光電変換膜103G、透明電極104、およびオンチップレンズ105が、この順に形成される。
図29は、4つの撮像画素Pが配置された領域Xにおける光電変換素子の配置を模式的に表すものである。このように、撮像部40では、1つの撮像画素Pに対応する画素領域において、上層に緑色(G)に係る光電変換素子が配置され、下層に青色(B)または赤色(R)に係る光電変換素子が配置される。青色(B)および赤色(R)に係る光電変換素子は、市松模様状に配置されている。すなわち、撮像部40では、カラーフィルタ111Bおよびカラーフィルタ111Rは、市松模様状に配置されている。これにより、撮像部40では、各撮像画素Pのそれぞれが、緑色に係る画素信号と、青色または赤色に係る画素信号とを生成することができるようになっている。
このような構成により、撮像部40は、画像信号DT21およびゲイン信号SGAINを生成する。画像信号DT21は、2つの画像マップデータMPG,MPBRを含んでいる。画像マップデータMPGは、緑色(G)に係る1フレーム画像分の画素値を含み、画像マップデータMPBRは、青色(B)および赤色(R)に係る1フレーム画像分の画素値を含む。画像マップデータMPBRにおいて、青色(B)に係る画素値および赤色(R)に係る画素値は、カラーフィルタ111B,111Rの配置に対応して、市松模様状に配置される。
画像処理部50(図27)は、画像分割処理部52と、補間制御部56と、補間処理部53と、合成処理部54と、信号処理部55とを有している。
画像分割処理部52は、撮像部40から切替部21を介して供給された画像信号DT21に含まれる画像マップデータMPG,MPBRに基づいて画像分割処理A1を行うことにより、4つのマップデータMG11,MG12,MR11,MB12を生成するものである。
補間制御部56は、画像信号DT21に含まれる画像マップデータMPGに基づいて補間制御処理B1を行うことにより、補間処理部53における補間処理A2の補間方法を決定するものである。
補間処理部53は、画像分割処理部52から供給された4つのマップデータMG11,MG12,MR11,MB12のそれぞれに対して、補間制御部56から指示された補間方法を用いて補間処理A2を行うことにより、4つのマップデータMG21,MG22,MR21,MB22を生成するものである。
合成処理部54は、補間処理部53から供給された2つのマップデータMG21,MG22に基づいて合成処理A3を行うことにより、1つのマップデータMG3を生成するものである。そして、合成処理部54は、合成処理A3により生成したマップデータMG3、および補間処理部53から供給されたマップデータMR21,MB22を、画像信号DT22として信号処理部55に供給するようになっている。
信号処理部55は、合成処理部54から供給された画像信号DT22、または撮像部40から切替部21を介して供給された画像信号DT21に基づいて、所定の信号処理を行うものである。そして、信号処理部55は、これらの所定の信号処理の処理結果を、画像信号DT23として出力するようになっている。
図30は、画像処理部50における、画像分割処理A1、補間制御処理B1、補間処理A2、および合成処理A3の一例を模式的に表すものである。
画像分割処理部52は、画像マップデータMPGに基づいて画像分割処理A1を行うことにより、2つのマップデータMG11,MG12を生成する。また、画像分割処理部52は、画像マップデータMPBRに基づいて画像分割処理A1を行うことにより、2つのマップデータMR11,MB12を生成する。図30に示したように、マップデータMR11では、領域Xにおいて、左上および右下において赤色(R)に係る画素値が存在するとともに、左下および右上において画素値が欠落している。また、マップデータMB12では、領域Xにおいて、左下および右上において青色(B)に係る画素値が存在するとともに、左上および右下において画素値が欠落している。すなわち、この例では、画像分割処理A1における画素値の配置パターンPATを、撮像部40におけるカラーフィルタ111B,111Rの市松模様状の配置に対応するように、市松模様パターンにした。これにより、画像マップデータMPBRに含まれる赤色(R)の画素値は、マップデータMR11にのみ含まれるようになり、画像マップデータMPBRに含まれる青色(B)の画素値は、マップデータMB12にのみ含まれるようになる。図30に示したように、マップデータMG11,MR11は、互いに同じ配置パターンPATを有し、マップデータMG12,MB12は、互いに同じ配置パターンPATを有する。
補間制御部56は、緑色(G)に係る画像マップデータMPGに基づいて、空間周波数検出処理B3を行うことにより、空間周波数を検出する。そして、補間制御部56は、補間方法決定処理B4を行うことにより、空間周波数検出処理B3により求めた空間周波数に基づいて、画像領域ごとに、補間処理A2の補間方法を決定する。そして、補間制御部56は、補間処理部53に対して、画像領域ごとに、補間方法を指示する。
補間処理部53は、画像分割処理部52から供給された4つのマップデータMG11,MG12,MR11,MB12のそれぞれに対して、画像領域ごとに、補間制御部56から指示された補間方法を用いて補間処理A2を行うことにより、4つのマップデータMG21,MG22,MR21,MB22を生成する。4つのマップデータMG21,MG22,MR21,MB22をそれぞれ生成する際の補間方法は、互いに同じである。
合成処理部54は、2つのマップデータMG21,MG22に基づいて、合成処理A3を行うことにより、1つのマップデータMG3を生成する。具体的には、合成処理部54は、2つのマップデータMG21,MG22における互いに対応する位置の画素値を足し合わせ、その足し合わせされた画素値を半分にすることにより、マップデータMG3におけるその位置での画素値を生成する。
画像マップデータMPG,MPBRは、本開示における「第1の画像マップデータ」および「第2の画像マップデータ」の一具体例にそれぞれ対応する。マップデータMR11,MB12は、本開示における「複数の第4のマップデータ」の一具体例に対応する。マップデータMR21,MB22は、本開示における「複数の第5のマップデータ」の一具体例に対応する。
以上のように、撮像装置3では、例えば、画像マップデータMPGに基づいて画像分割処理A1を行うことによりマップデータMG11,MG12を生成し、これらのマップデータMG11,MG12にそれぞれに対して補間処理A2を行うことによりマップデータMG21,MG22を生成し、これらのマップデータMG21,MG22に基づいて合成処理A3を行うことによりマップデータMG3を生成するようにした。これにより、撮像装置3では、上記第1の実施の形態の場合と同様に、マップデータMG3における信号雑音比(S/N比)を高めることができ、撮像画像の画質を高めることができる。
また、撮像装置3では、撮像部40におけるカラーフィルタ111B,111Rの市松模様状の配置に対応するように、画像分割処理A1における画素値の配置パターンPATを市松模様パターンにした。そして、マップデータMG11,MR11における画素値の配置パターンPATを互いに同じにするとともに、マップデータMG12,MB12における画素値の配置パターンPATを互いに同じにした。これにより、画像分割処理部52は、2つの画像マップデータMPG、MPBRに基づいて、同じ方法で画像分割処理A1を行うことができるため、画像分割処理部52の回路構成をシンプルにすることができる。また、撮像装置1の場合と同様に、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
また、撮像装置3では、補間処理A2において、マップデータMG21,MG22,MR21,MB22を生成する際の補間方法を互いに同じにした。これにより、補間処理部53は、互いに同じ補間方法を用いて4つのマップデータMG21,MG22,MR21,MB22を生成することができるため、補間処理部53の回路構成をシンプルにすることができる。また、撮像装置1の場合と同様に、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
また、撮像装置3では、緑色(G)に係る画素値が全面に配置された画像マップデータMPGに基づいて空間周波数を検出し、この検出された空間周波数に基づいて、補間処理A2における補間方法を決定するようにした。これにより、撮像装置3では、空間周波数を高い精度で検出することができるので、補間処理A2の精度を高めることができる。その結果、撮像装置3では、より高い復元効果を得ることができるので、撮像画像の画質を高めることができる。
また、撮像装置3では、上記第1の実施の形態に係る撮像装置1と同様に、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにした。これにより、撮像装置3では、例えば、暗い被写体を撮像する場合には、画像分割処理A1、補間処理A2、および合成処理A3を行うことにより、撮像画像における信号雑音比(S/N比)を高めることができ、例えば、明るい被写体を撮像する場合には、画像分割処理A1、補間処理A2、および合成処理A3を行わないようにすることにより、撮像画像における解像度を高めることができる。その結果、撮像装置3では、撮像画像の画質を高めることができる。
以上のように本実施の形態では、画像分割処理、補間処理、および合成処理を行うようにしたので、撮像画像における信号雑音比を高めることができるので、撮像画像の画質を高めることができる。
本実施の形態では、撮像部におけるカラーフィルタの市松模様状の配置に対応するように、画像分割処理における画素値の配置パターンを市松模様パターンにしたので、画像分割処理部の回路構成をシンプルにすることができるとともに、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
本実施の形態では、補間処理において、4つのマップデータを生成する際の補間方法を互いに同じにしたので、補間処理部の回路構成をシンプルにすることができるとともに、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
本実施の形態では、緑色(G)に係る画素値が全面に配置された画像マップデータMPGに基づいて空間周波数を検出し、この検出された空間周波数に基づいて、補間処理における補間方法を決定するようにしたので、空間周波数を高い精度で検出することができ、撮像画像の画質を高めることができる。
本実施の形態では、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにしたので、撮像画像の画質を高めることができる。
<3.第3の実施の形態>
次に、第3の実施の形態に係る撮像装置4について説明する。本実施の形態は、撮像部における、青色(B)および赤色(R)の光を受光可能な光電変換素子の配置密度が、上記第1の実施の形態の場合と異なるものである。なお、上記第1の実施の形態に係る撮像装置1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
次に、第3の実施の形態に係る撮像装置4について説明する。本実施の形態は、撮像部における、青色(B)および赤色(R)の光を受光可能な光電変換素子の配置密度が、上記第1の実施の形態の場合と異なるものである。なお、上記第1の実施の形態に係る撮像装置1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
図31は、本実施の形態に係る撮像装置4の一構成例を表すものである。撮像装置4は、撮像部60と、画像処理部70とを備えている。
図32は、撮像部60に係る撮像画素Pの断面構造を模式的に表すものである。図33は、4つの撮像画素Pが配置された領域Xにおける光電変換素子の配置を模式的に表すものである。半導体基板100には、4つの撮像画素Pに対応する領域Xにおいて、フォトダイオードPDR2,PDB2が形成される。フォトダイオードPDR2は、フォトダイオードPDRと同様に、赤色(R)の光を受光可能な光電変換素子であり、フォトダイオードPDB2は、フォトダイオードPDBと同様に、青色(B)の光を受光可能な光電変換素子である。フォトダイオードPDR2およびフォトダイオードPDB2は、半導体基板100において、4つの撮像画素Pに対応する領域Xにおいて、フォトダイオードPDB2が撮像面Sの側になるように積層されて形成される。すなわち、第1の実施の形態に係る撮像部10では、1つの撮像画素Pに対応する画素領域において、フォトダイオードPDB,PDRを積層して形成したが、本実施の形態に係る撮像部60では、4つの撮像画素Pに対応する領域Xにおいて、フォトダイオードPDB2,PDR2を積層して形成している。これにより、撮像部60では、4つの撮像画素Pに対応する領域Xにおいて、緑色(G)に係る4つの光電変換素子、青色(B)に係る1つの光電変換素子、赤色(R)に係る1つの光電変換素子が積層されて形成される。言い換えれば、撮像部60では、青色(B)に係る光電変換素子の配置密度は、緑色(G)に係る光電変換素子の配置密度の1/4であり、赤色(R)に係る光電変換素子の配置密度は、緑色(G)に係る光電変換素子の配置密度の1/4である。カラーフィルタ111の上には、絶縁膜112が形成される。この絶縁膜112は、例えば二酸化ケイ素(SiO2)を用いて構成される。半導体基板100の上には絶縁膜101が形成され、この絶縁膜101の上には、透明電極102、光電変換膜103G、透明電極104、およびオンチップレンズ105が、この順に形成される。
このような構成により、撮像部60は、画像信号DT31およびゲイン信号SGAINを生成する。画像信号DT31は、3つの画像マップデータMPG,MPB,MPRを含んでいる。画像マップデータMPGは、緑色(G)に係る1フレーム画像分の画素値を含み、画像マップデータMPBは、青色(B)に係る1フレーム画像分の画素値を含み、画像マップデータMPRは、赤色(R)に係る1フレーム画像分の画素値を含む。画像マップデータMPBにおける画素値の数は、画像マップデータMPGにおける画素値の数の1/4であり、画像マップデータMPRにおける画素値の数は、画像マップデータMPGにおける画素値の数の1/4である。画像マップデータMPGにおける4つの画素値は、画像マップデータMPBにおける1つの画素値に対応づけられているとともに、画像マップデータMPRにおける1つの画素値に対応づけられている。
画像処理部70(図31)は、画像分割処理部72と、補間処理部73と、合成処理部74と、信号処理部75とを有している。
画像分割処理部72は、撮像部60から切替部21を介して供給された画像信号DT31に含まれる画像マップデータMPG,MPB,MPRに基づいて、画像分割処理A1を行うことにより、6つのマップデータMG11,MG12,MB11,MB12,MR11,MB12を生成するものである。
補間処理部73は、画像分割処理部72から供給された6つのマップデータMG11,MG12,MB11,MB12,MR11,MR12のそれぞれに対して補間処理A2を行うことにより、6つのマップデータMG21,MG22,MB21,MB22,MR21,MB22を生成するものである。
合成処理部74は、補間処理部73から供給された6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22に基づいて合成処理A3を行うことにより、3つのマップデータMG3,MB3,MR3を生成するものである。そして、合成処理部74は、合成処理A3により生成したマップデータMG3,MB3,MR3を、画像信号DT32として信号処理部75に供給するようになっている。
信号処理部75は、合成処理部74から供給された画像信号DT32、または撮像部60から切替部21を介して供給された画像信号DT31に基づいて、所定の信号処理を行うものである。そして、信号処理部75は、これらの所定の信号処理の処理結果を、画像信号DT33として出力するようになっている。
図34は、画像処理部70における、画像分割処理A1、補間処理A2、および合成処理A3の一例を模式的に表すものである。
画像分割処理部72は、画像マップデータMPG,MPB,MPRに基づいて画像分割処理A1を行うことにより、6つのマップデータMG11,MG12,MB11,MB12,MR11,MR12を生成する。図34に示したように、マップデータMG11,MG12における画素値の配置パターンPATは、4つの画素値を単位とした市松模様パターン(図12A,12B)である。一方、マップデータMB11,MB12,MR11,MR12における画素値の配置パターンPATは、1つの画素値を単位とした市松模様パターン(図8A,8B)である。すなわち、撮像部60における、緑色(G)、青色(B)、および赤色(R)に係る光電変換素子の配置密度に対応して、マップデータMG11,MG12での市松模様パターンにおける単位を、マップデータMB11,MB12,MR11,MR12での市松模様パターンにおける単位の4倍にしている。
補間処理部73は、画像分割処理部22から供給された6つのマップデータMG11,MG12,MB11,MB12,MR11,MR12のそれぞれに対して補間処理A2を行うことにより、6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22を生成する。マップデータMG11,MG12に対して補間処理A2を行う場合には、補間処理部73は、図13A,13Bに示した補間方法を用いることができる。マップデータMB21,MB22,MR21,MR22をそれぞれ生成する際の補間方法は、互いに同じである。また、マップデータMG21,MG22をそれぞれ生成する際の補間方法を、マップデータMB21,MB22,MR21,MR22をそれぞれ生成する際の補間方法と同様の方法にすることができる。具体的には、例えば、これらの2つの補間方法における補間方向を同じにすることができる。
合成処理部74は、6つのマップデータMG21,MG22,MB21,MB22,MR21,MR22に基づいて、合成処理A3を行うことにより、3つのマップデータMG3,MB3,MR3を生成する。
以上のように、撮像装置4では、例えば、画像マップデータMPGに基づいて画像分割処理A1を行うことによりマップデータMG11,MG12を生成し、これらのマップデータMG11,MG12にそれぞれに対して補間処理A2を行うことによりマップデータMG21,MG22を生成し、これらのマップデータMG21,MG22に基づいて合成処理A3を行うことによりマップデータMG3を生成するようにした。画像マップデータMPB,MPRについても同様である。これにより、撮像装置4では、上記第1の実施の形態の場合と同様に、マップデータMG3,MB3,MR3における信号雑音比(S/N比)を高めることができ、撮像画像の画質を高めることができる。
また、撮像装置4では、撮像部60における、緑色(G)、青色(B)、および赤色(R)に係る光電変換素子の配置密度に対応するように、マップデータMG11,MG12における市松模様パターンにおける単位を、マップデータMB11,MB12,MR11,MR12における市松模様パターンにおける単位の4倍にした。これにより、画像分割処理部72は、3つの画像マップデータMPG、MPB,MPRに基づいて、同様の方法で画像分割処理A1を行うことができるため、画像分割処理部72の回路構成をシンプルにすることができる。また、撮像装置1の場合と同様に、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
また、撮像装置4では、補間処理A2において、マップデータMB21,MB22,MR21,MR22を生成する際の補間方法を互いに同じにした。これにより、補間処理部73は、互いに同じ補間方法を用いて4つのマップデータMB21,MB22,MR21,MR22を生成することができるため、補間処理部73の回路構成をシンプルにすることができる。また、補間処理A2において、マップデータMG21,MG22をそれぞれ生成する際の補間方法を、マップデータMB21,MB22,MR21,MR22をそれぞれ生成する際の補間方法と同様の方法にしたので、撮像装置1の場合と同様に、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
また、撮像装置4では、上記第1の実施の形態に係る撮像装置1と同様に、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにした。これにより、撮像装置4では、例えば、暗い被写体を撮像する場合には、画像分割処理A1、補間処理A2、および合成処理A3を行うことにより、撮像画像における信号雑音比(S/N比)を高めることができ、例えば、明るい被写体を撮像する場合には、画像分割処理A1、補間処理A2、および合成処理A3を行わないようにすることにより、撮像画像における解像度を高めることができる。その結果、撮像装置4では、撮像画像の画質を高めることができる。
以上のように本実施の形態では、画像分割処理、補間処理、および合成処理を行うようにしたので、撮像画像における信号雑音比を高めることができるので、撮像画像の画質を高めることができる。
本実施の形態では、撮像部における、緑色、青色、および赤色に係る光電変換素子の配置密度に対応するように、マップデータMG11,MG12における市松模様パターンにおける単位を、マップデータMB11,MB12,MR11,MR12における市松模様パターンにおける単位の4倍にしたので、画像分割処理部の回路構成をシンプルにすることができるとともに、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
本実施の形態では、補間処理において、マップデータMB21,MB22,MR21,MR22を生成する際の補間方法を互いに同じにしたので、補間処理部の回路構成をシンプルにすることができるとともに、偽色が生じるおそれを低減することができる。
本実施の形態では、補間処理において、マップデータMG21,MG22をそれぞれ生成する際の補間方法を、マップデータMB21,MB22,MR21,MR22をそれぞれ生成する際の補間方法と同様の方法にしたので、偽色が生じるおそれを低減することができ、撮像画像の画質を高めることができる。
本実施の形態では、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにしたので、撮像画像の画質を高めることができる。
[変形例3-1]
上記実施の形態では、画像処理部70は、赤色(R)に係る画像マップデータMPR、緑色(G)に係る画像マップデータMPG、および青色(B)に係る画像マップデータMPBに基づいて、画像分割処理A1、補間処理A2、および合成処理A3を行うようにしたが、これに限定されるものではない。これに代えて、例えば、第1の実施の形態の変形例に係る撮像装置1Dの場合(図25)と同様に、輝度信号に基づいて、画像分割処理A1、補間処理A2、および合成処理A3を行うようにしてもよい。以下に、本変形例について詳細に説明する。
上記実施の形態では、画像処理部70は、赤色(R)に係る画像マップデータMPR、緑色(G)に係る画像マップデータMPG、および青色(B)に係る画像マップデータMPBに基づいて、画像分割処理A1、補間処理A2、および合成処理A3を行うようにしたが、これに限定されるものではない。これに代えて、例えば、第1の実施の形態の変形例に係る撮像装置1Dの場合(図25)と同様に、輝度信号に基づいて、画像分割処理A1、補間処理A2、および合成処理A3を行うようにしてもよい。以下に、本変形例について詳細に説明する。
図35は、本変形例に係る撮像装置4Aの一構成例を表すものである。この撮像装置4Aは、画像処理部70Aを備えている。画像処理部70Aは、Y/C分離部79Aと、画像分割処理部72Aと、補間処理部73Aと、合成処理部74Aと、信号処理部75Aとを有している。
Y/C分離部79Aは、Y/C分離処理C1を行うことにより、画像信号DT31に含まれるRGB信号を、輝度(Y)信号および色(C)信号に分離し、これらの輝度信号および色信号を、画像信号DT41として出力するものである。画像信号DT41は、マップデータMY,MCr,MCbとを含んでいる。マップデータMYは、輝度(Y)に係る1フレーム画像分の画素値を含み、マップデータMCrは、R-Y色差(Cr)に係る1フレーム画像分の画素値を含み、マップデータMCbは、B-Y色差(Cb)に係る1フレーム画像分の画素値を含む。マップデータMCrにおける画素値の数は、マップデータMYにおける画素値の数の1/4である。同様に、マップデータMCbにおける画素値の数は、マップデータMYにおける画素値の数の1/4である。
画像分割処理部72Aは、Y/C分離部79Aから切替部21を介して供給された画像信号DT41に含まれるマップデータMYに基づいて、画像分割処理A1を行うことにより、2つのマップデータMY11,MY12を生成するものである。また、画像分割処理部72Aは、画像信号DT41に含まれるマップデータMCr,MCbを、そのまま出力するようになっている。
補間処理部73Aは、画像分割処理部72Aから供給された2つのマップデータMY11,MY12のそれぞれに対して補間処理A2を行うことにより、2つのマップデータMY21,MY22を生成するものである。また、補間処理部73Aは、画像分割処理部72Aから供給されたマップデータMCr,MCbを、そのまま出力するようになっている。
合成処理部74Aは、補間処理部73Aから供給された2つのマップデータMY21,MY22に基づいて合成処理A3を行うことにより、1つのマップデータMY3を生成するものである。そして、合成処理部74Aは、合成処理A3により生成したマップデータMY3、および補間処理部73Aから供給されたマップデータMCr,MCbを、画像信号DT42として信号処理部75Aに供給するようになっている。
信号処理部75Aは、合成処理部74Aから供給された画像信号DT42、またはY/C分離部79Aから切替部21を介して供給された画像信号DT41に基づいて、所定の信号処理を行うものである。そして、信号処理部75Aは、これらの所定の信号処理の処理結果を、画像信号DT43として出力するようになっている。
図36は、画像処理部70Aにおける、画像分割処理A1、補間処理A2、および合成処理A3の一例を模式的に表すものである。
Y/C分離部79Aは、Y/C分離処理C1を行うことにより、画像信号DT31に含まれるRGB信号を、輝度(Y)信号および色(C)信号に分離する。具体的には、Y/C分離部79Aは、画像マップデータMPG,MPB,MPRに基づいて、マップデータMY,MCb,MCrを生成する。Y/C分離部79Aは、3つの画像マップデータMPG,MPB,MPRにおける互いに対応する位置の画素値に基づいて、例えば以下の式を用いて、輝度(Y)に係る画素値を生成する。
VY1 = VG1×0.59 + VB/4×0.11 + VR/4×0.3
VY2 = VG2×0.59 + VB/4×0.11 + VR/4×0.3
VY3 = VG3×0.59 + VB/4×0.11 + VR/4×0.3
VY4 = VG4×0.59 + VB/4×0.11 + VR/4×0.3
この式において、“VY1”~“VY4”は輝度(Y)に係る画素値であり、“VG1”~“VG4”は緑色(G)に係る画素値であり、“VB”は青色(B)に係る画素値であり、“VR”は赤色(R)に係る画素値である。“VY1”,“VG1”は、領域Xにおける左上の画素値を示し、“VY2”,“VG2”は、領域Xにおける右上の画素値を示し、“VY3”,“VG3”は、領域Xにおける左下の画素値を示し、“VY4”,“VG4”は、領域Xにおける右下の画素値を示す。
VY1 = VG1×0.59 + VB/4×0.11 + VR/4×0.3
VY2 = VG2×0.59 + VB/4×0.11 + VR/4×0.3
VY3 = VG3×0.59 + VB/4×0.11 + VR/4×0.3
VY4 = VG4×0.59 + VB/4×0.11 + VR/4×0.3
この式において、“VY1”~“VY4”は輝度(Y)に係る画素値であり、“VG1”~“VG4”は緑色(G)に係る画素値であり、“VB”は青色(B)に係る画素値であり、“VR”は赤色(R)に係る画素値である。“VY1”,“VG1”は、領域Xにおける左上の画素値を示し、“VY2”,“VG2”は、領域Xにおける右上の画素値を示し、“VY3”,“VG3”は、領域Xにおける左下の画素値を示し、“VY4”,“VG4”は、領域Xにおける右下の画素値を示す。
画像分割処理部72Aは、このようにして生成されたマップデータMYに基づいて画像分割処理A1を行うことにより、2つのマップデータMY11,MY12を生成する。補間処理部73Aは、これらの2つのマップデータMY11,MY12のそれぞれに対して補間処理A2を行うことにより、2つのマップデータMY21,MY22を生成する。合成処理部74Aは、2つのマップデータMY21,MY22に基づいて合成処理A3を行うことにより、1つのマップデータMY3を生成する。
これにより、撮像装置4Aでは、輝度信号についての信号雑音比(S/N比)を高めることができるので、撮像画像の画質を高めることができる。また、この例では、輝度(Y)に関するマップデータMYに対してのみ、画像分割処理A1、補間処理A2、および合成処理A3を行うようにしたので、処理量を抑えることができる。その結果、撮像装置4Aでは、例えば消費電力を低減することができる。
[変形例3-2]
上記実施の形態に係る撮像装置4に、上記第1の実施の形態の各変形例を適用してもよい。具体的には、例えば、上記第1の実施の形態の変形例に係る撮像装置2(図21)と同様に、画像信号DT31に含まれる画像マップデータMPG,MPB,MPRに基づいて補間制御処理B1を行うことにより、補間処理部73における補間処理A2の補間方法を制御してもよい。
上記実施の形態に係る撮像装置4に、上記第1の実施の形態の各変形例を適用してもよい。具体的には、例えば、上記第1の実施の形態の変形例に係る撮像装置2(図21)と同様に、画像信号DT31に含まれる画像マップデータMPG,MPB,MPRに基づいて補間制御処理B1を行うことにより、補間処理部73における補間処理A2の補間方法を制御してもよい。
<4.第4の実施の形態>
次に、第4の実施の形態に係る撮像装置5について説明する。本実施の形態は、撮像部に、緑色(G)、青色(B)、および赤色(R)の光を受光可能な光電変換素子に加え、赤外(IR)の光を受光可能の光電変換素子を設けたものである。なお、上記第1の実施の形態に係る撮像装置1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
次に、第4の実施の形態に係る撮像装置5について説明する。本実施の形態は、撮像部に、緑色(G)、青色(B)、および赤色(R)の光を受光可能な光電変換素子に加え、赤外(IR)の光を受光可能の光電変換素子を設けたものである。なお、上記第1の実施の形態に係る撮像装置1と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
図37は、本実施の形態に係る撮像装置5の一構成例を表すものである。撮像装置5は、撮像部80と、画像処理部90とを備えている。
図38は、撮像部80に係る撮像画素Pの断面構造を模式的に表すものである。図39は、4つの撮像画素Pが配置された領域Xにおける光電変換素子の配置を模式的に表すものである。半導体基板100には、1つの撮像画素Pに対応する画素領域において、フォトダイオードPDが形成される。このフォトダイオードPDは、可視光に対応する様々な波長の光を受光可能なものである。半導体基板100の撮像面S側の表面には絶縁膜101が形成され、この絶縁膜101の上には、カラーフィルタ111が形成される。具体的には、絶縁膜101の上には、4つの撮像画素Pに対応する領域Xにおいて、この例では、左上に赤色(R)のカラーフィルタ111Rが形成され、左下および右上に緑色(G)のカラーフィルタ111Gが形成され、右下に青色(B)のカラーフィルタ111Bが形成される。カラーフィルタ111Rは、赤色(R)の光を透過するとともに青色(B)および緑色(G)の光を遮断するものである。カラーフィルタ111Gは、緑色(G)の光を透過するとともに赤色(R)および青色(B)の光を遮断するものである。カラーフィルタ111Bは、青色(B)の光を透過するとともに赤色(R)および緑色(G)の光を遮断するものである。カラーフィルタ111RおよびフォトダイオードPDは、赤色(R)の光を受光可能な光電変換素子を構成し、カラーフィルタ111GおよびフォトダイオードPDは、緑色(G)の光を受光可能な光電変換素子を構成し、カラーフィルタ111BおよびフォトダイオードPDは、青色(B)の光を受光可能な光電変換素子を構成する。カラーフィルタ111R,111G,111Bの配列は、いわゆるベイヤー配列である。
カラーフィルタ111の上には、絶縁膜112が形成される。そして、この絶縁膜112の上には、透明電極102、光電変換膜103IR、および透明電極104が、この順に形成される。透明電極102,104は、赤色の光、緑色の光、青色の光、および赤外光を透過可能な電極である。光電変換膜103IRは、緑色(G)の光を受光可能な光電変換膜であり、赤色の光、緑色の光、および青色の光を透過可能に構成されている。この光電変換膜103IRおよび透明電極102,104は、赤外(IR)の光を受光可能な光電変換素子を構成する。透明電極104の上には、オンチップレンズ105が形成される。
このように、撮像部80では、図39に示したように、1つの撮像画素Pに対応する画素領域において、上層に赤外(IR)に係る光電変換素子が配置され、下層に、赤色(R)、緑色(G)、または青色(B)に係る光電変換素子が配置される。赤色(R)、緑色(G)、および青色(B)に係る光電変換素子は、ベイヤー配列で配置されている。これにより、撮像部80では、各撮像画素Pのそれぞれが、赤外に係る画素信号と、赤色、緑色、または青色に係る画素信号とを生成することができるようになっている。
このような構成により、撮像部80は、画像信号DT51およびゲイン信号SGAINを生成する。画像信号DT51は、2つの画像マップデータMPIR,MPRGBを含んでいる。画像マップデータMPIRは、赤外(IR)に係る1フレーム画像分の画素値を含み、画像マップデータMPRGBは、赤色(R)、緑色(G)、および青色(B)に係る1フレーム画像分の画素値を含む。
画像処理部90(図37)は、画像分割処理部92と、補間処理部93と、合成処理部94と、信号処理部95とを有している。
画像分割処理部92は、撮像部80から切替部21を介して供給された画像信号DT51に含まれる画像マップデータMPIRに基づいて、画像分割処理A1を行うことにより、3つのマップデータMIR12,MIR11,MIR13を生成するとともに、画像信号DT51に含まれる画像マップデータMPRGBに基づいて、画像分割処理A1を行うことにより、3つのマップデータMG12,MR11,MB13を生成するものである。
補間処理部93は、画像分割処理部92から供給された6つのマップデータMIR12,MIR11,MIR13,MG12,MR11,MB13のそれぞれに対して補間処理A2を行うことにより、6つのマップデータMIR22,MIR21,MIR23,MG22,MR21,MB23を生成するものである。
合成処理部94は、補間処理部93から供給された3つのマップデータMIR22,MIR21,MIR23に基づいて合成処理A3を行うことにより、マップデータMIR3を生成するものである。そして、合成処理部94は、合成処理A3により生成したマップデータMIR3、および補間処理部93から供給されたマップデータMG22,MR21,MB23を、画像信号DT52として信号処理部95に供給するようになっている。
信号処理部95は、合成処理部94から供給された画像信号DT52、または撮像部60から切替部21を介して供給された画像信号DT51に基づいて、所定の信号処理を行うものである。そして、信号処理部95は、これらの所定の信号処理の処理結果を、画像信号DT53として出力するようになっている。
図40は、画像処理部90における、画像分割処理A1、補間処理A2、および合成処理A3の一例を模式的に表すものである。
画像分割処理部92は、画像マップデータMPIRに基づいて画像分割処理A1を行うことにより、3つのマップデータMIR12,MIR11,MIR13を生成するとともに、画像マップデータMPRGBに基づいて画像分割処理A1を行うことにより、3つのマップデータMG12,MR11,MB13を生成する。図40に示したように、マップデータMIR12,MIR11,MIR13における画素値の配置パターンPATは、ベイヤー配列に対応したパターン(図18A~18C)である。マップデータMG12,MR11,MB13における画素値の配置パターンPATについても同様である。すなわち、この例では、画像分割処理A1における画素値の配置パターンPATを、撮像部80におけるカラーフィルタ111R,111G,111Bの配置を示すベイヤー配列に対応するパターンにした。これにより、画像マップデータMPRGBに含まれる赤色(R)の画素値は、マップデータMR11にのみ含まれるようになり、画像マップデータMPRGBに含まれる緑色(G)の画素値は、マップデータMG12にのみ含まれるようになり、画像マップデータMPRGBに含まれる青色(B)の画素値は、マップデータMB13にのみ含まれるようになる。図40に示したように、マップデータMIR12,MG12は、互いに同じ配置パターンPATを有し、マップデータMIR11,MR11は、互いに同じ配置パターンPATを有し、マップデータMIR13,MB13は、互いに同じ配置パターンPATを有する。
補間処理部93は、画像分割処理部92から供給された6つのマップデータMIR12,MIR11,MIR13,MG12,MR11,MB13のそれぞれに対して補間処理A2を行うことにより、6つのマップデータMIR22,MIR21,MIR23,MG22,MR21,MB23を生成する。マップデータMIR12,MIR11,MIR13に対して補間処理A2を行う場合には、補間処理部93は、例えば図19A~19Cに示した補間方法を用いることができる。マップデータMG12,MR11,MB13に対する補間処理A2についても同様である。マップデータMIR22,MG22をそれぞれ生成する際の補間方法は互いに同じであり、マップデータMIR21,MR21をそれぞれ生成する際の補間方法は互いに同じであり、マップデータMIR23,MB23をそれぞれ生成する際の補間方法は互いに同じである。
合成処理部94は、3つのマップデータMIR22,MIR21,MIR23に基づいて合成処理A3を行うことにより、マップデータMIR3を生成する。
画像マップデータMPIR,MPRGBは、本開示における「第1の画像マップデータ」および「第2の画像マップデータ」の一具体例にそれぞれ対応する。マップデータMIR12,MIR11,MIR13は、本開示における「複数の第1のマップデータ」の一具体例に対応する。マップデータMIR22,MIR21,MIR23は、本開示における「複数の第2のマップデータ」の一具体例に対応する。マップデータMIR3は、本開示における「第3のマップデータ」の一具体例に対応する。マップデータMG12,MR11,MB13は、本開示における「複数の第4のマップデータ」の一具体例に対応する。マップデータMG22,MR21,MB23は、本開示における「複数の第5のマップデータ」の一具体例に対応する。
以上のように、撮像装置5では、例えば、画像マップデータMPIRに基づいて画像分割処理A1を行うことによりマップデータMIR12,MIR11,MIR13を生成し、これらのマップデータMIR12,MIR11,MIR13にそれぞれに対して補間処理A2を行うことによりマップデータMIR22,MIR21,MIR23を生成し、これらのマップデータMIR22,MIR21,MIR23に基づいて合成処理A3を行うことによりマップデータMIR3を生成するようにした。これにより、撮像装置5では、上記第1の実施の形態の場合と同様に、マップデータMIR3における信号雑音比(S/N比)を高めることができ、撮像画像の画質を高めることができる。
また、撮像装置5では、撮像部80におけるカラーフィルタ111R,111G,111Bの配置に対応するように、画像分割処理A1における画素値の配置パターンPATをベイヤー配列に対応するパターンにした。そして、マップデータMIR12,MG12における画素値の配置パターンPATを互いに同じにし、マップデータMIR11,MR11における画素値の配置パターンPATを互いに同じにし、マップデータMIR13,MB13における画素値の配置パターンPATを互いに同じにした。その結果、画像分割処理部92は、2つの画像マップデータMPIR、MPRGBに基づいて、同じ方法で画像分割処理A1を行うことができるため、画像分割処理部92の回路構成をシンプルにすることができる。
また、撮像装置5では、補間処理A2において、マップデータMIR22,MG22を生成する際の補間方法を互いに同じにし、マップデータMIR21,MR21を生成する際の補間方法を互いに同じにし、マップデータMIR23,MB23を生成する際の補間方法を互いに同じにしたので、補間処理部93の回路構成をシンプルにすることができる。
また、撮像装置5では、上記第1の実施の形態に係る撮像装置1と同様に、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにした。これにより、撮像装置3では、例えば、暗い被写体を撮像する場合には、画像分割処理A1、補間処理A2、および合成処理A3を行うことにより、撮像画像における信号雑音比(S/N比)を高めることができ、例えば、明るい被写体を撮像する場合には、画像分割処理A1、補間処理A2、および合成処理A3を行わないようにすることにより、撮像画像における解像度を高めることができる。その結果、撮像装置5では、撮像画像の画質を高めることができる。
以上のように本実施の形態では、画像分割処理、補間処理、および合成処理を行うようにしたので、撮像画像における信号雑音比を高めることができるので、撮像画像の画質を高めることができる。
本実施の形態では、撮像部におけるカラーフィルタの配置に対応するように、画像分割処理における画素値の配置パターンをベイヤー配列に対応するパターンにしたので、画像分割処理部の回路構成をシンプルにすることができる。
本実施の形態では、補間処理において、マップデータMIR22,MG22を生成する際の補間方法を互いに同じにし、マップデータMIR21,MR21を生成する際の補間方法を互いに同じにし、マップデータMIR23,MB23を生成する際の補間方法を互いに同じにしたので、補間処理部93の回路構成をシンプルにすることができる。
本実施の形態では、画像分割処理、補間処理、および合成処理を行うかどうかを制御できるようにしたので、撮像画像の画質を高めることができる。
[変形例4-1]
上記実施の形態に係る撮像装置5に、上記第1の実施の形態の各変形例を適用してもよい。具体的には、例えば、上記第1の実施の形態の変形例に係る撮像装置2(図21)と同様に、画像信号DT51に含まれる画像マップデータMPRGBに基づいて補間制御処理B1を行うことにより、補間処理部93における補間処理A2の補間方法を制御してもよい。
上記実施の形態に係る撮像装置5に、上記第1の実施の形態の各変形例を適用してもよい。具体的には、例えば、上記第1の実施の形態の変形例に係る撮像装置2(図21)と同様に、画像信号DT51に含まれる画像マップデータMPRGBに基づいて補間制御処理B1を行うことにより、補間処理部93における補間処理A2の補間方法を制御してもよい。
<5.撮像装置の使用例>
図41は、上記実施の形態に係る撮像装置1等の使用例を表すものである。上述した撮像装置1等は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
図41は、上記実施の形態に係る撮像装置1等の使用例を表すものである。上述した撮像装置1等は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビジョンや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、テレビジョンや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
<6.応用例>
<体内情報取得システムへの応用例>
更に、本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
<体内情報取得システムへの応用例>
更に、本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図42は、本開示に係る技術(本技術)が適用され得る、カプセル型内視鏡を用いた患者の体内情報取得システムの概略的な構成の一例を示すブロック図である。
体内情報取得システム10001は、カプセル型内視鏡10100と、外部制御装置10200とから構成される。
カプセル型内視鏡10100は、検査時に、患者によって飲み込まれる。カプセル型内視鏡10100は、撮像機能及び無線通信機能を有し、患者から自然排出されるまでの間、胃や腸等の臓器の内部を蠕動運動等によって移動しつつ、当該臓器の内部の画像(以下、体内画像ともいう)を所定の間隔で順次撮像し、その体内画像についての情報を体外の外部制御装置10200に順次無線送信する。
外部制御装置10200は、体内情報取得システム10001の動作を統括的に制御する。また、外部制御装置10200は、カプセル型内視鏡10100から送信されてくる体内画像についての情報を受信し、受信した体内画像についての情報に基づいて、表示装置(図示せず)に当該体内画像を表示するための画像データを生成する。
体内情報取得システム10001では、このようにして、カプセル型内視鏡10100が飲み込まれてから排出されるまでの間、患者の体内の様子を撮像した体内画像を随時得ることができる。
カプセル型内視鏡10100と外部制御装置10200の構成及び機能についてより詳細に説明する。
カプセル型内視鏡10100は、カプセル型の筐体10101を有し、その筐体10101内には、光源部10111、撮像部10112、画像処理部10113、無線通信部10114、給電部10115、電源部10116、及び制御部10117が収納されている。
光源部10111は、例えばLED(light emitting diode)等の光源から構成され、撮像部10112の撮像視野に対して光を照射する。
撮像部10112は、撮像素子、及び当該撮像素子の前段に設けられる複数のレンズからなる光学系から構成される。観察対象である体組織に照射された光の反射光(以下、観察光という)は、当該光学系によって集光され、当該撮像素子に入射する。撮像部10112では、撮像素子において、そこに入射した観察光が光電変換され、その観察光に対応する画像信号が生成される。撮像部10112によって生成された画像信号は、画像処理部10113に提供される。
画像処理部10113は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等のプロセッサによって構成され、撮像部10112によって生成され
た画像信号に対して各種の信号処理を行う。画像処理部10113は、信号処理を施した画像信号を、RAWデータとして無線通信部10114に提供する。
た画像信号に対して各種の信号処理を行う。画像処理部10113は、信号処理を施した画像信号を、RAWデータとして無線通信部10114に提供する。
無線通信部10114は、画像処理部10113によって信号処理が施された画像信号に対して変調処理等の所定の処理を行い、その画像信号を、アンテナ10114Aを介して外部制御装置10200に送信する。また、無線通信部10114は、外部制御装置10200から、カプセル型内視鏡10100の駆動制御に関する制御信号を、アンテナ10114Aを介して受信する。無線通信部10114は、外部制御装置10200から受信した制御信号を制御部10117に提供する。
給電部10115は、受電用のアンテナコイル、当該アンテナコイルに発生した電流から電力を再生する電力再生回路、及び昇圧回路等から構成される。給電部10115では、いわゆる非接触充電の原理を用いて電力が生成される。
電源部10116は、二次電池によって構成され、給電部10115によって生成された電力を蓄電する。図42では、図面が煩雑になることを避けるために、電源部10116からの電力の供給先を示す矢印等の図示を省略しているが、電源部10116に蓄電された電力は、光源部10111、撮像部10112、画像処理部10113、無線通信部10114、及び制御部10117に供給され、これらの駆動に用いられ得る。
制御部10117は、CPU等のプロセッサによって構成され、光源部10111、撮像部10112、画像処理部10113、無線通信部10114、及び、給電部10115の駆動を、外部制御装置10200から送信される制御信号に従って適宜制御する。
外部制御装置10200は、CPU,GPU等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイクロコンピュータ若しくは制御基板等で構成される。外部制御装置10200は、カプセル型内視鏡10100の制御部10117に対して制御信号を、アンテナ10200Aを介して送信することにより、カプセル型内視鏡10100の動作を制御する。カプセル型内視鏡10100では、例えば、外部制御装置10200からの制御信号により、光源部10111における観察対象に対する光の照射条件が変更され得る。また、外部制御装置10200からの制御信号により、撮像条件(例えば、撮像部10112におけるフレームレート、露出値等)が変更され得る。また、外部制御装置10200からの制御信号により、画像処理部10113における処理の内容や、無線通信部10114が画像信号を送信する条件(例えば、送信間隔、送信画像数等)が変更されてもよい。
また、外部制御装置10200は、カプセル型内視鏡10100から送信される画像信号に対して、各種の画像処理を施し、撮像された体内画像を表示装置に表示するための画像データを生成する。当該画像処理としては、例えば現像処理(デモザイク処理)、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、ならびに/又は拡大処理(電子ズーム処理)等、各種の信号処理を行うことができる。外部制御装置10200は、表示装置の駆動を制御して、生成した画像データに基づいて撮像された体内画像を表示させる。あるいは、外部制御装置10200は、生成した画像データを記録装置(図示せず)に記録させたり、印刷装置(図示せず)に印刷出力させてもよい。
以上、本開示に係る技術が適用され得る体内情報取得システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部10112および画像処理部10113に適用され得る。これにより、撮像画像の画質を高めることができるので、医師は、患者の体内の様子をより正確に把握することができる。
<内視鏡手術システムへの応用例>
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図43は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
図43では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
光源装置11203は、例えばLED(light emitting diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
図44は、図43に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、ならびに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部11402および画像処理部11412に適用され得る。これにより、撮像画像の画質を高めることができるので、医師は、患者の体内の様子をより正確に把握することができる。
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
<移動体への応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図45は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図45に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(interface)120
53が図示されている。
53が図示されている。
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図45の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図46は、撮像部12031の設置位置の例を示す図である。
図46では、撮像部12031として、撮像部12101,12102,12103,12104,12105を有する。
撮像部12101,12102,12103,12104,12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102,12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図46には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。これにより、撮像画像の画質を高めることができるので、車両制御システム12000は、例えば、車外環境をより正確に把握することができるので、例えば、より正確な運転支援などを行うことができる。
以上、いくつかの実施の形態および変形例、ならびにそれらの具体的な応用例を挙げて本技術を説明したが、本技術はこれらの実施の形態等には限定されず、種々の変形が可能である。
例えば、上記の各実施の形態では、撮像部10および画像処理部20を用いて撮像装置1を構成したが、これに限定されるものではない。これに代えて、例えば、撮像装置1とは別の演算装置が、画像処理部20の機能を有していてもよい。この場合、演算装置には、例えば、画像マップデータMPR,MPG,MPBおよび変換ゲインGCについての情報を含む画像データファイルが供給される。そして、この演算装置は、この画像データファイルに基づいて、画像分割処理A1、補間処理A2、および合成処理A3を行うことができる。この演算装置は、画像処理プログラムを実行するパーソナルコンピュータであってもよい。
また、上記の各実施の形態では、例えば、画像処理部20は、ゲイン信号SGAINが示す変換ゲインGCに基づいて、画像分割処理A1、補間処理A2、および合成処理A3を行うかどうかを制御したが、これに限定されるものではない。これに代えて、例えば、撮像部10が、画像分割処理A1、補間処理A2、および合成処理A3を行うかどうかを決定し、この決定結果を示すモード信号を生成してもよい。この場合には、画像処理部20は、このモード信号に応じて動作を行うことができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
Claims (18)
- 第1の色の複数の画素値を含む第1の画像マップデータに基づいて、前記第1の色の画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第1のマップデータを生成可能な画像分割処理部と、
前記複数の第1のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、前記複数の第1のマップデータに対応する複数の第2のマップデータを生成可能な補間処理部と、
前記複数の第2のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第3のマップデータを生成可能な合成処理部と
を備えた画像処理装置。 - 前記配置パターンは、市松模様パターンである
請求項1に記載の画像処理装置。 - 前記第1の画像マップデータに基づいて前記補間処理の処理方法を決定可能である補間制御部をさらに備えた
請求項1または請求項2に記載の画像処理装置。 - 前記補間制御部は、前記第1の画像マップデータに基づいて、前記補間処理における補間方向を決定することにより、前記処理方法を決定可能である
請求項3に記載の画像処理装置。 - 前記補間制御部は、前記第1の画像マップデータに基づいて空間周波数情報を求め、この空間周波数情報に基づいて前記処理方法を決定することが可能である
請求項3または請求項4に記載の画像処理装置。 - 前記補間制御部は、前記第1の画像マップデータ、第2の画像マップデータ、および第3の画像マップデータに基づいて合成マップデータを生成し、前記合成マップデータに基づいて前記補間処理の処理方法を決定可能することが可能である
請求項3から請求項5のいずれか一項に記載の画像処理装置。 - 前記画像分割処理部は、さらに、第2の色の複数の画素値を含む第2の画像マップデータに基づいて、前記第2の色の画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第4のマップデータを生成可能であり、
前記補間処理部は、前記複数の第4のマップデータのそれぞれにおいて、前記補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、前記複数の第4のマップデータに対応する複数の第5のマップデータを生成可能であり、
前記複数の第1のマップデータにおける画素値の前記配置パターンは、第1の配置パターンおよび第2の配置パターンを含み、
前記複数の第4のマップデータにおける画素値の前記配置パターンは、前記第1の配置パターンおよび前記第2の配置パターンを含む
請求項1から請求項6のいずれか一項に記載の画像処理装置。 - 前記第1の画像マップデータの前記複数の画素値は、前記第1の色の複数の画素値を含み、
前記第2の画像マップデータの前記複数の画素値は、前記第2の色の複数の画素値および第3の色の複数の画素値を含む
請求項7に記載の画像処理装置。 - 前記第1の画像マップデータの前記複数の画素値は、前記第1の色の複数の画素値を含み、
前記第2の画像マップデータの前記複数の画素値は、前記第2の色の複数の画素値、第3の色の複数の画素値、および第4の色の複数の画素値を含む
請求項7または請求項8に記載の画像処理装置。 - 前記合成処理部は、前記複数の第5のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第6のマップデータを生成可能であり、
前記画像分割処理部は、さらに、第3の色の複数の画素値を含む第3の画像マップデータに基づいて、前記第3の色の画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第7のマップデータを生成可能であり、
前記補間処理部は、前記複数の第7のマップデータのそれぞれにおいて、前記補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、前記複数の第7のマップデータに対応する複数の第8のマップデータを生成可能であり、
前記合成処理部は、前記複数の第8のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第9のマップデータを生成可能であり、
前記複数の第7のマップデータにおける画素値の前記配置パターンは、前記第1の配置パターンおよび前記第2の配置パターンを含む
請求項7に記載の画像処理装置。 - 前記第1の画像マップデータにおける前記複数の画素値の数は、前記第2の画像マップデータにおける前記複数の画素値の数と異なる
請求項10に記載の画像処理装置。 - 前記第1の画像マップデータの前記複数の画素値は、緑色の複数の画素値を含み、
前記第1の画像マップデータにおける2以上の画素値は、前記第2の画像マップデータにおける1つの画素値と対応づけられている
請求項11に記載の画像処理装置。 - 前記画像分割処理部、前記補間処理部、および前記合成処理部が処理を行うかどうかを制御可能な処理制御部をさらに備えた
請求項1から請求項12のいずれか一項に記載の画像処理装置。 - 前記第1の画像マップデータまたは前記第3のマップデータに基づいて所定の信号処理を行うことが可能な処理部をさらに備え、
前記処理制御部は、第1の動作モードにおいて、前記第1の画像マップデータに基づいて前記処理部に前記所定の信号処理を行わせ、第2の動作モードにおいて、前記第3のマップデータに基づいて前記処理部に前記所定の信号処理を行わせることが可能である
請求項13に記載の画像処理装置。 - 前記処理制御部は、パラメータに基づいて、前記画像分割処理部、前記補間処理部、および前記合成処理部が処理を行うかどうかを制御可能である
請求項14に記載の画像処理装置。 - 前記第1の画像マップデータは、撮像部から供給され、
前記パラメータは、前記撮像部におけるゲイン値であり、
前記処理制御部は、前記ゲイン値が所定のゲイン値よりも高い場合に、前記画像分割処理部、前記補間処理部、および前記合成処理部が処理を行うように制御する
請求項15に記載の画像処理装置。 - 第1の色の複数の画素値を含む第1の画像マップデータに基づいて、前記第1の色の画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第1のマップデータを生成する画像分割処理と、
前記複数の第1のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、前記複数の第1のマップデータに対応する複数の第2のマップデータを生成する補間処理と、
前記複数の第2のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第3のマップデータを生成する合成処理と
を含む画像処理方法。 - 第1の色の複数の画素値を含む第1の画像マップデータを生成する撮像部と、
前記第1の画像マップデータに基づいて、前記第1の色の画素値の配置パターンが互いに異なり、互いに異なる位置に画素値が配置された複数の第1のマップデータを生成することが可能な画像分割処理部と、
前記複数の第1のマップデータのそれぞれにおいて、補間処理を用いて、画素値が欠落した位置における画素値を求めることにより、前記複数の第1のマップデータに対応する複数の第2のマップデータを生成することが可能な補間処理部と、
前記複数の第2のマップデータにおける互いに対応する位置の画素値に基づいて、その位置での画素値を生成することにより第3のマップデータを生成することが可能な合成処理部と
を備えた撮像装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018022143 | 2018-02-09 | ||
JP2018022143 | 2018-02-09 | ||
PCT/JP2019/002984 WO2019155944A1 (ja) | 2018-02-09 | 2019-01-29 | 画像処理装置、画像処理方法、および撮像装置 |
JP2019570697A JP7225131B2 (ja) | 2018-02-09 | 2019-01-29 | 画像処理装置、画像処理方法、および撮像装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019570697A Division JP7225131B2 (ja) | 2018-02-09 | 2019-01-29 | 画像処理装置、画像処理方法、および撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023061999A true JP2023061999A (ja) | 2023-05-02 |
JP7521023B2 JP7521023B2 (ja) | 2024-07-23 |
Family
ID=
Also Published As
Publication number | Publication date |
---|---|
US20230254596A1 (en) | 2023-08-10 |
CN115460384A (zh) | 2022-12-09 |
US20210029331A1 (en) | 2021-01-28 |
CN115460387A (zh) | 2022-12-09 |
TW202310606A (zh) | 2023-03-01 |
TW201937916A (zh) | 2019-09-16 |
US11665440B2 (en) | 2023-05-30 |
CN115460385A (zh) | 2022-12-09 |
CN115460387B (zh) | 2024-04-19 |
JPWO2019155944A1 (ja) | 2021-01-28 |
TWI785193B (zh) | 2022-12-01 |
WO2019155944A1 (ja) | 2019-08-15 |
KR20200120608A (ko) | 2020-10-21 |
KR102666651B1 (ko) | 2024-05-20 |
JP7225131B2 (ja) | 2023-02-20 |
CN111543053A (zh) | 2020-08-14 |
DE112019000735T5 (de) | 2020-10-22 |
CN111543053B (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020050289A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN110431668B (zh) | 固态摄像装置和电子设备 | |
US20230254596A1 (en) | Image processor, image processing method, and imaging device | |
WO2020230675A1 (ja) | 撮像素子および電子機器 | |
US11936979B2 (en) | Imaging device | |
JP7237595B2 (ja) | 撮像素子、製造方法、および電子機器 | |
US20220345651A1 (en) | Solid-state imaging device and electronic device | |
JP2018186398A (ja) | 固体撮像装置、および電子機器 | |
US20230085852A1 (en) | Image processing apparatus, image processing method, and electronic apparatus | |
US10893224B2 (en) | Imaging element and electronic device | |
TWI847334B (zh) | 圖像處理裝置、圖像處理方法、及攝像裝置 | |
JP7034925B2 (ja) | 固体撮像装置および撮像方法 | |
US20240170519A1 (en) | Solid-state imaging device and electronic device | |
WO2022196210A1 (ja) | 撮像装置、撮像方法及び電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240502 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240611 |