JP6545829B2 - 撮像装置、及び、画像データ生成方法 - Google Patents
撮像装置、及び、画像データ生成方法 Download PDFInfo
- Publication number
- JP6545829B2 JP6545829B2 JP2017562464A JP2017562464A JP6545829B2 JP 6545829 B2 JP6545829 B2 JP 6545829B2 JP 2017562464 A JP2017562464 A JP 2017562464A JP 2017562464 A JP2017562464 A JP 2017562464A JP 6545829 B2 JP6545829 B2 JP 6545829B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- light receiving
- pixel
- optical system
- primary image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 25
- 230000003287 optical effect Effects 0.000 claims description 233
- 239000011159 matrix material Substances 0.000 claims description 118
- 238000003384 imaging method Methods 0.000 claims description 105
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 7
- 210000001747 pupil Anatomy 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 30
- 230000007246 mechanism Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B19/00—Cameras
- G03B19/02—Still-picture cameras
- G03B19/04—Roll-film cameras
- G03B19/07—Roll-film cameras having more than one objective
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14623—Optical shielding
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computing Systems (AREA)
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Cameras In General (AREA)
Description
《撮像装置の装置構成》
図1は、撮像装置のシステム構成を示すブロック図である。
図2は、撮影レンズの概略構成を示す正面図である。図3は、図2の3−3断面図である。
図4は、第1光学系の概略構成を示す断面図である。なお、同図において、破線は、第1光学系20を通る光の光線軌跡を示している。
図5は、第2光学系の概略構成を示す断面図である。なお、同図において、破線は、第2光学系30を通る光の光線軌跡を示している。
撮影レンズ10は、第1光学系20及び第2光学系30で共用される共通レンズ40を有する。第1光学系20及び第2光学系30を通過した光は、それぞれ共通レンズ40を介してイメージセンサ100に入射する。共通レンズ40は、第1光学系20及び第2光学系30を介してイメージセンサ100に入射する光の入射角度を調整する作用を有する。
第1光学系20及び第2光学系30は、各々独立して焦点調節される。第1光学系20は、光学系の全体を光軸Lに沿って前後移動させることにより、焦点調節される。同様に、第2光学系30は、光学系の全体を光軸Lに沿って前後移動させることにより、焦点調節される。図示されていないが、撮影レンズ10には、第1光学系20を光軸Lに沿って前後移動させるための機構(焦点調節機構)と、第2光学系30を光軸Lに沿って前後移動させるための機構(焦点調節機構)と、が備えられる。
図6は、イメージセンサの受光面の正面図である。
レンズ駆動制御部210は、システム制御部226からの指令に基づき、撮影レンズ10の駆動を制御する。すなわち、第1光学系20の焦点を調節するために、第1光学系20の焦点調節機構の駆動を制御し、かつ、第2光学系30の焦点を調節するために、第2光学系30の焦点調節機構の駆動を制御する。また、第1光学系20の光量を調節するために、第1光学系20の絞り22の駆動を制御し、かつ、第2光学系30の光量を調節するために、第2光学系30の絞り32の駆動を制御する。
イメージセンサ駆動制御部212は、システム制御部226からの指令に基づき、イメージセンサ100の駆動を制御する。すなわち、イメージセンサ100からの画像信号の読み出しを制御する。
アナログ信号処理部214は、イメージセンサ100から出力されるアナログの画像信号を取り込み、所定のアナログの信号処理を施す。また、アナログ信号処理部214は、所定のアナログの信号処理を施した画像信号をデジタル信号に変換して出力する。
デジタル信号処理部216は、デジタル信号に変換された画像信号を取り込み、所定の信号処理を施して、各光学系に対応した画像データを生成する。この処理については、後に詳述する。
表示部218は、たとえば、液晶モニタで構成され、撮像済みの画像や撮像中の画像(いわゆるライブビュー画像)を表示する。また、表示部218は、必要に応じてGUI(GUI: Graphical User Interface)として機能する。
ワークメモリ220は、たとえば、RAM(RAM:Random Access Memory)で構成され、ワークメモリとして機能する。
記憶部222は、たとえば、EEPROM(EEPROM:Electrically Erasable Programmable Read-Only Memory)などの不揮発性メモリで構成される。記憶部222には、制御に必要なデータ、信号処理に必要なデータ等が格納される。
メディアインターフェース224は、システム制御部226から指令に基づいて、メモリーカード等の外部メモリ230に対して、データの読み書きを行う。
システム制御部226は、撮像装置全体の動作を統括制御する。システム制御部226は、たとえば、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAMを備えたマイクロコンピュータで構成され、所定の制御プログラムを実行して、撮像装置1の全体を制御する。制御に必要なプログラム及び各種データはROMに格納される。
操作部228は、電源ボタンやシャッターボタン等の各種操作ボタン、及び、その駆動回路を備えて構成される。操作部228の操作情報は、システム制御部226に入力される。システム制御部226は、操作部228からの操作情報に基づいて、各部を制御する。
〈処理の概要〉
上記のように、イメージセンサ100には、各画素110に9個の受光センサ120a〜120iが備えられている。したがって、画素ごとに対応する受光センサの画像信号を取得することにより、1回の撮影で9個の画像データを生成できる。しかし、この9個の画像データには、混信が生じている。そこで、本実施の形態の撮像装置1では、撮影により得られた9個の画像データに混信除去処理を施して、各光学系に対応した画像データを生成する。以下、各処理について説明する。
図11は、イメージセンサの出力から9個の一次画像データを生成する概念図である。
二次画像データは、一次画像データに対して画素単位で混信除去処理を行うことにより生成される。以下、混信除去処理について説明する。
まず、混信除去処理の基本概念について説明する。ここでは、発明の理解を容易にするため、撮影レンズに備えられる光学系の数(n)が2個、イメージセンサの各画素に備えられる受光センサの数(m)が2個の場合を例に説明する。
A1 = C11*B1 + C12*B2
A2 = C21*B1 + C22*B2
を解いて算出できる。
m>nとなる場合とは、撮影レンズに備えられる光学系の数(n:nはn>1を満たす整数)よりもイメージセンサの各画素に備えられる受光センサの数(m:mは整数)の方が多い場合のことである。本実施の形態の撮像装置1は、撮影レンズ10に備えられる光学系の数(n)が2、イメージセンサ100の各画素110に備えられる受光センサの数(m)が9であるので、m>nの場合に該当する。この場合も混信除去処理の基本的な考え方は同じである。
A2 = C21*B1 + C22*B2
A3 = C31*B1 + C32*B2
A4 = C41*B1 + C42*B2
A5 = C51*B1 + C52*B2
A6 = C61*B1 + C62*B2
A7 = C71*B1 + C72*B2
A8 = C81*B1 + C82*B2
A9 = C91*B1 + C92*B2
この連立方程式を解くことにより、第1の二次画像データSI1及び第2の二次画像データSI2の各画素値B1及びB2を算出でき、第1の二次画像データSI1及び第2の二次画像データSI2を生成できる。そして、この連立方程式を解くことにより、混信の影響を除去した画像データ(第1の二次画像データSI1及び第2の二次画像データSI2)を生成できる。
上記のように、連立方程式については、行列を用いて解くことができる。
上記のように、混信の影響を除去するだけであれば、m=nであればよい。すなわち、イメージセンサの各画素には、撮影レンズに備えられる光学系の数と同じ数の受光センサが備えられていればよい。
(1)m=nの場合
まず、m=nの場合について考える。便宜上、撮影レンズに備えられる光学系の数(n)を2個とする。したがって、イメージセンサの各画素に備えられる受光センサの数(m)も2個である。一方の光学系を第1光学系、他方の光学系を第2光学系とする。また、一方の受光センサを第1受光センサ、他方の受光センサを第2受光センサとし、第1受光センサの混信比率をC1=C11:C12、第2受光センサの混信比率をC2=C21:C22とする。この場合、特定の画素位置(x,y)における一次画像データ及び二次画像データの関係は、A1 = C11*B1 + C12*B2、A2 = C21*B1 + C22*B2となる。
混信のない場合とは、各受光センサが、対応する光学系からの光のみ受光する場合である。すなわち、第1受光センサは第1光学系からの光のみを受光し、第2受光センサは第2光学系からの光のみを受光する場合である。この場合、第1受光センサの混信比率C1=C11:C12は、C11=1、C12=0となり、第2受光センサの混信比率C2は、C21=0、C22=1となる。したがって、一次画像データと二次画像データとの関係は、A1 = C11*B1、A2 = C22*B2となる。
混信がある場合、特定の画素位置(x,y)における一次画像データと二次画像データの関係は、A1 = C11*B1 + C12*B2、A2 = C21*B1 + C22*B2となる。
次に、m>nの場合について考える。便宜上、撮影レンズに備えられる光学系の数(n)を2個とし、イメージセンサの各画素に備えられる受光センサの数(m)を3個とする。一方の光学系を第1光学系、他方の光学系を第2光学系とし、3つの受光センサをそれぞれ第1受光センサ、第2受光センサ、第3受光センサとする。また、第1受光センサの混信比率をC1=C11:C12、第2受光センサの混信比率をC2=C21:C22、第3受光センサの混信比率をC3=C31:C32とする。この場合、特定の画素位置(x,y)における一次画像データ及び二次画像データの関係は、A1 = C11*B1 + C12*B2、A2 = C21*B1 + C22*B2、A3 = C31*B1 + C32*B2となる。
上述した一連の信号処理は、デジタル信号処理部216で行われる。デジタル信号処理部216は、イメージセンサ100の各画素の各受光センサから画像信号を取得して一次画像データを生成し、かつ、その一次画像データに画素単位で混信除去処理を施して、各光学系に対応した二次画像データを生成する。
本実施の形態の撮像装置では、(1)撮影指示に基づく露光(露光工程)、(2)露光に基づく一次画像データの生成(一次画像データ生成工程)、(3)一次画像データに基づく二次画像データの生成(二次画像データ生成工程)の順で記録用の画像データが生成される。
図32は、撮像装置の第2の実施の形態のシステム構成を示すブロック図である。
《イメージセンサの変形例》
イメージセンサの各画素に備える受光センサの数(m)は、撮影レンズに備えられる光学系の数(n)よりも多ければよい。すなわち、m>nを満たせばよい。
上記実施の形態では、遮光マスクの形状によって各受光センサの混信比率を調整しているが、受光センサの混信比率を調整する方法は、これに限定されるものではない。この他、たとえば、マイクロレンズの結像特性を変えることにより、混信比率を調整することもできる。たとえば、マイクロレンズのレンズパワー、倍率、結像位置などを変えることにより、混信比率を変えることができる。この場合、遮光マスクは不要となる。
上記実施の形態では、撮影レンズに2個の光学系を備えているが、撮影レンズに備える光学系の数(n)は、これに限定されるものではない。撮影レンズには、互いに撮像特性の異なる2以上の光学系が備えられていればよい。
上記のように、混信除去処理は、画素ごとに行われ、行列を利用する場合は、画素ごとに逆行列C-1の情報を読み出して、混信除去処理を実施する。したがって、逆行列C-1の情報は、画素ごとに逆行列情報記憶部222Aに記憶される。一方、各画素に備えられる受光センサの混信比率が、画素間で近似している場合は、代表となる逆行列を定めて、混信除去処理を実施してもよい。すなわち、各画素において共通の逆行列を使用して、混信除去処理を実施してもよい。これにより、演算負荷を低減できる。また、画面を複数の領域に分割し、領域ごとに共通の逆行列を定めてもよい。
撮影レンズに備えられる光学系の数をnとし、イメージセンサの各画素に備えられる受光センサの数をm(m>n)とすると、一次画像データはm個生成され、二次画像データはn個生成される。この場合、各一次画像データの画素値をA1、A2、…、Am、二次画像データの画素値をB1、B2、…、Bn、混信比率をC1=C11:C12:…:C1n、C2=C21:C22:…:C2n、…、Cm=Cm1:Cm2:…:Cmnとすると、デジタル信号処理部216は、混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Am=Cm1*B1+Cm2*B2+…+Cmn*Bnを解いて、二次画像データを生成する。
一次画像データは、2つの画像データW及びTを合成して擬似的に生成した。合成する画像の数が、撮影レンズに備えられる光学系の数(n)に相当する。2つの画像データW及びTを合成しているので、n=2となる。
m=2として、2つの一次画像データ(第1の一次画像データ及び第2の一次画像データ)を生成し、生成した2つの一次画像データに混信除去処理を施して、2つの二次画像データ(第1の二次画像データ及び第2の二次画像データ)を生成した。
m=9として、9つの一次画像データ(第1の一次画像データ、第2の一次画像データ、第3の一次画像データ、第4の一次画像データ、第5の一次画像データ、第6の一次画像データ、第7の一次画像データ、第8の一次画像データ、及び、第9の一次画像データ)を生成し、生成した9つの一次画像データに混信除去処理を施して、2つの二次画像データ(第1の二次画像データ及び第2の二次画像データ)を生成した。
図33〜図36に示すように、m>nとすることにより、ノイズを低減できることが確認できた。
10 撮影レンズ
20 第1光学系
22 絞り
30 第2光学系
30a 第1レンズ
30b 第2レンズ
30c 第3レンズ
30d 主鏡
30e 副鏡
32 絞り
40 共通レンズ
100 イメージセンサ
110 画素
120a 第1受光センサ
120b 第2受光センサ
120c 第3受光センサ
120d 第4受光センサ
120e 第5受光センサ
120f 第6受光センサ
120g 第7受光センサ
120h 第8受光センサ
120i 第9受光センサ
130 光電変換素子
132 マイクロレンズ
134 遮光マスク
134A 開口部
210 レンズ駆動制御部
212 イメージセンサ駆動制御部
214 アナログ信号処理部
216 デジタル信号処理部
216A 一次画像データ生成部
216B 二次画像データ生成部
218 表示部
220 ワークメモリ
222 記憶部
222A 逆行列情報記憶部
224 メディアインターフェース
226 システム制御部
228 操作部
230 外部メモリ
232 撮影シーン情報取得部
FI1 第1の一次画像データ
FI2 第2の一次画像データ
FI3 第3の一次画像データ
FI4 第4の一次画像データ
FI5 第5の一次画像データ
FI6 第6の一次画像データ
FI7 第7の一次画像データ
FI8 第8の一次画像データ
FI9 第9の一次画像データ
SI1 第1の二次画像データ
SI2 第2の二次画像データ
L 光軸
L1 領域
L2 領域
SΒ 領域
Sα 領域
Claims (16)
- nがn>1を満たす整数とした場合に、撮像特性の異なるn個の光学系を備えた撮影レンズと、
mがm>nを満たす整数とした場合に、混信比率の異なるm個の受光センサを各画素に備えたイメージセンサと、
前記イメージセンサの各画素の前記各受光センサから画像信号を取得し、m個の一次画像データを生成する一次画像データ生成部と、
m個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したn個の二次画像データを生成する二次画像データ生成部と、
を備えた撮像装置。 - 前記一次画像データの画素値をA1、A2、…、Am、前記二次画像データの画素値をB1、B2、…、Bn、前記混信比率をC1=C11:C12:…:C1n、C2=C21:C22:…:C2n、…、Cm=Cm1:Cm2:…:Cmnとした場合に、前記二次画像データ生成部は、前記混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Am=Cm1*B1+Cm2*B2+…+Cmn*Bnを解いて、前記二次画像データを生成する、
請求項1に記載の撮像装置。 - 前記一次画像データの画素値A1、A2、…、Amを要素とするm行1列の行列をA、前記二次画像データの画素値B1、B2、…、Bnを要素とするn行1列の行列をB、前記混信比率C1=C11:C12:…:C1n、C2=C21:C22:…:C2n、…、Cm=Cm1:Cm2:…:Cmn を要素とするm行n列の行列をCとし、Cの逆行列をC-1とした場合に、前記二次画像データ生成部は、前記混信除去処理として、次の行列方程式B=C-1*Aを解いて、前記二次画像データを生成する、
請求項1に記載の撮像装置。 - 前記逆行列C-1の情報を記憶した逆行列情報記憶部を更に備え、
前記二次画像データ生成部は、前記逆行列情報記憶部に記憶された前記逆行列C-1の情報を利用して、前記行列方程式を解く、
請求項3に記載の撮像装置。 - 前記逆行列情報記憶部は、前記画素ごとの前記逆行列C-1の情報を記憶する、
請求項4に記載の撮像装置。 - 撮影シーンの情報を取得する撮影シーン情報取得部を更に備え、
前記二次画像データ生成部は、前記撮影シーンに応じて、前記二次画像データの生成に使用する前記一次画像データの数を変更する、
請求項1から5のいずれか1項に記載の撮像装置。 - 前記撮影シーン情報取得部は、前記一次画像データを解析して、前記撮影シーンを特定する、
請求項6に記載の撮像装置。 - 前記受光センサは、
光電変換素子と、
前記撮影レンズの射出瞳の像を前記光電変換素子に結像させるマイクロレンズと、
前記マイクロレンズと前記受光センサとの間に配置される遮光マスクと、
を備え、前記遮光マスクの形状、及び/又は、前記マイクロレンズの結像特性が異なることにより、混信比率が異なる、
請求項1から7のいずれか1項に記載の撮像装置。 - 前記受光センサは、
光電変換素子と、
前記撮影レンズの射出瞳の像を前記光電変換素子に結像させるマイクロレンズと、
を備え、前記マイクロレンズの結像特性が異なることにより、混信比率が異なる、
請求項1から7のいずれか1項に記載の撮像装置。 - 前記撮影レンズに備えられるn個の前記光学系は、焦点距離が異なる、
請求項1から9のいずれか1項に記載の撮像装置。 - 前記撮影レンズに備えられるn個の前記光学系は、合焦距離が異なる、
請求項1から9のいずれか1項に記載の撮像装置。 - 前記撮影レンズに備えられるn個の前記光学系は、透過波長特性の異なる、
請求項1から9のいずれか1項に記載の撮像装置。 - 前記撮影レンズに備えられるn個の前記光学系は、同心状に配置される、
請求項10から12のいずれか1項に記載の撮像装置。 - nがn>1を満たす整数とした場合に、撮像特性の異なるn個の光学系を備えた撮影レンズと、mがm>nを満たす整数とした場合に、混信比率の異なるm個の受光センサを各画素に備えたイメージセンサと、を備えた撮像装置を用いる画像データ生成方法であって、
前記イメージセンサを露光する工程と、
前記イメージセンサの各画素の前記各受光センサから画像信号を取得し、m個の一次画像データを生成する工程と、
m個の前記一次画像データに画素単位で混信除去処理を施して、前記各光学系に対応したn個の二次画像データを生成する工程と、
を備えた画像データ生成方法。 - 前記一次画像データの画素値をA1、A2、…、Am、前記二次画像データの画素値をB1、B2、…、Bn、前記混信比率をC1=C11:C12:…:C1n、C2=C21:C22:…:C2n、…、Cm=Cm1:Cm2:…:Cmnとした場合に、前記混信除去処理として、次の連立方程式A1=C11*B1+C12*B2+…+C1n*Bn、A2=C21*B1+C22*B2+…+C2n*Bn、…、Am=Cm1*B1+Cm2*B2+…+Cmn*Bnを解いて、前記二次画像データを生成する、
請求項14に記載の画像データ生成方法。 - 前記一次画像データの画素値A1、A2、…、Amを要素とするm行1列の行列をA、前記二次画像データの画素値B1、B2、…、Bnを要素とするn行1列の行列をB、前記混信比率C1=C11:C12:…:C1n、C2=C21:C22:…:C2n、…、Cm=Cm1:Cm2:…:Cmn を要素とするm行n列の行列をCとし、Cの逆行列をC-1とした場合に、前記混信除去処理として、次の行列方程式B=C-1*Aを解いて、前記二次画像データを生成する、
請求項14に記載の画像データ生成方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016007049 | 2016-01-18 | ||
JP2016007049 | 2016-01-18 | ||
PCT/JP2016/086289 WO2017126242A1 (ja) | 2016-01-18 | 2016-12-07 | 撮像装置、及び、画像データ生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017126242A1 JPWO2017126242A1 (ja) | 2018-10-25 |
JP6545829B2 true JP6545829B2 (ja) | 2019-07-17 |
Family
ID=59362631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017562464A Active JP6545829B2 (ja) | 2016-01-18 | 2016-12-07 | 撮像装置、及び、画像データ生成方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10691002B2 (ja) |
EP (1) | EP3407592B1 (ja) |
JP (1) | JP6545829B2 (ja) |
CN (1) | CN108432233B (ja) |
WO (1) | WO2017126242A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7169363B2 (ja) * | 2018-10-03 | 2022-11-10 | 富士フイルム株式会社 | 撮像装置 |
CN113038043B (zh) * | 2021-03-25 | 2021-12-03 | 无锡物联网创新中心有限公司 | 一种传感器阵列电串扰消除方法 |
CN114650373A (zh) * | 2022-03-21 | 2022-06-21 | 维沃移动通信有限公司 | 成像方法及装置、图像传感器、成像设备和电子设备 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4688766B2 (ja) * | 2006-09-21 | 2011-05-25 | パナソニック株式会社 | 固体撮像装置、その駆動方法およびカメラ |
JP5269425B2 (ja) * | 2008-01-29 | 2013-08-21 | 株式会社東芝 | 固体撮像素子および固体撮像装置 |
JP4706882B2 (ja) * | 2009-02-05 | 2011-06-22 | ソニー株式会社 | 撮像装置 |
EP2624540B1 (en) * | 2010-10-01 | 2016-11-09 | FUJIFILM Corporation | Imaging device |
WO2013018471A1 (ja) | 2011-07-29 | 2013-02-07 | 富士フイルム株式会社 | 撮像装置 |
WO2013024636A1 (ja) * | 2011-08-16 | 2013-02-21 | 富士フイルム株式会社 | 撮像装置 |
EP3267677B1 (en) * | 2011-08-24 | 2019-08-28 | Fujifilm Corporation | Imaging device |
JP5623356B2 (ja) * | 2011-08-29 | 2014-11-12 | キヤノン株式会社 | 撮像装置 |
JP2013081087A (ja) * | 2011-10-04 | 2013-05-02 | Sony Corp | 撮像装置 |
WO2013146506A1 (ja) | 2012-03-27 | 2013-10-03 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
JPWO2013161944A1 (ja) * | 2012-04-25 | 2015-12-24 | 株式会社ニコン | 焦点検出装置、焦点調節装置およびカメラ |
CN102636473A (zh) * | 2012-04-27 | 2012-08-15 | 四川大学 | 激发光偏离共线型光学***检测装置及其检测方法 |
EP2881775B1 (en) * | 2012-08-06 | 2018-03-07 | FUJIFILM Corporation | Imaging device |
JP6156724B2 (ja) | 2013-03-14 | 2017-07-05 | 株式会社リコー | ステレオカメラ |
JP5886793B2 (ja) * | 2013-06-11 | 2016-03-16 | 浜松ホトニクス株式会社 | 固体撮像装置 |
WO2015004886A1 (ja) * | 2013-07-12 | 2015-01-15 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP6077967B2 (ja) * | 2013-08-27 | 2017-02-08 | 富士フイルム株式会社 | 撮像装置 |
JP6151632B2 (ja) * | 2013-12-20 | 2017-06-21 | 富士フイルム株式会社 | 撮像モジュール及び撮像装置 |
WO2015182488A1 (ja) * | 2014-05-26 | 2015-12-03 | コニカミノルタ株式会社 | 複眼撮像光学系及び複眼撮像装置 |
US9438778B2 (en) * | 2014-08-08 | 2016-09-06 | Industrial Technology Research Institute | Image pickup device and light field image pickup lens |
KR102219784B1 (ko) * | 2014-12-15 | 2021-02-24 | 에스케이하이닉스 주식회사 | 컬러 필터 어레이 및 이를 구비한 이미지 센서 |
JP2016127389A (ja) * | 2014-12-26 | 2016-07-11 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
TWI552603B (zh) * | 2015-05-19 | 2016-10-01 | 晶相光電股份有限公司 | 影像校正系統以及方法 |
-
2016
- 2016-12-07 EP EP16886481.7A patent/EP3407592B1/en active Active
- 2016-12-07 CN CN201680076743.4A patent/CN108432233B/zh active Active
- 2016-12-07 JP JP2017562464A patent/JP6545829B2/ja active Active
- 2016-12-07 WO PCT/JP2016/086289 patent/WO2017126242A1/ja active Application Filing
-
2018
- 2018-06-21 US US16/013,942 patent/US10691002B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20180299754A1 (en) | 2018-10-18 |
EP3407592A1 (en) | 2018-11-28 |
CN108432233A (zh) | 2018-08-21 |
WO2017126242A1 (ja) | 2017-07-27 |
EP3407592B1 (en) | 2020-01-29 |
CN108432233B (zh) | 2020-08-18 |
EP3407592A4 (en) | 2018-12-12 |
JPWO2017126242A1 (ja) | 2018-10-25 |
US10691002B2 (en) | 2020-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9681057B2 (en) | Exposure timing manipulation in a multi-lens camera | |
JP5572765B2 (ja) | 固体撮像素子、撮像装置、及び合焦制御方法 | |
JP5825817B2 (ja) | 固体撮像素子及び撮像装置 | |
CN204697179U (zh) | 具有像素阵列的图像传感器 | |
CN102369721B (zh) | 具有合成全色图像的彩色滤光器阵列(cfa)图像 | |
JP5507764B2 (ja) | 撮像装置 | |
US20170034456A1 (en) | Sensor assembly with selective infrared filter array | |
WO2015045829A1 (ja) | 撮像装置及び撮像方法 | |
WO2014050699A1 (ja) | 画像処理装置及び方法並びに撮像装置 | |
JP2008035282A (ja) | 撮像装置と該撮像装置を備えた携帯機器 | |
CN107431755B (zh) | 图像处理设备、摄像设备、图像处理方法和存储介质 | |
US20180270409A1 (en) | Image pickup apparatus and image pickup system | |
JP7352359B2 (ja) | 撮像素子および撮像装置 | |
JP6545829B2 (ja) | 撮像装置、及び、画像データ生成方法 | |
WO2013027507A1 (ja) | 撮像装置 | |
US10594964B2 (en) | Imaging device and image data generation method | |
WO2019202984A1 (ja) | 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体 | |
JP6929511B2 (ja) | 撮像素子、及び、撮像装置 | |
JP2011227388A (ja) | 撮像装置 | |
JP6391306B2 (ja) | 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体 | |
WO2018181611A1 (ja) | 電子機器 | |
WO2018181614A1 (ja) | 電子機器 | |
WO2018181613A1 (ja) | 電子機器 | |
WO2018181610A1 (ja) | 電子機器 | |
JP2018056945A (ja) | 撮像装置および撮像素子 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180706 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190619 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6545829 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |