JP2009253447A - 近赤外光/可視光共用の固体撮像素子及び固体撮像装置 - Google Patents
近赤外光/可視光共用の固体撮像素子及び固体撮像装置 Download PDFInfo
- Publication number
- JP2009253447A JP2009253447A JP2008096325A JP2008096325A JP2009253447A JP 2009253447 A JP2009253447 A JP 2009253447A JP 2008096325 A JP2008096325 A JP 2008096325A JP 2008096325 A JP2008096325 A JP 2008096325A JP 2009253447 A JP2009253447 A JP 2009253447A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- transmits
- color filter
- green light
- solid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Optical Filters (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
【課題】特別な機構を必要とせず、昼・夜共に高解像度の画像撮影ができるような固体撮像装置を実現する。
【解決手段】可視光及び近赤外光に感度を有する固体撮像素子(イメージセンサ)において、赤及び緑の両方の光の波長を透過する画素(R+G画素)401と、青及び緑の両方の光の波長を透過する画素(B+G画素)404と、近赤外光及び緑の両方の光の波長を透過する画素(IR+G画素)402と、近赤外光のみの光の波長を透過する画素(IR画素)403とを配置し、昼時にはR+G,B+G画素から、夜時にはR+G,B+G,IR+G,IR画素からそれぞれ輝度生成を行い、昼時の色情報はIR+G画素からIR画素を減算することでG画素値を、R+G画素,B+G画素からそれぞれG画素を減算することでR,B画素値を求めることにより得る。
【選択図】図4
【解決手段】可視光及び近赤外光に感度を有する固体撮像素子(イメージセンサ)において、赤及び緑の両方の光の波長を透過する画素(R+G画素)401と、青及び緑の両方の光の波長を透過する画素(B+G画素)404と、近赤外光及び緑の両方の光の波長を透過する画素(IR+G画素)402と、近赤外光のみの光の波長を透過する画素(IR画素)403とを配置し、昼時にはR+G,B+G画素から、夜時にはR+G,B+G,IR+G,IR画素からそれぞれ輝度生成を行い、昼時の色情報はIR+G画素からIR画素を減算することでG画素値を、R+G画素,B+G画素からそれぞれG画素を減算することでR,B画素値を求めることにより得る。
【選択図】図4
Description
本発明は、近赤外光/可視光共用の固体撮像素子(イメージセンサ)、及びこれを用いた固体撮像装置(カメラ)に関するものである。
車載カメラや監視カメラなどでは、撮影条件が夜など太陽光や照明が無い場所でも撮影できることが求められてきている。通常、夜時の撮影では近赤外光LEDなどの照明で照らした光を近赤外光に反応するイメージセンサで撮影するが、近赤外光に反応するイメージセンサでは昼時にも近赤外光に反応するため良好な色再現を実現することができない。
そこで、従来、1つのイメージセンサで昼・夜時両方を撮影するために、図2に示すような構成が用いられている(特許文献1参照)。イメージセンサ202は可視光・近赤外光の両方に反応するセンサで、近赤外光の波長の光を透過させないような近赤外光カットフィルタ201を、昼時にはイメージセンサ202の前に配置してイメージセンサ202内には可視光のみ入射させることにより良好な色再現処理ができるようにして、夜時には近赤外光カットフィルタ201を機械的に取り除くことにより近赤外照明で照らされた近赤外光がイメージセンサ202に入射できるようにすることにより夜時にも撮影ができるようにしている。
また、従来、図3に示すとおり、イメージセンサ上に赤(画素301)、青(画素302)、緑(画素303)、近赤外光(画素304)の波長の光を通すカラーフィルタが配置された画素を配置することにより、昼時には赤、青、緑の画素から画像情報を計算し、夜時には近赤外光の画素から画像情報を計算することにより1つのイメージセンサで昼・夜兼用の撮影を可能にしている(特許文献2参照)。
特開2000−59798号公報
特開平10−65135号公報
特許文献1の従来例では、近赤外光カットフィルタを機械的に開閉させるような機構が必要であり、その分コスト増につながるという課題がある。また、車載カメラなど高信頼性が求められるような装置では、近赤外光カットフィルタ開閉装置の分だけ信頼性が低下するという課題もある。
特許文献2の従来例では、近赤外光に対する画素が全体の1/4しか配置されていないため、夜など可視光がほとんどない環境での撮影時には解像度が1/4に低下してしまうという課題がある。
本発明は、昼など可視光が存在する環境及び夜など可視光が存在しない環境共に高解像度の撮影が1つのセンサで特別な機械機構を必要とせずに可能とすることを目的とする。
本発明による固体撮像装置では、固体撮像素子に赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素(以降R+G画素と呼ぶ)と、青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素(以降B+G画素と呼ぶ)と、近赤外光及び緑の両方の光の波長を透過するカラーフィルタを配置した画素(以降IR+G画素と呼ぶ)と、近赤外光のみの光の波長を透過するカラーフィルタを配置した画素(以降IR画素と呼ぶ)との4種類のカラーフィルタ付き画素が配置されたものを使用する。
信号処理部では、昼時の輝度又は明るさ情報を抽出する場合には、B+G画素とR+G画素から算出し、夜時には4種類全ての画素から算出する。また、昼時にもIR+G画素及びIR画素も含めた画素値の差分処理などによりエッジ抽出などを行い、算出した輝度又は明るさ情報に対するエッジ強調などの補正に利用することができる。昼時の色情報については、IR+G画素から同じ重心位置に補間されたIR画素を減算することで緑のみの画素値(以降G画素と呼ぶ)を算出し、R+G画素及びB+G画素から同じ重心位置に補間されたそれぞれのG画素を減算することにより赤のみ及び青のみの画素値(以降それぞれR画素、B画素と呼ぶ)を算出する。それぞれ算出した緑、赤、青画素値から色情報を算出する。
本発明の固体撮像装置からは、昼時には上記で算出した輝度又は明るさ情報と色情報からカラー画像を出力し、夜時には色情報を算出することができないのでモノクロ画像を出力させる。
本発明によれば、昼時のように可視光がある場合も夜時のように可視光が無い場合にも、1つのセンサにて特許文献1のような特別な機械機構を必要とせず撮影が可能である。また、このような画素配列を持ったセンサでは、特許文献2に示されたセンサに対して、近赤外光画素が2倍含まれているので夜時にも高解像度の画像撮影が可能である。
以下、本発明に係る固体撮像素子及び固体撮像装置の実施の形態を、図面に基づいて詳細に説明する。
図1は、本発明における固体撮像装置100のブロック図を示している。図1において、固体撮像素子(イメージセンサ)102の前に光学レンズ101を配置して、撮像されたアナログデータをADC部103でデジタル化する。ここで固体撮像素子(イメージセンサ)102の画素配列については後述する。デジタル化された画像信号は信号処理部104へ入力され、外部DRAM(又は同機能のメモリ)106を使いながら輝度(又は明るさ)と色情報に分解される。信号処理方法の詳細については後述する。輝度情報と色情報信号は画像フォーマット変換部105で外部の出力装置(例えば、カメラ付随の液晶モニタ108や静止画記録するためのメモリカード107など)に出力するためのフォーマット(例えば、JPEGやMPEG)に変換される。
図4は、本発明における固体撮像素子(イメージセンサ)102の画素配列の例を示している。図4において、R+G画素(401)の右隣にIR画素(403)、下隣にIR+G画素(402)及び右下にB+G画素(404)が配置されており、この4画素配置が水平垂直に繰り返しマトリックス上に配置されている。また、各4種類の画素の配置が入れ替わった場合、及び4種類の画素がセンサ上の任意の場所に配置されたようなイメージセンサであっても同様な効果を出すことができる。
図5は信号処理部104にて使用する画素配列及び重心位置を示し、図6は信号処理部104にて使用するフィルタ係数の例を示す。
まず、重心位置505でのB+G,R+G,IR+G,IR画素の値を図6に示すフィルタで補間処理を施すことにより求めると、
(B+G)’={9×(B+G)(n+1,n+1)+3×(B+G)(n+3,n+1)+3×(B+G)(n+1,n+3)+(B+G)(n+3,n+3)}/16
(R+G)’={9×(R+G)(n+2,n+2)+3×(R+G)(n+2,n)+3×(R+G)(n,n+2)+(R+G)(n,n)}/16
(IR+G)’={9×(IR+G)(n+2,n+1)+3×(IR+G)(n,n+1)+3×(IR+G)(n+2,n+3)+(IR+G)(n,n+3)}/16
(IR)’={9×(IR)(n+1,n+2)+3×(IR)(n+3,n+2)+3×(IR)(n+1,n)+(IR)(n+3,n)}/16
のようになる。ここに、(n,n)は、x=n,y=nという座標位置を示す。
(B+G)’={9×(B+G)(n+1,n+1)+3×(B+G)(n+3,n+1)+3×(B+G)(n+1,n+3)+(B+G)(n+3,n+3)}/16
(R+G)’={9×(R+G)(n+2,n+2)+3×(R+G)(n+2,n)+3×(R+G)(n,n+2)+(R+G)(n,n)}/16
(IR+G)’={9×(IR+G)(n+2,n+1)+3×(IR+G)(n,n+1)+3×(IR+G)(n+2,n+3)+(IR+G)(n,n+3)}/16
(IR)’={9×(IR)(n+1,n+2)+3×(IR)(n+3,n+2)+3×(IR)(n+1,n)+(IR)(n+3,n)}/16
のようになる。ここに、(n,n)は、x=n,y=nという座標位置を示す。
以上から、昼時には重心位置505における輝度情報は、上式で求めた(B+G)’と(R+G)’値から、
昼時の輝度Yday=(R+G)’+(B+G)’
で求めることができる。
昼時の輝度Yday=(R+G)’+(B+G)’
で求めることができる。
また、夜時には(R+G)’,(B+G)’,(IR+G)’,(IR)’から、
夜時の輝度Ynight=(R+G)’+(B+G)’+(IR+G)’+(IR)’
で輝度情報を求めることができる。
夜時の輝度Ynight=(R+G)’+(B+G)’+(IR+G)’+(IR)’
で輝度情報を求めることができる。
次に、重心位置505における色情報(R,G,Bの画素値)は、(B+G)’,(R+G)’,(IR+G)’,(IR)’から、
G’=(IR+G)’−(IR)’
R’=(R+G)’−(IR+G)’+(IR)’=(R+G)’−G’
B’=(B+G)’−(IR+G)’+(IR)’=(B+G)’−G’
で求めることができる。
G’=(IR+G)’−(IR)’
R’=(R+G)’−(IR+G)’+(IR)’=(R+G)’−G’
B’=(B+G)’−(IR+G)’+(IR)’=(B+G)’−G’
で求めることができる。
上記R’,B’,G’値を用いて色情報信号(例えば色差R−G,B−G)を算出する。なお、画素補間フィルタの係数は図6のとおりである必要はなく、係数及びフィルタ水平・垂直サイズを変更しても同様の処理を行うことにより輝度及び色情報を得ることができる。
上記処理を水平、垂直方向に繰り返し行うことにより、全ての画素重心位置での輝度及び色情報を得ることができる。
最後に、図7を用いて、本発明における昼時の水平方向エッジ強調処理の例を示す。上述した方法にて昼時の輝度情報を算出した重心位置702の輝度値(Y2)と、重心位置701,702,703での輝度情報を夜時の処理と同様にR+G,B+G,IR+G,IR画素から算出した輝度値(Y1’,Y2’,Y3’)からエッジ抽出フィルタを用いてエッジ成分を抽出した信号とを下式のように加算することにより、エッジ強調を行った輝度値Ynewを、
Ynew=Y2+(Y1’−2×Y2’+Y3’)
のようにして求めることができる。ここに、
Y2=重心702での(R+G)’+重心702での(B+G)’
Y1’=重心701での(R+G)’+重心701での(B+G)’+重心701での(IR+G)’+重心701での(IR)’
Y2’=重心702での(R+G)’+重心702での(B+G)’+重心702での(IR+G)’+重心702での(IR)’
Y3’=重心703での(R+G)’+重心703での(B+G)’+重心703での(IR+G)’+重心703での(IR)’
とする。
Ynew=Y2+(Y1’−2×Y2’+Y3’)
のようにして求めることができる。ここに、
Y2=重心702での(R+G)’+重心702での(B+G)’
Y1’=重心701での(R+G)’+重心701での(B+G)’+重心701での(IR+G)’+重心701での(IR)’
Y2’=重心702での(R+G)’+重心702での(B+G)’+重心702での(IR+G)’+重心702での(IR)’
Y3’=重心703での(R+G)’+重心703での(B+G)’+重心703での(IR+G)’+重心703での(IR)’
とする。
なお、垂直方向のエッジ強調についても同様に処理を施すことによりエッジ強調を行った輝度情報を得ることができる。このように輝度情報算出時にはIR,IR+G画素を使用せず、エッジ強調処理にIRを含む画素(IR画素,IR+G画素)から求めた輝度情報を使用することにより、より解像度が高い処理画像を得ることが可能である。
本発明に係る固体撮像装置は、特に車載カメラや監視カメラなどのように昼・夜問わず撮影が必要であるような固体撮像装置の低コスト化に大きな効果がある。また、車載カメラなどのように高信頼性が求められるような固体撮像装置では、本発明によりカメラ構成が簡単になるため信頼性が向上するという非常に大きな効果がある。
100 固体撮像装置
101 光学レンズ
102 固体撮像素子(イメージセンサ)
103 ADC部
104 信号処理部
105 画像フォーマット変換部
106 DRAM
107 メモリカード
108 液晶モニタ
101 光学レンズ
102 固体撮像素子(イメージセンサ)
103 ADC部
104 信号処理部
105 画像フォーマット変換部
106 DRAM
107 メモリカード
108 液晶モニタ
Claims (7)
- 可視光及び近赤外光に感度を有する固体撮像素子であって、
赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、
青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、
近赤外光及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、
近赤外光のみの光の波長を透過するカラーフィルタを配置した画素とが配置されていることを特徴とする固体撮像素子。 - 水平2画素、垂直2画素毎に赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、近赤外光及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、近赤外光のみの光の波長を透過するカラーフィルタを配置した画素とがマトリックス上に配置されていることを特徴とする請求項1に記載の固体撮像素子。
- 可視光及び近赤外光に感度を有する固体撮像素子を備えた固体撮像装置であって、
前記固体撮像素子は、
赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、
青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、
近赤外光及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、
近赤外光のみの光の波長を透過するカラーフィルタを配置した画素とが配置されていることを特徴とする固体撮像装置。 - アナログ信号からデジタル信号に変換するADC部と、
輝度情報と色情報を作るための信号処理部と、
出力装置に適したフォーマットに変換するためのフォーマット変換部とを更に備えたことを特徴とする請求項3に記載の固体撮像装置。 - 前記信号処理部において、昼撮影時には赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素から輝度情報を作成し、夜撮影時には赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、近赤外光及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、近赤外光のみの光の波長を透過するカラーフィルタを配置した画素から輝度情報を作成することを特徴とする請求項4に記載の固体撮像装置。
- 前記信号処理部において、昼撮影時に赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素とから算出した輝度値と、赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、近赤外光及び緑の両方の光の波長を透過するカラーフィルタを配置した画素と、近赤外光のみの光の波長を透過するカラーフィルタを配置した画素から算出した輝度値からエッジ抽出した輝度値とを加算することによりエッジ強調処理を行うことを特徴とする請求項4に記載の固体撮像装置。
- 前記信号処理部において、昼撮影時には、近赤外光及び緑の両方の光の波長を透過するカラーフィルタを配置した画素の値から、その画素位置周辺の近赤外光のみの光の波長を透過するカラーフィルタを配置した画素から上記画素位置に対する補間処理を施した値を減算することにより緑のみの画素値を求め、赤及び緑の両方の光の波長を透過するカラーフィルタを配置した画素の値から、その画素位置周辺の緑のみの画素値に対し、上記画素位置に対する補間処理を施した値を減算することにより赤のみの画素値を求め、青及び緑の両方の光の波長を透過するカラーフィルタを配置した画素の値から、その画素位置周辺の緑のみの画素値に対し、上記画素位置に対する補間処理を施した値を減算することにより青のみの画素値を求め、上記で求めた緑、赤、青の画素値から色情報を求めることを特徴とする請求項4に記載の固体撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008096325A JP2009253447A (ja) | 2008-04-02 | 2008-04-02 | 近赤外光/可視光共用の固体撮像素子及び固体撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008096325A JP2009253447A (ja) | 2008-04-02 | 2008-04-02 | 近赤外光/可視光共用の固体撮像素子及び固体撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009253447A true JP2009253447A (ja) | 2009-10-29 |
Family
ID=41313737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008096325A Pending JP2009253447A (ja) | 2008-04-02 | 2008-04-02 | 近赤外光/可視光共用の固体撮像素子及び固体撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009253447A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101247321B1 (ko) * | 2010-12-09 | 2013-03-25 | 삼성테크윈 주식회사 | 이미지 센서용 계수 산출 장치 및 이미지 센서용 계수 산출 방법 |
JPWO2012137434A1 (ja) * | 2011-04-07 | 2014-07-28 | パナソニック株式会社 | 立体撮像装置 |
CN105210369A (zh) * | 2013-04-17 | 2015-12-30 | 法国甫托尼公司 | 用于获取双模态图像的设备 |
CN108666330A (zh) * | 2017-04-01 | 2018-10-16 | 奇景光电股份有限公司 | 影像感测器 |
CN111050097A (zh) * | 2018-10-15 | 2020-04-21 | 瑞昱半导体股份有限公司 | 红外线串扰补偿方法及其装置 |
-
2008
- 2008-04-02 JP JP2008096325A patent/JP2009253447A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101247321B1 (ko) * | 2010-12-09 | 2013-03-25 | 삼성테크윈 주식회사 | 이미지 센서용 계수 산출 장치 및 이미지 센서용 계수 산출 방법 |
JPWO2012137434A1 (ja) * | 2011-04-07 | 2014-07-28 | パナソニック株式会社 | 立体撮像装置 |
JP5979500B2 (ja) * | 2011-04-07 | 2016-08-24 | パナソニックIpマネジメント株式会社 | 立体撮像装置 |
US9807369B2 (en) | 2011-04-07 | 2017-10-31 | Panasonic Intellectual Property Management Co., Ltd. | 3D imaging apparatus |
CN105210369A (zh) * | 2013-04-17 | 2015-12-30 | 法国甫托尼公司 | 用于获取双模态图像的设备 |
CN105210369B (zh) * | 2013-04-17 | 2017-06-27 | 法国甫托尼公司 | 用于获取双模态图像的设备 |
CN108666330A (zh) * | 2017-04-01 | 2018-10-16 | 奇景光电股份有限公司 | 影像感测器 |
CN111050097A (zh) * | 2018-10-15 | 2020-04-21 | 瑞昱半导体股份有限公司 | 红外线串扰补偿方法及其装置 |
CN111050097B (zh) * | 2018-10-15 | 2022-03-15 | 瑞昱半导体股份有限公司 | 红外线串扰补偿方法及其装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3343911B1 (en) | Image signal processing method and system | |
JP5816015B2 (ja) | 固体撮像装置及びカメラモジュール | |
US8797462B2 (en) | Image processing apparatus and image processing method | |
US20140340515A1 (en) | Image processing method and system | |
JP6319340B2 (ja) | 動画撮像装置 | |
EP2720455B1 (en) | Image pickup device imaging three-dimensional moving image and two-dimensional moving image, and image pickup apparatus mounting image pickup device | |
JP2010093472A (ja) | 撮像装置および撮像装置用信号処理回路 | |
JP2005303694A (ja) | 複眼撮像装置 | |
CN102783135A (zh) | 利用低分辨率图像提供高分辨率图像的方法和装置 | |
JP2010098358A (ja) | 撮像素子および撮像装置 | |
CN108781250A (zh) | 摄像控制装置、摄像控制方法和摄像装置 | |
JP5708036B2 (ja) | 撮像装置 | |
WO2021070867A1 (ja) | 電子機器 | |
WO2023040725A1 (zh) | 白平衡处理方法与电子设备 | |
JP2009253447A (ja) | 近赤外光/可視光共用の固体撮像素子及び固体撮像装置 | |
JP2007243917A (ja) | 撮像装置および画像処理プログラム | |
US8681245B2 (en) | Digital photographing apparatus, and method for providing bokeh effects | |
JP2012222374A (ja) | 車載カメラシステム | |
KR101139661B1 (ko) | 촬상 장치 및 촬상 방법 | |
JP2018023077A (ja) | ビデオカメラ撮像装置 | |
US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
KR20080029051A (ko) | 이미지 센서를 구비한 장치 및 영상 획득 방법 | |
RU2570348C1 (ru) | Компьютерная система панорамного телевизионного наблюдения цветного изображения | |
RU2579003C1 (ru) | Устройство компьютерной системы для панорамного сканирования цветного изображения | |
WO2020059050A1 (ja) | 撮像素子、撮像装置、撮像方法およびプログラム |