JP5991932B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5991932B2 JP5991932B2 JP2013023052A JP2013023052A JP5991932B2 JP 5991932 B2 JP5991932 B2 JP 5991932B2 JP 2013023052 A JP2013023052 A JP 2013023052A JP 2013023052 A JP2013023052 A JP 2013023052A JP 5991932 B2 JP5991932 B2 JP 5991932B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- frame
- unit
- signal
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 78
- 206010070834 Sensitisation Diseases 0.000 claims description 194
- 230000008313 sensitization Effects 0.000 claims description 194
- 230000003111 delayed effect Effects 0.000 claims description 43
- 239000002131 composite material Substances 0.000 claims description 40
- 238000000605 extraction Methods 0.000 claims description 35
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 14
- 230000002596 correlated effect Effects 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 230000001235 sensitizing effect Effects 0.000 claims description 6
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 230000001934 delay Effects 0.000 claims description 2
- 230000035807 sensation Effects 0.000 claims 1
- 230000008859 change Effects 0.000 description 120
- 239000000203 mixture Substances 0.000 description 69
- 230000003321 amplification Effects 0.000 description 51
- 238000003199 nucleic acid amplification method Methods 0.000 description 51
- 238000001514 detection method Methods 0.000 description 37
- 238000010586 diagram Methods 0.000 description 23
- 230000002093 peripheral effect Effects 0.000 description 23
- 238000000926 separation method Methods 0.000 description 21
- 238000006243 chemical reaction Methods 0.000 description 19
- 230000035945 sensitivity Effects 0.000 description 16
- INJRKJPEYSAMPD-UHFFFAOYSA-N aluminum;silicic acid;hydrate Chemical compound O.[Al].[Al].O[Si](O)(O)O INJRKJPEYSAMPD-UHFFFAOYSA-N 0.000 description 14
- 230000007423 decrease Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 102100039339 Atrial natriuretic peptide receptor 1 Human genes 0.000 description 5
- 101000961044 Homo sapiens Atrial natriuretic peptide receptor 1 Proteins 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 102100039341 Atrial natriuretic peptide receptor 2 Human genes 0.000 description 4
- 101000961040 Homo sapiens Atrial natriuretic peptide receptor 2 Proteins 0.000 description 4
- 101710157310 Tegument protein UL47 homolog Proteins 0.000 description 4
- 238000005375 photometry Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- KZSNJWFQEVHDMF-UHFFFAOYSA-M valinate Chemical compound CC(C)C(N)C([O-])=O KZSNJWFQEVHDMF-UHFFFAOYSA-M 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
撮像を行って、時間的に連続するフレームの各々を構成する複数の画素の、画素毎の画素値を示す撮像信号を生成する撮像信号生成部と、
前記撮像信号生成部で生成された撮像信号に基づいて、前記連続するフレームの各々内において、当該フレーム内の画素を順次指定し、指定された画素について、同じフレーム内において、前記指定された画素の周辺に位置する画素のうち、前記指定された画素の画素値との相関性が高い画素値を有する画素を選択し、選択された画素の画素値と、前記指定された画素の画素値を加算して加算結果を当該指定された画素についての面内増感信号として出力する面内画素加算部と、
前記面内画素加算部が出力する前記面内増感信号を有する画素で構成される、互いに連続するフレームを順次注目フレームとして指定し、前記注目フレーム内の画素を順次注目画素として指定し、各注目画素について、当該注目フレームの近傍に位置する1又は2以上のフレームの各々から、前記注目画素と同じ位置及びその周辺に位置する画素のうち、前記注目画素の前記面内増感信号との相関性が高い前記面内増感信号を有する画素を選択し、前記1又は2以上の近傍のフレームの各々から選択された画素についての前記面内増感信号と前記注目画素についての前記面内増感信号を加算して加算結果を三次元増感信号として出力する面間画素加算部と
を有することを特徴とする。
図1は本発明の実施の形態1による撮像装置を示す。図示の撮像装置は、連像して撮像を行って、時間的に連続するフレームの画像を表す画像信号を順次出力するものである。以下では、画像は赤、緑、青の画素から成るカラー画像であるとする。
CCD撮像素子(CCD)2は、後述の図3〜図5に示すように、赤色の光(第1の色成分の光)を検出するR画素、緑色の光(第2の色成分の光)を検出するG画素、及び青色の光(第3の色成分の光)を検出するB画素がベイヤ配列されたものである。
R画素、G画素、B画素により、赤色の光、緑色の光、青色の光(第1の色成分の光、第2の色成分の光、第3の色成分の光)が検出され、即ち光電変換されて、光電変換により生成された電荷が素子内部を転送されて、電気信号(撮像信号)として出力される。撮像信号の出力はフレーム毎に順次行われる。
プログラマブル利得増幅部(PGA)4は、相関二重サンプリング処理部3の出力信号を制御部12から出力された制御信号によって制御された利得で増幅して出力する。
A/D変換部(ADC)5は、プログラマブル利得増幅部4の出力信号を、デジタル信号Pcに変換する。
面間画素加算部30は、三次元増感信号Pfを出力端子602から映像信号処理部7へ供給する。
領域選択部22及び選択加算部23には、図1の同期信号発生部11から出力される水平同期信号HD及び垂直同期信号VDが入力される。
選択加算部23にはまた、図1の制御部12から出力される増感倍率Laを示す情報が入力される。
注目画素と同じ色フィルタを備えた(同じ色成分の光を検出する)複数の画素は、注目画素と同じ色成分の撮像信号を出力するものである。
選択された画素領域を構成する画素の位置を示す情報(加算画素位置情報)POSが選択加算部23に出力される。
例えば、面内増感信号VALが12bit、加算画素パターン符号PATが4bitのとき、複合信号MIXは16bitとなる。
信号結合部24で生成された複合信号MIXは出力端子604を介して面間画素加算部30へ供給される。
図8で、「1L−DL」は1ライン遅延部を示し、「2L−DL」は2ライン遅延部を示し、「1D−DL」は1画素遅延部を示し、「2D−DL」は2画素遅延部を示す。
「4D−DL」は4画素遅延部を示す。
画素信号PRBは、2ライン遅延部511、1ライン遅延部522〜525、2ライン遅延部512で順次遅延されて、画素信号PRBに対して、それぞれ2、3、4、5、6、8ライン遅延した画素信号PR5、PR4、PR3、PR2、PR1、PRTが出力される。
画素信号PRBはまた、4画素遅延部530で遅延されて、画素信号P3Bとして出力される。
1ライン遅延部522から出力された画素信号PR4は、2画素遅延部533で2画素遅延され、さらに、1画素遅延部547〜550で順次1画素遅延されて、画素信号PR4に対してそれぞれ2、3、4、5、6画素遅延した画素信号P54、P44、P34、P24、P14が出力される。
1ライン遅延部523から出力された画素信号PR3は、2画素遅延部534で2画素遅延され、さらに、1画素遅延部552〜555で順次1画素遅延され、さらに、2画素遅延部535で2画素遅延されて、画素信号PR3に対してそれぞれ2、3、4、5、6、8画素遅延した画素信号P53、P43、P33、P23、P13、PL3が出力される。
1ライン遅延部525から出力された画素信号PR1は、2画素遅延部537で2画素遅延され、さらに、1画素遅延部562〜565で順次1画素遅延されて、画素信号PR1に対してそれぞれ2、3、4、5、6画素遅延した画素信号P51、P41、P31、P21、P11が出力される。
2ライン遅延部512から出力された画素信号PRTは、4画素遅延部531で遅延されて画素信号P3Tとして出力される。
そして、画素抽出部21から供給された画素信号P55〜P11、P3B、PR3、PL3、P3Tを受け、注目画素とその周辺の画素から成る組合せ(乃至画素領域)を複数個生成する。各注目画素についてそのような組合せは複数個生成される。
即ち、変化幅算出部571〜582は、入力される4画素の画素値同士を比較して、最大画素値と最小画素値を求める。次に最大画素値と最小画素値の差分を求め当該組合せ(画素領域)の変化幅として最小値算出部585へ供給する。
変化幅算出部571は、第1の組合せAP1として入力された上側ブロックパターンGP1の組合せの変化幅を算出し、第1の変化幅WP1として出力し、
変化幅算出部572は、第2の組合せAP2として入力された右側ブロックパターンGP2の組合せの変化幅を算出し、第2の変化幅WP2として出力し、
変化幅算出部573は、第3の組合せAP3として入力された左側ブロックパターンGP3の組合せの変化幅を算出し、第3の変化幅WP3として出力し、
変化幅算出部574は、第4の組合せAP4として入力された下側ブロックパターンGP4の組合せの変化幅を算出し、第4の変化幅WP4として出力し、
変化幅算出部575は、第5の組合せAP5として入力された上側縦ラインパターンGP5の組合せの変化幅を算出し、第5の変化幅WP5として出力し、
変化幅算出部576は、第6の組合せAP6として入力された下側縦ラインパターンGP6の組合せの変化幅を算出し、第6の変化幅WP6として出力し、
変化幅算出部577は、第7の組合せAP7として入力された左側横ラインパターンGP7の組合せの変化幅を算出し、第7の変化幅WP7として出力し、
変化幅算出部578は、第8の組合せAP8として入力された右側横ラインパターンGP8の組合せの変化幅を算出し、第8の変化幅WP8として出力し、
変化幅算出部579は、第9の組合せAP9として入力された左上側斜めラインパターンGP9の組合せの変化幅を算出し、第9の変化幅WP9として出力し、
変化幅算出部580は、第10の組合せAP10として入力された右下側斜めラインパターンGP10の変化幅を算出し、第10の変化幅WP10として出力し、
変化幅算出部581は、第11の組合せAP11として入力された右上側斜めラインパターンGP11の組合せの変化幅を算出し、第11の変化幅WP11として出力し、
変化幅算出部582は、第12の組合せAP12として入力された左下側斜めラインパターンGP12の組合せの変化幅を算出し、第12の変化幅WP12として出力する。
変化幅算出部571は、第1の組合せAP1として入力された左上側ブロックパターンRP1或いはBP1の組合せの変化幅を算出し、第1の変化幅WP1として出力し、
変化幅算出部572は、第2の組合せAP2として入力された右上側ブロックパターンRP2或いはBP2の組合せの変化幅を算出し、第2の変化幅WP2として出力し、
変化幅算出部573は、第3の組合せAP3として入力された左下側ブロックパターンRP3或いはBP3の組合せの変化幅を算出し、第3の変化幅WP3として出力し、
変化幅算出部574は、第4の組合せAP4として入力された右下側ブロックパターンRP4或いはBP4の組合せの変化幅を算出し、第4の変化幅WP4として出力する。
変化幅算出部575〜582は変化幅算出の動作を行わない。
最小値算出部585は、変化幅算出部571〜582から出力される第1乃至第12の変化幅WP1〜WP12を受け、そのうちの最小のものを求め、変化幅が最小の組合せのパターン(加算画素パターン)を示す情報(加算画素パターン符号)PATを画素指定部587及び信号結合部24へ通知する。
画素指定部587は、最小値算出部585から通知された加算画素パターン符号PATで特定される組合せを構成する画素の画素位置を示す情報(加算画素位置情報)POSを選択加算部23へ供給する。
右側ブロックパターンGP2の組合せの変化幅が最小の場合は、画素G42、G33、G53、G44の位置情報POSが選択加算部23へ供給される。
左側ブロックパターンGP3の組合せの変化幅が最小の場合は、画素G22、G13、G33、G24の位置情報POSが選択加算部23へ供給される。
下側ブロックパターンGP4の組合せの変化幅が最小の場合は、画素G33、G24、G44、G35の位置情報POSが選択加算部23へ供給される。
下側縦ラインパターンGP6の組合せの変化幅が最小の場合は、画素G31、G33、G35、G3Bの位置情報POSが選択加算部23へ供給される。
左側横ラインパターンGP7の組合せの変化幅が最小の場合は、画素GL3、G13、G33、G53の位置情報POSが選択加算部23へ供給される。
右側横ラインパターンGP8の組合せの変化幅が最小の場合は、画素G13、G33、G53、GR3の位置情報POSが選択加算部23へ供給される。
右下側斜めラインパターンGP10の組合せの変化幅が最小の場合は、画素G22、G33、G44、G55の位置情報POSが選択加算部23へ供給される。
右上側斜めラインパターンGP11の組合せの変化幅が最小の場合は、画素G51、G42、G33、G24の位置情報POSが選択加算部23へ供給される。
左下側斜めラインパターンGP12の組合せの変化幅が最小の場合は、画素G42、G33、G24、G15の位置情報POSが選択加算部23へ供給される。
最小値算出部585は、変化幅算出部571〜574から出力される第1乃至第4の変化幅WP1〜WP4を受け、そのうちの最小のものを求め、変化幅が最小の組合せのパターン(加算画素パターン)を示す情報(加算画素パターン符号)PATを画素指定部587及び信号結合部24へ通知する。
画素指定部587は、最小値算出部585から通知された加算画素パターン符号PATで特定される組合せを構成する画素の画素位置を示す情報(加算画素位置情報)POSを選択加算部23へ供給する。
右上側ブロックパターンRP2の組合せの変化幅が最小の場合は、画素R31、R51、R33、R53の位置情報POSが選択加算部23へ供給される。
左下側ブロックパターンRP3の組合せの変化幅が最小の場合は、画素R13、R33、R15、R35の位置情報POSが選択加算部23へ供給される。
右下側ブロックパターンRP4の組合せの変化幅が最小の場合は、画素R33、R53、R35、R55の位置情報POSが選択加算部23へ供給される。
最小値算出部585は、変化幅算出部571〜574から出力される第1乃至第4の変化幅WP1〜WP4を受け、そのうちの最小のものを求め、変化幅が最小の組合せのパターン(加算画素パターン)を示す情報(加算画素パターン符号)PATを画素指定部587及び信号結合部24へ通知する。
画素指定部587は、最小値算出部585から通知された加算画素パターン符号PATで特定される組合せを構成する画素の画素位置を示す情報(加算画素位置情報)POSを選択加算部23へ供給する。
右上側ブロックパターンBP2の組合せの変化幅が最小の場合は、画素B31、B51、B33、B53の位置情報POSが選択加算部23へ供給される。
左下側ブロックパターンBP3の組合せの変化幅が最小の場合は、画素B13、B33、B15、B35の位置情報POSが選択加算部23へ供給される。
右下側ブロックパターンBP4の組合せの変化幅が最小の場合は、画素B33、B53、B35、B55の位置情報POSが選択加算部23へ供給される。
画素選択部593は、注目画素が、R画素、G画素、及びB画素のいずれであるかをも特定する。そして画素指定部587からの加算画素位置情報POSに基づいて、選択領域を構成する4個の画素の画素位置をも特定する。
例えば、4個の画素の画素値をPs1、Ps2、Ps3、Ps4、増感倍率をLaとすると、
Pe=(Ps1+Ps2+Ps3+Ps4)×La/4
で表される演算により、面内増感信号(の値)Peを求める。以下の説明で、G画素についての面内増感信号(の値)はGeで、R画素についての面内増感信号(の値)はReで、B画素についての面内増感信号(の値)はBeで示される。
第1の組合せAP1としての上側ブロックパターンGP1の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Ge=(G31+G22+G42+G33)×La/4
第2の組合せAP2としての右側ブロックパターンGP2の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Ge=(G42+G33+G53+G44)×La/4
第3の組合せAP3としての左側ブロックパターンGP3の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Ge=(G22+G13+G33+G24)×La/4
第4の組合せAP4としての下側ブロックパターンGP4の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Ge=(G33+G24+G44+G35)×La/4
Ge=(G3T+G31+G33+G35)×La/4
第6の組合せAP6としての下側縦ラインパターンGP6の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Ge=(G31+G33+G35+G3B)×La/4
第7の組合せAP7としての左側横ラインパターンGP7の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Ge=(GL3+G13+G33+G53)×La/4
第8の組合せAP8としての右側横ラインパターンGP8の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Ge=(G13+G33+G53+GR3)×La/4
Ge=(G11+G22+G33+G44)×La/4
第10の組合せAP10としての右下側斜めラインパターンGP10の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Ge=(G22+G33+G44+G55)×La/4
第11の組合せAP11としての右上側斜めラインパターンGP11の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Ge=(G51+G42+G33+G24)×La/4
第12の組合せAP12としての左下側斜めラインパターンGP12の組合せが選択された場合、画素加算部595は、次式の演算を行う。
G=(G42+G33+G24+G15)×La/4
第1の組合せAP1としての左上側ブロックパターンRP1の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Re=(R11+R31+R13+R33)×La/4
第2の組合せAP2としての右上側ブロックパターンRP2の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Re=(R31+R51+R33+R53)×La/4
第3の組合せAP3としての左下側ブロックパターンRP3の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Re=(R13+R33+R15+R35)×La/4
第4の組合せAP4としての右下側ブロックパターンRP4の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Re=(R33+R53+R35+R55)×La/4
第1の組合せAP1としての左上側ブロックパターンBP1の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Be=(B11+B31+B13+B33)×La/4
第2の組合せAP2としての右上側ブロックパターンBP2の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Be=(B31+B51+B33+B53)×La/4
第3の組合せAP3としての左下側ブロックパターンBP3の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Be=(B13+B33+B15+B35)×La/4
第4の組合せAP4としての右下側ブロックパターンBP4の組合せが選択された場合、画素加算部595は、次式の演算を行う。
Be=(B33+B53+B35+B55)×La/4
但し、R画素とB画素の場合は、G画素よりも加算対象の画素間の距離が長くなることから相関判定の誤判定の危険性が高まること、また回路規模が大きくなること、また人間の色の変化に対する感度が輝度よりも低いこと等を総合的に判断して組合せのパターンを決める。
面間画素加算部30は、図16に示されるように、画素抽出部31と、信号分離部350と、加算画素選択部35と、画素加算部39とを有する。加算画素選択部35は、第1乃至第4の画素選択部351〜354を有する。
図17で、「1F−DL」は1フレーム遅延部を示し、「1L−DL」は1ライン遅延部を示し、「1D−DL」は1画素遅延部を示し、「2D−DL」は2画素遅延部を示す。
出力される信号のうち、遅延部343から出力される信号が注目フレームF2の注目画素P33(図2)についての複合信号として用いられる。遅延部343からの信号を注目フレームF2の注目画素P33(図2)の信号とすると、このとき入力端子605に入力される複合信号MIXは、2フレーム後のフレームF0の画素P44(図2)についての複合信号MIXであり、注目フレームF2の注目画素P33についての複合信号MIXと、注目フレームF2の近傍に位置するフレームF0、F1、F3、F4内の、注目画素と同じ位置P33、及びその周辺に位置する画素P22、P42、P24、P44について複合信号MIXが同時に出力される。F1、F3、F4はそれぞれ注目フレームF0の1フレーム後のフレーム(後フレーム)、1フレーム前のフレーム(前フレーム)、2フレーム前のフレームを表す。
入力端子605に入力された複合信号MIX(F0,P44)は、1フレーム遅延部311〜314で順次遅延されて、信号MIX(F1,P44)、信号MIX(F2,P44)、信号MIX(F3,P44)、信号MIX(F4,P44)となる。
1ライン遅延部321の出力は、1ライン遅延部322で遅延されて信号MIX(F0,P42)となり、さらに2画素遅延部332で遅延されて信号MIX(F0,P22)となる。
1ライン遅延部323の出力は、1ライン遅延部324で遅延されて信号MIX(F1,P42)となり、さらに2画素遅延部334で遅延されて信号MIX(F1,P22)となる。
1ライン遅延部326の出力は、1ライン遅延部327で遅延されて信号MIX(F3,P42)となり、さらに2画素遅延部336で遅延されて信号MIX(F3,P22)となる。
1ライン遅延部328の出力は、1ライン遅延部329で遅延されて信号MIX(F4,P42)となり、さらに2画素遅延部338で遅延されて信号MIX(F4,P22)となる。
信号分離部350から出力された加算画素パターン符号PAT(F2,P33)及び面内増感信号VAL(F2,P33)は、加算画素選択部35の第1乃至第4の画素選択部351〜354に供給される。
面内増感信号VAL(F2,P33)はまた、画素加算部39にも供給される。
同様に、第2乃至第4の画素選択部352〜354は、それぞれパターン判別部362〜364と相関判別部382〜384を有する。
ある画素についての面内増感信号VALが選択されたとき、当該画素が選択されて加算対象画素となる。
相関判別部381から出力された面内増感信号VALは、第1の画素選択部351の出力となる。
増感信号Pf(F2,P33)を求める演算は、下記の式で表される。
Pf(F2,P33)
={VAL(F2,P33)+VAL(F0)+VAL(F1)+VAL(F3)
+VAL(F4)}×Lb/5
生成された三次元増感信号Pfは出力端子602を介して映像信号処理部7に供給される。
増感倍率Lは、例えば、被写体照度との関係で定められる。
例えば、被写体照度が第1の所定の値(高照度側基準値)以上では、増感倍率Lは1と設定され、上記第1の所定の値よりも低い第2の所定の値(低照度側基準値)以下では、増感倍率を20とし、高照度側基準値よりも低く、低照度側基準よりも高い範囲(中照度範囲)では、照度の低下とともに、増感倍率を次第に大きくする。
同様に、面間画素加算に当たり、5倍までの増感倍率Lbを設定した場合について説明したが、5倍以上に設定しても良い。5倍以上の増感倍率Lbを設定する場合には、階調落ちに注意する必要がある。
より多数の近傍のフレームの画素を加算対象画素に含めれば、一層の高感度化を図ることができる。
色フィルタが設けられておらず、白黒画像を生成することができる撮像素子の場合は、より近傍に位置する、相関の高い画素を加算することができるので、上記と同様の考え方で加算画素を決めることで解像度の低下を防ぎながら高感度化を図ることができる。
上記の実施の形態1では、面間画素加算に当たり、注目フレームF2に対して1フレーム離れた(1フレーム期間後及び1フレーム期間前の)フレームF1、F3と、2フレーム離れた(2フレーム期間後及び2フレーム期間前の)フレームF0、F4のいずれについても注目フレームF2の加算画素パターン符号PATとの一致/不一致、及び注目フレームF2の面内増感信号VALとの相関に基づいて加算対象画素を選択している。
同様に、注目フレームF2の注目画素についての加算画素パターン符号PATと面内増感信号VALを参照して後フレームF1の加算対象画素を選択し、後フレームF1の加算対象画素についての加算画素パターン符号PATと面内増感信号VALを参照してさらに後のフレームF0の加算対象画素を選択する。
上記のようにして選択された、前後のフレームF0、F1、F3、F4の加算対象画素についての面内増感信号VALを注目フレームF2の面内増感信号VALに加算する。
図21の加算画素選択部35bは図18の加算画素選択部35と概して同じであるが、図18の画素選択部351〜354の代わりに、画素選択部651〜654を備えている。
画素選択部651〜654は、それぞれパターン判別部661〜664及び相関判別部681〜684を有する。
そのため、判別部6621〜6625の各々は以下のように構成されている。
信号分離部66211から出力された加算画素パターン符号PAT(F1,P44)は、判定部66212に供給されるのみならず、相関判別部682に出力される。
これとともに、選択された画素についての加算画素パターン符号PAT(F1)をパターン判別部661に供給する。
例えば、判別部6611は、図25に示されるように、信号分離部66111と判定部66112を備える。
この場合、各フレームについては、それに対して注目フレーム側で隣接する他のフレームについての加算画素パターン符号PAT及び面内増感信号VALを用いて当該フレームにおける画素の選択を行う。
上記の実施の形態1では、面内画素加算部20が信号結合部24を有して、複合信号MIXを出力し、面間画素加算部30の画素抽出部31が、複合信号MIXを互いに異なる時間だけ遅延させて注目フレームの注目画素及び近傍フレームの注目画素位置及びその周辺の位置の画素についての複合信号MIXを同時に抽出しているが、面内画素加算部20が信号結合部24を有さず、加算画素パターン符号PAT及び面内増感信号VALを結合せずに(但し互いに関連付けて)出力し、図26に示される面間画素加算部30bを用いることとしても良い。
加算画素選択部35cは、図18の加算画素選択部35と同様のものであるが、パターン判別部361〜364の各々の判別部(図19の判別部3611〜3615に相当するもの)に信号分離部(図20の符号36111)が設けられておらず、パターン符号抽出部31pから供給される近傍フレームの各画素についての加算画素パターン符号PATと、注目フレームの注目画素についての加算画素パターン符号PATとを、判定部(図20の判定部36112に相当するもの)で比較して比較結果を出力する。
上記の実施の形態1において、固体撮像素子として図1のようにCCD撮像素子2を使った構成について説明したが、2次元イメージセンサであればCCD撮像素子に限らず、CMOS撮像素子でも、どのようなものでも良い。またインターライントランスファーCCDに限らず、フレームトランスファーCCDでもフレームインターライントランスファーCCDであっても良い。
図27は、周辺機能を集積したCMOS撮像素子の場合について示す。
図1のCCD撮像素子2、相関二重サンプリング処理部3、プログラマブル利得増幅部4、A/D変換部5、タイミング発生部10の持つ機能は、CMOS撮像素子14の中に含まれており、CMOS撮像素子14のみにより、図1の撮像信号生成部13と同等の機能を有するもの、即ち被写体の撮像による撮像の結果得られる複数の色成分の撮像信号を生成する撮像信号生成部13bが構成されている。
図28は本発明の実施の形態5による撮像装置を示す。図28において、検波部15が付加されていること、及び図1の制御部12の代わりに制御部12bが設けられている点を除き、実施の形態1の説明と同様であり、同様な効果を奏する。
このような平均レベルの算出は、例えば垂直走査周期毎に行われ、例えば積分処理と割算処理とにより実行される。上記のようにして求められる信号振幅の平均レベルの「算出値」を、信号振幅の平均レベルの「検出値」とも言う。
さらに、映像信号処理部7は、垂直走査周期毎に三次元画素加算部6の出力に含まれるノイズのレベルを算出し、制御部12bへ供給する。
実施の形態1で述べたように、設定された増感倍率Laに応じて面内画素加算部20の画素加算部595での画素加算に用いられる加算係数が調整され、設定された増感倍率Lbに応じて面間画素加算部30の画素加算部39での画素加算に用いられる加算係数が調整される。従って、照度情報に基づいて面内画素加算における加算係数及び面間画素加算における加算係数が調整される。
被写体照度が徐々に暗くなり、信号振幅の平均レベルの検出値ASAが下がってくると(図29(e))、レンズ1の絞りを開放方向に制御して(図29(a)の範囲Sa)、信号振幅の平均レベルを維持する。ここで、「信号振幅の平均レベルを維持する」とは、三次元画素加算部6の出力の信号振幅の平均レベル、従って検波部15の出力で表される、信号振幅の平均レベルASAを維持することを意味する。
このような露光時間の制御を加えると、図29(e)に点線で示すように、下限LLeから上限ULeまでの範囲において、信号振幅の平均レベルASAを一定に保つことができる。
図30は本発明の実施の形態6による撮像装置を示す。図30において、測光部17が付加されている点、及び制御部12の代わりに制御部12cが設けられている点を除き、実施の形態1と同様であり、同様な効果を奏する。
設定値テーブルには、照度値ごとにレンズ1の絞り、CCD撮像素子2の露光時間、プログラマブル利得増幅部4の増幅利得、三次元画素加算部6の増感倍率が登録されている。
351〜354、651〜654 画素選択部、
361〜364、661〜664 パターン判別部、
381〜384、681〜684 相関判別部、
570 画素選択部、 571〜582 変化幅算出部、 585 最小値算出部、 587 画素指定部、 590 相関領域検出部、 593 画素選択部、 595 画素加算部、
3611〜3615、6611〜6615 判別部、
36111、66111、66121 信号分離部、
36112、66112、66122 判定部。
Claims (13)
- 撮像を行って、時間的に連続するフレームの各々を構成する複数の画素の、画素毎の画素値を示す撮像信号を生成する撮像信号生成部と、
前記撮像信号生成部で生成された撮像信号に基づいて、前記連続するフレームの各々内において、当該フレーム内の画素を順次指定し、指定された画素について、同じフレーム内において、前記指定された画素の周辺に位置する画素のうち、前記指定された画素の画素値との相関性が高い画素値を有する画素を選択し、選択された画素の画素値と、前記指定された画素の画素値を加算して加算結果を当該指定された画素についての面内増感信号として出力する面内画素加算部と、
前記面内画素加算部が出力する前記面内増感信号を有する画素で構成される、互いに連続するフレームを順次注目フレームとして指定し、前記注目フレーム内の画素を順次注目画素として指定し、各注目画素について、当該注目フレームの近傍に位置する1又は2以上のフレームの各々から、前記注目画素と同じ位置及びその周辺に位置する画素のうち、前記注目画素の前記面内増感信号との相関性が高い前記面内増感信号を有する画素を選択し、前記1又は2以上の近傍のフレームの各々から選択された画素についての前記面内増感信号と前記注目画素についての前記面内増感信号を加算して加算結果を三次元増感信号として出力する面間画素加算部と
を有する撮像装置。 - 前記面内画素加算部は、
各々前記指定された画素とその周辺の画素で形成される、予め定められた複数の領域のうち、相互間の相関性が高い画素から成る領域を選択し、選択された領域内の画素の位置を示す加算画素位置情報と、選択された領域のパターンを示す加算画素パターン符号を出力する領域選択部と、
前記指定された画素の撮像信号について、前記領域選択部で選択された領域に含まれる画素の撮像信号を加算することで得られる加算結果を当該指定された画素についての面内増感信号として出力する選択加算部とを有し、
前記面間画素加算部は、
前記近傍のフレームうちの少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素についての前記面内増感信号及び前記加算画素パターン符号と、前記注目画素についての前記面内増感信号及び前記加算画素パターン符号との比較の結果に基づいて、当該フレームから一つの画素を選択する
ことを特徴とする請求項1に記載の撮像装置。 - 前記パターンは前記指定された画素及びその周辺の画素から成る領域の、前記指定された画素に対する相対的位置又は方位によって定義されるものであることを特徴とする請求項2に記載の撮像装置。
- 前記パターンは前記指定された画素及びその周辺の画素から成る領域の、形状によっても定義されるものであることを特徴とする請求項3に記載の撮像装置。
- 前記面間画素加算部は、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素の中に、前記注目画素と前記加算画素パターン符号が同じである画素が存在する場合には、前記加算画素パターン符号が一致する画素のうちで、前記注目画素の前記面内増感信号との相関性が最も高い前記面内増感信号を有する画素を選択し、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素のうち、前記注目画素と前記加算画素パターン符号が同じである画素が存在しない場合には、前記注目画素と同じ位置及びその周辺に位置する画素のうちで、前記注目画素の前記面内増感信号との相関性が最も高い前記面内増感信号を有する画素を選択する
ことを特徴とする請求項2から4のいずれか1項に記載の撮像装置。 - 前記面内画素加算部は、
前記撮像信号生成部で生成された撮像信号を互いに異なる時間だけ遅延させて、前記指定された画素とその周辺の画素の画素値を表す信号を同時に抽出する画素抽出部をさらに有し、
前記領域選択部は、
前記画素抽出部で抽出された画素のうちの、前記指定された画素と、その周辺に位置する1又は2以上の画素とから成る組合せを複数個形成し、該複数個の組合せのうち、当該組合せを構成する画素の画素値の最大値と最小値の差が最小である組合せを、前記相関性が高い画素から成る領域を構成するものとして選択する
ことを特徴とする請求項2から5のいずれか1項に記載の撮像装置。 - 前記面間画素加算部は、
前記面内画素加算部から出力された前記加算画素パターン符号を互いに異なる時間だけ遅延させて前記注目フレームの前記注目画素についての前記加算画素パターン符号と、前記近傍のフレーム内に位置し、前記注目画素と同じ位置及びその周辺に位置する画素についての前記加算画素パターン符号を同時に抽出するパターン符号抽出部と、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素の各々についての前記加算画素パターン符号が前記注目フレームの前記注目画素についての前記加算画素パターン符号と同じか否かの判定を行うパターン判別部と
を備えることを特徴とする請求項2から6のいずれか1項に記載の撮像装置。 - 前記面間画素加算部は、
前記面内画素加算部から出力された前記面内増感信号を互いに異なる時間だけ遅延させて前記注目フレームの前記注目画素についての前記面内増感信号と、前記近傍のフレーム内に位置し、前記注目画素と同じ位置及びその周辺に位置する画素についての前記面内増感信号を同時に抽出する面内増感信号抽出部と、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素の各々についての前記面内増感信号と前記注目フレームの前記注目画素についての前記面内増感信号との相関性に基づいて当該フレーム内において、前記注目画素と同じ位置及びその周辺に位置する画素のうちのいずれかを選択する相関判別部と
を備えることを特徴とする請求項7に記載の撮像装置。 - 前記面内画素加算部は、
前記面内増感信号と、前記加算画素パターン符号とを結合して、複合信号を生成して出力する信号結合部を有し、
前記面間画素加算部は、
前記面内画素加算部の前記信号結合部から出力された前記複合信号を互いに異なる時間だけ遅延させて前記注目フレームの前記注目画素についての前記複合信号と、前記近傍のフレーム内に位置し、前記注目画素と同じ位置及びその周辺に位置する画素についての前記複合信号を同時に抽出する抽出部と、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素の各々ついての前記複合信号に含まれる前記加算画素パターン符号が前記注目フレームの前記注目画素についての前記複合信号に含まれる前記加算画素パターン符号と同じか否かの判定を行うパターン判別部と、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素の各々についての前記複合信号に含まれる前記面内増感信号と前記注目フレームの前記注目画素についての前記複合信号に含まれる前記面内増感信号との相関性と、前記パターン判別部での判定結果とに基づいて当該フレーム内において前記注目画素と同じ位置及びその周辺に位置する画素のうちのいずれかを選択する相関判別部と
を備えることを特徴とする請求項2から6のいずれか1項に記載の撮像装置。 - 前記近傍のフレームは、前記注目フレームに隣接するフレームのみならず、前記注目フレームから2フレーム以上離れたフレームをも含み、
前記パターン判別部は、
前記注目フレームから2フレーム以上離れたフレーム内の画素についての前記加算画素パターン符号が、当該フレームに対して前記注目フレーム側で隣接する他のフレームにおいて選択された画素についての前記加算画素パターン符号と一致するか否かの判定を行い、
前記相関判別部は、前記注目フレームから2フレーム以上離れたフレーム内の画素についての前記面内増感信号と、当該フレームに対して前記注目フレーム側で隣接する他のフレームにおいて選択された画素についての前記面内増感信号との相関性と、前記パターン判別部での判定結果とに基づいて、当該フレーム内において、前記注目画素と同じ位置及びその周辺位置する画素のうちのいずれかを選択する
ことを特徴とする請求項8又は9に記載の撮像装置。 - 前記近傍のフレームは、
前記注目フレームに対して1フレーム期間前のフレーム及び1フレーム期間後のフレームの少なくとも一方を含む
ことを特徴とする請求項1から10のいずれか1項に記載の撮像装置。 - 前記近傍のフレームは、
前記注目フレームに対して1フレーム期間前のフレームと、
前記注目フレームに対して2フレーム期間前のフレームと、
前記注目フレームに対して1フレーム期間後のフレームと、
前記注目フレームに対して2フレーム期間後のフレームとを含む
ことを特徴とする請求項1から11のいずれか1項に記載の撮像装置。 - 前記面内画素加算部における画素値の加算、及び前記面間画素加算部における前記面内増感信号の加算の少なくとも一方は、増感倍率に基づいて定められた加算係数を用いた加重加算により行われ、
被写体の照度を表す照度情報を生成する照度情報生成部と、
前記照度情報に基づいて前記増感倍率を決定する制御部とをさらに備える
ことを特徴とする請求項1から12のいずれか1項に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013023052A JP5991932B2 (ja) | 2013-02-08 | 2013-02-08 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013023052A JP5991932B2 (ja) | 2013-02-08 | 2013-02-08 | 撮像装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014155034A JP2014155034A (ja) | 2014-08-25 |
JP2014155034A5 JP2014155034A5 (ja) | 2015-11-19 |
JP5991932B2 true JP5991932B2 (ja) | 2016-09-14 |
Family
ID=51576505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013023052A Expired - Fee Related JP5991932B2 (ja) | 2013-02-08 | 2013-02-08 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5991932B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6598797B2 (ja) | 2014-12-26 | 2019-10-30 | キヤノン株式会社 | 撮像装置の駆動方法、信号処理方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3848023B2 (ja) * | 1999-09-01 | 2006-11-22 | 日本放送協会 | 動き適応型映像高感度化装置 |
JP3349129B2 (ja) * | 2000-02-18 | 2002-11-20 | 株式会社東芝 | 撮像装置 |
JP5220677B2 (ja) * | 2009-04-08 | 2013-06-26 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2011109219A (ja) * | 2009-11-13 | 2011-06-02 | Mitsubishi Electric Corp | 画像信号処理装置及び方法 |
JP5473555B2 (ja) * | 2009-11-20 | 2014-04-16 | 三菱電機株式会社 | 撮像装置 |
JP5780786B2 (ja) * | 2011-03-15 | 2015-09-16 | 三菱電機株式会社 | 撮像装置 |
JP5868090B2 (ja) * | 2011-09-20 | 2016-02-24 | 三菱電機株式会社 | 画像処理装置、画像処理方法、撮像装置、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体 |
-
2013
- 2013-02-08 JP JP2013023052A patent/JP5991932B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014155034A (ja) | 2014-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5780786B2 (ja) | 撮像装置 | |
US8878970B2 (en) | Color imaging apparatus having color imaging element | |
US7916191B2 (en) | Image processing apparatus, method, program, and recording medium | |
US20100277628A1 (en) | Solid-state image sensor and imaging apparatus using the same | |
US8086032B2 (en) | Image processing device, image processing method, and image pickup apparatus | |
JP4803156B2 (ja) | 固体撮像素子用の信号処理装置、信号処理装置を備えた撮像装置、信号処理方法、およびプログラム | |
JP2008289090A (ja) | 撮像信号処理装置 | |
JP2008187274A (ja) | 固体撮像装置 | |
JP6622481B2 (ja) | 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法 | |
WO2013031081A1 (ja) | 信号処理装置及び信号処理方法、固体撮像装置、電子情報機器、信号処理プログラム、並びにコンピュータ読み取り可能な記憶媒体 | |
JP6095519B2 (ja) | 撮像装置 | |
WO2007100002A1 (ja) | 撮像装置、映像信号処理方法および映像信号処理プログラム | |
JP4548390B2 (ja) | 撮像装置及び信号処理方法 | |
JP5473555B2 (ja) | 撮像装置 | |
JP4043197B2 (ja) | 単板式カラーカメラの色分離回路 | |
JP5991932B2 (ja) | 撮像装置 | |
JP2001148805A (ja) | 固体撮像装置 | |
JP2004357335A (ja) | 固体撮像装置 | |
JP2006237686A (ja) | 撮像装置 | |
JP2012195675A (ja) | 撮像装置 | |
JP4178571B2 (ja) | 画像処理装置および画像処理方法、並びにカメラ | |
JP6632093B2 (ja) | 撮像装置 | |
JP2011211497A (ja) | 画像入力装置 | |
JP2008131291A (ja) | 撮像装置 | |
JP3660504B2 (ja) | カラー固体撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151002 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151002 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5991932 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |