JP5033628B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP5033628B2 JP5033628B2 JP2007531122A JP2007531122A JP5033628B2 JP 5033628 B2 JP5033628 B2 JP 5033628B2 JP 2007531122 A JP2007531122 A JP 2007531122A JP 2007531122 A JP2007531122 A JP 2007531122A JP 5033628 B2 JP5033628 B2 JP 5033628B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- solid
- imaging
- imaging device
- sample points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 342
- 238000004364 calculation method Methods 0.000 claims description 36
- 239000007787 solid Substances 0.000 claims 1
- 230000015654 memory Effects 0.000 description 80
- 238000012545 processing Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 31
- 238000000034 method Methods 0.000 description 20
- 238000005070 sampling Methods 0.000 description 19
- 238000003780 insertion Methods 0.000 description 16
- 230000037431 insertion Effects 0.000 description 16
- 238000012546 transfer Methods 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 239000000203 mixture Substances 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000007740 vapor deposition Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008021 deposition Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Circuits (AREA)
Description
前記通常撮像の場合には前記撮像部からの出力信号をそのまま出力し、前記高速撮像の場合には前記撮像部からの出力信号について、各サンプル点の間に(N−1)個のサンプル点の信号を補間する補間演算を行ってM個のサンプル点の補間された信号を出力する演算部と、
を備えることを特徴とする。
前記第1の固体撮像素子と前記第2の固体撮像素子とは、それぞれ対応する画素を有し、
前記高速撮像において、前記第1の固体撮像素子において混合するN個の画素の組合せと、前記第2の固体撮像素子において混合するN個の画素の組合せとは互いに異なることが好ましい。
前記第1の固体撮像素子のサンプル点の出力信号から補間された第1の低周波成分を生成し、
前記第2の固体撮像素子のサンプル点の出力信号から補間された第2の低周波成分を生成し、
前記第1の固体撮像素子のサンプル点の出力信号と前記第2の固体撮像素子のサンプル点の出力信号とを加算して、加算した信号の高周波成分を生成し、
前記第1の低周波成分と前記高周波成分とを加算して、前記第1の固体撮像素子の信号を得ると共に、
前記第2の低周波成分と前記高周波成分とを加算して、前記第2の固体撮像素子の信号を得るものであってもよい。
前記第1の固体撮像素子からのM/N個のサンプル点の出力信号に対して、各信号間に(N−1)個のサンプル点について0の値の信号を挿入して、全体をM個のサンプル点の信号とし、
前記第2の固体撮像素子からのM/N個のサンプル点の出力信号に対して、0でない信号のサンプル点が前記第1の固体撮像素子の出力信号とは互いにずれるようにして、各信号間に(N−1)個のサンプル点について0の値の信号を挿入して、全体をM個のサンプル点の信号とし、
前記第1の固体撮像素子の信号から補間された第1の低周波成分を生成し、
前記第2の固体撮像素子の信号から補間された第2の低周波成分を生成し、
互いに対応するサンプル点の前記第1の固体撮像素子の出力信号と前記第2の固体撮像素子の出力信号とを加算して、加算した信号の高周波成分を生成し、
前記第1の低周波成分と前記高周波成分とを加算して、前記第1の固体撮像素子の信号を得ると共に、
前記第2の低周波成分と前記高周波成分とを加算して、前記第2の固体撮像素子の信号を得るものであってもよい。
前記第3の固体撮像素子のサンプル点の出力信号から補間された第3の低周波成分を生成し、
前記第1の固体撮像素子のサンプル点の出力信号と前記第2の固体撮像素子のサンプル点の出力信号とを加算して、加算した信号の高周波成分を生成し、
前記第3の低周波成分と前記高周波成分とを加算して、前記第3の固体撮像素子の信号を得るものであってもよい。
前記第1の固体撮像素子からのM/N個のサンプル点の出力信号に対して、各信号間に(N−1)個のサンプル点について0の値の信号を挿入して、全体をM個のサンプル点の信号とし、
前記第2の固体撮像素子からのM/N個のサンプル点の出力信号に対して、0でない信号のサンプル点が前記第1の固体撮像素子の出力信号とは互いにずれるようにして、各信号間に(N−1)個のサンプル点について0の値の信号を挿入して、全体をM個のサンプル点の信号とし、
前記第3の固体撮像素子からのM/N個のサンプル点の出力信号に対して、前記第1の固体撮像素子からのサンプル点の出力信号と対応させて、各信号間に(N−1)個のサンプル点について0の値の信号を挿入して、全体をM個のサンプル点の信号とし、
前記第3の固体撮像素子の信号から補間された第3の低周波成分を生成し、
互いに対応するサンプル点の前記第1の固体撮像素子の出力信号と前記第2の固体撮像素子の出力信号とを加算して、加算した信号の高周波成分を生成し、
前記第3の低周波成分と前記高周波成分とを加算して、前記第3の固体撮像素子の信号を得るものであってもよい。
図1は、本発明の実施の形態1に係る撮像装置20の構成を示すブロック図である。この撮像装置20は、撮像部1、A/D変換器2、フレームメモリ3、バッファメモリ4、制御回路5、セレクタ6、補間回路7、セレクタ8、カメラ信号処理回路9、出力端子10を備える。
通常速度の撮像時には、制御回路5により、セレクタ6、8の接点aの入力信号が選択されており、それぞれの接点cより出力される。そこで、フレームメモリ3の出力信号が、セレクタ6、セレクタ8を通してカメラ信号処理回路9へと供給される。なお、通常速度での撮像時には、フレームメモリ3を使用する必要がない時には、フレームメモリ3をバイパスしてもよい。
2倍速の高速撮像時には、通常の毎秒60フレームの映像信号に対して、それより高速の毎秒120フレームの映像信号が撮像部1から出力される。この撮像信号は、A/D変換器2によりディジタル映像信号に変換され、さらにフレームメモリ3およびバッファメモリ4に書き込まれる。フレームメモリ3は、撮影時のモニタリング用途に使用され、バッファメモリ4は、スロー再生のためのバッファリングに使用される。なお、バッファメモリ4は、高速撮像時に得られる大量の情報を失わずに蓄積しておくためのメモリであるから、書き込みと読み取りを同時にできるメモリである必要はなく、単に情報を書き込めるものであればよい。
フレームメモリ3には毎秒120フレームの映像信号が書き込まれるが、モニタリング時には、そのうち毎秒60フレームの信号だけが読み出される。なお、セレクタ6、セレクタ8は、制御回路5により接点aの入力信号が選択されて、接点cより出力される。つまり、通常撮像時と同じ毎秒60フレームの映像信号がカメラ信号処理回路9へと供給され、例えばビューファインダへ信号を表示するために使用される。なお、セレクタ8において接点bを選択して、後述の補間回路7の出力信号をモニタリング用信号としてもよい。
図6の(a)は撮像部1からの出力時、(b)はバッファメモリ4への書き込み時、(c)はスロー再生時、のそれぞれの場合における時間当たりのフレーム数の関係を示す概略図である。スロー再生時の動作について、図6の(a)〜(c)を用いて説明する。撮像部1からの出力時及びメモリ4への書き込み時には毎秒120フレームのフレームレートである。一方、スロー再生時では、図6の(c)に示すように、バッファメモリ4に書き込まれた映像信号をゆっくり読み出すことにより行われる。すなわち、バッファメモリ4には毎秒120フレームの映像信号が書き込まれたが、スロー再生時には毎秒60フレームにて2倍の時間をかけて読み出す。このバッファメモリ4の再生信号が、セレクタ6を通してカメラ信号処理回路9に供給され、各種の信号処理を受け、スロー再生信号として、出力端子10より出力される。1秒間の120フレームが2秒間かけて出力されるのでスロー再生となる。その一方、通常速度のフレームレートの1秒間60フレームで再生されるので、スムーズで美しいスロー再生映像が得られる。
高速撮像を行う時には、撮像部1の固体撮像素子11G、11B、11Rにおいて複数画素について信号電荷を加算して出力する。たとえば、水平2画素の信号電荷を加算すれば、撮像素子から出力する画素数は1/2となるので、通常と同じ駆動クロックで駆動してもその出力に要する時間は1/2でよい。すなわち、フレームレートを2倍にしても、1フレーム当たりの画素数を1/2にすることができるので、固体撮像素子11G、11B、11Rからの信号のデータレートは同じでよい。すなわち、高速撮像時にフレームメモリ3およびバッファメモリ4に書き込まれる映像信号は、フレームレートは2倍ながら通常撮像時と同じ画素レートとすることができる。
(a)通常速度の通常撮像時の動作においては、図8(a)に示すように固体撮像素子11Gからの出力信号は、固体撮像素子11Gの各画素に対応して、g11、g12,g13・・・の連続する画素について1行づつ順番に読み出される。この信号がバッファメモリ4に書き込まれる。
(b)一方、2倍速の高速撮像時には、固体撮像素子11Gにおいて画素混合しているので、その出力信号は各行の画素数が1/2となる。そのため、高速撮像時には、水平2画素について画素混合され、図8(b)のように、g11,g13・・・のようにとびとびのサンプル点の信号がバッファメモリ4に書き込まれる。なお、画素混合後の信号は、画素混合する組合せの左側の画素で表現しており、例えば、画素g11と画素g12を混合したサンプル点をg11と表している。そこで、Gチャンネルについては図8(b)に示されるとびとびのサンプル点の信号がバッファメモリ4に書き込まれる
(c)また、Rチャンネルでの画素混合について、Gチャンネルの画素混合する画素の組合せに対して画素混合する画素の組合せをずらせている。つまり、Gチャンネルの画素混合後のサンプル点はg11であるに対して、Rチャンネルの画素混合後のサンプル点はr12となる。このr12は、画素r12の信号と画素r13の信号とを加算した信号加算後のサンプル点である。そこで、Rチャンネルについては図8(c)に示されるとびとびのサンプル点の信号がバッファメモリ4に書き込まれる。
(d)各サンプル点の信号を読み出す周期、すなわち画素レート(データレート)を同じとすると、画素混合時には全画素の信号を読み出す場合と比べて1/2の時間で第1ラインの信号出力が終わる。すなわち、通常動作における1ライン分の読み出す時間にて、画素混合時には2ライン分の信号を読み出す事ができる。つまり、通常動作にて毎秒60フレームの信号の場合、2画素混合した場合には毎秒120フレームの信号がバッファメモリ4に書き込まれる。
(e)次に、バッファメモリ4からの出力時には、図8(d)、(e)のように、書き込むときと比較して画素レートを1/2とし、1ライン分の時間を通常動作時と同じになるようにする。すなわち、書き込み時には毎秒120フレームの信号が、毎秒60フレームとして読み出され、2倍のスロー再生した信号を得ることができる。
本発明者は、固体撮像素子11G、11B、11Rにおいて、画素混合により2画素の信号を加算して画素数を減らしているので、実質的なサンプリング周波数が低くなり、解像度が悪くなるという問題を見出した。図4の(a)は、画素混合前の信号の周波数に対する信号の関係を示す概略図である。図4の(b)は、画素混合後の信号の周波数に対する信号の関係を示す概略図である。画素混合前には、各々の固体撮像素子において、画素と画素の間隔に相当するサンプリング周波数をfS0とすると、固体撮像素子の各画素による空間サンプリングにより、得られる映像信号は図4の(a)のようになる。なお、fN0はfS0/2であり、ナイキスト周波数である。
図5は、補間回路7の構成を示すブロック図である。補間回路7における補間演算において、画素ずらし処理を行う。まず、G、B、R各チャンネルの信号について、0挿入回路71Gにて画素混合後のサンプル点の間に「0」を挿入して、サンプリング周波数を2倍にする。ただし、GチャンネルとRおよびBチャンネルとでは、画素混合後のサンプリング位置が半周期ずれているので、「0」挿入の方法により時間軸を揃える。すなわち、Gチャンネルの信号が存在するサンプル点について、RおよびBチャンネルの対応するサンプル点に「0」を挿入する。一方、RおよびBチャンネルの信号が存在するサンプル点について、Gチャンネルの対応するサンプル点に「0」を挿入する。
(a)Gチャンネルにおいては、バッファメモリ4から、図9(a)に示すように、水平2画素について画素混合されたサンプル点がとびとびに配置された信号が出力される。
(b)図9(a)の信号について、補間回路7における0挿入回路71Gにより1画素おきに「0」が挿入され、図9(b)に示す信号が得られる。
(c)次いで、図9(b)の信号がローパスフィルタ72Gを通過することにより「0」の部分について、g12’、g14’・・・のように補間された低域信号が生成され、図9(c)に示す信号が得られる。
(d)Gチャンネルと同様に、Rチャンネルでは、バッファメモリ4から、図9(d)に示すように、水平2画素について画素混合されたサンプル点がとびとびに配置された信号が出力される。
(e)図9(d)の信号について、補間回路7における0挿入回路71Rにより1画素おきに「0」が挿入され、図9(e)に示す信号が得られる。
(f)そして、図9(e)の信号がローパスフィルタ72Rを通過することにより「0」の部分について、r11’、r13’・・・のように補間された低域信号が生成され、図9(f)に示す信号が得られる。
(g)加算器70では、0挿入回路71Gで0挿入処理された図9(b)の信号と、0挿入回路71Rで0挿入処理された図9(e)の信号とを加算して、図9(g)のようにGチャンネルのデータとRチャンネルのデータとが交互に存在する信号が得られる。
(h)図9(g)の信号について、ハイパスフィルタ73により高周波成分だけを取り出す。この高周波成分は、各チャンネルで共通するものと見なすことができる。
(i)上記共通する高周波成分を各チャンネルの低周波成分に加算して、各チャンネルにおいて折り返し成分の少ない信号を得ることができる。
以上により、不足する画素を補間して、1フレームについて全ての画素についての信号を得ることができる。
次に、本発明の実施の形態1に係る撮像方法について説明する。図10は、実施の形態1に係る撮像方法のフローチャートである。
(a)第1の固体撮像素子において混合するN個の画素の組合せと、第2の固体撮像素子において混合するN個の画素の組合せとは互いに異なるように画素混合して出力する(S01)。画素混合することによって1フレーム当たりの画素数を減らすことができるので、フレームレートを大きくしながら、データレートを抑制することができる。また、画素混合する画素の組合せを変えることで画素混合後のサンプル点をずらすことができる。
(b)各サンプル点の間に(N−1)個のサンプル点の信号を補間する補間演算を行って補間された信号を出力する(S02)。補間演算によって画素混合で減った画素数を元の画素数に戻すことができる。また、上述のように画素混合の組合せを変え、画素ずらししたサンプル点を用いることで画素混合によって生じる周波数の折り返し成分を小さくすることができる。
以上の撮像方法によって、補間された信号を得ることができる。
図11は、補間演算の詳細を示すフローチャートである。
(a)第1及び第2の固体撮像素子のサンプル点の出力信号から補間された第1及び第2の低周波成分をそれぞれ生成する(S11)。
(b)第1の固体撮像素子のサンプル点の出力信号と第2の固体撮像素子のサンプル点の出力信号とを加算する(S12)。
(c)加算した信号の高周波成分を生成する(S13)。この高周波成分は、各固体撮像素子からの出力について共通するものと考えられる。
(d)第1の低周波成分と高周波成分とを加算して、第1の固体撮像素子の信号を得る(S14)。
(e)第2の低周波成分と高周波成分とを加算して、第2の固体撮像素子の信号を得る(S15)。
以上によって補間演算された信号を得ることができる。
(a)第1の固体撮像素子からの出力信号に対して、各信号間に(N−1)個のサンプル点について0の値の信号を挿入する(S21)。
(b)第2の固体撮像素子からの出力信号に対して、0でない信号のサンプル点が第1の固体撮像素子の出力信号とは互いにずれるようにして、各信号間に(N−1)個のサンプル点について0の値の信号を挿入する(S22)。
(c)第1の固体撮像素子の信号から補間された第1の低周波成分を生成する(S23)。
(d)第2の固体撮像素子の信号から補間された第2の低周波成分を生成する(S24)。
(e)互いに対応するサンプル点の第1の固体撮像素子の出力信号と第2の固体撮像素子の出力信号とを加算する(S25)。
(f)加算した信号の高周波成分を生成する(S26)。
(g)第1の低周波成分と高周波成分とを加算して、第1の固体撮像素子の信号を得る(S27)。
(h)第2の低周波成分と高周波成分とを加算して、第2の固体撮像素子の信号を得る(S28)。
以上によって、補間演算において、0挿入処理を行って、補間された信号を得ることができる。
図13は、本発明の実施の形態2における撮像装置20aの構成を示すブロック図である。この撮像装置20aは、撮像部1a、A/D変換器2、制御回路5、補間回路7a、セレクタ8、カメラ信号処理回路9、出力端子10、加算回路21を備える。この撮像装置20aは、実施の形態1に係る撮像装置と比較すると、撮像部1aが3板方式ではなく、いずれか一つの色チャンネル、例えばGチャンネルを2つのチャンネルG1、G2に分ける4板方式である点で相違する。さらに、フレームメモリ3及びバッファメモリ4を有しておらず、その一方、加算回路21を備える点においても相違する。
この撮像装置20aでは、高速撮像を行う時には、実施の形態1と同様に、撮像部1aの固体撮像素子11G1、11G2、11B、11Rにおいて2画素の信号電荷を加算して出力する。たとえば、水平2画素の信号電荷を加算すれば、固体撮像素子から出力する画素数は1/2となるので、通常と同じ駆動クロックで駆動すると、その出力に要する時間は1/2となる。そこで、フレームレートを2倍にしても、固体撮像素子11G1、11G2、11B、11Rからの信号レート(データレート)は通常速度の撮影時と同じにすることができる。
本実施の形態2に係る撮像装置20aでは、水平方向に2画素混合するときに、G1チャンネルとG2チャンネルにおいて混合する画素の組合せを変えている。すなわち、図15において破線で示すように、G1チャンネルではgf11+gf12、gf13+gf14、gf15+gf16という組合せで水平方向に2画素の信号を混合するが、G2チャンネルでは、gs12+gs13、gs14+gs15というように混合する画素の組合せをずらしている。なお、RチャンネルとBチャンネルにおいては、G1チャンネルと同様の組合せで画素混合する。
まず、通常速度での通常撮像の動作について説明する。図13において、撮像部1aの出力信号はA/D変換器2によりディジタル映像信号に変換され、さらに加算回路21へと入力される。加算回路21では、二つのGチャンネル信号G1、G2をそれぞれのサンプル点を加算して、G信号を生成する。図15を用いて説明したように、二つのGチャンネルの固体撮像素子11G1、11G2の各サンプル点はそれぞれ対応するサンプル点なので、加算すると信号量が2倍になる。Gチャンネル成分を二つの固体撮像素子で分担するので、最大飽和信号レベルが2倍となり、ダイナミックレンジが増大する。なお、RチャンネルとBチャンネル信号は、そのまま出力する。通常速度の通常撮像時には、セレクタ8は制御回路5により接点aの入力信号が選択されており、加算回路21の出力が接点cより出力され、カメラ信号処理回路9により各種の信号処理を受け、出力端子10より出力される。
次に、例えば通常速度に対してスローモーション映像の速度比が1/2、すなわち2倍速の高速撮像を行う場合を説明する。2倍速の高速撮像時には、通常の毎秒60フレームに対して、毎秒120フレームの映像信号を撮像部1aから出力する。ただし、前述したように、撮像部1aでは各固体撮像素子において水平方向に2画素ずつの画素混合を行い、1フレームの出力サンプル数を1/2とする。この撮像部1aの出力信号はA/D変換器2によりディジタル映像信号に変換され、さらに補間回路7aへと入力される。なお、撮像部1aから出力される信号は、フレームレートが通常撮像時の2倍であるが、通常撮像時と同じ画素レートである。また、A/D変換器2におけるサンプリング周波数は、通常撮像時と同じである。
図18は、本発明の実施の形態3における撮像装置20bの構成を示すブロック図である。この撮像装置20bは、撮像部1a、A/D変換器2、バッファメモリ4、制御回路5、補間回路7a、セレクタ8、カメラ信号処理回路9、出力端子10、加算回路21を備える。この撮像装置20bは、実施の形態2に係る撮像装置と異なる点は、バッファメモリ4を有する点である。この撮像装置20bの動作について、図18を適宜参照して説明するが、図13と同じ構成要素については、その説明を一部省略する。
また、通常速度における通常撮像時の動作についても、実施の形態2と全く同様であるので説明を省略する。
まず、高速撮像時には、撮像部1aでは、実施の形態2と同様に水平方向に2画素ずつの画素混合を行い、出力サンプル数が1/2となった毎秒120フレームの映像信号を出力する。撮像部1aの出力信号は、A/D変換器2によりディジタル映像信号に変換され、さらにバッファメモリ4に書き込まれる。本実施の形態では、このバッファメモリ4をスロー再生のためのバッファとして使用する。すなわち、スロー再生すべき高速撮像した映像信号は、バッファメモリ4に一旦記憶される。
続いて、スロー再生時の動作を説明する。スロー再生は、バッファメモリ4に書き込まれた映像信号をゆっくり読み出すことにより行われる。すなわち、バッファメモリ4には毎秒120フレームの映像信号が書き込まれたが、スロー再生時には毎秒60フレームにて2倍の時間をかけて読み出す。このバッファメモリ4の再生信号が、補間回路7aへと入力される。セレクタ8は、制御回路5により接点bの入力信号が選択されて接点cより出力される。補間回路7aの出力信号は、カメラ信号処理回路9により各種の信号処理を受け、出力端子10より出力される。バッファメモリ4の出力信号は、1フレーム当たり1/2の画素数となった毎秒60フレームの映像信号であり、補間回路7aにおいて実施の形態2と同様の動作により、その出力信号は不足しているサンプル点について補間演算により生成され、高速撮像時と同じサンプル点の数となる。上述のようにバッファメモリ4を用いて記録再生することにより、出力端子10からは、2倍のスロー再生信号を得ることができる。
2 A/D変換器
3 フレームメモリ
4 バッファメモリ
5 制御回路
6、8 セレクタ
7、7a 補間回路
9 カメラ信号処理回路
10 出力端子
11G、11B、11R 固体撮像素子
11G1、11G2 固体撮像素子
12 光学プリズム
13 駆動回路
20、20a、20b、20c 撮像装置
21 加算回路
70 加算器
71G、71B,71R、71G1、71G2 0挿入回路
72G、72B、72R ローパスフィルタ
73 ハイパスフィルタ
74G、74B,74R 加算器
101 CCD撮像部
102 転送部
103 フィールドメモリ
104 バッファメモリ
105 制御回路
106 1/n減衰器
107 加算器
108 信号切換器
109 カメラ信号処理回路
110 出力端子
Claims (8)
- 離散的な画素構造を有し、第1のフレームレートで撮像する通常撮像の場合には1フレームについてM個の画素に対してそれぞれの画素からのM個のサンプル点の信号をそのまま出力し、前記第1のフレームレートより大きい第2のフレームレートで撮像する高速撮像の場合には1フレームについてM個の画素に対してN個ずつの画素の信号を混合してM/N(M、Nは2以上の整数)個のサンプル点の信号を出力する撮像部と、
前記通常撮像の場合には前記撮像部からの出力信号をそのまま出力し、前記高速撮像の場合には前記撮像部からの出力信号について、各サンプル点の間に(N−1)個のサンプル点の信号を補間する補間演算を行ってM個のサンプル点の補間された信号を出力する演算部と、
を備え、
前記撮像部は、少なくとも離散的な画素構造を有する第1の固体撮像素子と離散的な画素構造を有する第2の固体撮像素子とを含み、
前記第1の固体撮像素子と前記第2の固体撮像素子とは、それぞれ対応する画素を有し、
前記高速撮像において、前記第1の固体撮像素子において混合するN個の画素の組合せと、前記第2の固体撮像素子において混合するN個の画素の組合せとは互いに異なり、
前記演算部は、前記補間演算において、
前記第1の固体撮像素子のサンプル点の出力信号から補間された第1の低周波成分を生成し、
前記第2の固体撮像素子のサンプル点の出力信号から補間された第2の低周波成分を生成し、
前記第1の固体撮像素子のサンプル点の出力信号と前記第2の固体撮像素子のサンプル点の出力信号とを加算して、加算した信号の高周波成分を生成し、
前記第1の低周波成分と前記高周波成分とを加算して、前記第1の固体撮像素子の信号を得ると共に、
前記第2の低周波成分と前記高周波成分とを加算して、前記第2の固体撮像素子の信号を得ること、
を特徴とする撮像装置。 - 離散的な画素構造を有し、第1のフレームレートで撮像する通常撮像の場合には1フレームについてM個の画素に対してそれぞれの画素からのM個のサンプル点の信号をそのまま出力し、前記第1のフレームレートより大きい第2のフレームレートで撮像する高速撮像の場合には1フレームについてM個の画素に対してN個ずつの画素の信号を混合してM/N(M、Nは2以上の整数)個のサンプル点の信号を出力する撮像部と、
前記通常撮像の場合には前記撮像部からの出力信号をそのまま出力し、前記高速撮像の場合には前記撮像部からの出力信号について、各サンプル点の間に(N−1)個のサンプル点の信号を補間する補間演算を行ってM個のサンプル点の補間された信号を出力する演算部と、
を備え、
前記撮像部は、少なくとも離散的な画素構造を有する第1の固体撮像素子と離散的な画素構造を有する第2の固体撮像素子とを含み、
前記第1の固体撮像素子と前記第2の固体撮像素子とは、それぞれ対応する画素を有し、
前記高速撮像において、前記第1の固体撮像素子において混合するN個の画素の組合せと、前記第2の固体撮像素子において混合するN個の画素の組合せとは互いに異なり、
前記演算部は、前記補間演算において、
前記第1の固体撮像素子からのM/N個のサンプル点の出力信号に対して、各信号間に(N−1)個のサンプル点について0の値の信号を挿入して、全体をM個のサンプル点の信号とし、
前記第2の固体撮像素子からのM/N個のサンプル点の出力信号に対して、0でない信号のサンプル点が前記第1の固体撮像素子の出力信号とは互いにずれるようにして、各信号間に(N−1)個のサンプル点について0の値の信号を挿入して、全体をM個のサンプル点の信号とし、
前記第1の固体撮像素子の信号から補間された第1の低周波成分を生成し、
前記第2の固体撮像素子の信号から補間された第2の低周波成分を生成し、
互いに対応するサンプル点の前記第1の固体撮像素子の出力信号と前記第2の固体撮像素子の出力信号とを加算して、加算した信号の高周波成分を生成し、
前記第1の低周波成分と前記高周波成分とを加算して、前記第1の固体撮像素子の信号を得ると共に、
前記第2の低周波成分と前記高周波成分とを加算して、前記第2の固体撮像素子の信号を得ることを特徴とする撮像装置。 - 離散的な画素構造を有し、第1のフレームレートで撮像する通常撮像の場合には1フレームについてM個の画素に対してそれぞれの画素からのM個のサンプル点の信号をそのまま出力し、前記第1のフレームレートより大きい第2のフレームレートで撮像する高速撮像の場合には1フレームについてM個の画素に対してN個ずつの画素の信号を混合してM/N(M、Nは2以上の整数)個のサンプル点の信号を出力する撮像部と、
前記通常撮像の場合には前記撮像部からの出力信号をそのまま出力し、前記高速撮像の場合には前記撮像部からの出力信号について、各サンプル点の間に(N−1)個のサンプル点の信号を補間する補間演算を行ってM個のサンプル点の補間された信号を出力する演算部と、
を備え
前記撮像部は、少なくとも離散的な画素構造を有する第1の固体撮像素子と、離散的な画素構造を有する第2の固体撮像素子と、離散的な画素構造を有し、前記第1及び第2の固体撮像素子の各画素と対応する画素を有する第3の固体撮像素子と、をさらに含み、
前記第1の固体撮像素子と前記第2の固体撮像素子とは、それぞれ対応する画素を有し、
前記高速撮像において、前記第1の固体撮像素子において混合するN個の画素の組合せと、前記第2の固体撮像素子において混合するN個の画素の組合せとは互いに異なり、
前記演算部は、前記補間演算において、
前記第3の固体撮像素子のサンプル点の出力信号から補間された第3の低周波成分を生成し、
前記第1の固体撮像素子のサンプル点の出力信号と前記第2の固体撮像素子のサンプル点の出力信号とを加算して、加算した信号の高周波成分を生成し、
前記第3の低周波成分と前記高周波成分とを加算して、前記第3の固体撮像素子の信号を得ることを特徴とする撮像装置。 - 離散的な画素構造を有し、第1のフレームレートで撮像する通常撮像の場合には1フレームについてM個の画素に対してそれぞれの画素からのM個のサンプル点の信号をそのまま出力し、前記第1のフレームレートより大きい第2のフレームレートで撮像する高速撮像の場合には1フレームについてM個の画素に対してN個ずつの画素の信号を混合してM/N(M、Nは2以上の整数)個のサンプル点の信号を出力する撮像部と、
前記通常撮像の場合には前記撮像部からの出力信号をそのまま出力し、前記高速撮像の場合には前記撮像部からの出力信号について、各サンプル点の間に(N−1)個のサンプル点の信号を補間する補間演算を行ってM個のサンプル点の補間された信号を出力する演算部と、
を備え、
前記撮像部は、少なくとも離散的な画素構造を有する第1の固体撮像素子と、離散的な画素構造を有する第2の固体撮像素子と、離散的な画素構造を有し、前記第1及び第2の固体撮像素子の各画素と対応する画素を有する第3の固体撮像素子と、をさらに含み、
前記第1の固体撮像素子と前記第2の固体撮像素子とは、それぞれ対応する画素を有し、
前記高速撮像において、前記第1の固体撮像素子において混合するN個の画素の組合せと、前記第2の固体撮像素子において混合するN個の画素の組合せとは互いに異なり、
前記演算部は、前記補間演算において、
前記第1の固体撮像素子からのM/N個のサンプル点の出力信号に対して、各信号間に(N−1)個のサンプル点について0の値の信号を挿入して、全体をM個のサンプル点の信号とし、
前記第2の固体撮像素子からのM/N個のサンプル点の出力信号に対して、0でない信号のサンプル点が前記第1の固体撮像素子の出力信号とは互いにずれるようにして、各信号間に(N−1)個のサンプル点について0の値の信号を挿入して、全体をM個のサンプル点の信号とし、
前記第3の固体撮像素子からのM/N個のサンプル点の出力信号に対して、前記第1の固体撮像素子からのサンプル点の出力信号と対応させて、各信号間に(N−1)個のサンプル点について0の値の信号を挿入して、全体をM個のサンプル点の信号とし、
前記第3の固体撮像素子の信号から補間された第3の低周波成分を生成し、
互いに対応するサンプル点の前記第1の固体撮像素子の出力信号と前記第2の固体撮像素子の出力信号とを加算して、加算した信号の高周波成分を生成し、
前記第3の低周波成分と前記高周波成分とを加算して、前記第3の固体撮像素子の信号を得ることを特徴とする撮像装置。 - 前記撮像部は、G、B、Rの各チャンネルに対応する第1から第3の固体撮像素子を含むことを特徴とする請求項1から4のいずれか一項に記載の撮像装置。
- 前記撮像部は、Gチャンネルを2つに分けたG1チャンネル及びG2チャンネルに対応する第1及び第2の固体撮像素子と、Bチャンネルに対応する第3の固体撮像素子と、Rチャンネルに対応する第4の固体撮像素子とを含み、
前記通常撮像時には、前記G1チャンネルと前記G2チャンネルに対応する第1及び第2固体撮像素子からの出力信号を加算してGチャンネルの信号とし、
前記高速撮像時には、互いに対応するサンプル点の前記第1の固体撮像素子の出力信号と前記第2の固体撮像素子の出力信号とを加算した信号をGチャンネルの信号とすること
を特徴とする請求項3又は4に記載の撮像装置。 - 前記撮像部と前記演算部との間に、前記撮像部の出力信号を記憶すると共に、記憶した出力信号を前記演算部に出力する記憶部をさらに備え、
前記演算部は、前記記憶部からの出力信号を演算することを特徴とする請求項1から6のいずれか一項に記載の撮像装置。 - 前記撮像部から出力するフレームレートは、前記記憶部から出力するフレームレートより大きいことを特徴とする請求項7に記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007531122A JP5033628B2 (ja) | 2006-02-17 | 2007-02-15 | 撮像装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006040553 | 2006-02-17 | ||
JP2006040553 | 2006-02-17 | ||
JP2007531122A JP5033628B2 (ja) | 2006-02-17 | 2007-02-15 | 撮像装置 |
PCT/JP2007/052716 WO2007094403A1 (ja) | 2006-02-17 | 2007-02-15 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007094403A1 JPWO2007094403A1 (ja) | 2009-07-09 |
JP5033628B2 true JP5033628B2 (ja) | 2012-09-26 |
Family
ID=38371582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007531122A Expired - Fee Related JP5033628B2 (ja) | 2006-02-17 | 2007-02-15 | 撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8144206B2 (ja) |
JP (1) | JP5033628B2 (ja) |
CN (1) | CN101422034B (ja) |
WO (1) | WO2007094403A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8482613B2 (en) * | 2007-09-10 | 2013-07-09 | John Kempf | Apparatus and method for photographing birds |
JP5197285B2 (ja) * | 2007-12-05 | 2013-05-15 | パナソニック株式会社 | オートフォーカス機能付撮像装置、撮像方法、プログラムおよび集積回路 |
JP5090388B2 (ja) * | 2009-02-20 | 2012-12-05 | 日本放送協会 | 撮像装置 |
JP5054175B2 (ja) * | 2010-09-08 | 2012-10-24 | キヤノン株式会社 | 撮像装置およびその制御方法、撮影制御装置、撮影制御方法 |
JP6160448B2 (ja) * | 2013-11-05 | 2017-07-12 | ソニー株式会社 | 撮像装置および撮像装置の制御方法 |
CN105934947B (zh) * | 2014-06-13 | 2017-10-13 | 奥林巴斯株式会社 | 固体摄像装置和摄像方法 |
JP6386301B2 (ja) * | 2014-08-28 | 2018-09-05 | 株式会社日立国際電気 | 撮像装置およびその変調度補正方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000295531A (ja) * | 1999-04-06 | 2000-10-20 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2003069903A (ja) * | 2001-08-28 | 2003-03-07 | Olympus Optical Co Ltd | 撮像装置 |
JP2004032100A (ja) * | 2002-06-21 | 2004-01-29 | Sony Corp | 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BE498279A (ja) * | 1949-09-24 | |||
EP0558338B1 (en) * | 1992-02-28 | 1998-01-21 | Sony Corporation | Video camera |
JPH06335006A (ja) * | 1993-05-19 | 1994-12-02 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
US5661522A (en) * | 1994-12-16 | 1997-08-26 | Hitachi Denshi Kabushiki Kaisha | TV camera provided with solid image pick-up element |
JP2716949B2 (ja) | 1995-05-08 | 1998-02-18 | 株式会社東芝 | X線診断装置 |
US5912702A (en) * | 1995-12-12 | 1999-06-15 | Sony Corporation | Video camera and image enhancing apparatus |
JPH10136244A (ja) * | 1996-11-01 | 1998-05-22 | Olympus Optical Co Ltd | 電子的撮像装置 |
JPH1132241A (ja) | 1997-07-09 | 1999-02-02 | Sony Corp | 可変速度カメラ装置 |
JP3664123B2 (ja) * | 2001-10-03 | 2005-06-22 | ソニー株式会社 | 撮像装置および画質補正方法 |
JP2003274264A (ja) * | 2002-03-13 | 2003-09-26 | Sony Corp | 撮像装置及び映像信号生成方法 |
JP2003283907A (ja) * | 2002-03-20 | 2003-10-03 | Japan Science & Technology Corp | 撮像装置 |
JP2003299112A (ja) * | 2002-03-29 | 2003-10-17 | Fuji Photo Film Co Ltd | デジタルカメラ |
JP4142340B2 (ja) * | 2002-05-22 | 2008-09-03 | オリンパス株式会社 | 撮像装置 |
JP4281309B2 (ja) * | 2002-08-23 | 2009-06-17 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像フレームデータ記憶媒体、並びにコンピュータ・プログラム |
JP4016796B2 (ja) | 2002-10-22 | 2007-12-05 | オムロン株式会社 | 車載用撮像装置及びそれを用いた車両運転支援装置 |
JP2005086499A (ja) * | 2003-09-09 | 2005-03-31 | Minolta Co Ltd | 撮像装置 |
JP2005303519A (ja) * | 2004-04-08 | 2005-10-27 | Konica Minolta Photo Imaging Inc | 撮像装置 |
US7570286B2 (en) * | 2005-05-27 | 2009-08-04 | Honda Motor Co., Ltd. | System and method for creating composite images |
-
2007
- 2007-02-15 CN CN2007800136334A patent/CN101422034B/zh not_active Expired - Fee Related
- 2007-02-15 JP JP2007531122A patent/JP5033628B2/ja not_active Expired - Fee Related
- 2007-02-15 US US12/279,603 patent/US8144206B2/en not_active Expired - Fee Related
- 2007-02-15 WO PCT/JP2007/052716 patent/WO2007094403A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000295531A (ja) * | 1999-04-06 | 2000-10-20 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2003069903A (ja) * | 2001-08-28 | 2003-03-07 | Olympus Optical Co Ltd | 撮像装置 |
JP2004032100A (ja) * | 2002-06-21 | 2004-01-29 | Sony Corp | 撮像装置、画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2007094403A1 (ja) | 2009-07-09 |
US20100220214A1 (en) | 2010-09-02 |
WO2007094403A1 (ja) | 2007-08-23 |
CN101422034B (zh) | 2011-10-12 |
CN101422034A (zh) | 2009-04-29 |
US8144206B2 (en) | 2012-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3991543B2 (ja) | 撮像装置 | |
KR100666290B1 (ko) | 촬상 장치 및 촬상 방법 | |
JP5033628B2 (ja) | 撮像装置 | |
JP4047943B2 (ja) | ディジタル画像データ記録装置および方法ならびにディジタル画像データ再生装置および方法ならびに固体電子撮像装置およびその信号電荷読出し方法 | |
JP4759293B2 (ja) | 撮像素子 | |
JPH08172635A (ja) | 撮像装置 | |
JP2012049912A (ja) | 光電変換装置および撮像システム | |
US6900832B1 (en) | Solid-state image pickup apparatus adaptive to different display modes and having a high pixel density, synchronous video output capability and a method of signal processing | |
JPH06133321A (ja) | Ccd撮像装置 | |
JP3967853B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP2007104584A (ja) | カメラ装置 | |
JPS5972283A (ja) | 電子スチルカメラの映像信号処理装置 | |
JP3967392B2 (ja) | 撮像装置 | |
JP3738654B2 (ja) | デジタルカメラ | |
JP2004194248A (ja) | 撮像素子及び撮像装置 | |
JP4764950B2 (ja) | 撮像装置 | |
JP4525388B2 (ja) | 撮像信号記録装置 | |
JP5066476B2 (ja) | 撮像装置 | |
JPH06189256A (ja) | 静止画記録ディジタルカメラ | |
JP3018297B2 (ja) | カラー撮像装置 | |
JP3193557B2 (ja) | 映像信号記録再生装置 | |
JPH08331574A (ja) | 固体撮像装置 | |
JP2004357333A (ja) | 静止画記録ディジタルカメラ | |
KR0137232B1 (ko) | 정지화상기록 디지탈 카메라 | |
JP2004112723A (ja) | 撮像素子及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120321 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120612 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120702 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5033628 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150706 Year of fee payment: 3 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070705 |
|
LAPS | Cancellation because of no payment of annual fees |