JP5033628B2 - 撮像装置 - Google Patents

Description

本発明は、スローモーション再生が可能なビデオカメラ等の高速撮像装置に関する。

近年、ビデオカメラの高性能化が進み、特にディジタル技術の進展に伴い、通常より高速で撮影するスローモーション撮影が可能となっている。特にスポーツ中継などにおいては、美しいスローモーション再生は番組製作の上で大きな特徴となる。

高速度撮影を行う場合、従来の標準のビデオ信号に対しその倍速度分の周波数帯域を持つ信号を得ることが必要である。すなわち、１／３スロー再生を得るために、３倍速の撮影をする場合には、カメラ出力として３倍速のフレームレートを有することが必要であると共に、それによって通常の３倍のデータレートが必要となる。つまり、カメラから通常のビデオ信号のフォーマットとは異なる、３倍速のデータ出力が必要であり、その信号伝送にも高速撮像専用の伝送装置が必要となる。

その課題を解決する一つの方法として、例えば、特許文献１に開示されたカメラ装置がある。図２０は、このカメラ装置の構成を示すブロック図である。このカメラ装置においては、ＣＣＤ撮像部１０１は、固体撮像素子としてＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を用いており、画像の光電変換を行う。ＣＣＤ撮像部１０１では転送部１０２により駆動速度ｆｃにて電荷転送が行われ、その撮像出力信号はＡ／Ｄ変換された後、フィールドメモリ１０３に蓄積される。

カメラ装置によって３倍速度で撮影を行う場合、即ちｎ＝３の時には、転送部１０２は通常の３倍の駆動速度３ｆｃでＣＣＤ撮像部１０１を駆動し、その出力信号は通常の３倍のサンプリング周波数３ｆｃでＡ／Ｄ変換される。その３倍速の映像信号は、フィールドメモリ１０３の＃１〜＃３に記憶される。なお、撮像部１０１、転送部１０２、フィールドメモリ１０３は、制御回路１０５から制御信号を受けて動作する。

クロック周波数３ｆｃでフィールドメモリ１０３へ映像信号の書き込みが行われると同時に、そのフィールドメモリの内容が正規のクロック周波数ｆｃで並列に読み出され、１／ｎ減衰器１０６において各々１／３に減衰されてから加算器１０７に送られる。従って、加算器１０７の出力には、フィールドメモリ１０３の＃１〜＃３の内容の平均値が正規速度で出力される。

信号切換器（セレクタ）１０８は、通常速度の撮影時にはその接点がａ側に接しているので、ＣＣＤの転送部１０２からの信号は直接取り出されてカメラ信号処理回路１０９に送られる。一方、高速撮像時及び低速撮影時にはその接点がｂ側に接しているので、加算器１０７の出力はカメラ信号処理回路１０９に送られる。カメラ信号処理回路１０９で処理された信号は後段の回路に送られ、公知の方法で録画され又はモニタされる。

そして、高速度で撮影した信号を後から正規速度で再生するために、バッファメモリ１０４に高速度で映像信号を書き込んでいく。その後、撮影を停止するか、撮影中の信号に代えて、その時にバッファメモリ１０４に記憶されている映像信号を正規速度で読み出す。

特開平１１−３２２４１号公報（第３頁−第５頁）

上記の技術においては、高速撮像においてフィールドメモリあるいはバッファメモリ以降の回路は通常速度の動作で行うことができるが、ＣＣＤ撮像部からメモリまでは、高速で動作させる必要がある。しかし、特にＣＣＤなどの固体撮像素子からメモリへの書き込みにおいては、通常より高速のデータレートで動作させる事は非常に困難である。

本発明の目的は、高速撮像時に、メモリへの書き込みのデータレートを高速化する必要がなく、通常のデータレートでスローモーション再生可能な高データレートの画像を得られる撮像装置を提供することである。

本発明に係る撮像装置は、離散的な画素構造を有し、第１のフレームレートで撮像する通常撮像の場合には１フレームについてＭ個の画素に対してそれぞれの画素からのＭ個のサンプル点の信号をそのまま出力し、前記第１のフレームレートより大きい第２のフレームレートで撮像する高速撮像の場合には１フレームについてＭ個の画素に対してＮ個ずつの画素の信号を混合してＭ／Ｎ（Ｍ、Ｎは２以上の整数）個のサンプル点の信号を出力する撮像部と、
前記通常撮像の場合には前記撮像部からの出力信号をそのまま出力し、前記高速撮像の場合には前記撮像部からの出力信号について、各サンプル点の間に（Ｎ−１）個のサンプル点の信号を補間する補間演算を行ってＭ個のサンプル点の補間された信号を出力する演算部と、
を備えることを特徴とする。

また、前記撮像部は、少なくとも離散的な画素構造を有する第１の固体撮像素子と離散的な画素構造を有する第２の固体撮像素子とを含み、
前記第１の固体撮像素子と前記第２の固体撮像素子とは、それぞれ対応する画素を有し、
前記高速撮像において、前記第１の固体撮像素子において混合するＮ個の画素の組合せと、前記第２の固体撮像素子において混合するＮ個の画素の組合せとは互いに異なることが好ましい。

さらに、前記演算部は、前記補間演算において、
前記第１の固体撮像素子のサンプル点の出力信号から補間された第１の低周波成分を生成し、
前記第２の固体撮像素子のサンプル点の出力信号から補間された第２の低周波成分を生成し、
前記第１の固体撮像素子のサンプル点の出力信号と前記第２の固体撮像素子のサンプル点の出力信号とを加算して、加算した信号の高周波成分を生成し、
前記第１の低周波成分と前記高周波成分とを加算して、前記第１の固体撮像素子の信号を得ると共に、
前記第２の低周波成分と前記高周波成分とを加算して、前記第２の固体撮像素子の信号を得るものであってもよい。

またさらに、前記演算部は、前記補間演算において、
前記第１の固体撮像素子からのＭ／Ｎ個のサンプル点の出力信号に対して、各信号間に（Ｎ−１）個のサンプル点について０の値の信号を挿入して、全体をＭ個のサンプル点の信号とし、
前記第２の固体撮像素子からのＭ／Ｎ個のサンプル点の出力信号に対して、０でない信号のサンプル点が前記第１の固体撮像素子の出力信号とは互いにずれるようにして、各信号間に（Ｎ−１）個のサンプル点について０の値の信号を挿入して、全体をＭ個のサンプル点の信号とし、
前記第１の固体撮像素子の信号から補間された第１の低周波成分を生成し、
前記第２の固体撮像素子の信号から補間された第２の低周波成分を生成し、
互いに対応するサンプル点の前記第１の固体撮像素子の出力信号と前記第２の固体撮像素子の出力信号とを加算して、加算した信号の高周波成分を生成し、
前記第１の低周波成分と前記高周波成分とを加算して、前記第１の固体撮像素子の信号を得ると共に、
前記第２の低周波成分と前記高周波成分とを加算して、前記第２の固体撮像素子の信号を得るものであってもよい。

また、前記撮像部は、離散的な画素構造を有し、前記第１及び第２の固体撮像素子の各画素と対応する画素を有する第３の固体撮像素子をさらに含んでもよい。この場合に、前記演算部は、前記補間演算において、
前記第３の固体撮像素子のサンプル点の出力信号から補間された第３の低周波成分を生成し、
前記第１の固体撮像素子のサンプル点の出力信号と前記第２の固体撮像素子のサンプル点の出力信号とを加算して、加算した信号の高周波成分を生成し、
前記第３の低周波成分と前記高周波成分とを加算して、前記第３の固体撮像素子の信号を得るものであってもよい。

さらに、前記撮像部は、離散的な画素構造を有し、前記第１及び第２の固体撮像素子の各画素と対応する画素を有する第３の固体撮像素子をさらに含んでもよい。この場合に、前記演算部は、前記補間演算において、
前記第１の固体撮像素子からのＭ／Ｎ個のサンプル点の出力信号に対して、各信号間に（Ｎ−１）個のサンプル点について０の値の信号を挿入して、全体をＭ個のサンプル点の信号とし、
前記第２の固体撮像素子からのＭ／Ｎ個のサンプル点の出力信号に対して、０でない信号のサンプル点が前記第１の固体撮像素子の出力信号とは互いにずれるようにして、各信号間に（Ｎ−１）個のサンプル点について０の値の信号を挿入して、全体をＭ個のサンプル点の信号とし、
前記第３の固体撮像素子からのＭ／Ｎ個のサンプル点の出力信号に対して、前記第１の固体撮像素子からのサンプル点の出力信号と対応させて、各信号間に（Ｎ−１）個のサンプル点について０の値の信号を挿入して、全体をＭ個のサンプル点の信号とし、
前記第３の固体撮像素子の信号から補間された第３の低周波成分を生成し、
互いに対応するサンプル点の前記第１の固体撮像素子の出力信号と前記第２の固体撮像素子の出力信号とを加算して、加算した信号の高周波成分を生成し、
前記第３の低周波成分と前記高周波成分とを加算して、前記第３の固体撮像素子の信号を得るものであってもよい。

また、前記撮像部は、Ｇ、Ｂ、Ｒの各チャンネルに対応する第１から第３の固体撮像素子を含んでもよい。

前記撮像部は、Ｇチャンネルを２つに分けたＧ１チャンネル及びＧ２チャンネルに対応する第１及び第２の固体撮像素子と、Ｂチャンネルに対応する第３の固体撮像素子と、Ｒチャンネルに対応する第４の固体撮像素子とを含んでもよい。この場合、前記通常撮像時には、前記Ｇ１チャンネルと前記Ｇ２チャンネルに対応する第１及び第２固体撮像素子からの出力信号を加算してＧチャンネルの信号とする。また、前記高速撮像時には、互いに対応するサンプル点の前記第１の固体撮像素子の出力信号と前記第２の固体撮像素子の出力信号とを加算した信号をＧチャンネルの信号とする。

また、前記撮像部と前記演算部との間に、前記撮像部の出力信号を記憶すると共に、記憶した出力信号を前記演算部に出力する記憶部をさらに備えてもよい。この場合、前記演算部は、前記記憶部からの出力信号を演算するものであってもよい。

さらに、前記撮像部から出力するフレームレートは、前記記憶部から出力するフレームレートより大きいものであってもよい。

以上のように本発明によれば、高速撮像時に、撮像部から出力するフレームレートを大きくしながらデータレートを通常と同程度に保つことができる。これにより、高速のデータレートでの動作を必要とせずに、スローモーション再生画像を得ることができるという優れた効果が得られる。

以下、本発明の実施の形態に係る撮像装置について添付図面を用いて説明する。なお、図面において実質的に同一の部材には同一の符号を付している。

（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置２０の構成を示すブロック図である。この撮像装置２０は、撮像部１、Ａ／Ｄ変換器２、フレームメモリ３、バッファメモリ４、制御回路５、セレクタ６、補間回路７、セレクタ８、カメラ信号処理回路９、出力端子１０を備える。

図２は、撮像部１の詳細な構成を示す概略図である。この撮像部１は、光学的な画像信号を電気信号に変換して出力するものである。その撮像方式は３個の固体撮像素子１１Ｇ、１１Ｂ、１１Ｒからなる三板方式である。この撮像部１では、光学プリズム１２で、レンズ（図示せず）から入射した光を緑（Ｇ）、青（Ｂ）、赤（Ｒ）の三つの色成分に分解する。また、固体撮像素子１１Ｇ、１１Ｂ、１１Ｒは、それぞれＧ、Ｂ、Ｒチャンネルに相当するものであり、例えばＣＣＤ型撮像素子である。この固体撮像素子１１Ｇ、１１Ｂ、１１Ｒは、離散的な画素構造を持ち、画像を空間的にサンプリングして電気信号に変換する。なお、固体撮像素子１１Ｇ、１１Ｂ、１１Ｒは、駆動回路１３によって駆動される。

図３は、固体撮像素子１１Ｇ、１１Ｂ、１１Ｒの光電変換を行う画素の２次元配置を示す概略図である。固体撮像素子１１Ｇ、１１Ｂ、１１Ｒは、それぞれ別個に配置されているが、固体撮像素子１１Ｇの画素ｇ１１、固体撮像素子１１Ｂの画素ｂ１１、固体撮像素子１１Ｒの画素ｒ１１は、それぞれ光学的に同一の位置に対応する。すなわち、画素ｇ１１、ｂ１１、ｒ１１は、それぞれ空間的に同じサンプル点に対応する。

Ａ／Ｄ変換器２によって、撮像部１の出力であるアナログ映像信号をディジタル映像信号に変換し、フレームメモリ３およびバッファメモリ４へと入力する。フレームメモリ３およびバッファメモリ４の出力はセレクタ６へと接続されている。なお、セレクタ６、８は制御回路５によって制御される。セレクタ６の出力ｃとセレクタ８の接点ｂとの間には補間回路７が設けられている。この補間回路７によって画素混合で不足している画素のサンプル点を補間演算によって補間し、元の画素数のサンプル点を得ることができる。セレクタ８の出力ｃはカメラ信号処理回路９に供給される。カメラ信号処理回路９では、オフセット調整、ゲイン調整、ガンマ補正、輪郭補正など、通常のカメラとして必要な信号処理が行われ、その出力信号は記録、表示可能な標準形態の映像信号となる。

＜通常速度での通常撮像時の動作＞
通常速度の撮像時には、制御回路５により、セレクタ６、８の接点ａの入力信号が選択されており、それぞれの接点ｃより出力される。そこで、フレームメモリ３の出力信号が、セレクタ６、セレクタ８を通してカメラ信号処理回路９へと供給される。なお、通常速度での撮像時には、フレームメモリ３を使用する必要がない時には、フレームメモリ３をバイパスしてもよい。

次に、例えばスローモーション映像の速度比が１／２、すなわち２倍速の高速撮像を行う場合について、高速撮像時、モニタリング時、スロー再生時の各動作に分けて説明する。なお、高速撮像時の動作とは撮像部１からメモリ３、４への書き込みまでの動作に関する。モニタリング時の動作とは、フレームレートを低下させて通常と同じフレームレートでモニタリングする動作に関する。スロー再生時の動作とは、補間回路７を介してスロー再生信号を出力するまでの動作に関する。

＜高速度での高速撮像時の動作＞
２倍速の高速撮像時には、通常の毎秒６０フレームの映像信号に対して、それより高速の毎秒１２０フレームの映像信号が撮像部１から出力される。この撮像信号は、Ａ／Ｄ変換器２によりディジタル映像信号に変換され、さらにフレームメモリ３およびバッファメモリ４に書き込まれる。フレームメモリ３は、撮影時のモニタリング用途に使用され、バッファメモリ４は、スロー再生のためのバッファリングに使用される。なお、バッファメモリ４は、高速撮像時に得られる大量の情報を失わずに蓄積しておくためのメモリであるから、書き込みと読み取りを同時にできるメモリである必要はなく、単に情報を書き込めるものであればよい。

＜モニタリング時の動作＞
フレームメモリ３には毎秒１２０フレームの映像信号が書き込まれるが、モニタリング時には、そのうち毎秒６０フレームの信号だけが読み出される。なお、セレクタ６、セレクタ８は、制御回路５により接点ａの入力信号が選択されて、接点ｃより出力される。つまり、通常撮像時と同じ毎秒６０フレームの映像信号がカメラ信号処理回路９へと供給され、例えばビューファインダへ信号を表示するために使用される。なお、セレクタ８において接点ｂを選択して、後述の補間回路７の出力信号をモニタリング用信号としてもよい。

＜スロー再生時の動作＞
図６の（ａ）は撮像部１からの出力時、（ｂ）はバッファメモリ４への書き込み時、（ｃ）はスロー再生時、のそれぞれの場合における時間当たりのフレーム数の関係を示す概略図である。スロー再生時の動作について、図６の（ａ）〜（ｃ）を用いて説明する。撮像部１からの出力時及びメモリ４への書き込み時には毎秒１２０フレームのフレームレートである。一方、スロー再生時では、図６の（ｃ）に示すように、バッファメモリ４に書き込まれた映像信号をゆっくり読み出すことにより行われる。すなわち、バッファメモリ４には毎秒１２０フレームの映像信号が書き込まれたが、スロー再生時には毎秒６０フレームにて２倍の時間をかけて読み出す。このバッファメモリ４の再生信号が、セレクタ６を通してカメラ信号処理回路９に供給され、各種の信号処理を受け、スロー再生信号として、出力端子１０より出力される。１秒間の１２０フレームが２秒間かけて出力されるのでスロー再生となる。その一方、通常速度のフレームレートの１秒間６０フレームで再生されるので、スムーズで美しいスロー再生映像が得られる。

＜画素混合について＞
高速撮像を行う時には、撮像部１の固体撮像素子１１Ｇ、１１Ｂ、１１Ｒにおいて複数画素について信号電荷を加算して出力する。たとえば、水平２画素の信号電荷を加算すれば、撮像素子から出力する画素数は１／２となるので、通常と同じ駆動クロックで駆動してもその出力に要する時間は１／２でよい。すなわち、フレームレートを２倍にしても、１フレーム当たりの画素数を１／２にすることができるので、固体撮像素子１１Ｇ、１１Ｂ、１１Ｒからの信号のデータレートは同じでよい。すなわち、高速撮像時にフレームメモリ３およびバッファメモリ４に書き込まれる映像信号は、フレームレートは２倍ながら通常撮像時と同じ画素レートとすることができる。

次に、図７を用いて、画素混合及び補間処理による１フレーム当たりの画素数の変化を説明する。図７（ａ）は、通常撮像時のフレーム毎の画素数の関係を示す概略図である。図７（ｂ）は、高速撮像時のメモリ書き込み時におけるフレーム毎の画素数の関係を示す概略図である。図７（ｃ）は、補間回路からの出力時のフレーム毎の画素数の関係を示す概略図である。高速撮像時には、図７（ｂ）に示すように通常撮像時（図７（ａ））に比べると、画素混合によって１フレーム当たり１／２の画素数となり、データレートを抑制できる。また、その後の補間処理によって図７（ｃ）に示すように、１フレーム当たり通常撮像時と同じ画素数とすることができる。

水平方向に隣接した２画素の信号電荷を加算するには、水平ＣＣＤの最終電極に印加されるパルスおよびリセットトゲート電極に印加されるリセットパルスのタイミングを、水平ＣＣＤの転送電極に印加される駆動パルスの２倍の周期にする。水平ＣＣＤの転送電極に印加される駆動パルスの周期は、一画素の信号電荷を個別に出力する場合の周期と同じであるが、最終電極に印加されるパルス、およびリセットゲート電極に印加されるパルスの周期は、信号電荷を個別に出力する場合の２倍に設定されている。これにより、ＣＣＤを転送されてきた信号電荷は、隣接する２画素分の信号電荷が最終電極下で加算された上で転送される。なお、この画素混合に関しては、例えば特開２０００−１７４２５３号公報に詳細な記載がある。

また、書き込まれた映像信号のサンプル数が通常の１／２なので、フレームメモリ３およびバッファメモリ４から信号を読み出す時には、２クロックに１回の割合で信号を出力する。この出力信号は、補間回路７において、不足している画素のサンプル点が補間演算により生成され、通常と同じ画素数のサンプル点を得ることができる。セレクタ８は、制御回路５により接点ｂの入力信号が選択されており、接点ｃより出力され、カメラ信号処理回路９により各種の信号処理を受ける。

すなわち、高速撮像時にはフレームメモリ３の出力信号が補間回路７により補間処理を受けてビューファインダ（図示せず）への信号となり、スロー再生時にはバッファメモリ４の出力信号が補間回路７により補間処理を受けてスロー再生信号となる。

次に、画素とバッファメモリ４に書き込まれる映像信号との関係について、図８を用いて説明する。
（ａ）通常速度の通常撮像時の動作においては、図８（ａ）に示すように固体撮像素子１１Ｇからの出力信号は、固体撮像素子１１Ｇの各画素に対応して、ｇ１１、ｇ１２，ｇ１３・・・の連続する画素について１行づつ順番に読み出される。この信号がバッファメモリ４に書き込まれる。
（ｂ）一方、２倍速の高速撮像時には、固体撮像素子１１Ｇにおいて画素混合しているので、その出力信号は各行の画素数が１／２となる。そのため、高速撮像時には、水平２画素について画素混合され、図８（ｂ）のように、ｇ１１，ｇ１３・・・のようにとびとびのサンプル点の信号がバッファメモリ４に書き込まれる。なお、画素混合後の信号は、画素混合する組合せの左側の画素で表現しており、例えば、画素ｇ１１と画素ｇ１２を混合したサンプル点をｇ１１と表している。そこで、Ｇチャンネルについては図８（ｂ）に示されるとびとびのサンプル点の信号がバッファメモリ４に書き込まれる
（ｃ）また、Ｒチャンネルでの画素混合について、Ｇチャンネルの画素混合する画素の組合せに対して画素混合する画素の組合せをずらせている。つまり、Ｇチャンネルの画素混合後のサンプル点はｇ１１であるに対して、Ｒチャンネルの画素混合後のサンプル点はｒ１２となる。このｒ１２は、画素ｒ１２の信号と画素ｒ１３の信号とを加算した信号加算後のサンプル点である。そこで、Ｒチャンネルについては図８（ｃ）に示されるとびとびのサンプル点の信号がバッファメモリ４に書き込まれる。
（ｄ）各サンプル点の信号を読み出す周期、すなわち画素レート（データレート）を同じとすると、画素混合時には全画素の信号を読み出す場合と比べて１／２の時間で第１ラインの信号出力が終わる。すなわち、通常動作における１ライン分の読み出す時間にて、画素混合時には２ライン分の信号を読み出す事ができる。つまり、通常動作にて毎秒６０フレームの信号の場合、２画素混合した場合には毎秒１２０フレームの信号がバッファメモリ４に書き込まれる。
（ｅ）次に、バッファメモリ４からの出力時には、図８（ｄ）、（ｅ）のように、書き込むときと比較して画素レートを１／２とし、１ライン分の時間を通常動作時と同じになるようにする。すなわち、書き込み時には毎秒１２０フレームの信号が、毎秒６０フレームとして読み出され、２倍のスロー再生した信号を得ることができる。

＜画素混合による解像度劣化の問題＞
本発明者は、固体撮像素子１１Ｇ、１１Ｂ、１１Ｒにおいて、画素混合により２画素の信号を加算して画素数を減らしているので、実質的なサンプリング周波数が低くなり、解像度が悪くなるという問題を見出した。図４の（ａ）は、画素混合前の信号の周波数に対する信号の関係を示す概略図である。図４の（ｂ）は、画素混合後の信号の周波数に対する信号の関係を示す概略図である。画素混合前には、各々の固体撮像素子において、画素と画素の間隔に相当するサンプリング周波数をｆＳ０とすると、固体撮像素子の各画素による空間サンプリングにより、得られる映像信号は図４の（ａ）のようになる。なお、ｆＮ０はｆＳ０／２であり、ナイキスト周波数である。

水平方向の２画素の信号を混合する処理は、一種のローパスフィルタ処理であり、その結果、画像混合後の信号のスペクトルは、図４（ｂ）に示すように、ナイキスト周波数ｆＮ０付近が減衰したものとなる。さらに、２画素混合したことにより、空間的なサンプリング間隔が２倍になるので、新たなサンプリング周波数ｆＳ１は、ｆＳ０／２となり、その結果、画素混合後の信号のスペクトルは、図４（ｃ）のように、ｆＳ１に新たな折り返し成分ＭｏＧが生まれるという問題を生じる。

本実施の形態１に係る撮像装置２０では、上述の高速撮像時に水平方向に２画素混合するときに、ＧチャンネルとＲ、Ｂチャンネルとで混合する画素の組合せを互いに変えている。図３において破線で示すように、Ｇチャンネルではｇ１１＋ｇ１２、ｇ１３＋ｇ１４、ｇ１５＋ｇ１６の各画素の組合せで水平方向に２画素の信号を混合する。一方、Ｂチャンネルでは、ｂ１２＋ｂ１３、ｂ１４＋ｂ１５の各画素の組合せで混合する。このようにＢチャンネルでは、混合する画素の組合せをＧチャンネルとずらして画素混合する。ＲチャンネルもＢチャンネルと同様に、混合する画素の組合せをＧチャンネルとずらして画素混合する。

画素混合後のサンプル点は、図３の●に示すように２画素間隔であるが、ＧチャンネルとＲチャンネルでは、そのサンプル点の位置が１画素分ずれて位置している。すなわち、画素混合後のサンプル点は、ＧチャンネルとＲチャンネルとでは、いわゆる画素ずらしサンプリングとなる。

画素混合する画素の組合せを変えたＧチャンネルとＲチャンネルとでは、２画素混合後のサンプル点が１８０度ずれている。そのため、ＧチャンネルとＲチャンネルとでは、新たなサンプリング周波数ｆＳ１における折り返し成分は、図４（ｃ）のＭｏＧとＭｏＲに示すようにそれぞれの位相が互いに反転している。そこで、本発明者は、ＧチャンネルとＲチャンネルの信号とを加算することにより、サンプリング周波数ｆＳ１における折り返し成分を打ち消すことができることを見出した。なお、折り返し成分ＭｏＧとＭｏＲが多く含まれるのは、新たなサンプリング周波数ｆＳ１を中心とする、高周波領域である。

＜補間処理時の画素ずらし＞
図５は、補間回路７の構成を示すブロック図である。補間回路７における補間演算において、画素ずらし処理を行う。まず、Ｇ、Ｂ、Ｒ各チャンネルの信号について、０挿入回路７１Ｇにて画素混合後のサンプル点の間に「０」を挿入して、サンプリング周波数を２倍にする。ただし、ＧチャンネルとＲおよびＢチャンネルとでは、画素混合後のサンプリング位置が半周期ずれているので、「０」挿入の方法により時間軸を揃える。すなわち、Ｇチャンネルの信号が存在するサンプル点について、ＲおよびＢチャンネルの対応するサンプル点に「０」を挿入する。一方、ＲおよびＢチャンネルの信号が存在するサンプル点について、Ｇチャンネルの対応するサンプル点に「０」を挿入する。

「０」挿入後の各チャンネル映像信号は、ローパスフィルタ７２Ｇ、７２Ｂ、７２Ｒにより、それぞれの信号の低周波数成分だけを取り出される。一方、高周波成分については、画素混合によって生じる折り返し信号を打ち消すために、例えばＧチャンネルとＲチャンネルの信号を加算器７０において加算する。加算器７０の出力信号は、ハイパスフィルタ７３により信号の高周波成分が取り出される。この高周波成分は、Ｇチャンネル、Ｒチャンネル、Ｂチャンネルの全てについて共通するとみなすことができる。そこで、加算器７４Ｇ、７４Ｂ，７４Ｒにおいて、上記共通の高周波成分と各チャンネルの低周波数成分とをそれぞれ加算して、各チャンネルの補間された信号を得る。

以下に、補間回路７の補間演算について図９を用いて説明する。
（ａ）Ｇチャンネルにおいては、バッファメモリ４から、図９（ａ）に示すように、水平２画素について画素混合されたサンプル点がとびとびに配置された信号が出力される。
（ｂ）図９（ａ）の信号について、補間回路７における０挿入回路７１Ｇにより１画素おきに「０」が挿入され、図９（ｂ）に示す信号が得られる。
（ｃ）次いで、図９（ｂ）の信号がローパスフィルタ７２Ｇを通過することにより「０」の部分について、ｇ１２’、ｇ１４’・・・のように補間された低域信号が生成され、図９（ｃ）に示す信号が得られる。
（ｄ）Ｇチャンネルと同様に、Ｒチャンネルでは、バッファメモリ４から、図９（ｄ）に示すように、水平２画素について画素混合されたサンプル点がとびとびに配置された信号が出力される。
（ｅ）図９（ｄ）の信号について、補間回路７における０挿入回路７１Ｒにより１画素おきに「０」が挿入され、図９（ｅ）に示す信号が得られる。
（ｆ）そして、図９（ｅ）の信号がローパスフィルタ７２Ｒを通過することにより「０」の部分について、ｒ１１’、ｒ１３’・・・のように補間された低域信号が生成され、図９（ｆ）に示す信号が得られる。
（ｇ）加算器７０では、０挿入回路７１Ｇで０挿入処理された図９（ｂ）の信号と、０挿入回路７１Ｒで０挿入処理された図９（ｅ）の信号とを加算して、図９（ｇ）のようにＧチャンネルのデータとＲチャンネルのデータとが交互に存在する信号が得られる。
（ｈ）図９（ｇ）の信号について、ハイパスフィルタ７３により高周波成分だけを取り出す。この高周波成分は、各チャンネルで共通するものと見なすことができる。
（ｉ）上記共通する高周波成分を各チャンネルの低周波成分に加算して、各チャンネルにおいて折り返し成分の少ない信号を得ることができる。
以上により、不足する画素を補間して、１フレームについて全ての画素についての信号を得ることができる。

以上のように、この撮像装置２０では、高速撮像時において、撮像部１の固体撮像素子において水平２画素の信号を加算することにより、高いフレームレートを実現しながら、画素レートが高くなることを抑えることができる。また、ＧチャンネルとＲ、Ｂチャンネルとで画素混合の組合せを変え、補間演算で画素ずらしを行って折り返し成分を抑制した高域成分を得ることにより、画素混合によって生じたサンプリング周波数についての折り返し成分の発生を小さくすることができる。

なお、水平方向の画素混合に代えて垂直方向の画素混合を行ってもよい。垂直方向に隣接した２画素の信号電荷を加算するためには、例えば、水平ブランキング期間内に垂直ＣＣＤ内の信号電荷を２回転送すればよい。光電変換素子から垂直ＣＣＤへ読み出された信号電荷は、水平ブランキング期間に垂直ＣＣＤの転送電極にパルスを２回印加することにより垂直ＣＣＤ内を２画素分転送される。この時、各垂直ＣＣＤの最終段の信号電荷、およびその前段の信号電荷は連続して水平ＣＣＤに転送され、水平ＣＣＤ内で加算される。垂直ＣＣＤより２行分の信号電荷を受け取った水平ＣＣＤは、これを出力部へ順次転送する。垂直方向で隣接する２画素分の電荷が加算されているので、全画素の信号電荷を出力するために必要な水平転送の回数は、各画素の信号電荷を個別に出力する場合の１／２である。したがって、全画素の信号電荷を出力するために必要な時間も１／２になる。

さらに高速撮像を行うために、水平２画素、垂直２画素の計４画素の信号電荷を加算すれば、撮像素子から出力する画素数は１／４となり、４倍速の高速撮像が可能となる。

さらに、撮像部の撮像デバイスとしてはＣＣＤに限定するものではなく、例えばディジタル信号を出力するＣＭＯＳ型撮像素子でも同様の効果を実現することができる。

なお、本実施の形態のように、高速撮像時のフレームレートが通常撮像時のフレームレートの整数倍のフレームレートである場合において制御が簡単となるが、整数倍のフレームレートに限定するものではない。

＜撮像方法＞
次に、本発明の実施の形態１に係る撮像方法について説明する。図１０は、実施の形態１に係る撮像方法のフローチャートである。
（ａ）第１の固体撮像素子において混合するＮ個の画素の組合せと、第２の固体撮像素子において混合するＮ個の画素の組合せとは互いに異なるように画素混合して出力する（Ｓ０１）。画素混合することによって１フレーム当たりの画素数を減らすことができるので、フレームレートを大きくしながら、データレートを抑制することができる。また、画素混合する画素の組合せを変えることで画素混合後のサンプル点をずらすことができる。
（ｂ）各サンプル点の間に（Ｎ−１）個のサンプル点の信号を補間する補間演算を行って補間された信号を出力する（Ｓ０２）。補間演算によって画素混合で減った画素数を元の画素数に戻すことができる。また、上述のように画素混合の組合せを変え、画素ずらししたサンプル点を用いることで画素混合によって生じる周波数の折り返し成分を小さくすることができる。
以上の撮像方法によって、補間された信号を得ることができる。

＜補間演算の方法＞
図１１は、補間演算の詳細を示すフローチャートである。
（ａ）第１及び第２の固体撮像素子のサンプル点の出力信号から補間された第１及び第２の低周波成分をそれぞれ生成する（Ｓ１１）。
（ｂ）第１の固体撮像素子のサンプル点の出力信号と第２の固体撮像素子のサンプル点の出力信号とを加算する（Ｓ１２）。
（ｃ）加算した信号の高周波成分を生成する（Ｓ１３）。この高周波成分は、各固体撮像素子からの出力について共通するものと考えられる。
（ｄ）第１の低周波成分と高周波成分とを加算して、第１の固体撮像素子の信号を得る（Ｓ１４）。
（ｅ）第２の低周波成分と高周波成分とを加算して、第２の固体撮像素子の信号を得る（Ｓ１５）。
以上によって補間演算された信号を得ることができる。

図１２は、補間演算において、０挿入処理すると共に、０でないサンプル点をずらして加算する場合のより詳細な補間演算のフローチャートである。
（ａ）第１の固体撮像素子からの出力信号に対して、各信号間に（Ｎ−１）個のサンプル点について０の値の信号を挿入する（Ｓ２１）。
（ｂ）第２の固体撮像素子からの出力信号に対して、０でない信号のサンプル点が第１の固体撮像素子の出力信号とは互いにずれるようにして、各信号間に（Ｎ−１）個のサンプル点について０の値の信号を挿入する（Ｓ２２）。
（ｃ）第１の固体撮像素子の信号から補間された第１の低周波成分を生成する（Ｓ２３）。
（ｄ）第２の固体撮像素子の信号から補間された第２の低周波成分を生成する（Ｓ２４）。
（ｅ）互いに対応するサンプル点の第１の固体撮像素子の出力信号と第２の固体撮像素子の出力信号とを加算する（Ｓ２５）。
（ｆ）加算した信号の高周波成分を生成する（Ｓ２６）。
（ｇ）第１の低周波成分と高周波成分とを加算して、第１の固体撮像素子の信号を得る（Ｓ２７）。
（ｈ）第２の低周波成分と高周波成分とを加算して、第２の固体撮像素子の信号を得る（Ｓ２８）。
以上によって、補間演算において、０挿入処理を行って、補間された信号を得ることができる。

（実施の形態２）
図１３は、本発明の実施の形態２における撮像装置２０ａの構成を示すブロック図である。この撮像装置２０ａは、撮像部１ａ、Ａ／Ｄ変換器２、制御回路５、補間回路７ａ、セレクタ８、カメラ信号処理回路９、出力端子１０、加算回路２１を備える。この撮像装置２０ａは、実施の形態１に係る撮像装置と比較すると、撮像部１ａが３板方式ではなく、いずれか一つの色チャンネル、例えばＧチャンネルを２つのチャンネルＧ１、Ｇ２に分ける４板方式である点で相違する。さらに、フレームメモリ３及びバッファメモリ４を有しておらず、その一方、加算回路２１を備える点においても相違する。

図１４は、撮像部１ａの構成を示す概略図である。この撮像部１ａは、光学的な画像信号を電気信号に変換して出力するものである。その撮像方式は実施の形態１の撮像装置における撮像部とは異なり、４個の固体撮像素子からなる四板方式である。この撮像部１ａでは、レンズ（図示せず）から入射した光は、光学プリズム１２で色毎に分解され、それぞれの固体撮像素子１１Ｒ、１１Ｇ１、１１Ｇ２、１１Ｂで結像される。光学プリズム１２は、４つのガラスブロックから構成されており、それぞれの境界面には薄膜が多層に蒸着され特定の波長の光が反射され、残りの波長の光が透過されるようになっている。すなわち、入射光は第１の蒸着面で青（Ｂ）成分が反射、残りの成分が透過される。第２の蒸着面では、赤（Ｒ）成分が反射、残りの緑（Ｇ）成分が透過される。第３の蒸着面は、波長選択性のないハーフミラーで緑色の１／２が反射、残りの１／２が透過される。

固体撮像素子１１Ｇ１、１１Ｇ２は、Ｇチャンネルに相当し、固体撮像素子１１Ｂ、１１Ｒは、それぞれＢ、Ｒチャンネルに相当する。これらは例えばＣＣＤ型撮像素子であり、離散的な画素構造を持ち、画像を空間的にサンプリングして電気信号に変換する。なお、駆動回路１３によって固体撮像素子１１Ｇ１、１１Ｇ２、１１Ｂ、１１Ｒを駆動する。また、図１５に示すように、４つの固体撮像素子１１Ｇ１、１１Ｇ２、１１Ｂ、１１Ｒの画素配置は、すべて光学的に同じ位置に対応する。すなわち、入射光は光学プリズム１２によって４つの光信号に分割されて、固体撮像素子１１Ｇ１、１１Ｇ２、１１Ｂ、１１Ｒにおいて結像するが、図１５における画素ｇｆ１１、ｇｓ１１、ｂ１１、ｒ１１は、それぞれ光学的に同じ位置をサンプリングする。撮像部１ａの固体撮像素子１１Ｇ１、１１Ｇ２、１１Ｂ、１１Ｒに対応して、Ｇ１、Ｇ２、Ｂ、Ｒの４つの映像信号が出力信号となる。

＜画素混合＞
この撮像装置２０ａでは、高速撮像を行う時には、実施の形態１と同様に、撮像部１ａの固体撮像素子１１Ｇ１、１１Ｇ２、１１Ｂ、１１Ｒにおいて２画素の信号電荷を加算して出力する。たとえば、水平２画素の信号電荷を加算すれば、固体撮像素子から出力する画素数は１／２となるので、通常と同じ駆動クロックで駆動すると、その出力に要する時間は１／２となる。そこで、フレームレートを２倍にしても、固体撮像素子１１Ｇ１、１１Ｇ２、１１Ｂ、１１Ｒからの信号レート（データレート）は通常速度の撮影時と同じにすることができる。

＜画素混合の組合せ＞
本実施の形態２に係る撮像装置２０ａでは、水平方向に２画素混合するときに、Ｇ１チャンネルとＧ２チャンネルにおいて混合する画素の組合せを変えている。すなわち、図１５において破線で示すように、Ｇ１チャンネルではｇｆ１１＋ｇｆ１２、ｇｆ１３＋ｇｆ１４、ｇｆ１５＋ｇｆ１６という組合せで水平方向に２画素の信号を混合するが、Ｇ２チャンネルでは、ｇｓ１２＋ｇｓ１３、ｇｓ１４＋ｇｓ１５というように混合する画素の組合せをずらしている。なお、ＲチャンネルとＢチャンネルにおいては、Ｇ１チャンネルと同様の組合せで画素混合する。

画素混合後のサンプル点は、図１５の●に示すように２画素間隔となるが、Ｇ１チャンネルとＧ２チャンネルでは、そのサンプル点の位置が１画素分ずれて位置している。すなわち、画素混合後のサンプリング点は、Ｇ１チャンネルとＧ２チャンネルでは、いわゆる画素ずらしサンプリングとなる。そこで、Ｇ１チャンネルとＧ２チャンネルの信号を重ね合わせることにより、画素混合しながらも、画素混合する前と同じ水平画素数を得ることができる。これは、実施の形態１と同様に、２画素混合したことにより生じた折り返し成分を打ち消すことに相当する。特に、本実施の形態２では、同じＧ信号同士について画素ずらしして加算するので、折り返し成分を完全に打ち消すことができる。

次に、本実施の形態による撮像装置の動作について、以下に図１３を適宜参照し説明する。

＜通常撮像時の動作＞
まず、通常速度での通常撮像の動作について説明する。図１３において、撮像部１ａの出力信号はＡ／Ｄ変換器２によりディジタル映像信号に変換され、さらに加算回路２１へと入力される。加算回路２１では、二つのＧチャンネル信号Ｇ１、Ｇ２をそれぞれのサンプル点を加算して、Ｇ信号を生成する。図１５を用いて説明したように、二つのＧチャンネルの固体撮像素子１１Ｇ１、１１Ｇ２の各サンプル点はそれぞれ対応するサンプル点なので、加算すると信号量が２倍になる。Ｇチャンネル成分を二つの固体撮像素子で分担するので、最大飽和信号レベルが２倍となり、ダイナミックレンジが増大する。なお、ＲチャンネルとＢチャンネル信号は、そのまま出力する。通常速度の通常撮像時には、セレクタ８は制御回路５により接点ａの入力信号が選択されており、加算回路２１の出力が接点ｃより出力され、カメラ信号処理回路９により各種の信号処理を受け、出力端子１０より出力される。

＜高速撮像時の動作＞
次に、例えば通常速度に対してスローモーション映像の速度比が１／２、すなわち２倍速の高速撮像を行う場合を説明する。２倍速の高速撮像時には、通常の毎秒６０フレームに対して、毎秒１２０フレームの映像信号を撮像部１ａから出力する。ただし、前述したように、撮像部１ａでは各固体撮像素子において水平方向に２画素ずつの画素混合を行い、１フレームの出力サンプル数を１／２とする。この撮像部１ａの出力信号はＡ／Ｄ変換器２によりディジタル映像信号に変換され、さらに補間回路７ａへと入力される。なお、撮像部１ａから出力される信号は、フレームレートが通常撮像時の２倍であるが、通常撮像時と同じ画素レートである。また、Ａ／Ｄ変換器２におけるサンプリング周波数は、通常撮像時と同じである。

図１６は、補間回路７ａの構成を示すブロック図である。この補間回路７ａでは、Ｇ１、Ｇ２、Ｂ、Ｒ各チャンネルの入力信号について、まず０挿入回路７１Ｇ１、７１Ｇ２、７１Ｒ、７１Ｂにて１画素毎に「０」を挿入して、画素レートを２倍とする。ただし、Ｇ１チャンネルとＧ２チャンネルでは、前述のように画素混合後のサンプル点が半周期ずれているので、「０」挿入後に時間軸が揃うように、「０」を挿入する。すなわち、Ｇ１チャンネルの信号が存在するサンプル点について、Ｇ２チャンネルの対応するサンプル点に「０」を挿入する。一方、Ｇ２チャンネルの信号が存在するサンプル点について、Ｇ１チャンネルの対応するサンプル点に「０」を挿入する。なお、ＢおよびＲチャンネルでは、画素混合後のサンプル点は、Ｇ１チャンネルのサンプル点と対応するので、ＢおよびＲチャンネルについてもＧ１チャンネルと同様に各サンプル点の間に「０」挿入を行う。

Ｇ１チャンネルの信号とＧ２チャンネルの信号とは、上述の０挿入処理後に、加算器７０において加算される。「０」挿入処理後の信号は、交互に信号と「０」が存在するが、上述のように、Ｇ１チャンネルとＧ２チャンネルとでは信号のあるサンプル点が互いにずれている。そのため、Ｇ１チャンネルの信号とＧ２チャンネルの信号とを加算後の信号は、Ｇ１チャンネルの信号とＧ２チャンネルの信号を交互に選択したものと等しい。この加算器７０の出力は、補間回路７ａのＧチャンネルの出力信号となる。また、この加算器７０の出力についてハイパスフィルタ７３により、高域信号だけが取り出される。

一方、ＢおよびＲチャンネルの信号は、それぞれローパスフィルタ７２Ｂ、７２Ｒにより、信号の低周波数成分だけが取り出される。そして、加算器７４Ｂ及び加算器７４Ｒにおいて、ハイパスフィルタ７３の出力信号が加算されて、ＢおよびＲチャンネルの出力信号となる。すなわち、折り返し信号を打ち消したＧ信号の高域信号をＢおよびＲチャンネルの高域信号と共通するものとみなすことができる。そこで、この共通する高域信号をＢおよびＲチャンネルの低周波成分とそれぞれ加算して、ＢおよびＲチャンネルの補間された信号を得ることができる。これにより高速撮像時に撮像部１ａで画素混合によって１／２の画素数となった映像信号は、補間回路７ａにおいて補間されて通常撮像時と同数のサンプル点の信号となって出力される。なお、フレームレートが通常の２倍なので、画素レートも通常の２倍となる。

セレクタ８は、制御回路５により接点ｂの入力信号が選択されて接点ｃより出力される。そこで、補間回路７ａの出力信号は、カメラ信号処理回路９により各種の信号処理を受け、２倍速の高速撮像信号として出力端子１０より出力される。出力端子１０には、半導体メモリやハードディスク装置、あるいはＶＴＲなどの記録装置が接続され、２倍速の高速撮像信号を記録する。この記録された信号を、通常のフレームレートで再生すると、２倍のスロー再生信号を得ることができる。

以上のように、高速撮像時において、固体撮像素子において信号加算することにより、画素レートが高くなることを抑えることができる。また、画素混合の組合せをＧ１チャンネルとＧ２チャンネルとで変えている。この画素混合後のＧ１チャンネルとＧ２チャンネルの信号を加算することでナイキスト周波数に対する折り返し成分の発生を小さくすることができる。

以上の例では、水平方向に２画素混合する場合を説明したが、別の形態として垂直方向に２画素混合してもよい。その場合でも、フレームレートを通常の２倍にできる効果は同様である。なお、この場合には補間回路７における「０」挿入は、垂直方向における動作が必要であり、ローパスフィルタ７２Ｂ、７２Ｒ、およびハイパスフィルタ７３のフィルタ動作も垂直フィルタの動作が必要である。

なお、高速撮像時において信号サンプル数を１／２にする方法として、前述の図１５では２画素混合の方法を説明したが、別の方法としては図１７に示す方法もある。これは、水平方向２画素につき１画素のみを信号として用いて、もう片方の１画素は捨てて信号として使わない方法である。例えば、図１７において●印が信号として使用する画素であり、×印の画素は使用しない画素である。この不要な×印の画素では、例えば電子シャッター動作により、その信号電荷を排出すればよい。この図１７に示す方法では、半分の画素の信号を使用しないため、画素混合で信号電荷を加算する場合に比べて感度が１／２になるという欠点があるが、画素混合しないので、水平方向の周波数特性が劣化しない、という長所がある。

（実施の形態３）
図１８は、本発明の実施の形態３における撮像装置２０ｂの構成を示すブロック図である。この撮像装置２０ｂは、撮像部１ａ、Ａ／Ｄ変換器２、バッファメモリ４、制御回路５、補間回路７ａ、セレクタ８、カメラ信号処理回路９、出力端子１０、加算回路２１を備える。この撮像装置２０ｂは、実施の形態２に係る撮像装置と異なる点は、バッファメモリ４を有する点である。この撮像装置２０ｂの動作について、図１８を適宜参照して説明するが、図１３と同じ構成要素については、その説明を一部省略する。

撮像部１ａは、実施の形態２と同じ４板撮像方式の構成であり、高速撮像時の画素混合についても同様であるので説明を省略する。
また、通常速度における通常撮像時の動作についても、実施の形態２と全く同様であるので説明を省略する。

次に、例えばスローモーション映像の速度比が１／２、すなわち２倍速の高速撮像を行う場合を、高速撮像時とスロー再生時に分けて説明する。

＜高速撮像時の動作＞
まず、高速撮像時には、撮像部１ａでは、実施の形態２と同様に水平方向に２画素ずつの画素混合を行い、出力サンプル数が１／２となった毎秒１２０フレームの映像信号を出力する。撮像部１ａの出力信号は、Ａ／Ｄ変換器２によりディジタル映像信号に変換され、さらにバッファメモリ４に書き込まれる。本実施の形態では、このバッファメモリ４をスロー再生のためのバッファとして使用する。すなわち、スロー再生すべき高速撮像した映像信号は、バッファメモリ４に一旦記憶される。

＜スロー再生時の動作＞
続いて、スロー再生時の動作を説明する。スロー再生は、バッファメモリ４に書き込まれた映像信号をゆっくり読み出すことにより行われる。すなわち、バッファメモリ４には毎秒１２０フレームの映像信号が書き込まれたが、スロー再生時には毎秒６０フレームにて２倍の時間をかけて読み出す。このバッファメモリ４の再生信号が、補間回路７ａへと入力される。セレクタ８は、制御回路５により接点ｂの入力信号が選択されて接点ｃより出力される。補間回路７ａの出力信号は、カメラ信号処理回路９により各種の信号処理を受け、出力端子１０より出力される。バッファメモリ４の出力信号は、１フレーム当たり１／２の画素数となった毎秒６０フレームの映像信号であり、補間回路７ａにおいて実施の形態２と同様の動作により、その出力信号は不足しているサンプル点について補間演算により生成され、高速撮像時と同じサンプル点の数となる。上述のようにバッファメモリ４を用いて記録再生することにより、出力端子１０からは、２倍のスロー再生信号を得ることができる。

以上のように、高速撮像時において、固体撮像素子において画素混合による信号加算により画素レートが高くなることを抑えることができる。また、Ｇ１チャンネルとＧ２チャンネルとで画素混合する組合せを変えることで折り返し成分の少ない映像信号を得ることができる。さらに、バッファメモリ４を備えるので外部に半導体メモリやハードディスク装置等の記憶装置を必要とせずにスロー再生が可能となる。

なお、上記の説明では、高速撮像時にはバッファメモリ４に映像信号を書き込むので撮影時の画像をモニタできない。そこで、バッファメモリ４として、書き込みと読み出しが同時に可能な、例えばデュアルポート仕様のメモリを使用することにより、この課題を解決できる。すなわち、毎秒１２０フレームの映像信号をバッファメモリ４に書き込みながら、２フレームにつき１フレームだけを間引いて２倍の時間をかけて読み出す事により、毎秒６０フレームの映像信号を出力することが可能となる。

また、別の方法として、実施の形態１と同様に、図１９に示すようにフレームメモリ３を撮像装置２０ｃの構成に追加してもよい。この場合には、バッファメモリ４は高速撮像信号を記録するだけに使用され、高速撮像時のモニタ用にはフレームメモリ３を使用する。すなわち、高速撮像時にはセレクタ６の接点はａが選択され、セレクタ８の接点はｂが選択され、毎秒１２０フレームの映像信号をフレームメモリ３に書き込みながら、２フレームにつき１フレームだけを間引いて２倍の時間をかけて読み出し、補間回路７ａにより不足したサンプル点の信号を得ることにより、毎秒６０フレームのモニタ用映像信号を出力することが可能となる。

本発明に係る撮像装置は、美しいスローモーション再生を実現できるビデオカメラ等の高速撮像装置として有用である。

本発明の実施の形態１における撮像装置の構成を示すブロック図である。 図１の撮像装置における撮像部の構成を示すブロック図である。 図２の撮像部における３つの固体撮像素子において画素混合する画素の組合せを示す概略図である。 （ａ）は、画素混合前の周波数に対する信号の関係を示す概略図であり、（ｂ）は画素混合後の周波数と信号との関係を示す概略図であり、（ｃ）は、画素混合の組合せが異なるＧチャンネルとＲチャンネルの信号加算によって、折り返し成分が相殺されることを示す概略図である。 図１の撮像装置における補間回路の構成を示すブロック図である。 （ａ）は、撮像部からの出力時の時間に対するフレーム数の関係を示す概略図であり、（ｂ）は、メモリ書き込み時の時間に対するフレーム数の関係を示す概略図であり、（ｃ）は、スロー再生時の時間に対するフレーム数の関係を示す概略図である。 （ａ）は、通常撮像時のフレーム毎の画素数の関係を示す概略図であり、（ｂ）は、高速撮像時のメモリ書き込み時におけるフレーム毎の画素数の関係を示す概略図であり、（ｃ）は、補間回路からの出力時のフレーム毎の画素数の関係を示す概略図である。 （ａ）は、通常撮像時のＧチャンネルの画素に対応する信号を示す概略図であり、（ｂ）は、高速撮像時のＧチャンネルの画素混合された信号を示す概略図であり、（ｃ）は、高速撮像時のＢチャンネルの画素混合された信号を示す概略図であり、（ｄ）は、スロー再生時のＧチャンネルのスロー再生信号であり、（ｅ）は、スロー再生時のＢチャンネルのスロー再生信号を示す概略図である。 （ａ）〜（ｇ）は、補間演算の各工程における画素を示す概略図である。 本発明の実施の形態１に係る撮像方法のフローチャートである。 図１０の補間演算の詳細に関するフローチャートである。 図１０の補間演算において０挿入を行う場合の詳細に関するフローチャートである。 本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。 図１３の撮像装置における撮像部の構成を示すブロック図である。 図１４の撮像部における４つの固体撮像素子において画素混合する画素の組合せを示す概略図である。 図１３の撮像装置における補間回路の構成を示すブロック図である。 図１５とは別例のサンプル点を１／２にする方法を示す概略図である。 本発明の実施の形態３に係る撮像装置の構成を示すブロック図である。 別例の撮像装置の構成を示すブロック図である。 従来の撮像装置の構成を示すブロック図である。

符号の説明

１、１ａ 撮像部
２ Ａ／Ｄ変換器
３ フレームメモリ
４ バッファメモリ
５ 制御回路
６、８ セレクタ
７、７ａ 補間回路
９ カメラ信号処理回路
１０ 出力端子
１１Ｇ、１１Ｂ、１１Ｒ 固体撮像素子
１１Ｇ１、１１Ｇ２ 固体撮像素子
１２ 光学プリズム
１３ 駆動回路
２０、２０ａ、２０ｂ、２０ｃ 撮像装置
２１ 加算回路
７０ 加算器
７１Ｇ、７１Ｂ，７１Ｒ、７１Ｇ１、７１Ｇ２ ０挿入回路
７２Ｇ、７２Ｂ、７２Ｒ ローパスフィルタ
７３ ハイパスフィルタ
７４Ｇ、７４Ｂ，７４Ｒ 加算器
１０１ ＣＣＤ撮像部
１０２ 転送部
１０３ フィールドメモリ
１０４ バッファメモリ
１０５ 制御回路
１０６ １／ｎ減衰器
１０７ 加算器
１０８ 信号切換器
１０９ カメラ信号処理回路
１１０ 出力端子

Claims (8)

1. 離散的な画素構造を有し、第１のフレームレートで撮像する通常撮像の場合には１フレームについてＭ個の画素に対してそれぞれの画素からのＭ個のサンプル点の信号をそのまま出力し、前記第１のフレームレートより大きい第２のフレームレートで撮像する高速撮像の場合には１フレームについてＭ個の画素に対してＮ個ずつの画素の信号を混合してＭ／Ｎ（Ｍ、Ｎは２以上の整数）個のサンプル点の信号を出力する撮像部と、
   前記通常撮像の場合には前記撮像部からの出力信号をそのまま出力し、前記高速撮像の場合には前記撮像部からの出力信号について、各サンプル点の間に（Ｎ−１）個のサンプル点の信号を補間する補間演算を行ってＭ個のサンプル点の補間された信号を出力する演算部と、
   を備え、
   前記撮像部は、少なくとも離散的な画素構造を有する第１の固体撮像素子と離散的な画素構造を有する第２の固体撮像素子とを含み、
   前記第１の固体撮像素子と前記第２の固体撮像素子とは、それぞれ対応する画素を有し、
   前記高速撮像において、前記第１の固体撮像素子において混合するＮ個の画素の組合せと、前記第２の固体撮像素子において混合するＮ個の画素の組合せとは互いに異なり、
   前記演算部は、前記補間演算において、
   前記第１の固体撮像素子のサンプル点の出力信号から補間された第１の低周波成分を生成し、
   前記第２の固体撮像素子のサンプル点の出力信号から補間された第２の低周波成分を生成し、
   前記第１の固体撮像素子のサンプル点の出力信号と前記第２の固体撮像素子のサンプル点の出力信号とを加算して、加算した信号の高周波成分を生成し、
   前記第１の低周波成分と前記高周波成分とを加算して、前記第１の固体撮像素子の信号を得ると共に、
   前記第２の低周波成分と前記高周波成分とを加算して、前記第２の固体撮像素子の信号を得ること、
   を特徴とする撮像装置。
2. 離散的な画素構造を有し、第１のフレームレートで撮像する通常撮像の場合には１フレームについてＭ個の画素に対してそれぞれの画素からのＭ個のサンプル点の信号をそのまま出力し、前記第１のフレームレートより大きい第２のフレームレートで撮像する高速撮像の場合には１フレームについてＭ個の画素に対してＮ個ずつの画素の信号を混合してＭ／Ｎ（Ｍ、Ｎは２以上の整数）個のサンプル点の信号を出力する撮像部と、
   前記通常撮像の場合には前記撮像部からの出力信号をそのまま出力し、前記高速撮像の場合には前記撮像部からの出力信号について、各サンプル点の間に（Ｎ−１）個のサンプル点の信号を補間する補間演算を行ってＭ個のサンプル点の補間された信号を出力する演算部と、
   を備え、
   前記撮像部は、少なくとも離散的な画素構造を有する第１の固体撮像素子と離散的な画素構造を有する第２の固体撮像素子とを含み、
   前記第１の固体撮像素子と前記第２の固体撮像素子とは、それぞれ対応する画素を有し、
   前記高速撮像において、前記第１の固体撮像素子において混合するＮ個の画素の組合せと、前記第２の固体撮像素子において混合するＮ個の画素の組合せとは互いに異なり、
   前記演算部は、前記補間演算において、
   前記第１の固体撮像素子からのＭ／Ｎ個のサンプル点の出力信号に対して、各信号間に（Ｎ−１）個のサンプル点について０の値の信号を挿入して、全体をＭ個のサンプル点の信号とし、
   前記第２の固体撮像素子からのＭ／Ｎ個のサンプル点の出力信号に対して、０でない信号のサンプル点が前記第１の固体撮像素子の出力信号とは互いにずれるようにして、各信号間に（Ｎ−１）個のサンプル点について０の値の信号を挿入して、全体をＭ個のサンプル点の信号とし、
   前記第１の固体撮像素子の信号から補間された第１の低周波成分を生成し、
   前記第２の固体撮像素子の信号から補間された第２の低周波成分を生成し、
   互いに対応するサンプル点の前記第１の固体撮像素子の出力信号と前記第２の固体撮像素子の出力信号とを加算して、加算した信号の高周波成分を生成し、
   前記第１の低周波成分と前記高周波成分とを加算して、前記第１の固体撮像素子の信号を得ると共に、
   前記第２の低周波成分と前記高周波成分とを加算して、前記第２の固体撮像素子の信号を得ることを特徴とする撮像装置。
3. 離散的な画素構造を有し、第１のフレームレートで撮像する通常撮像の場合には１フレームについてＭ個の画素に対してそれぞれの画素からのＭ個のサンプル点の信号をそのまま出力し、前記第１のフレームレートより大きい第２のフレームレートで撮像する高速撮像の場合には１フレームについてＭ個の画素に対してＮ個ずつの画素の信号を混合してＭ／Ｎ（Ｍ、Ｎは２以上の整数）個のサンプル点の信号を出力する撮像部と、
   前記通常撮像の場合には前記撮像部からの出力信号をそのまま出力し、前記高速撮像の場合には前記撮像部からの出力信号について、各サンプル点の間に（Ｎ−１）個のサンプル点の信号を補間する補間演算を行ってＭ個のサンプル点の補間された信号を出力する演算部と、
   を備え
   前記撮像部は、少なくとも離散的な画素構造を有する第１の固体撮像素子と、離散的な画素構造を有する第２の固体撮像素子と、離散的な画素構造を有し、前記第１及び第２の固体撮像素子の各画素と対応する画素を有する第３の固体撮像素子と、をさらに含み、
   前記第１の固体撮像素子と前記第２の固体撮像素子とは、それぞれ対応する画素を有し、
   前記高速撮像において、前記第１の固体撮像素子において混合するＮ個の画素の組合せと、前記第２の固体撮像素子において混合するＮ個の画素の組合せとは互いに異なり、
   前記演算部は、前記補間演算において、
   前記第３の固体撮像素子のサンプル点の出力信号から補間された第３の低周波成分を生成し、
   前記第１の固体撮像素子のサンプル点の出力信号と前記第２の固体撮像素子のサンプル点の出力信号とを加算して、加算した信号の高周波成分を生成し、
   前記第３の低周波成分と前記高周波成分とを加算して、前記第３の固体撮像素子の信号を得ることを特徴とする撮像装置。
4. 離散的な画素構造を有し、第１のフレームレートで撮像する通常撮像の場合には１フレームについてＭ個の画素に対してそれぞれの画素からのＭ個のサンプル点の信号をそのまま出力し、前記第１のフレームレートより大きい第２のフレームレートで撮像する高速撮像の場合には１フレームについてＭ個の画素に対してＮ個ずつの画素の信号を混合してＭ／Ｎ（Ｍ、Ｎは２以上の整数）個のサンプル点の信号を出力する撮像部と、
   前記通常撮像の場合には前記撮像部からの出力信号をそのまま出力し、前記高速撮像の場合には前記撮像部からの出力信号について、各サンプル点の間に（Ｎ−１）個のサンプル点の信号を補間する補間演算を行ってＭ個のサンプル点の補間された信号を出力する演算部と、
   を備え、
   前記撮像部は、少なくとも離散的な画素構造を有する第１の固体撮像素子と、離散的な画素構造を有する第２の固体撮像素子と、離散的な画素構造を有し、前記第１及び第２の固体撮像素子の各画素と対応する画素を有する第３の固体撮像素子と、をさらに含み、
   前記第１の固体撮像素子と前記第２の固体撮像素子とは、それぞれ対応する画素を有し、
   前記高速撮像において、前記第１の固体撮像素子において混合するＮ個の画素の組合せと、前記第２の固体撮像素子において混合するＮ個の画素の組合せとは互いに異なり、
   前記演算部は、前記補間演算において、
   前記第１の固体撮像素子からのＭ／Ｎ個のサンプル点の出力信号に対して、各信号間に（Ｎ−１）個のサンプル点について０の値の信号を挿入して、全体をＭ個のサンプル点の信号とし、
   前記第２の固体撮像素子からのＭ／Ｎ個のサンプル点の出力信号に対して、０でない信号のサンプル点が前記第１の固体撮像素子の出力信号とは互いにずれるようにして、各信号間に（Ｎ−１）個のサンプル点について０の値の信号を挿入して、全体をＭ個のサンプル点の信号とし、
   前記第３の固体撮像素子からのＭ／Ｎ個のサンプル点の出力信号に対して、前記第１の固体撮像素子からのサンプル点の出力信号と対応させて、各信号間に（Ｎ−１）個のサンプル点について０の値の信号を挿入して、全体をＭ個のサンプル点の信号とし、
   前記第３の固体撮像素子の信号から補間された第３の低周波成分を生成し、
   互いに対応するサンプル点の前記第１の固体撮像素子の出力信号と前記第２の固体撮像素子の出力信号とを加算して、加算した信号の高周波成分を生成し、
   前記第３の低周波成分と前記高周波成分とを加算して、前記第３の固体撮像素子の信号を得ることを特徴とする撮像装置。
5. 前記撮像部は、Ｇ、Ｂ、Ｒの各チャンネルに対応する第１から第３の固体撮像素子を含むことを特徴とする請求項１から４のいずれか一項に記載の撮像装置。
6. 前記撮像部は、Ｇチャンネルを２つに分けたＧ１チャンネル及びＧ２チャンネルに対応する第１及び第２の固体撮像素子と、Ｂチャンネルに対応する第３の固体撮像素子と、Ｒチャンネルに対応する第４の固体撮像素子とを含み、
   前記通常撮像時には、前記Ｇ１チャンネルと前記Ｇ２チャンネルに対応する第１及び第２固体撮像素子からの出力信号を加算してＧチャンネルの信号とし、
   前記高速撮像時には、互いに対応するサンプル点の前記第１の固体撮像素子の出力信号と前記第２の固体撮像素子の出力信号とを加算した信号をＧチャンネルの信号とすること
   を特徴とする請求項３又は４に記載の撮像装置。
7. 前記撮像部と前記演算部との間に、前記撮像部の出力信号を記憶すると共に、記憶した出力信号を前記演算部に出力する記憶部をさらに備え、
   前記演算部は、前記記憶部からの出力信号を演算することを特徴とする請求項１から６のいずれか一項に記載の撮像装置。
8. 前記撮像部から出力するフレームレートは、前記記憶部から出力するフレームレートより大きいことを特徴とする請求項７に記載の撮像装置。

Images