JP2006041867A - 画像処理方法および画像処理装置並びに撮像装置およびタイミング制御装置 - Google Patents

Abstract

【課題】電子ズーム機能を持つ撮像装置において、回路規模やコストあるいは消費電力や画質などの問題を解消できるようにする。
【解決手段】水平走査方向に画素情報を固体撮像素子１０から読み出したり、読み出した画素情報をラインバッファメモリ３１２に書き込んだりする際に、電子ズームの倍率と同じ割合で駆動制御部９６（１２ｃ）へ供給される水平同期信号の周期を延長して、読出処理や書込処理に寄与しないダミー期間を設ける。水平同期信号ＳＨＤの周期に関わらず、固体撮像素子１０の個々の画素を駆動する画素クロックの周期を、実質的に通常時と同じにしておく。ダミー出力期間を設けることで、補間処理を行なう期間を確保し、これにより、固体撮像素子１０からの画素信号の読出処理やラインバッファメモリ３１２への書込処理と水平補間処理部３１４における水平補間処理や垂直解像度変換処理部３２０における垂直補間処理とを同時並行的に実施する。
【選択図】図７

Description

本発明は、画像処理方法および画像処理装置並びに撮像装置および撮像装置を構成する撮像デバイスの駆動タイミングを制御するタイミング制御装置に関する。より詳細には、画像の拡大変換処理を電子的に行なう仕組みに関する。

デジタル画像信号処理ＬＳＩ（Large Scale Integrated Circuit；大規模集積回路）との組合せを利用して、画像データに対する電子的な補間処理によって、画像を拡大もしくは縮小する解像度変換処理が知られている。

たとえば、ＣＣＤ(Charge Coupled Device) 撮像素子やＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）撮像素子などの撮像素子（撮像デバイス）を用いて画像を撮像する撮像装置においては、デジタル画像信号処理ＬＳＩを利用することで、カメラの機能を電子部品を中心に構成することが可能であり、光学ズーム系を使わずに、前述の解像度変換処理を利用して電子的にズーム処理を行なう仕組みが考えられている。この場合、フレームメモリ（あるいはフィールドメモリ）を用いて、固体撮像デバイスとデジタル画像信号処理ＬＳＩのみで撮像画像のズーム機能を実現する仕組みが提案されている（たとえば特許文献１の従来技術を参照）。

特開２０００−２９５５３０号公報

図１１は、フレームメモリを用いて電子ズーム機能を実現する仕組みの従来の構成例を説明する図である。また、図１２および図１３は、フレームメモリを利用した補間方法を説明する図である。

図１１に示すように、撮像装置９００は、電子ズーム動作を制御するズーム制御部（デバイス制御の機能部分）と連動して動作する駆動制御部９９６の制御の元で、固体撮像素子９１０が画素信号を読み出して後段の画像信号処理部９６６に供給する。なお、図では、たとえば相関２重サンプリングやＡＤ変換処理などの機能部分を割愛して示している。

画像信号処理部９６６にて所定の信号処理がされた画素データはフレームメモリ９６７に一時的に記憶される。なお、フレームメモリ９６７は、１フレームの全画素データを記録するためのメモリであるが、たとえば２倍ズームの画像データが欲しいときには、固体撮像素子９１０の一部の領域のみ読み出して記憶する。

次に、電子ズーム動作を制御するズーム制御部（メモリ制御の機能部分）９９２の指示に従って所定のタイミングで画素データをフレームメモリ９６７から読み出して、後段の補間処理部９９８に画素データを渡す。

補間処理部９９８は、電子ズーム動作を制御するズーム制御部（補間処理制御の機能部分）９９２の制御の元で、ズーム倍率に応じた隙間を画素間に設け、その隙間に信号処理によって補間信号を生成し、元々の画像と同じサイズの画像を構成する。

たとえば、ズーム倍率に応じた補間すべき注目画素に隣接する複数ラインの画素データを用いて垂直フィルタ処理を行なってライン数を所望のライン数にする、すなわち垂直画素数を所望の画素数に変換することで垂直方向の解像度変換処理を行なうとともに、ズーム倍率に応じた補間すべき注目画素に隣接する同一ラインの画素データを用いて水平フィルタ処理を行なって水平画素数を所望の画素数に変換することで水平方向の解像度変換処理を行なう。こうすることで、補間処理部９９８からは、電子ズーム処理画像出力が得られる。

ここで、フレームメモリ９６７を使用しているのは、固体撮像素子９１０からは、ズーム倍率に関わらず画素信号がそのまま出力されてくる垂れ流しシステムであるので、拡大時に、切出領域のライン間を補間しながら読出処理をするには、そのライン補間をするための時間のずれをカバーする仕組みが必要だからである（図１３を参照）。

つまり、拡大ズーム処理時には、撮像デバイスから逐次読み出される撮像信号をラインメモリに順次格納しつつ、拡大時に不足するラインデータを補間処理で生成するべく（垂直解像度変換）、所定数のラインデータを読み出して垂直補間処理を行なう必要がある。これをリアルタイムで行なおうとすれば、先ず、垂直方向のズーム対象分のラインデータを保持するフレームメモリのような大規模なメモリが必要となる。たとえば、固体撮像素子９１０からは画素信号が画像信号処理部９６６に入り続けてくるため、２倍ズーム時には有効画素の１／２ライン（４８０ライン）分のメモリが必要になる。

たとえば、図１２（Ａ）は、固体撮像素子９１０が撮像する有効領域を２次元表現したマップである。本例の固体撮像素子９１０は、水平方向が１２８０画素で垂直方向が９６０ラインの約１．３Ｍピクセルの撮像デバイスである。

フレームメモリ９６７には、固体撮像素子９１０の画素配列順に画素データを順に読み出して記憶するとともに、電子ズーム時には、そのズーム倍率に応じて、少なくともそのズーム時に使用する画像領域の垂直方向の使用領域に相当する画素データを記憶する。一例として、図１２（Ｂ）に示すように、２倍ズーム時には、通常時の９６０ラインに対して、その半分の４８０ライン分（たとえば垂直方向の中央部）の画素データのみをフレームメモリ９６７に記憶する。

また、補間処理部９９８は、図１２（Ｃ）に示すように、ズーム倍率に応じた補間すべき注目画素に隣接する複数ラインの画素データをラインメモリから読み出して、これら複数ラインの画素データを用いて、補間処理を利用した垂直フィルタ処理を行なう。すなわち、ズーム倍率に応じた補間すべき注目画素に隣接する隣接する複数ラインの生の画素データもしくは水平方向の補間処理によって求められた水平補間データを用いて垂直画素数を所望の画素数に変換することで、垂直方向の解像度変換処理を行なう。

このとき、図１３に示すように、固体撮像素子９１０から読み出した画素データを順次使って垂直補間を行なうには、内挿ライン（差分ライン）の補間処理のため、固体撮像素子９１０から読み出した画素データを記憶する複数ライン分記憶する手段が必要になる。

次に補間処理部９９８は、この垂直方向の解像度変換処理後の画素データ（ラインデータ）を一旦、図示しないラインメモリに格納する。つまり、固体撮像素子９１０から電子ズーム時に使用する予定の領域（たとえば画面中央部）の画素信号を一度フレームメモリ９６７に格納し、補間処理部９９８へタイミング管理をしながら転送し、補間処理部９９８で補間処理にて水平補間処理を行なう。

たとえば、補間処理部９９８は、図１２（Ｄ）に示すように、水平方向の全１２８０画素の内、その半分の６４０画素（たとえば水平方向の中央部）の領域のみを処理対象として、補間処理を利用した水平フィルタ処理を行なう。すなわちズーム倍率に応じた補間すべき注目画素に隣接する同一ラインの生の画素データを用いて水平画素数を所望の画素数に変換することで、水平方向の解像度変換処理を行なう。

しかしながら、このような従来の電子式ズーム処理では、１フレーム分もしくはズーム倍率に応じたライン数分の画素データを記憶するための回路規模が大きなフレームモリのような大規模な記憶手段が必要であり、画素補間を行なうデジタル処理ＬＳＩ（補間処理部９９８）も必要となりハードウェアの増加を招いており、回路構成が大規模になる。加えて、フレームメモリなどの大規模な記憶手段からの画素データの読出制御で、補間のための隙間を作るような難しい制御を実現する必要があり、ズーム制御部の回路構成も複雑・大規模にならざるを得ない。

全体として、大規模、高消費電力あるいは高コストなシステムになってしまうから、センサチップ（撮像デバイス）単体で電子ズーム処理を行なう固体撮像装置、たとえば低コストや小規模構成が要求される携帯電話用やモバイル機器用のカメラなどを実現する際の電子ズームとしては導入し難いという問題がある。

この問題を解消する一方法として、たとえば、フレームメモリのような大容量の記憶手段を使用せずに、電子ズームを行なう仕組みが提案されている（たとえば特許文献２参照）。

特開２００１−１９７３４８号公報

しかしながら、特許文献２に記載の仕組みでは、拡大ズーム時に、撮像デバイスの読出駆動を通常時と同じにしつつ（センサ駆動への変更はない）、撮像デバイスから画素信号を読み出す水平同期信号の周期よりも垂直補間演算処理の周期を速く設定しておく必要がある。

このため、拡大ズーム時には、消費電力が増えてしまう問題がある。また、センサチップ（撮像デバイス）単体で電子ズーム処理を行なうべく、ズーム制御部や補間処理部を出撮像デバイスと一体的に構成する場合、画素信号を読み出す水平同期信号の周期よりも高速周期にした垂直補間演算処理用の画素クロックによるノイズが問題になる。たとえば、ＣＭＯＳプロセスで製造されるズーム処理用のデジタルＬＳＩと同一チップ上に撮像デバイスを作り込む場合、通常モードに比べて、拡大ズームモードでは、画質が劣化してしまう可能性がある。

このように、従来の電子ズームの仕組みでは、撮像装置のサイズやコストあるいは消費電力や画質などの点で十分なものとなっていないのが実情であり、特にモバイル用途の撮像装置への適用は困難であるという課題がある。

本発明は、上記事情に鑑みてなされたものであり、回路規模やコストあるいは消費電力や画質などの問題を解消することのできる解像度変換あるいは電子ズームの仕組みを提供することを目的とする。

本発明に係る画像処理方法は、記憶部に対する画素情報の書込みと読出しを相対的に高速な第１の走査方向（典型例としては水平走査方向）に制御するとともに、記憶部から読み出した画素情報を用いて第１の走査方向とは異なる相対的に低速な第２の走査方向（典型例としては垂直走査方向）に補間処理を行なうことにより、画像の解像度変換処理を行なう画像処理方法であって、画像サイズを第２の走査方向に拡大する解像度変換処理時には、第１の走査方向に画素情報を記憶部に書き込む際に、記憶部への画素情報の書込みに寄与しないダミー期間を設けるようにした。

本発明に係る画像処理装置は、上記本発明に係る画像処理方法を実施するのに好適な、たとえばＩＣ（Integrated Circuit；集積回路）などの装置であって、画素情報を記憶する記憶部と、記憶部に対する画素情報の書込みと読出しを第１の走査方向に制御するとともに補間処理の動作を制御する変換制御部と、記憶部から読み出した画素情報を用いて第２の走査方向に補間処理を行なうことにより、画像の解像度変換処理を行なう解像度変換処理部とを備えるものとした。

また、本発明に係る撮像装置は、上記本発明に係る画像処理方法を実施するのに好適な撮像装置であって、画素情報を撮像デバイスから読み出すように制御する駆動制御部と、撮像デバイスから読み出された画素情報を記憶する記憶部と、記憶部に対する画素情報の書込みと読出しを第１の走査方向に制御するとともに補間処理の動作を制御する変換制御部と、記憶部から読み出した画素情報を用いて第２の走査方向に補間処理を行なうことにより画像の解像度変換処理を行なう解像度変換処理部とを備えるものとした。

ここで、本発明に係る画像処理装置および撮像装置の何れにおいても、変換制御部は、第１の走査方向に画素情報を記憶部に書き込む際に、記憶部への画素情報の書込みに寄与しないダミー期間が設けられるように、記憶部を制御し、解像度変換処理部は、ダミー期間を実質的に利用して、第２の走査方向に補間処理を行なうことで、画像サイズを前記第２の走査方向に拡大するようにする。また、撮像装置にあっては、撮像デバイスからの画素情報の読出しに寄与しないダミー期間が設けられるように駆動制御部を制御する。

ここで、“ダミー期間を実質的に利用して”とは、必ずしも、ダミー期間内に補間処理を行なうことを意味するものではなく、ダミー期間が設けられた第１の走査方向における１つの処理期間内で、補間処理を行なうものであればよい。

また、本発明に係るタイミング制御装置は、撮像装置の撮像動作のタイミングを制御する装置であって、画素情報を撮像デバイスから第１の走査方向に読み出す走査基準信号であって、第１の走査方向単位の読出処理周期が通常時よりも長い走査基準信号を駆動制御部に供給することで、撮像デバイスからの画素情報の読出しに寄与しないダミー期間を設ける基準信号供給部を備えるものとした。

また従属項に記載された発明は、本発明に係る画像処理方法および画像処理装置、並びに撮像装置およびタイミング制御装置のさらなる有利な具体例を規定する。

たとえば、ダミー期間を設けるための具体的な構成としては、第１の走査方向に記憶部へ画素情報を書き込む第１の走査方向単位の書込処理周期を通常時よりも長くすることで実現してもよい。この場合、第１の走査方向の書込処理周期を、拡大における通常時に対する倍率と同じ倍率で延長するのがよい。こうすることで、撮像デバイスからの画素信号の読出処理と補間処理とを同時並行的に実施できるとともに無駄な時間が生じることもない。

本発明によれば、画像サイズを第２の走査方向に拡大する解像度変換処理時には、第１の走査方向に撮像デバイスから画素情報を読み出したり、この画素情報を記憶部に書き込んだりする際に、読出処理や書込処理に寄与しないダミー期間を設けるようにした。

こうすることで、読出処理や書込処理を１画面分継続して行なう際に、ズーム拡大用の補間処理を行なうための空き時間を作ることができる。画素情報の出力や記憶部への書込に寄与しない期間を、第２の走査方向について補間画素情報を生成して埋め込むタイミングとして使うことができる。結果的には、１画面分について、撮像デバイスからの画素信号の読出処理や記憶部への書込処理と補間処理とを同時並行的に（リアルタイムで）実施することができるようになる。

記憶部に対する制御は、画素情報の書込みと読出しを第１の走査方向（典型例としては水平走査方向）に制御するだけでよく、複雑な制御が不要である。第１の走査方向に制御するだけでよいので、記憶部の構成としては、ラインメモリなどの簡易なものを使用できる。

よって、回路規模が大きく、高価なフレームメモリを使わずに低コストで電子ズーム機能を実現できるようになる。カメラシステムのメモリを削減でき、コスト貢献が大きい。特に、モバイル用カメラシステムの場合、小型化が要求されるが、本発明によれば、システムの小型化にも貢献できる。すなわち、安価に電子ズームシステムを構築できるため、携帯電話用やモバイル機器用のカメラなどを実現する際の電子ズームとして適している。

さらに、ズーム倍率に拘らず同一周期の画素クロックを画素信号の読出処理や、記憶部への書込処理、あるいは補間処理において用いることができるので、特許文献２に記載のように、撮像デバイスから画素信号を読み出す水平同期信号の周期よりも垂直補間演算処理（データ処理による垂直解像度変換処理）の周期を速く設定しておく必要がなく、より簡易で、かつ低消費電力やノイズに対しても有利である。

以下、図面を参照して本発明の実施形態について詳細に説明する。

＜デジタルスチルカメラの全体構成；ＣＣＤタイプ＞
図１は、本発明に係る撮像装置（カメラシステム）の第１実施形態を示す概略構成図である。第１実施形態の撮像装置は、固体撮像素子１０の一例であるたとえばインターライン転送（ＩＴ）方式で全画素読出しが可能なＣＣＤ固体撮像素子１１、被写体Ｚの光学像を取り込む撮像レンズ５０、およびＣＣＤ固体撮像素子１１を駆動する駆動制御部９６を有するカメラモジュール３と、カメラモジュール３により得られる撮像信号に基づいて映像信号を生成しモニタ出力したり所定の記憶メディアに画像を格納したりする本体ユニット４とを備えてなるデジタルスチルカメラ１として構成されている。なお、カメラモジュール３と本体ユニット４とを一体化した形態での撮像装置モジュールとして構成するようにしてもよい。

なお、このデジタルスチルカメラ１は、具体的には、フレーム読出方式を用いた静止画撮像動作時にカラー画像を撮像し得るカメラとして適用されるようになっている。また、フレーム読出方式としては、ＣＣＤ固体撮像素子１１と組み合わせることで、一般的な２フィールド読出方式に限らず、３フィールド、４フィールド、あるいは５フィールド、さらにはそれ以上など様々フィールド数の態様の読出方式を適用可能に構成されている。また、静止画撮像モードに限らず、間引き読みを利用して３０フレーム／秒に近いフレームレート（たとえば１０フレーム以上／秒）での動画撮影モードも用意されている。

カメラモジュール３内の駆動制御部９６には、ＣＣＤ固体撮像素子１１を駆動するための各種のパルス信号を生成するタイミング信号生成部４０と、このタイミング信号生成部４０からのパルス信号を受けて、ＣＣＤ固体撮像素子１１を駆動するためのドライブパルスに変換するドライバ（駆動部）４２と、ＣＣＤ固体撮像素子１１やドライバ４２などに電源供給する駆動電源４６が設けられている。

カメラモジュール３内の固体撮像素子１０（本例ではＣＣＤ固体撮像素子１１）と駆動制御部９６とにより固体撮像装置２が構成される。固体撮像装置２は、ＣＣＤ固体撮像素子１１と駆動制御部９６とが、１枚の回路基板上に配されたもの、あるいは１つの半導体基板上に形成されたものとして提供されるものであるのがよい。

ＣＣＤ固体撮像素子１１は、その構成例については図示を割愛するが、たとえば、半導体基板上に、画素（ユニットセル）に対応して受光素子の一例であるフォトダイオードなどからなるセンサ部（感光部；フォトセル）が多数、水平（行）方向および垂直（列）方向において２次元マトリクス状に配列されている。これらセンサ部は、受光面から入射した入射光をその光量に応じた電荷量の信号電荷に変換して蓄積する。

センサ部は、カラー画像撮像用途として、光が入射されるフォトダイオードなどの受光面には、複数色の色フィルタの組合せからなる色分解フィルタの何れかの色フィルタが設けられる。一例としては、いわゆるベイヤ（Ｂａｙｅｒ）配列の基本形のカラーフィルタを用いて、正方格子状に配されたセンサ部（単位画素）が赤（Ｒ），緑（Ｇ），青（Ｂ）の３色カラーフィルタ（原色フィルタ）に対応するように配される。あるいは、シアン（Ｃ），マゼンタ（Ｍ），イエロ（Ｙ），緑（Ｇ）の４色を組み合わせた補色フィルタ構成のものとしてもよい。

信号処理として、原色信号処理を行なう構成のものとする場合、原色フィルタとすれば、ＣＣＤ固体撮像素子１１にて得られる撮像信号（複数色の画素信号の組合せ）から、赤（Ｒ），緑（Ｇ），青（Ｂ）の原色信号を分離する原色分離部を割愛することができる。

またＣＣＤ固体撮像素子１１は、センサ部の垂直列ごとに６相もしくは８相駆動に対応する複数本の垂直転送電極が設けられる垂直ＣＣＤ（Ｖレジスタ部、垂直転送部）が配列される。垂直ＣＣＤの転送方向は図中縦方向であり、この方向に垂直ＣＣＤ１３が複数本並べられて設けられる。さらに、これら垂直ＣＣＤと各センサ部との間には読出ゲート（ＲＯＧ）が介在し、また各ユニットセルの境界部分にはチャネルストップが設けられる。これらセンサ部の垂直列ごとに設けられ、各センサ部から読出ゲート部によって読み出された信号電荷を垂直転送する複数本の垂直ＣＣＤによって撮像エリアが構成される。

センサ部に蓄積された信号電荷は、読出ゲート部に読出パルスＸＳＧに対応するドライブパルスが印加されることにより垂直ＣＣＤに読み出される。垂直ＣＣＤは、６相（あるいは８相）の垂直転送クロックＶ１〜Ｖ６（あるいはＶ８）に基づくドライブパルスφＶ１〜φＶ６（φＶ８）よって転送駆動され、読み出された信号電荷を水平ブランキング期間の一部にて１走査線（１ライン）に相当する部分ずつ順に垂直方向に転送する。この１ラインずつの垂直転送を、特にラインシフトという。

また、ＣＣＤ固体撮像素子１１には、複数本の垂直ＣＣＤの各転送先側端部すなわち、最後の行の垂直ＣＣＤに隣接して、所定（たとえば左右）方向に延在する水平ＣＣＤ（Ｈレジスタ部、水平転送部）が１ライン分設けられる。この水平ＣＣＤは、たとえば２相の水平転送クロックＨ１，Ｈ２に基づくドライブパルスφＨ１，φＨ２によって転送駆動され、複数本の垂直ＣＣＤから移された１ライン分の信号電荷を、水平ブランキング期間後の水平走査期間において順次水平方向に転送する。このため２相駆動に対応する複数本（２本）の水平転送電極が設けられる。

水平ＣＣＤの転送先の端部には、たとえばフローティング・ディフュージョン・アンプ（ＦＤＡ）構成の電荷電圧変換部が設けられる。この電荷電圧変換部は、水平ＣＣＤによって水平転送されてきた信号電荷を順次電圧信号に変換して出力する。この電圧信号は、被写体からの光の入射量に応じたＣＣＤ出力（Ｖout ）として導出される。以上により、インターライン転送方式のＣＣＤ固体撮像素子１１が構成される。

また、このデジタルスチルカメラ１の処理系統は、大別して、光学系５、信号処理系６、記録系７、表示系８、および制御系９から構成されている。なお、カメラモジュール３および本体ユニット４が、図示しない外装ケースに収容されて、実際の製品（完成品）が仕上がるのはいうまでもない。

光学系５は、シャッタ５２、被写体の光画像を集光するレンズ５４、および光画像の光量を調整する絞り５６を有する撮像レンズ５０と、集光された光画像を光電変換して電気信号に変換するＣＣＤ固体撮像素子１１とから構成されている。被写体Ｚからの光Ｌ１は、シャッタ５２およびレンズ５４を透過し、絞り５６により調整されて、適度な明るさでＣＣＤ固体撮像素子１１に入射する。このとき、レンズ５４は、被写体Ｚからの光Ｌ１からなる映像が、ＣＣＤ固体撮像素子１１上で結像されるように焦点位置を調整する。

信号処理系６は、ＣＣＤ固体撮像素子１１からのアナログ撮像信号を増幅する増幅アンプや、増幅された撮像信号をサンプリングすることによってノイズを低減させるＣＤＳ（Correlated Double Sampling：相関２重サンプリング）回路などを有するプリアンプ部６２、プリアンプ部６２が出力するアナログ信号をデジタル信号に変換するＡ／Ｄ（Analog/Digital）変換部６４、Ａ／Ｄ変換部６４から入力されるデジタル信号に所定の画像処理を施すＤＳＰ（Digital Signal Processor）で構成されたカメラ信号処理ＬＳＩ（Large Scale Integrated Circuit；大規模集積回路）としての画像信号処理部６６から構成される。

画像信号処理部６６は、たとえば、補色の撮像データから、赤（Ｒ），緑（Ｇ），青（Ｂ）の原色信号を分離・同時化する原色分離処理、原色の撮像データ（Ｒ，Ｇ，Ｂの各画素データ）を同時化する同時化処理、スミア現象やブルーミング現象によって生じる縦縞のノイズ成分を補正する縦縞ノイズ補正処理、ホワイトバランス（ＷＢ；White Balance ）調整を制御するＷＢ制御処理、階調度合いを調整するガンマ補正処理、光学的ズームレンズを使うのではなく、電子的にすなわち画像データ処理により画像を拡大もしくは縮小する解像度変換処理（すなわち電子ズーム処理）、あるいは輝度データ（Ｙ）や色データ（Ｃ）を生成するＹＣ信号生成処理などを行なう。またＣＣＤ固体撮像素子１１を駆動するタイミングパルスの基準を示す同期信号を生成する機能も持つ。なお、電子ズーム処理（解像度変換処理）に関わる本実施形態特有の構成部分については後で詳しく説明する。

このＤＳＰで構成される画像信号処理部６６は、各機能部分の全ての処理をそれぞれ専用のハードウェアによるデジタル処理回路で行なう構成とすることもできるし、これら機能部分の一部をソフトウェア処理で行なう構成とすることもできる。

ソフトウェアで所定の処理を行なう仕組みは、並列処理や連続処理に柔軟に対処し得るものの、処理が複雑になるに連れ、処理時間が長くなるため、処理速度の低下が問題となる。これに対して、ハードウェア処理回路で行なうことで、高速化を図ったアクセラレータシステムを構築することができるようになる。アクセラレータシステムは、処理が複雑であっても、処理速度の低下を防ぐことができ、高いスループットを得ることができる。

記録系７は、画像データを記憶するフラッシュメモリなどの装置に対して着脱可能なメモリ（記録媒体）７２と、画像信号処理部６６が処理した画像データを符号化（圧縮）してメモリ７２に記録し、また、読み出して復号（伸長）し画像信号処理部６６に供給するＣＯＤＥＣ（Compression/Decompression ）７４とから構成されている。

表示系８は、画像信号処理部６６が処理した画像信号をアナログ化するＤ／Ａ（Digital/Analog）変換部８２、入力されるビデオ信号に対応する画像を表示することによりファインダとして機能する液晶（ＬＣＤ；Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）などよりなるビデオモニタ８４、およびアナログ化された画像信号を後段のビデオモニタ８４に適合する形式のビデオ信号にエンコードするビデオエンコーダ８６から構成されている。なお、Ｄ／Ａ変換部８２とビデオエンコーダ８６との配置を逆にして、エンコード処理をデジタル処理で行なう構成とすることもできる。この場合、ビデオエンコーダ８６を画像信号処理部６６に取り込むこともできる。

制御系９は、先ず、固体撮像素子１０の一例であるＣＣＤ固体撮像素子１１を駆動する基準を定める水平同期信号ＳＨＤや垂直同期信号ＳＶＤなどの基準信号を生成する同期信号生成部４１と、デジタルスチルカメラ１の全体を制御するＣＰＵ（Central Processing Unit ）などよりなる中央制御部９２とを備えている。同期信号生成部４１は、中央制御部９２からの指示に基づき、所定周期の水平同期信号ＳＨＤや垂直同期信号ＳＶＤを生成して、固体撮像素子１０側のタイミング信号生成部４０に供給する。同期信号生成部４１と、中央制御部９２とにより、本発明に係る基準信号供給部やタイミング制御装置が構成される。

また制御系９は、読出専用の記憶部であるＲＯＭ（Read Only Memory）９３ａ、随時書込みおよび読出しが可能であるともに揮発性の記憶部の一例であるＲＡＭ（Random Access Memory）９３ｂ、不揮発性の記憶部の一例であるＲＡＭ（ＮＶＲＡＭと記述する）９３ｃ、白点位置情報や各種調整データなど装置個別のデータを格納する不揮発性の記憶部の一例であるＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）９３ｄを有する記憶部（メモリ部）９３を備えている。なお、ＣＰＵなどからなる中央制御部９２やＥＥＰＲＯＭ９３ｄを除く記憶部９３の各種メモリはＤＳＰで構成された画像信号処理部６６に取り込むこともできる。

上記において“揮発性の記憶部”とは、デジタルスチルカメラ１の電源がオフされた場合には、記憶内容を消滅してしまう形態の記憶部を意味する。一方、“不揮発性の記憶部”とは、デジタルスチルカメラ１のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を“不揮発性”を呈するように構成するものであってもよい。なお、特殊用途として、半導体製のメモリ素子により構成することに限らず、外付けの駆動装置を利用することで、磁気ディスクや光ディスクなどの外部媒体を利用して構成してもよい。

このような電子計算機のように構成されるデジタルスチルカメラ１においては、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、記録媒体（本例ではＲＯＭ９３ａ）からインストールされる。このソフトウェアの中には、コンピュータ上で稼働するＯＳ（オペレーティングシステム；基本ソフト）も含まれる。

なお、所定の処理を中央制御部９２に実行させるプログラムは、ＣＤ−ＲＯＭやフラッシュメモリなどの不揮発性の半導体メモリカードなど、任意の可搬型の記憶媒体を通じて配布（取得や更新）されてもよいし、あるいは、サーバなどからインターネットなどのネットワークを経由してプログラムをダウンロードして取得したり、あるいは更新したりしてもよい。

中央制御部９２は、半導体メモリなどで構成された記憶部９３のＲＯＭ９３ａに記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、あるいはユーザからのコマンドなどに基づいてデジタルスチルカメラ１の全体の動作や信号処理を制御する。ＣＰＵやメモリを利用してソフトウェア的にデジタルスチルカメラ１を構成する、すなわちパーソナルコンピュータなどのコンピュータ（電子計算機）の機能を利用してデジタルスチルカメラ１をソフトウェア的に機能させる構成が実現される。

このような構成において、中央制御部９２は、システムバス９９を介してシステム全体の制御を行なう。ＲＯＭ９３ａは、中央制御部９２の制御プログラムなど装置共通のデータを格納する。ＲＡＭ９３ｂは、ＳＲＡＭ（Static Random Access Memory ）などで構成され、プログラム制御変数や各種処理のためのデータなどを格納する。また、ＲＡＭ９３ｂは、固体撮像素子１０で読み取った画像データや、所定のアプリケーションプログラムによって編集した画像データやメモリ７２から読み取った画像データなどを一時的に格納する領域を含んでいる。

また制御系９は、画像信号処理部６６に送られた画像の明るさが適度な明るさを保つようにシャッタ５２や絞り５６を制御する露出コントローラ９４、ＣＣＤ固体撮像素子１１から画像信号処理部６６までの各機能部の動作タイミングを制御するタイミング信号生成部（タイミングジェネレータ；ＴＧ）４０を具備した駆動制御部９６、ユーザがシャッタタイミングやズーム操作あるいはその他のコマンドを入力するキーやスイッチなどからなる操作部９８を有する。

中央制御部９２は、デジタルスチルカメラ１のシステムバス９９に接続された画像信号処理部６６、ＣＯＤＥＣ７４、メモリ７２、露出コントローラ９４、およびタイミング信号生成部４０を制御している。

このデジタルスチルカメラ１では、オートフォーカス（ＡＦ）、オートホワイトバランス（ＡＷＢ）、自動露光（ＡＥ）などの自動制御装置を備えている。これらの制御は、ＣＣＤ固体撮像素子１１から得られる出力信号を使用して処理する。たとえば、露出コントローラ９４は、画像信号処理部６６に送られた画像の明るさが適度な明るさを保つようにその制御値が中央制御部９２により設定され、その制御値に従って絞り５６を制御する。具体的には、中央制御部９２が画像信号処理部６６に保持されている画像から適当な個数の輝度値のサンプルを獲得し、その平均値が予め定められた適当とされる輝度の範囲に収まるように絞り５６の制御値を設定する。

タイミング信号生成部４０は、中央制御部９２により制御され、ＣＣＤ固体撮像素子１１、プリアンプ部６２、Ａ／Ｄ変換部６４、および画像信号処理部６６の動作に必要とされるタイミングパルスを発生し、各部に供給する。操作部９８は、ユーザが、デジタルスチルカメラ１を動作させるとき操作される。

図示した例は、信号処理系６のプリアンプ部６２およびＡ／Ｄ変換部６４をカメラモジュール３に内蔵しているが、このような構成に限らず、プリアンプ部６２やＡ／Ｄ変換部６４を本体ユニット４内に設ける構成を採ることもできる。またＤ／Ａ変換部を画像信号処理部６６内に設ける構成を採ることもできる。

また、タイミング信号生成部４０をカメラモジュール３に内蔵しているが、このような構成に限らず、タイミング信号生成部４０を本体ユニット４内に設ける構成を採ることもできる。またタイミング信号生成部４０とドライバ４２とが別体のものとしているが、このような構成に限らず、両者を一体化させたもの（ドライバ内蔵のタイミングジェネレータ）としてもよい。こうすることで、よりコンパクトな（小型の）デジタルスチルカメラ１を構成できる。

また、タイミング信号生成部４０やドライバ４２は、それぞれ個別のディスクリート部材で回路構成されたものでもよいが、１つの半導体基板上に回路形成されたＩＣ（Integrated Circuit）として提供されるものであるのがよい。こうすることで、コンパクトにできるだけなく、部材の取扱いが容易になるし、両者を低コストで実現できる。また、デジタルスチルカメラ１の製造が容易になる。また、使用するＣＣＤ固体撮像素子１１との関わりの強い部分であるタイミング信号生成部４０やドライバ４２をＣＣＤ固体撮像素子１１と共通の基板に搭載することで一体化させる、あるいはカメラモジュール３内に搭載することで一体化させると、部材の取扱いや管理が簡易になる。また、これらがモジュールとして一体となっているので、デジタルスチルカメラ１（の完成品）の製造も容易になる。なお、カメラモジュール３は、ＣＣＤ固体撮像素子１１および光学系５からのみ構成されていても構わない。

このようなＣＣＤ固体撮像素子１１を備えたデジタルスチルカメラ１の一連の動作を概説すれば以下の通りである。先ず、タイミング信号生成部４０は、垂直転送用の転送クロックＶ１〜Ｖ６（Ｖ８）や読出パルスＸＳＧなどの種々のパルス信号を生成する。これらのパルス信号は、ドライバ４２により所定電圧レベルのドライブパルスに変換された後に、ＣＣＤ固体撮像素子１１の所定端子に入力される。

被写体Ｚを撮像する際に、撮像レンズ５０（シャッタ５２およびレンズ５４）を介してＣＣＤ固体撮像素子１１の受光面に結像された被写体Ｚの光学像は、フォトダイオードなどからなる各センサ部で光の入射光量に応じた量の信号電荷に変換される。

センサ部の各々に蓄積された信号電荷は、タイミング信号生成部４０から発せられた読出パルスＸＳＧが読出ゲート部の転送チャネル端子電極に印加され、転送チャネル端子電極下のポテンシャルが深くなることにより、当該読出ゲート部を通して垂直ＣＣＤに読み出される。そして、６相（８相）の垂直ドライブパルスφＶ１〜φＶ６（φＶ８）に基づいて垂直ＣＣＤが駆動されることで、順次水平ＣＣＤへ転送される。

なお、蓄積した信号電荷をシャッタゲートパルスによって掃出可能な構造のものとすれば、電荷の蓄積時間（シャッタスピード）を制御する、いわゆる電子シャッタ機能を実現できる。この場合、撮像レンズ５０のシャッタ５２を取り外すことができ、光学系５をコンパクトにすることができる。

水平ＣＣＤは、タイミング信号生成部４０から発せられドライバ４２により所定電圧レベルの変換された２相の水平ドライブパルスφＨ１，φＨ２に基づいて、複数本の垂直ＣＣＤの各々から垂直転送された１ラインに相当する信号電荷を順次電荷電圧変換部側に水平転送する。

電荷電圧変換部は、水平ＣＣＤから順に注入される信号電荷を図示しないフローティングディフュージョンに蓄積し、この蓄積した信号電荷を信号電圧に変換し、たとえば図示しないソースフォロア構成の出力回路を介して、タイミング信号生成部４０から発せられたリセットパルスＲＧの制御の元に撮像信号（ＣＣＤ出力信号）Ｖout として出力する。

すなわち上記ＣＣＤ固体撮像素子１１においては、センサ部を縦横に２次元状に配置してなる撮像エリアで検出した信号電荷を、各センサ部の垂直列に対応して設けられた垂直ＣＣＤにより水平ＣＣＤまで垂直転送し、この後、２相の水平転送パルスＨ１，Ｈ２に基づいて、信号電荷を水平ＣＣＤにより水平方向に転送するようにしている。そして、電荷電圧変換部にて水平ＣＣＤからの信号電荷に対応した電位に変換してから出力するという動作を繰り返す。

ＣＣＤ固体撮像素子１１から順次読み出された電圧信号、すなわち画素に対応するＲ，Ｇ，Ｂの各画素信号は、タイミング信号生成部４０からの各サンプルパルスなどに基づき、プリアンプ部６２にてＣＤＳ処理などが施され、Ａ／Ｄ変換部６４にてデジタルのＲ,Ｇ，Ｂの各画素データに変換された後、一旦、記憶部９３のＲＡＭ９３ｂに格納される。

ＲＡＭ９３ｂに格納されたＲ，Ｇ，Ｂの各画素データは、画像信号処理部６６にて、同時化処理やガンマ補正処理などが施された後、輝度データＹと色（クロマ）データＵ，Ｖ（あるいはＣｒ，Ｃｂ）（纏めてＹＣデータともいう）に変換され、記憶部９３のＲＡＭ９３ｂに一旦格納される。

表示系８では、ＲＡＭ９３ｂに格納したＹＣデータを読み出し、液晶などからなるビデオモニタ８４に出力することにより、スルー画像や撮影された静止画などを表示させることができる。

また、撮影後のＹＣデータは、圧縮／伸長機能を持つＣＯＤＥＣ７４によって、ＪＰＥＧ（Joint Photographic Experts Group）などの所定のフォーマットに圧縮されたのち、メモリ７２などの記録媒体に記録される。さらに、再生モード時にはメモリ７２などに記録されている画像データがＣＯＤＥＣ７４によって伸長処理された後、ビデオモニタ８４に出力され、再生画像が表示される。

＜デジタルスチルカメラの全体構成；ＣＭＯＳタイプ＞
図２は、本発明に係る撮像装置の第２実施形態を示す概略構成図である。第２実施形態の撮像装置は、第１実施形態におけるＣＣＤ固体撮像素子１１をＣＭＯＳ撮像素子１２に変更しており、この変更に応じて、プリアンプ部６２、Ａ／Ｄ変換部６４、および駆動制御部９６と同等の機能を持つ回路部をＣＭＯＳ撮像素子１２に取り込むように変更している。その他の点は、第１実施形態と同じである。

なお、ＤＳＰで構成された画像信号処理部６６には、ＣＰＵなどからなる中央制御部９２やＥＥＰＲＯＭ９３ｄを除く記憶部９３の各種メモリ、さらにはＣＭＯＳ撮像素子１２の動作タイミングを規定する同期信号を生成するタイミング信号生成部４０を取り込み、ＣＭＯＳ撮像素子１２を主要部とするカメラモジュール３と、画像信号処理部６６やＥＥＰＲＯＭ９３ｄとを含んで撮像装置モジュール３ａを構成するようにしている。

ＣＭＯＳ撮像素子１２は、その構成例については図示を割愛するが、先ず、センサ部にフォトダイオードなどを用いる点やカラー画像撮像用の色分離フィルタを設ける点は、ＣＣＤ固体撮像素子１１の場合と同様である。

ＣＭＯＳ撮像素子１２は、入射光量に応じた電気信号を出力するフォトダイオードなどの光電変換素子を含む複数個のセンサ部（画素）が行および列に配列された（すなわち２次元マトリクス状の）画素部（撮像部）１２ａを有し、各画素からの信号出力が電圧信号であって、ＣＤＳ処理機能部やデジタル変換部（ＡＤＣ；Analog Digital Converter）などのデータ処理を行なうカラム処理部１２ｂが列並列に設けられている。また、多数のセンサ部で構成される撮像部の周辺には、ＣＣＤの場合の駆動制御部９６に対応し、ＣＭＯＳ撮像素子１２を駆動・制御する駆動制御部１２ｃの他、カラム処理部１２ｂにＡＤ変換用の参照電圧を供給する参照信号生成部や出力回路などを備えている。

“列並列にデータ処理部が設けられている”とは、垂直列の垂直信号線に対して実質的に並列に複数のＣＤＳ処理機能部やデジタル変換部が設けられていることを意味する。複数の各機能部は、デバイスを平面視したときに、ともに撮像部に対して列方向の一方の端縁側（出力側）にのみ配されている形態のものであってもよいし、画素部に対して列方向の一方の端縁側（出力側）とその反対側である他方の端縁側に分けて配されている形態のものであってもよい。後者の場合、行方向の読出走査（水平走査）を行なう水平走査部も、各端縁側に分けて配して、それぞれが独立に動作可能に構成するのがよい。

駆動制御部は、撮像部の信号を順次読み出すための制御回路機能を備えている。たとえば、制御回路機能としては、列アドレスや列走査を制御する水平走査部（列走査回路）と、行アドレスや行走査を制御する垂直走査部（行走査回路）と、内部クロックを生成するなどの機能を持つ通信・タイミング制御部とを備える。

水平走査部は、カラム処理部からカウント値を読み出す読出走査部の機能を持つ。これらの駆動制御部の各要素は、撮像部とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され、半導体システムの一例である固体撮像素子（撮像デバイス）として構成される。

垂直走査部は、画素部１２ａの行を選択し、その行に必要な制御パルス（ラインシフトパルス）を供給する。たとえば、垂直方向の読出行を規定する（画素部１２ａの行を選択する）垂直デコーダと、垂直デコーダにて規定された読出アドレス上（行方向）の単位画素に対する行制御線にパルスを供給して駆動する垂直駆動回路とを有する。なお、垂直デコーダは、信号を読み出す行の他に、電子シャッタ用の行なども選択する。

水平走査部は、低速クロックに同期してカラム処理部１２ｂのカラムＡＤ回路を順番に選択し、その信号を水平信号線（水平出力線）に導く。たとえば、水平方向の読出列を規定する（カラム処理部１２ｂ内の個々のカラムＡＤ回路を選択する）水平デコーダと、水平デコーダにて規定された読出アドレスに従って、カラム処理部１２ｂの各信号を水平信号線に導く水平駆動回路とを有する。なお、水平信号線は、たとえばカラムＡＤ回路が取り扱うビット数ｎ（ｎは正の整数）分、たとえば１０（＝ｎ）ビットならば、そのビット数分に対応して１０本配置される。

ＣＭＯＳセンサは、Ｘ−Ｙアドレス型固体撮像素子の一例であり、アドレス指定によって任意の位置の画素から信号を取り出すことができ、画素で得られた信号電荷をシフトレジスタで画素を選択して順番に読み出すＣＣＤ(Charge Coupled Device )型イメージセンサと異なり、画素の信号を読み出す順番を比較的自由に設定可能であるという特徴を有する。

たとえば、デジタルスチルカメラに代表される静止画の撮像技術では、撮像デバイスとして多画素のＣＭＯＳ型固体撮像素子を用い、全画素の画素情報を独立に読み出すことによって静止画を得る“全画素読出モード”がよく知られているが、このモードの他に、たとえば行や列を数個ずつ飛ばしながら読み出す“間引き読出モード”、たとえば行や列を数個ずつ（隣接した画素に限らない）選択して読み出し加算して出力する“加算読出モード”などの動作がセンサ側で簡単に実現できる。

間引き読出モードは、たとえば、被写体を確認している段階（モニタリングモード）で、液晶モニタの画素数に応じた荒い画像（低解像度の画像）で出力したり、動画については画素情報を間引きすることによって情報量を減少させて伝送したりする際に利用される。また、加算読出モードは、複数行（たとえば２行）から信号を出力して、それらを加算することで、ダイナミックレンジを拡大する目的で使用される。

また、カメラ部分を１８０度回転したときにモニタ上で画像が反転しないようにするなどの目的で、反転読出しを行なう逆方向読出モード（ミラー処理）が要求されることもある。この逆方向読出モードとは、順方向読出モードにおけるアドレス走査の順に対して逆方向に走査するモードであり、このモードもセンサ側で簡単に実現できる。たとえば、順方向読出モード時には行や列のアドレスを小さい方から順番に走査する場合、逆方向読出モードでは、行や列のアドレスを大きい方から小さい方に走査する。

なお、カラム処理部１２ｂと出力部とのインタフェースや水平走査部の構成によっては、必ずしも水平方向の逆転読出しがセンサ側で実現できないこともある。この場合、水平方向のミラー処理は、画像信号処理部６６で実現すればよい。

このような構成のＣＭＯＳ撮像素子１２を備えたデジタルスチルカメラ１において、単位画素から出力された画素信号は、垂直列ごとに、垂直信号線を介して、カラム処理部１２ｂのカラムＡＤ回路に供給される。単位画素を構成する増幅用トランジスタは各垂直信号線に接続されている。

カラム処理部１２ｂの各カラムＡＤ回路は、１列分の画素の信号を受けて、その信号をデジタルデータに変換する。ＡＤ回路の構成については、詳細は説明を割愛するが、一例としては、コンパレータ（電圧比較器）にランプ状の参照信号（参照電圧）を供給すると同時にクロック信号でのカウント（計数）を開始し、垂直信号線を介して入力されたアナログの画素信号を参照信号と比較することによってパルス信号が得られるまでカウントすることでＡＤ変換を行なう。

また、この際、回路構成を工夫することで、ＡＤ変換とともに、垂直信号線を介して入力された電圧モードの画素信号に対して、画素リセット直後の信号レベル（ノイズレベル）と真の（受光光量に応じた）信号レベルとの差分をとる処理を行なうことができる。これにより、固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise ）やリセットノイズといわれるノイズ信号成分を取り除くことができる。

このカラムＡＤ回路でデジタル化された画素データは、水平走査部からの水平選択信号により駆動される図示しない水平選択スイッチを介して水平信号線に伝達され、さらに出力回路に入力される。

このような構成によって、電荷生成部としての受光素子が行列状に配された画素部１２ａからは、行アドレスや行走査を制御する垂直走査部（行走査回路）からの駆動パルス（ＣＣＤの垂直転送クロックに相当）に基づいて、行ごとに各垂直列について画素信号が順次出力される。そして、受光素子（フォトダイオードなどの光電変換素子）が行列状に配された画素部１２ａに対応する１枚分の画像すなわちフレーム画像が、画素部１２ａ全体の画素信号の集合で示される。

＜＜電子ズーム処理機能；第１例＞＞
図３は、図１や図２に示したデジタルスチルカメラ１における電子ズーム処理機能に着目した第１例のブロック図である。この第１例は、原色データを処理対象として補間処理による解像度変換を行なう構成としている点に特徴を有する。

図示するように、画像処理部（ＤＳＰ）６６における信号処理機能として、固体撮像素子１０で取得されＡ／Ｄ変換部６４にてデジタル化された撮像データの黒基準をクランプするデジタルクランプ部２００、およびデジタルクランプ部２００にてクランプされた撮像データからＲ，Ｇ，Ｂの原色データを抽出した後に、原色データＲ，Ｇ，Ｂに対して、シャープネス補正、ガンマ補正、コントラスト補正、あるいはその他の輝度信号処理や色信号処理を施して輝度データＹ（あるいは明度データＬ）や２つの色データＵ，Ｖ（あるいは色差データＲ−Ｙ，Ｂ−Ｙ）に変換して出力する色信号処理部２２０を備えている。

色信号処理部２２０にて生成された各データは、記録系７（たとえばＣＯＤＥＣ７４）に送られて画像記録に供されたり、あるいは表示系８（たとえばビデオエンコーダ８６）に送られて表示出力に供されたりする。

色信号処理部２２０は、一例として、デジタルクランプ部２００にてクランプされた撮像データからＲ，Ｇ，Ｂの原色データを抽出するとともに同時化する原色分離・同時化処理部２２２、および同時化された画素データのゲインを調整可能な色信号増幅部の一例であるホワイトバランスアンプ部２２４を備えている。また、色信号処理部２２０は、ガンマ補正部２２６および色差マトリクス部２２８を備えている。もちろん、この構成例は一例であって、色信号処理部２２０は、これらの処理機能以外の構成要素も備える。

ガンマ補正部２２６は、Ｒ信号Ｓｒ３，Ｇ信号Ｓｇ３，Ｂ信号Ｓｂ３に基づいて、忠実な色再現のためのガンマ（γ）補正を行ない、ガンマ（γ）補正された各色用の出力信号Ｒ，Ｇ，Ｂを色差マトリクス部２２８に入力する。色差マトリクス部２２８は、色差マトリクス処理を行なって得た色差信号Ｒ−Ｙ，Ｂ−Ｙをビデオエンコーダ８６に入力する。

ビデオエンコーダ８６は、色信号副搬送波に対応するデジタル信号で色差信号Ｒ−Ｙ，Ｂ−Ｙをデジタル変調した後、図示しない輝度信号生成部にて生成された輝度信号Ｙと合成して、デジタル映像信号ＶＤ（＝Ｙ＋Ｓ＋Ｃ；Ｓは同期信号、Ｃはクロマ信号、あるいはＹ信号とクロマ信号Ｃｂ，Ｃｒ）に変換した後、Ｄ／Ａ変換部８２に入力する。Ｄ／Ａ変換部８２は、デジタル映像信号ＶＤをアナログ映像信号Ｖに変換する。

また画像信号処理部６６は、本実施形態の特徴部分として、電子的にすなわち画像データ処理により画像を拡大もしくは縮小する解像度変換処理（すなわち電子ズーム処理）を行なう機能要素として、解像度変換処理部３００をガンマ補正部２２６と色差マトリクス部２２８との間に備えている。

解像度変換処理部３００は、水平方向の倍率に応じて水平方向の画素間を補間処理することで水平方向の解像度を変換する水平解像度変換処理部３１０、垂直方向の倍率に応じて垂直ラインを補間処理することで垂直方向の解像度を変換する垂直解像度変換処理部３２０、および解像度変換処理機能を制御する変換制御部３３０を備えている。

＜＜電子ズーム処理機能；第２例＞＞
図４は、図１や図２に示したデジタルスチルカメラ１における電子ズーム処理機能に着目した第２例のブロック図である。この第２例は、原色データを処理対象とするのではなくＹＣｂＣｒに変換した後に補間処理による解像度変換を行なう構成としている点に特徴を有する。

すなわち、図示するように、ビデオエンコーダ８６とＤ／Ａ変換部８２との間に、解像度変換処理部３００を設けるようにしている。解像度変換処理部３００は、ビデオエンコーダ８６から供給されるＹ信号と２つのクロマ信号Ｃｂ，Ｃｒとを処理対象として、補間処理を利用した解像度変換処理を行なう。

解像度変換処理部３００は、第１例と同様に、水平方向の倍率に応じて水平方向の画素間を補間処理することで水平方向の解像度を変換する水平解像度変換処理部３１０、垂直方向の倍率に応じて垂直ラインを補間処理することで垂直方向の解像度を変換する垂直解像度変換処理部３２０、および解像度変換処理機能を制御する変換制御部３３０とを備えている。

＜解像度変換処理部の詳細構成例＞
図５は、解像度変換処理部３００の詳細な構成例を説明するブロック図である。本実施形態の電子ズーム機能を実現する構成は、固体撮像素子１０から読み出した画面１枚分もしくは電子ズームの倍率に応じた分（たとえば２倍ズーム時には１／２フレーム分）の画素信号を記憶するフレームメモリのような大規模な記憶手段を備えておらず、ラインメモリのような簡易なメモリを使用する。

また、固体撮像素子１０からの画素信号の読出処理と補間処理とを同時並行的に実施可能にするべく、先ず解像度変換処理部３００において画素補間を行なうことに加えて、解像度変換処理部３００の画素補間動作と連動して、固体撮像素子１０の読出タイミングや読み出した画素情報の記憶部への書込処理を制御するようにしている。このため、変換制御部３３０と駆動制御部９６（１２ｃ）との間で情報のやり取りをすることで、双方が協働した動作をするようにしている。

また、解像度変換処理部３００にて画素補間処理を行なうべく、先ず水平解像度変換処理部３１０は、当該解像度変換処理部３００の前段から受け取った画素データ（ガンマ補正部２２６からの原色データやビデオエンコーダ８６からのＹＣデータ）や当該解像度変換処理部３００内の各機能部の処理済みの画素データを１水平ライン分ずつ一時的に記憶するラインバッファメモリ３１２を有している。また、水平解像度変換処理部３１０は、ラインバッファメモリ３１２に記憶した１水平ライン中の画素データ（以下ラインデータともいう）を参照して変換制御部３３０が指定する所望の画素データ量となるように水平方向に補間処理を行なうことで拡大変換もしくは縮小変換（以下纏めて変倍処理ともいう）する水平補間処理部３１４を有している。

変換制御部３３０は、ラインバッファメモリ３１２に対する固体撮像素子１０からの画素情報（画素データ）の書込みと読出しを、相対的に高速な第１の走査方向である水平走査方向に制御するとともに、水平補間処理部３１４や垂直解像度変換処理部３２０における補間処理の動作を制御する。

ここで、変換制御部３３０は、水平走査方向の１単位分の画素情報をラインバッファメモリ３１２に書き込む際、ラインバッファメモリ３１２への画素情報の書込みに寄与しないダミー期間が設けられるように、ラインバッファメモリ３１２に対する書込動作を制御する。こうすることで、固体撮像素子１０からの画素信号の読出動作やラインバッファメモリ３１２への画素情報の書込動作と、水平走査方向とは異なる相対的に低速な第２の走査方向である垂直方向に補間処理を実質的に同時並行的に行なうための期間を用意する。

ラインバッファメモリ３１２は、前段から受け取った１水平ライン分の全画素データではなく、ズーム倍率に応じて、そのズーム時に使用する画像領域の水平方向の使用領域に相当する画素データ、具体的には、電子ズームの倍率の逆数に応じた領域の画素データのみを処理対象としてラインバッファメモリ３１２に記憶する。

水平補間処理部３１４は、電子ズームの倍率の逆数に応じた領域の画素信号のみを処理対象にして、電子ズームの倍率に応じて過不足する水平方向の画素データを補間処理にて生成する。また、水平補間処理部３１４は、必要に応じて（垂直解像度変換処理部３２０の処理に合わせて）、変倍処理後のラインデータをラインバッファメモリ３１２に記憶する。

また、垂直解像度変換処理部３２０は、水平補間処理部３１４にて水平解像度が変換されたライン単位の画素データを複数ライン分参照して、変換制御部３３０が指定する所望の画素データ量となるように垂直方向に補間処理を行なうことで拡大変換もしくは縮小変換（変倍処理）する垂直補間処理部３２４とを有している。垂直補間処理部３２４は、電子ズームの倍率の逆数に応じた垂直方向領域の画素信号のみを処理対象にして、電子ズームの倍率に応じて過不足する垂直方向の画素データを補間処理にて生成する。

垂直補間処理部３２４は、補間処理の際に、ラインバッファメモリ３１２から水平補間済みのラインデータを読み出し、また水平補間処理部３１４にて水平補間された直後のラインデータを受け取って、これら複数ライン分のラインデータを使用して垂直方向の補間処理を行なう。たとえば、「２倍ズーム時」には２ライン（Ｎラインと“Ｎ＋１”ライン分の画素データを使用してその間のライン（Ｎ＋０．５ライン）分の画素データを補間処理によって求めるが、Ｎライン分については水平補間処理部３１４にて水平方向の補間処理を行なってラインバッファメモリ３１２に処理済みの画素データを一時的に記憶しておく。

そして、“Ｎ＋１”ライン分について水平補間処理部３１４にて所定水平位置の水平補間処理を行なった都度、同一水平位置のＮライン分の水平補間処理がなされた画素データをラインバッファメモリ３１２から読み出して即時に垂直方向の補間処理を行なう。あるいは、“Ｎ＋１”ライン分についても、水平補間処理部３１４にて水平方向の補間処理を行なってラインバッファメモリ３１２に処理済みの画素データを一時的に記憶して、この“Ｎ＋１”ライン分についての水平補間処理が全て完了してから、Ｎ，“Ｎ＋１”の各同一水平位置の水平補間処理がなされた画素データをそれぞれラインバッファメモリ３１２から読み出して垂直方向の補間処理を行なうようにしてもよい。この場合でも、前者に比べて、最終的なデータ出力が１ライン分遅れるだけである。

＜電子ズームの処理概要＞
図６は、電子ズームの処理概要例を説明する図である。電子ズームによる拡大を行なう場合には、少なくとも垂直方向に関しては、拡大する部分だけを読み出してラインバッファメモリ３１２に画素データを格納するようにする。

たとえば、図６は、電子ズーム倍率を縦／横ともに２倍に設定した「２倍ズーム時」の例である。この場合、固体撮像素子１０から出力された画面１枚分の画素データのうち、画像の縦横１／２の長さ分、面積で１／４のエリア部分（たとえば画面中央部、あるいは任意位置）の画素データを処理対象として使用する。

そして、何らかの手段で画素間を横方向（水平方向）および縦方向（垂直方向）のそれぞれについて２倍に広げ、この電子ズームの倍率（２倍）に応じて過不足するその隙間の画素位置に埋め込むべき画素データ（補間データ）を求める。

こうすることで、元画像の縦横１／２の長さ分、たとえば中心部分の縦横１／２の長さ分に注目して縦横それぞれ２倍に拡大することができ、画像サイズを元画像と変わらないようにして、ズーム画像を得ることができる。

＜電子ズームの処理タイミング；第１例＞
図７〜図９は、このような電子ズームの仕組みを実現するための詳細な処理タイミングの第１例を説明するタイミングチャートである。ここで、図７は、２倍ズーム時に、固体撮像素子１０を駆動制御する駆動制御部９６（あるいは２１ｃ）へ与える水平同期信号ＳＨＤと固体撮像素子１０から出力される画素データの関係を説明する図である。また、図８および図９は、処理タイミングの第１例において、２倍ズーム時における補間処理の概要を説明する図である。

先ず、変換制御部３３０は、通常時（ズーム倍率が１倍時）には、固体撮像素子１０の水平方向の駆動基準を定める水平同期信号ＳＨＤを、画素数分にブランキング（ＢＬＫ）期間を加えた周期とする。また、電子ズームを行なう場合（ズーム倍率が１倍以外の時）、そのズーム倍率と同じ割合で駆動制御部９６（１２ｃ）へ供給される水平同期信号の周期を延長するように、同期信号生成部４１を制御する。同期信号生成部４１は、変換制御部３３０からの指示に基づき、所定周期の水平同期信号ＳＨＤや垂直同期信号ＳＶＤを生成して、固体撮像素子１０側の駆動制御部９６（１２ｃ）に供給する。

駆動制御部９６（１２ｃ）は、同期信号生成部４１からの水平同期信号ＳＨＤや垂直同期信号ＳＶＤに従って、固体撮像素子１０を駆動する種々のタイミングパルスを生成するが、水平同期信号ＳＨＤの周期に関わらず、固体撮像素子１０の個々の画素を駆動する画素クロックの周期を、実質的に通常時と同じにしておくようにする（多少の違いはあってもよい）。

また変換制御部３３０は、電子ズームの有無に拘らず、固体撮像素子１０から画素情報を読み出す画素クロックと、第１の走査方向におけるラインバッファメモリ３１２へ画素情報を書き込む画素クロックとを同じ周期にしておく。たとえば、固体撮像素子１０から読み出した画素信号のラインバッファメモリ３１２への書込クロックを、ＣＣＤにおける水平転送クロックやＣＭＯＳにおける水平シフトクロックなどの、固体撮像素子１０から水平方向への画素信号の読出クロックの周期と同じ周期にしておく。

こうすることで、電子ズーム時（特に拡大時）に、通常の画素信号の読出期間に加えて、実質的に画素信号の読出しに寄与しないダミー出力期間を設ける。このダミー出力期間を設けることで、補間処理を行なう期間を確保し、これにより、固体撮像素子１０からの画素信号の読出処理やメモリへの書込処理と補間処理とを同時並行的に実施できるようにする。

またこの際には、固体撮像素子１０からの画素信号の読出処理やラインバッファメモリ３１２への書込処理と補間処理とを同時並行的に実施できるとともに無駄な時間が生じることがないように、水平走査方向の画素信号の読出処理周期やラインバッファメモリ３１２への画素情報の書込処理周期を、拡大における通常時に対する倍率と同じ倍率で延長するのがよい。

たとえば、図７に示すように、２倍ズーム時には、固体撮像素子１０へ与える水平同期信号ＳＨＤ１の周期を通常時の水平同期信号ＳＨＤ０に対して２倍にすることで、水平同期信号ＳＨＤ１における水平同期信号ＳＨＤ０分の前半側である画素データ出力期間Ｈrdすなわち通常の画素データの読出期間に加えて、実質的に画素信号の読出を行なわない水平同期信号ＳＨＤ０分のダミー出力期間Ｈdmを、画素データ出力期間Ｈrdの後半側に設ける。

固体撮像素子１０を駆動する駆動制御部９６（１２ｃ）では、水平同期信号ＳＨＤの周期に関わらず固体撮像素子１０の個々の画素を駆動する画素クロックの周期を通常時と同じにしておくので、結果的に、水平同期信号ＳＨＤ１の周期を水平同期信号ＳＨＤ０よりもズーム倍率に応じて長く（本例では通常時の２倍に）することで、通常時に対して、フレーム（フィールド）シフトパルス、すなわちＣＣＤの垂直転送クロックやＣＭＯＳの行アドレスの駆動パルスを間引くように、固体撮像素子１０を駆動する。

これにより、固体撮像素子１０からの画素信号の水平方向への読出処理と水平補間処理部３１４における水平方向への補間処理を実質的に同時並行的に実施できる。ここで、“実質的に同時並行的に”と言ったのは、電子ズーム時の水平同期信号ＳＨＤ１の１周期内で、水平同期信号ＳＨＤ０の周期幅で、固体撮像素子１０からの画素信号の読出処理と水平補間処理部３１４における補間処理とを交互に行なうということである。実際には、水平補間処理部３１４における補間処理は、ダミー出力期間Ｈdmにて行なう。

また、垂直方向に画素データを遅延させて画素ライン間にタイミング的に隙間を作ることができるので、垂直方向へ補間データを入れ易くすることができる。すなわち、前述の水平方向の処理と、垂直補間処理部３２４における垂直方向への補間処理を同時並行的に実施できる。

たとえば、Ｎライン目の全ての画素についてＹＣｂＣｒ変換後に、図８および図９に示すように、水平解像度変換処理部３１０は、水平同期信号ＳＨＤ１における水平同期信号ＳＨＤ０分の前半側である画素データ出力期間Ｈrdにおいて、水平方向についての切出処理として、「２倍ズーム時の使用領域」に相当する画素データについて、ラインバッファメモリ３１２に一時的に記憶しておく。

この後、水平補間処理部３１４は、水平同期信号ＳＨＤ１における水平同期信号ＳＨＤ０分の後半側であるダミー出力期間Ｈdmにおいて、ラインバッファメモリ３１２から画素データを読み出す際に、１画素おきにタイミング的に隙間を空けて（まばらなタイミングで）読み出して、注目画素の周辺から水平補間画素データを計算して、隙間の画素位置に対して、この計算した水平補間画素データを埋め込む。このとき、通常時と同じ画素クロックの周期と実質的に同じ周期の第１の画素クロックに基づき、タイミング信号生成部４０は、固体撮像素子１０を駆動するとともに、水平補間処理部３１４は水平解像度変換を行なう。

水平方向についての補間演算は、注目画素の水平方向に隣接する複数（２に限らず３以上でもよい）の参照画素データを用いて、１次補間の一例として、隣接する２画素分からの平均値を使った補間処理や３画素以上を用いつつ画素間の距離に応じて線形補間する重付け線形補間処理をすることができる。もちろん、補間処理の手法は線形補間に限らず、たとえば、バイリニア（双直線補間；Bilinear Interpolation）や３次畳込み内挿法あるいはスプライン補間などの任意の補間手法を用いることができる。重付け線形補間処理や畳込み内挿法などを使うと、２ライン分からの平均値を使った補間処理に比べて、画質重視の補間方法を実現することができる。なお、これら種々の補間処理の詳細は公知の技術であるので、ここではその詳細な説明を割愛する。

このようにして、水平補間処理部３１４は、Ｎライン目の水平方向についての切出処理と補間処理が完了すると、処理済みの画素データをラインごとにラインバッファメモリ３１２に格納する。固体撮像素子１０からは次の水平同期信号ＳＨＤ０の１水平期間についてはダミー画素が出力されているが、水平補間部ではここは無視をして処理対象にはしない。

同様にして、水平解像度変換処理部３１０は、“Ｎ＋１”ライン目についても、水平切出処理と水平補間処理とを行なう。

次に、垂直解像度変換処理部３２０は、Ｎライン目や“Ｎ＋１”ライン目については、水平補間処理部３１４にて水平補間処理がなされたラインデータをそのままスルー出力する一方、“Ｎ＋０．５”ライン目に相当する内挿するラインデータを生成するときに、ラインバッファメモリ３１２に蓄えたＮライン目の水平補間後データと、“Ｎ＋１”ライン目の水平補間後の画素データとを使って、１ライン分の補間処理を行なう。

このとき、垂直補間処理部３２４は、通常時と実質的に同一周期の第１の画素クロックに基づく固体撮像素子１０からの画素信号の読出処理や水平補間処理部３１４での水平補間処理と並行して、第１の画素クロックと実質的に同一周期（多少の違いはあってもよい）の第２の画素クロックに基づいて、垂直解像度変換処理を行なう。すなわち、ズーム倍率に応じた補間すべき注目画素に隣接する隣接する複数ラインの生の画素データもしくは水平補間処理部３１４における水平方向の補間処理によって求められた水平補間データを用いて、垂直画素数を所望の画素数に変換する。

またこのとき、図８に示すように、“Ｎ＋１”ライン分について水平補間処理部３１４にて所定水平位置の水平補間処理を行なうのと実質的に並行して（水平補間処理のため最低１画素分のずれはあるが）、“Ｎ＋１”ラインについての補間処理直後のラインデータの所定水平位置の画素データと、同一水平位置のＮライン分の水平補間処理がなされた画素データをラインバッファメモリ３１２から読み出して、Ｎ，“Ｎ＋１”の各ラインの内挿ラインである“Ｎ＋０．５”ライン分について、即時に垂直方向の補間処理を行なう。この場合、図から分かるように、“ダミー出力期間”に、水平補間処理と垂直補間処理とがなされることになる。

あるいは、図９に示すように、“Ｎ＋１”ラインの全体についても、水平補間処理部３１４にて水平方向の補間処理を行なってラインバッファメモリ３１２に処理済みの画素データを一時的に記憶する。この後、Ｎ，“Ｎ＋１”の各同一水平位置の水平補間処理がなされた画素データをそれぞれラインバッファメモリ３１２から読み出して、Ｎ，“Ｎ＋１”の各ラインの内挿ラインである“Ｎ＋０．５”ライン分について垂直方向の補間処理を行なう。

この場合、図８に示す処理に比べて、最終的なデータ出力が１ライン分遅れる。この場合、図から分かるように、“ダミー出力期間”に水平補間処理を行なうが、画素信号の読出処理やこの読み出した画素信号のラインバッファメモリ３１２への書込処理期間に垂直補間処理がなされることになる。この場合でも、ダミー出力期間が設けられた水平走査方向におけるＳＨＤ１の１つの処理期間内で、水平補間処理と垂直補間処理とがなされることになる。

垂直方向についての補間演算は、注目画素の垂直方向に隣接する複数ラインにおける同一画素位置の参照画素データを用いて、水平方向についての補間演算と同様にして、１次補間の一例として、隣接する２ライン分からの平均値を使った補間処理や３ライン以上を用いつつ画素間の距離に応じて線形補間する重付け線形補間処理をすることができる。もちろん、垂直方向についても、この補間処理の手法は線形補間に限らず、たとえば、バイリニア補間や３次畳込み内挿法あるいはスプライン補間などの任意の補間手法を用いることができる。なお、これら種々の補間処理の詳細は公知の技術であるので、ここではその詳細な説明を割愛する。

たとえば、２ライン分からの平均値を使った補間処理とすれば、最低１ライン分のラインメモリをラインバッファメモリ３１２に用意すればよく、最もラインメモリを節約できる方法となる。ラインメモリの数をもう少し確保できるシステムでは、重付け線形補間処理や畳込み内挿法など画質重視の補間方法を実現してもよい。

以上説明したように、本実施形態によれば、水平同期信号ＳＨＤの周期に関わらず固体撮像素子１０の個々の画素を駆動する画素クロックの周期を実質的に通常時と同じに維持しつつ、電子ズーム処理時の水平同期信号ＳＨＤ１の周期を通常時の水平同期信号ＳＨＤ０よりもズーム倍率に応じて長くすることで、通常時に対してフレーム（フィールド）シフトパルスを間引くようにして固体撮像素子１０を駆動する。ズーム倍率に応じて補間処理を行なう期間を確保して、そのズーム倍率に応じて画素間を広げ、その隙間の画素位置に補間処理によって取得した画素データを埋め込むことで、元画像の縦横の１／倍率の長さ分に注目して縦横をそれぞれ倍率分だけ拡大するようにした。

これにより、極めて少ない数のラインメモリを使用するだけで、画像の電子的な拡大変換を、リアルタイムで実現し、画像サイズを元画像と変わらないようにして、ズーム画像を取得することができる。回路規模が大きく、高価なフレームメモリを使わずに低コストで電子ズーム機能を実現できる。

単純なラインメモリの制御管理をすればいいので、ラインバッファメモリ３１２の容量が極めて少なくて済むことに加えて、従来のようにフレームメモリからの読出制御で、補間のための隙間を作るような難しい制御を実現する必要がなく、電子カメラを小型化する上で非常に有利である。加えて、画素データの読書処理の回数が少なくて済むので電子カメラの消費電力が少なく、電子カメラの電池寿命を延ばすこともできる。安価に電子ズームシステムを構築できるため、携帯電話用やモバイル機器用のカメラなどを実現する際の電子ズームとして非常に適している。

特許文献２に記載の手法も、フレームメモリなどの大規模な記憶手段を使用せず、フレームメモリなどからの読出制御が不要である点では共通するが、少なくとも２〜３ライン分のラインメモリを必要とするし、拡大時には、撮像デバイスの読出駆動を通常時と同じにしつつ（センサ駆動への変更はない）、垂直補間処理用に画素信号の読出処理や水平補間処理用の第１の画素クロックよりも高速の第２の画素クロックを必要とする。

これに対して、本実施形態の構成では、ズーム倍率に拘らず同一周期の画素クロックをそれぞれの処理（画素信号の読出処理や水平／垂直の各補間処理）において用いることができるし、またメモリも最低１ライン分でよく、特許文献２に記載の手法よりもさらに簡単・小型化（回路構成を小規模化）・低コスト化・低消費電力化に有利であるし、ノイズに対しても有利であり、拡大ズームモードでも画質劣化の問題が少ない。

さらに、本実施形態の解像度変換手法は、画素データの読出側の解像度にのみ依存する構成であるため、ＣＣＤ固体撮像素子１１やＣＭＯＳ撮像素子１２などの各撮像デバイスの画素数や色フィルタ配列が異なる複数の電子カメラに対しても同じ装置構成で共通化して利用することができ、デバイス構造に依存しない汎用性のある仕組みを構築できる。

このように、従来の手法であれば、電子ズームで拡大する場合に、画素信号の読出処理と解像度変換処理とを同時並行的（すなわちリアルタイム）に行なう場合、特許文献１に記載のように、１／倍率のフレーム（ライン数）分のラインデータを記憶する大規模なラインメモリを使用するか、もしくは、特許文献２に記載のように、固体撮像素子１０から画素信号を読み出す水平同期信号の周期よりも垂直補間演算処理（データ処理による垂直解像度変換処理）の周期を速く設定しておく必要がある。

これに対して、本実施形態の構成および処理手順によれば、画素信号の読出クロックや水平補間処理の画素クロック（第１の画素クロック）に対して垂直補間処理用の第２の画素クロックの周期を高速にすることなく、画素信号の読出周期を１／倍率に変更することで、ズーム拡大用の補間処理を行なうためのダミーの出力期間Ｈdmを設けるようにした。電子ズームの使用領域に相当する画素データを記憶するフレームメモリなど大容量の記憶手段を必要としないし、補間演算処理の周期を速く設定する必要もなく高速処理も不要となり、ノイズや消費電力などの観点で、特許文献２の仕組みよりも優れたものとなる。

なお、本実施形態の電子ズームの手法では、フレームレートがズーム倍率の逆数分だけ遅くなる減少（たとえば２倍ズーム時には１／２）が発生する。これは、フレームレートが落ちたことによる違和感、対コスト低減効果で商品化の検討をすればよいものと考える。ただし、昨今の撮像デバイスを使用することを想定すると、駆動周波数が高速のものを使える場合には、本電子ズーム機能を使用してフレームレートが落ちてもそれほど違和感がない領域があるといえる。

なお、ズーム拡大に寄与しない不使用領域のライン情報を固体撮像素子１０から読み出す際には通常の画素クロックよりも高速に読み出す（掃き出す）ようにすることで、フレームレートの低下を改善するようにしてもよい。

＜電子ズームの処理タイミング；第２例＞
図１０は、電子ズームの仕組みを実現するための詳細な処理タイミングの第２例を説明するタイミングチャートであって、２倍ズーム時の例を示す。この図１０は、図１０と対応するものであり、固体撮像素子１０を駆動制御する駆動制御部９６（あるいは２１ｃ）へ与える水平同期信号ＳＨＤと固体撮像素子１０から出力される画素データの関係を説明する図である。

第１例においては、水平同期信号ＳＨＤ１の周期を水平同期信号ＳＨＤ０よりも長く（第１例では通常時の２倍に）することで、通常時に対して垂直転送クロックを間引くようにしていたが、結果的に、通常時に対して垂直転送クロックを間引く動作を行なえばよく、水平同期信号ＳＨＤの周期を変えるか否かは必須の要素ではない。

同期信号生成部４１からタイミング信号生成部４０に供給する水平同期信号ＳＨＤは、電子ズーム動作の有無に拘らず、実質的に通常時と同じ周期に維持しつつ、タイミング信号生成部４０は、電子ズーム動作時（倍率が１倍以外）には、垂直方向への走査クロックであるラインシフトパルスを電子ズームの倍率に応じて間引いて固体撮像素子１０を駆動するようにしてもよい。

たとえば、図１０に示すように、タイミング信号生成部４０は、２倍ズーム時には、結果的に、通常時の１ラインの間隔で、垂直方向のシフト動作、すなわちＣＣＤの垂直転送やカラム処理部が列並列構成のＣＭＯＳにおける行単位の読出処理を行なえばよく、水平同期信号ＳＨＤの周期を変えずに、ラインシフトパルスを１ラインごとに間引く動作だけを行なうようにしてもよい。

以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

たとえば、上記実施形態では、ズーム倍率として２倍ズーム時を例に具体的に説明したが、２倍に限らず、電子ズームに関わる補間処理用の期間を確保するべく、第１の走査方向（一例として水平走査方向）に画素情報を撮像デバイスから読み出したり記憶部に書き込んだりする際に、画素情報の読出処理や書込処理に寄与しないダミー期間を設けるようにすることで、たとえば、３倍、あるいは４倍など、任意の整数倍に固定倍率で拡大処理することもできるし、整数倍に限らず、Ｍ／Ｎ倍（Ｍ＞Ｎ；Ｍ，Ｎは任意の整数）というように、ズーム倍率が自由な、すなわち中途半端な倍率が指定できるバリアブルズーム機能を実現することもできる。

また、上記実施形態では、撮像デバイスから読み出された画像を処理対象として電子ズーム機能を実現する手法を説明したが、処理対象画像は、撮像デバイスから読み出された画像に限定されない。上記実施形態で説明した電子ズームを実現する仕組みは、あらゆる画像を処理対象とするものに適用可能である。

本発明に係る撮像装置の第１実施形態を示す概略構成図である。 本発明に係る撮像装置の第２実施形態を示す概略構成図である。 図１や図２に示したデジタルスチルカメラにおける電子ズーム処理機能に着目した第１例のブロック図である。 図１や図２に示したデジタルスチルカメラにおける電子ズーム処理機能に着目した第１例のブロック図である。 解像度変換処理部の詳細な構成例を説明するブロック図である。 電子ズームの処理概要例を説明する図である。 ２倍ズーム時に、固体撮像素子を駆動制御する駆動制御部へ与える水平同期信号と固体撮像素子から出力される画素データの関係を説明する図である。 処理タイミングの第１例において、２倍ズーム時における補間処理の概要を説明する図である。 処理タイミングの第１例において、２倍ズーム時における補間処理の概要を説明する図である。 電子ズームの仕組みを実現するための詳細な処理タイミングの第２例を説明するタイミングチャートである。 フレームメモリを用いて電子ズーム機能を実現する仕組みの従来の構成例を説明する図である。 フレームメモリを利用した補間方法を説明する図である（その１）。 フレームメモリを利用した補間方法を説明する図である（その２）。

符号の説明

１…デジタルスチルカメラ（撮像装置）、２…固体撮像装置、３…カメラモジュール、３ａ…撮像装置モジュール、４…本体ユニット、５…光学系、６…信号処理系、７…記録系、８…表示系、９…制御系、１０…固体撮像素子、１１…ＣＣＤ固体撮像素子、１２…ＣＭＯＳ撮像素子、５０…撮像レンズ、６６…画像信号処理部、７４…ＣＯＤＥＣ、８４…ビデオモニタ、９２…中央制御部、９４…露出コントローラ、９８…操作部、９９…システムバス、３００…解像度変換処理部、３１０…水平解像度変換処理部、３１２…ラインバッファメモリ、３１４…水平補間処理部、３２０…垂直解像度変換処理部、３２４…垂直補間処理部、３３０…変換制御部

Claims (14)

1. 記憶部に対する画素情報の書込みと読出しを相対的に高速な第１の走査方向に制御するとともに、前記記憶部から読み出した画素情報を用いて前記第１の走査方向とは異なる相対的に低速な第２の走査方向に補間処理を行なうことにより、画像の解像度変換処理を行なう画像処理方法であって、
   画像サイズを前記第２の走査方向に拡大する解像度変換処理時には、前記第１の走査方向に画素情報を前記記憶部に書き込む際に、前記記憶部への画素情報の書込みに寄与しないダミー期間を設けるようにした
   ことを特徴とする画像処理方法。
2. 前記記憶部から画素情報を読み出しつつ補間処理を行なうことで、画像サイズを前記第１の走査方向に拡大する解像度変換処理をし、
   当該第１の走査方向に拡大した画素情報を用いて、画像サイズを前記第２の走査方向に拡大する
   ことを特徴とする請求項１に記載の画像処理方法。
3. 前記第１の走査方向に前記記憶部へ前記画素情報を書き込む前記第１の走査方向単位の書込処理周期を通常時よりも長くすることで、前記ダミー期間を設ける
   ことを特徴とする請求項１に記載の画像処理方法。
4. 前記第１の走査方向の書込処理周期を、前記拡大における通常時に対する倍率と同じ倍率で延長する
   ことを特徴とする請求項３に記載の画像処理方法。
5. 補間処理を行なうことにより、画像の解像度変換処理を行なう画像処理装置であって、
   画素情報を記憶する記憶部と、
   前記記憶部に対する画素情報の書込みと読出しを相対的に高速な第１の走査方向に制御するとともに前記補間処理の動作を制御する変換制御部と、
   前記記憶部から読み出した画素情報を用いて前記第１の走査方向とは異なる相対的に低速な第２の走査方向に補間処理を行なうことにより、画像の解像度変換処理を行なう解像度変換処理部と
   を備え、
   前記変換制御部は、前記第１の走査方向に画素情報を前記記憶部に書き込む際に、前記記憶部への画素情報の書込みに寄与しないダミー期間が設けられるように、前記記憶部を制御し、
   前記解像度変換処理部は、前記ダミー期間を実質的に利用して、前記第２の走査方向に補間処理を行なうことで、画像サイズを前記第２の走査方向に拡大する
   ことを特徴とする画像処理装置。
6. 前記解像度変換処理部は、前記記憶部から画素情報を読み出しつつ前記第１の走査方向に補間処理を行なうことで、画像サイズを前記第１の走査方向に拡大し、当該第１の走査方向に拡大した画素情報を用いて、画像サイズを前記第２の走査方向に拡大する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記変換制御部は、前記第１の走査方向に前記記憶部へ前記画素情報を書き込む前記第１の走査方向単位の書込処理周期を通常時よりも長くなるように前記記憶部を制御することで、前記ダミー期間を設ける
   ことを特徴とする請求項５に記載の画像処理装置。
8. 前記変換制御部は、前記第１の走査方向の書込処理周期を、前記拡大における通常時に対する倍率と同じ倍率で延長する
   ことを特徴とする請求項７に記載の画像処理装置。
9. 撮像デバイスを用いて被写体の画像を撮像するとともに、撮像した画像に対して補間処理を行なうことにより画像の解像度変換処理を行なう撮像装置であって、
   画素情報を前記撮像デバイスから読み出すように制御する駆動制御部と、
   前記撮像デバイスから読み出された画素情報を記憶する記憶部と、
   前記記憶部に対する画素情報の書込みと読出しを相対的に高速な第１の走査方向に制御するとともに前記補間処理の動作を制御する変換制御部と、
   前記記憶部から読み出した画素情報を用いて前記第１の走査方向とは異なる相対的に低速な第２の走査方向に補間処理を行なうことにより、画像の解像度変換処理を行なう解像度変換処理部と
   を備え、
   前記変換制御部は、前記撮像デバイスからの画素情報の読出しに寄与しないダミー期間が設けられるように、前記駆動制御部を制御し、
   前記解像度変換処理部は、前記ダミー期間を実質的に利用して、前記第２の走査方向に補間処理を行なうことで、画像サイズを前記第２の走査方向に拡大する
   ことを特徴とする撮像装置。
10. 前記解像度変換処理部は、前記記憶部から画素情報を読み出しつつ前記第１の走査方向に補間処理を行なうことで、画像サイズを前記第１の走査方向に拡大し、当該第１の走査方向に拡大した画素情報を用いて、画像サイズを前記第２の走査方向に拡大する
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記変換制御部は、画素情報を前記撮像デバイスから前記第１の走査方向に読み出す前記第１の走査方向単位の読出処理周期を通常時よりも長くなるように前記駆動制御部を制御することで、前記ダミー期間を設ける
    ことを特徴とする請求項９に記載の撮像装置。
12. 前記変換制御部は、前記第１の走査方向の書込処理周期を、前記拡大における通常時に対する倍率と同じ倍率で延長する
    ことを特徴とする請求項１１に記載の撮像装置。
13. 画素情報を撮像デバイスから相対的に高速な第１の走査方向に読み出すとともに、前記第１の走査方向とは異なる相対的に低速な第２の走査方向に読み出すように制御する駆動制御部に対して、前記撮像デバイスの駆動動作のタイミングを制御するタイミング制御装置であって、
    画素情報を前記撮像デバイスから前記第１の走査方向に読み出す走査基準信号であって、画像サイズを前記第２の走査方向に拡大する解像度変換処理時には、前記第１の走査方向単位の読出処理周期が通常時よりも長い走査基準信号を前記駆動制御部に供給することで、前記撮像デバイスからの画素情報の読出しに寄与しないダミー期間を設ける基準信号供給部
    を備えたことを特徴とするタイミング制御装置。
14. 前記基準信号供給部は、前記第１の走査方向の書込処理周期を、前記拡大における通常時に対する倍率と同じ倍率で延長する
    ことを特徴とする請求項１３に記載のタイミング制御装置。
    

Images