JP2013239961A - 動画撮像装置、動画像電子ズーム方法 - Google Patents

Abstract

【課題】動画像についての電子ズームによる画質劣化の抑制を、複雑な構成を要さず簡易に且つ低コストで実現することをその課題とする。
【解決手段】ズーム倍率情報に基づき、イメージセンサから読み出された画サイズによる画像信号に対し切り出しを行った後、上記ズーム倍率情報に基づき、上記切出部による切り出し後の画像信号に対し必要に応じて画サイズ変換処理を行う。従来のようにサイズ変換後に切り出しを行う場合には画サイズの拡大処理が必要となるが、これを不要とできることで画像の劣化を効果的に防止できる。また、電子ズーム機能の実現にあたりイメージセンサの部分読出を行う必要性はないものとでき、この点で構成の複雑化やコストアップの防止が図られる。
【選択図】図３

Description

本技術は、動画撮像を行う動画撮像装置と動画像電子ズーム方法とに関する。

特開２００８−２９４５０４号公報

撮像装置として、例えばデジタルスチルカメラ装置やカメラ機能を備えた電子機器（例えばスマートフォンなど）等では、静止画の記録と動画像の記録との双方が可能に構成されたものがある。
このような撮像装置では、静止画の記録（出力）と動画の記録（出力）とでイメージセンサを共用する構成が一般的である。この場合、動画については、その出力画サイズを、処理能力等の観点からイメージセンサの有効画素数（読出画サイズ）よりも小さく設定するのが通常である。例えば、イメージセンサの読み出し画サイズが１０Ｍ（メガ）ピクセル程度である場合、記録される動画像の画サイズを２Ｍピクセル程度に設定するなどということが行われている。

このようにイメージセンサの読み出し画サイズよりも小さい画サイズによる動画像を出力するシステムでは、比較的処理負担の大きい画像信号処理の前段にて、予め動画出力サイズへの変換（縮小）をしておくということが行われる。
これにより、上記のようなセンサ読出画サイズ＝１０Ｍピクセル、動画出力画サイズ＝２Ｍピクセルの例では、処理負担は１／５程度に軽減できる。

一方で、撮像装置には、電子ズーム機能が与えられたものがある。電子ズーム機能は、例えば撮像画像の一部を切り出し、切り出し後の画像の画サイズを必要に応じて出力画サイズに一致させるように調整することで実現できる。

従来の撮像装置として、例えば上記のような処理負担軽減のための画サイズ縮小処理を行う撮像装置では、電子ズーム機能のための切り出し処理を、出力画サイズへの縮小処理を施した後に施すようにされている。つまりこの場合は、出力画サイズへの縮小→ズーム倍率に応じた切り出し→切り出し後の画像を出力画サイズに拡大、という処理を経ることになる。

このように従来の撮像装置では、電子ズーム処理の実現にあたり、上記のように切り出し後の画像を出力画サイズに合わせて拡大しなければならいものとなっている。この結果、出力画像の画質劣化が避けられないものとなる。

なお、電子ズーム機能としては、上記のような画像信号の切り出しを行う手法以外にも、例えばイメージセンサの部分読出を行うことでも実現可能である。
しかしながらその場合には、部分読出が可能なイメージセンサの実現のため読出回路の工夫が必要であったり、また読出回路の駆動方式をズーム倍率に応じて切り替えることが必要となるなど、回路構成の複雑化や回路規模の増大化を招くものとなって、コストアップを助長するものとなってしまう。

本技術は上記の事情に鑑み為されたものであり、動画像についての電子ズームによる画質劣化の抑制を、複雑な構成を要さず簡易に且つ低コストで実現することをその課題とする。

上記課題の解決を図るべく、本技術では動画像の撮像を行う動画撮像装置を以下のように構成することとした。
すなわち、本技術の動画撮像装置は、ズーム倍率情報に基づき、イメージセンサから読み出された画サイズによる画像信号に対し切り出しを行う切出処理部を備える。
また、上記ズーム倍率情報に基づき、上記切出部による切り出し後の画像信号に対し必要に応じて画サイズ変換処理を行う画サイズ変換処理部を備えるものである。

上記本技術によれば、電子ズーム機能は、撮像画像の切り出し後に、必要に応じた画サイズ変換が行われて実現されることになる。これにより、従来のようにサイズ変換後に切り出しを行う場合に必要となる画サイズの拡大処理は不要とできるので、画像の劣化を効果的に防止できる。
また、本技術によれば、電子ズーム機能の実現にあたり、イメージセンサの部分読出を行う必要性はないものとでき、この点で構成の複雑化やコストアップの防止が図られる。

上記のように本技術によれば、動画像についての電子ズームによる画質劣化の抑制を、複雑な構成を要さず簡易に且つ低コストで実現することができる。

実施の形態の撮像装置の内部構成を示したブロック図である。 従来の撮像装置における電子ズーム手法についての説明図である。 実施の形態の電子ズーム手法の概要についての説明図である。 切り出しに係る具体的な構成についての説明図である。 メモリへの書出制御の実現にあたり切出制御部が実行する具体的な処理の手順を示したフローチャートである。 メモリからの読込制御の実現にあたり切出制御部が実行する具体的な処理の手順を示したフローチャートである。 切り出しに要するメモリ容量についての説明図である。 通常の同期伝播についての説明図である。 同期の乗り換えについての説明図である。 書き出し側についてもメモリ蓄積量に応じた制御を行う場合に採られるべき構成を例示した図である。 メモリ蓄積量に応じた書き出し制御にあたり実行されるべき具体的な処理の手順を示したフローチャートである。 圧縮部・解凍部を備える変形例としての構成についての説明図である。

以下、本技術に係る実施の形態について説明する。
なお、説明は以下の順序で行う。

＜１．撮像装置の全体構成＞
＜２．従来手法について＞
＜３．実施の形態の電子ズーム手法＞
［3-1．概要］
［3-2．切り出し手法の具体例］
［3-3．同期の乗り換えについて］
＜４．変形例＞

＜１．撮像装置の全体構成＞

図１は、本技術に係る実施の形態としての撮像装置１の内部構成を示したブロック図である。
本実施の形態の撮像装置１は、ユーザ操作に応じて静止画の記録と動画の記録とを選択的に実行可能に構成されている。また本実施の形態の撮像装置１は、記録される動画像について、電子的に画像を拡大／縮小する電子ズーム機能を有する。

図１において、撮像装置１は、撮像光学系２、イメージセンサ３、読出部４、画像信号処理部５、エンコード／デコード部６、記録デバイス７、表示部８、メモリ部９、コントローラ１０、操作部１１を備える。また撮像装置１は、バス１２を備える。撮像光学系２、画像信号処理部５、エンコード／デコード部６、記録デバイス７、表示部８、メモリ部９、コントローラ１０の各部は該バス１２を介して相互に接続される。これらバス１２に接続された各部は、該バス１２を介してデータの転送やコマンド（制御信号）のやり取りを行うことが可能とされる。

撮像光学系２は、被写体の光画像をイメージセンサ３の撮像面上に結像させる。撮像光学系２は、コントローラ１０からの指示に従い、適切な画像を得られるように、焦点距離、被写体距離、絞りなどを調整する機構を持つ。
イメージセンサ３は、結像された光画像を光電変換して電気信号に変換する。具体的には、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどにより実現される。

読出部４は、イメージセンサ１０で得られた電気信号についての読み出しを行って、撮像画像信号を得る。

画像信号処理部５は、読出部４で得られた上記撮像画像信号に所定の画像信号処理を施す。
なお、画像信号処理部５の内部構成については後述する。

エンコード／デコード部６は、画像信号処理部５で所定の画像信号処理が施された後の撮像画像信号について所定のエンコード処理を施して圧縮画像データを得ると共に、入力された圧縮画像データについてのデコード処理を行うことが可能に構成される。
具体的に、エンコード／デコード部６は、コントローラ１０からの指示に基づき、静止画記録時には上記撮像画像信号に対し例えばＪＰＥＧ（Joint Photographic Experts Group）形式などの所定の静止画圧縮コーデックに従ったエンコード処理を施して圧縮静止画データを得、また動画記録時には例えばＨ．２６４（ＭＰＥＧ−４ ＡＶＣ）などの所定の動画圧縮コーデックに従ったエンコード処理を施して圧縮動画データを得る。
また再生時には、コントローラ１０からの指示に基づき、入力される圧縮画像データについてのデコード処理を施す。

記録デバイス７は、フラッシュメモリ（Flash Memory）メモリなどの半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどの記録媒体と、それらの記録媒体に対する記録再生系回路・機構により構成される。
記録時には、エンコード／デコード部６で得られた圧縮静止画データ、圧縮動画データが記録デバイス７に供給される。記録デバイス７はこのように供給される圧縮静止画データ、圧縮動画データを上記記録媒体に記録する。
また再生時には、上記記録媒体に保存された圧縮静止画データ、圧縮動画データがメモリ部９に読み込まれ、エンコード／デコード部６でデコード処理が行われる。デコードされた画像データは、表示部８で表示させたり、或いは図示しない外部インターフェースにより外部機器に出力することも可能である。

表示部８は、入力画像データをアナログ化するＤ／Ａ変換回路と、アナログ化された画像信号を後段の表示装置に適合する形式のビデオ信号にエンコードするビデオエンコーダと、入力されるビデオ信号に対応する画像を表示する表示装置とを有して構成される。
上記表示装置は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）パネル等により実現され、ファインダとしての機能も有する。

コントローラ１０は、ＣＰＵ（Central Processing Unit）及び制御プログラムからなり、撮像装置１の各部の制御を行う。上記制御プログラム自体は例えばメモリ部９に格納され、上記ＣＰＵによって実行される。
コントローラ１０に対しては、操作部１１が接続される。操作部１１は、例えばシャッターボタンなどのハードウェアキー、操作ダイアル、タッチパネルなどの入力デバイスを備え、撮像者（ユーザ）の入力操作を検出し、コントローラ１０に伝達する。コントローラ１０はユーザの入力操作に応じて撮像装置１の動作を決定し、各部が必要な動作を行うように制御する。
特に本実施の形態の場合、操作部１１はユーザによるズーム操作が可能に構成され、コントローラ１０は、該ズーム操作に応じて、ズーム倍率（電子ズームのズーム倍率）の計算を行う。
後述するように本実施の形態では、画像信号処理部５が電子ズーム機能を実現するための切り出し処理を実行するものとされており、コントローラ１０は、計算したズーム倍率に応じたズーム倍率情報を画像信号処理部５に対して供給する。
具体的に本例の場合、上記ズーム倍率情報としては、切り出し開始画素位置の情報と切り出し画像の画サイズ（画素数）の情報とを示す情報であるとする。

メモリ部９は、例えばＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリで構成され、エンコード／デコード部６で得られた画像データや、コントローラ１０が扱う各種データ、画像信号処理部５で処理された画像データなどが記録される。

＜２．従来手法について＞

実施の形態の電子ズーム手法についての説明に先立ち、先ずは従来の電子ズーム手法について具体的に説明しておく。
図２は、従来の撮像装置における電子ズーム手法についての説明図である。
図２において、図２Ａは、従来の撮像装置が備える画像信号処理部５’の内部構成を示している。
この図２Ａに示されるように、従来の画像信号処理部５’には、第１信号処理部１０１、サイズ変換部１０２、第２信号処理部１０３、及び電子ズーム／手ぶれ補正部１０４が備えられている。

第１信号処理部１０１には、読出部４よりイメージセンサ３の読み出し画像が入力され、クランプ調整処理やホワイトバランス調整処理を施す。

サイズ変換部１０２は、第１信号処理部１０１で処理された画像信号について画サイズの変換処理を施す。

また第２信号処理部１０３は、サイズ変換部１０２による画サイズ変換後の画像信号について画素補間処理や輪郭強調処理を行う。

電子ズーム／手ぶれ補正部１０４は、第２信号処理部１０３による処理後の画像信号に対して電子ズーム処理、及び手ぶれ補正処理を施す。
電子ズーム／手ぶれ補正部１０４には、外部よりズーム倍率情報が与えられ、該ズーム倍率情報に従って入力画像の一部を切り出すことで電子ズーム機能を実現する。

ここで、第１信号処理部１０１が実行するクランプ調整処理やホワイトバランス調整処理は計算量が比較的少ない簡易な処理となる。
一方で、第２信号処理部１０３が実行する画素補間処理や輪郭強調処理は計算量が多く、処理負担が比較的大きいものとなる。イメージセンサ３の読み出し画サイズに対してこのような計算量の大きい処理を施すものとすると、膨大な信号処理能力が要求され、第２信号処理部１０３の回路規模が大となって、消費電力も増加してしまうことになる。

そこで従来では、図２Ａに示されるように、第２信号処理部１０３による処理を施す前に、サイズ変換部１０２により画サイズの縮小を行うようにしている。具体的にサイズ変換部１０２では、画サイズを動画像の出力画サイズ（記録画サイズ）付近まで縮小化するものである。

図２Ｂは、図２Ａに示すサイズ変換部１０２で行われる画サイズ縮小処理、及び電子ズーム／手ぶれ補正部１０３で行われる電子ズーム処理（切り出し・拡大処理）を模式化して示している。
この図２Ｂに示されるように、図２Ａに示す従来構成では、出力画サイズ付近への縮小が行われた画像に対して、ズーム倍率に応じた切り出しが行われる。そして、このように切り出された画像を、出力画サイズに合わせるべく画像の拡大処理が施されるものとなる。なおこの拡大処理については、電子ズーム／手ぶれ補正部１０４にて行われる。

このようにサイズ縮小後にズーム倍率に応じた切り出しを行う従来手法では、切り出し後の画像を出力画サイズに合わせるための拡大処理を要することとなる。このことから、従来手法では出力画像の画質劣化（解像感の低下）が避けられないものとなっていた。

ここで、電子ズーム機能としては、センサ読み出し後の画像信号の切り出しを行う手法以外にも、例えばイメージセンサの部分読出を行うことでも実現可能である。これによれば、解像感の低下は最小限に抑えることができる。

しかしながら、部分読出が可能なイメージセンサの実現のためには読出回路の工夫が必要となる。また、読出回路の駆動方式をズーム倍率に応じて切り替えることも必要となる。これらの点より、電子ズーム機能をイメージセンサの部分読出で実現する手法は、回路構成の複雑化や回路規模の増大化を招くものとなって、コストアップを助長するものとなってしまう。

本実施の形態は上記問題点に鑑み為されたものであり、動画像についての電子ズームによる画質劣化の抑制を、複雑な構成を要さず簡易に且つ低コストで実現することをその課題とする。

＜３．実施の形態の電子ズーム手法＞
［3-1．概要］

図３は、実施の形態の電子ズーム手法の概要についての説明図である。
図３Ａは、図１に示した画像信号処理部５の内部構成を示したブロック図である。
図示するように画像信号処理部５には、第１信号処理部１５、切出部１６、サイズ変換部１７、第２信号処理部１８、及び手ぶれ補正部１９が備えられる。

第１信号処理部１５は、先の第１信号処理部１０１と同様、読出部４で得られた画像信号に対してクランプ調整処理やホワイトバランス調整処理を施す。
前述のようにこれらの処理は比較的計算量が少なく、イメージセンサ３の読み出し画サイズに対して行っても回路規模や消費電力の増大化は抑制される。

切出部１６では、第１信号処理部１５による処理後の画像信号についての切り出しが行われる。切出部１６では、図１に示したコントローラ１０からのズーム倍率情報に従った切出が行われる。
なお、切出部１６の内部構成については後に改めて説明する。

サイズ変換部１７は、切出部１６で得られた切出後の画像信号に対し、必要に応じて画サイズの変換処理を施す。
ここで、切出部１６で得られる切り出し後の画サイズは、ズーム倍率に応じたサイズとなるので、該切り出し後の画サイズが必ずしも動画出力画サイズに一致するものとはならない。サイズ変換部１７は、切出部１６による切り出し後の画像の画サイズを動画出力画サイズに応じたサイズに変換する。具体的に本例では、後段で手ぶれ補正処理を行う関係から、出力画サイズ付近の所定の画サイズに変換を行うようにされる。
サイズ変換部１７は、コントローラ１０より供給されるズーム倍率情報に基づき、画サイズの縮小量を決定し、画サイズの変換処理を行う。
なお、画サイズの変換処理としては、例えば単純間引きや画像加算、或いはフィルタによる解像度変換手法などで実現できる。

第２信号処理部１８は、サイズ変換部１７によるサイズ変換処理後の画像信号について、先の第２信号処理部１０３と同様の画素補間処理や輪郭強調処理を施す。

手ぶれ補正部１９は、第２信号処理部１０３による処理後の画像信号に対し手ぶれ補正処理を施す。この手ぶれ補正処理は、例えば動きベクトルの検出結果に基づき特定される所定の画像領域を切り出すことで実現できる。

図３Ｂは、切出部１６における切り出しと、サイズ変換部１７によるサイズ変換とを模式的に表している。
この図に示すように図３Ａに示す画像信号処理部５の構成によれば、イメージセンサ３の読み出し画サイズに対してズーム倍率に応じた切り出しが行われた後に、出力画サイズ付近への画サイズ変換が行われる。

このような実施の形態としての電子ズーム手法によれば、サイズ変換後にズーム倍率に応じた切り出しを行う従来手法のように、最終的に出力画サイズに合わせるための拡大処理を行う必要はないものとできる。これにより、出力画像の解像感の低下を効果的に抑制でき、画像劣化の抑制を図ることができる。
また本実施の形態によれば、読み出し画サイズ→出力画サイズとしての固定の縮小率で画サイズの変換を行う従来手法と比較すれば、ズーム倍率にも依るが、画サイズの縮小率を低くすることが可能となる。つまりこの点においても、従来手法との比較で画質劣化の抑制を図ることが可能となる。
また、本実施の形態によれば、電子ズーム機能の実現にあたり、イメージセンサ３の部分読出を行う必要性はない。この点で、構成の複雑化やコストアップの防止が図られる。

このように本実施の形態によれば、動画像についての電子ズームによる画質劣化の抑制を、複雑な構成を要さず簡易に且つ低コストで実現することができる。

［3-2．切り出し手法の具体例］

図４は、切り出しに係る具体的な構成についての説明図である。
この図４では、切出部１６の内部構成と共に、第１信号処理部１５、及びサイズ変換部１７を併せて示している。
図示するように切出部１６には、切出制御部１６Ａとメモリ１６Ｂとが備えられる。
切出制御部１６Ａにはコントローラ１０からのズーム倍率情報が入力される。また切出制御部１６Ａには、第１信号処理部１５より同期信号ｓｙｎｃ１が入力される。

ここで、画像信号処理部５内の各部には、１フレーム分の処理時間の先頭（開始）タイミングを表す同期信号ｓｙｎｃが伝播する。
図のように第１信号処理部１５に入力される同期信号ｓｙｎｃは「ｓｙｎｃ０」、第１信号処理部１５から切出制御部１６Ａに出力される同期信号ｓｙｎｃは「ｓｙｎｃ１」、切出制御部１６Ａからサイズ変換部１７に出力される同期信号ｓｙｎｃは「ｓｙｎｃ２」、サイズ変換部１７から図３Ａに示した第２信号処理部１８に出力される同期信号ｓｙｎｃは「ｓｙｎｃ３」とする。

本実施の形態において、画像の切り出しは、切出制御部１６Ａが、第１信号処理部１５に対し、該第１信号処理部１５の処理後の画像をズーム倍率情報に応じて選択的にメモリ１６Ｂに蓄積させ、また該蓄積された画像をサイズ変換部１７に順次読み込ませることで実現する。

先ずは、第１信号処理部１５によるメモリ１６Ｂへの画像書き出しに関する制御について説明する。
切出制御部１６Ａは、第１信号処理部１５において画素データの出力があるごとに、出力画素カウント値Ｇctをカウントアップして、該出力画素カウント値Ｇctにより現在の出力画素位置（座標）を特定する。
このように特定される出力画素位置が、ズーム倍率情報としてコントローラ１０より指示された切り出し開始画素位置に至ったことに応じて、第１信号処理部１５に、その以降に出力される画素データのメモリ１６Ｂへの書き出しを開始させる。
そして、このように画素データのメモリ１６Ｂへの書き出しを開始させた後は、書き出しがあるごとに書出画素カウント値Ｗctをカウントアップして書き出し画素数を特定し、該書き出し画素数が、ズーム倍率情報としてコントローラ１０より指示された切り出し画素数と一致したことに応じて、第１信号処理部１５によるメモリ１６Ｂへの書き出しを停止させる。
これにより、ズーム倍率に応じた範囲の画像のみをメモリ１６Ｂに選択的に蓄積させることができる。

図５は、上記のような書出制御の実現にあたり切出制御部１６Ａが実行する具体的な処理の手順を示したフローチャートである。
先ず切出制御部１６Ａは、第１信号処理部１５からの同期信号ｓｙｎｃ１を待機し（ステップＳ１０１）、該同期信号ｓｙｎｃ１が検出されたことに応じて、出力画素カウント値Ｇctと書出画素カウント値Ｗctとを初期化（０リセット）する（ステップＳ１０２及びＳ１０３）。

また切出制御部１６Ａは、これらカウント値の初期化を行った後、第１信号処理部１５における画素出力を待機する（ステップＳ１０４）。そして該画素出力があった場合は、出力画素カウント値Ｇctをカウントアップ（Ｇct＝Ｇct＋１）した後（ステップＳ１０４）、切出先頭位置に到達したか否かを判別する（ステップＳ１０５）。すなわち、出力画素カウント値Ｇctから特定される現在の出力画素位置が、ズーム倍率情報として指示された切り出し開始画素位置に一致したか否かを判別するものである。

上記判別にて、切出先頭位置に到達していないとの否定結果が得られた場合は、ステップＳ１０４に戻って再び第１信号処理部１５における画素出力を待機する。

一方、切出先頭位置に到達したとの肯定結果が得られた場合、切出制御部１６Ａは、第１信号処理部１５にメモリ１６Ｂへの書き出し指示を行う（ステップＳ１０６）。
また、切出制御部１６Ａは、該書き出し指示を行ったことに応じ、書出画素カウント値Ｗctをカウントアップ（Ｗct＝Ｗct＋１）する（ステップＳ１０７）。

書出画素カウント値Ｗctをカウントアップした後、切出制御部１６Ａは、書出が完了したか否かを判別する（ステップＳ１０９）。具体的には、書出画素カウント値Ｗctが、ズーム倍率情報として指示された切り出し画素数の値以上であるか否かを判別する。

書出画素カウント値Ｗctが指示された切り出し画素数の値以上ではなく、書出が完了していないとの否定結果が得られた場合、切出制御部１６Ａは、第１信号処理部１５における画素出力を待機する（ステップＳ１１０）。そして、該画素出力があった場合は、先のステップＳ１０７に戻り、再び第１信号処理部１５にメモリ１６Ｂへの書き出し指示を行う。
これにより、指示された切り出し画素数分の書き出しが実行されることになる。

また、書出画素カウント値Ｗctが指示された切り出し画素数の値以上であり、書出が完了したとの肯定結果が得られた場合、切出制御部１６Ａは、先のステップＳ１０１に戻り、再び同期信号ｓｙｎｃ１が検出されるまで待機する。

続いて、読み込み側の制御について説明する。
本実施の形態において、切出制御部１６Ａは、メモリ１６Ｂのデータ蓄積量に応じてサイズ変換部１７による読込動作を制御する。

先ず前提として、この場合のサイズ変換部１７は、図４に示されるように、切出制御部１６Ａに対してメモリ１６Ｂの読込要求を行うようにされている。
具体的にサイズ変換部１７は、同期信号ｓｙｎｃ２により１フレーム分の処理の開始が指示されたことに応じ、切出制御部１６Ａに対する読込要求を開始する。

切出制御部１６Ａは、サイズ変換部１７からの読込要求に対して読込許可を与えるか否かにより、サイズ変換部１７によるメモリ１６Ｂからの画素データの読み込みを制御する。
切出制御部１６Ａは、サイズ変換部１７からの読込要求に応じて読込許可を行った場合は、メモリ１６Ｂからの画素データの読み込みがあったものとして、読込画素カウント値Ｒctをカウントアップする。この読込画素カウント値Ｒctにより切出画像についての読み込み位置を特定できる。

ここで、前述のように切出制御部１６Ａは、メモリ１６Ｂに対する画素データの書き出し数を管理するための書出画素カウント値Ｗctをカウントしている。
切出制御部１６Ａは、この書出画素カウント値Ｗctと上記読込画素カウント値Ｒctとの差を計算することで、メモリ１６Ｂに蓄積されている画素データの容量（画素数）を特定し、このようなメモリ１６Ｂの画素データの蓄積量に応じて、サイズ変換部１７による読込動作を制御する。具体的には、画素データの蓄積量としての「Ｗct−Ｒct」による値が、設定された閾値ｔｈを超える場合には上記読込許可を与え、超えない場合には上記読込許可を与えないこととして、サイズ変換部１７による読込動作を制御する。

図６は、上記のような読込制御の実現にあたり切出制御部１６Ａが実行する具体的な処理の手順を示したフローチャートである。
先ず切出制御部１６Ａは、信号処理部１５からの同期信号ｓｙｎｃ１を待機し（ステップＳ２０１）、該同期信号ｓｙｎｃ１が検出されたことに応じて、読込画素カウント値Ｒctを初期化（０リセット）する（ステップＳ２０２）。
そしてカウント値Ｒctの初期化を行った後、切出制御部１６Ａは、サイズ変換部１７からの読込要求を待機する（ステップＳ２０３）。

サイズ変換部１７からの読込要求があった場合、切出制御部１６Ａは、メモリ１６Ｂにおける蓄積量が十分であるか否かを判別する（ステップＳ２０４）。具体的には、前述した「Ｗct−Ｒct」による値が、設定された閾値ｔｈを超えているか否かを判別する。
該判別において、「Ｗct−Ｒct」の値が閾値ｔｈを超えておらず蓄積量が十分でないとの否定結果が得られた場合、切出制御部１６Ａは、書出が完了しているか否かを判別する（ステップＳ２０５）。すなわち、第１信号処理部１５によるメモリ１６Ｂへの切出範囲分の画素データの書き出しが完了しているか否かを判別すべく、書出画素カウント値Ｗctが、ズーム倍率情報として指示された切り出し画素数の値以上であるか否かを判別する。

ステップＳ２０５による判別において、書出画素カウント値Ｗctが上記指示された切り出し画素数の値以上となっておらず、書出が完了していないとの否定結果が得られた場合、切出制御部１６Ａは、先のステップＳ２０３に戻り、再びサイズ変換部１７からの読込要求を待機する。

一方、先のステップＳ２０４の判別にて「Ｗct−Ｒct」の値が閾値ｔｈを超えており蓄積量が十分であるとの肯定結果が得られた場合、又は該ステップＳ２０４の判別にて蓄積量が十分ではないとされたが上記ステップＳ２０５の判別にて書出が完了しているとの肯定結果が得られた場合、切出制御部１６Ａは、サイズ変換部１７に対して読込許可を行う（ステップＳ２０６）。
なお確認のため述べておくと、既にメモリ１６Ｂに切出範囲分の画素データが書き出し済みであれば、あとはメモリ１６Ｂの蓄積量に関わらず全ての蓄積データがサイズ変換部１７側に読み込まれるべきである。このため、上記のようにステップＳ２０５で肯定結果が得られた場合は、メモリ１６Ｂの蓄積量に関わらず、サイズ変換部１７に読込許可を行うものとしている。

切出制御部１６Ａは、上記のように読込許可を行ったことに応じて、読込画素カウント値Ｒctをカウントアップ（Ｒct＝Ｒct＋１）する（ステップＳ２０７）。

そして、このように読込画素カウント値Ｒctをカウントアップした後、切出制御部１６Ａは、読込が完了であるか否かを判別する。具体的には、読込画素カウント値Ｒctが、ズーム倍率情報として指示された切り出し画素数の値以上であるか否かを判別する。

読込画素カウント値Ｒctが上記指示された切り出し画素数の値以上ではなく、読込が完了していないとの否定結果が得られた場合、切出制御部１６Ａは、先のステップＳ２０３に戻り、サイズ変換部１７からの読込要求を待機する。
一方、読込画素カウント値Ｒctが上記指示された切り出し画素数の値以上となっており、読込が完了したとの肯定結果が得られた場合、切出制御部１６Ａは、先のステップＳ２０１に戻り、再び同期信号ｓｙｎｃ１を待機する。

ここで、切り出しに要するメモリ容量について図７を参照して説明しておく。
先ず前提として、本例では、イメージセンサ３の読出レートが一定であることに応じ、第１信号処理部１５によるメモリ１６Ｂへの書出レートも一定とされている。なお図中では、書出レートは「Ｒ_ｗ」と表記している。
一方で、メモリ１６Ｂの読込レート（図中「Ｒ_ｒ」）は、ズーム倍率に応じて可変とされる。すなわち、ズーム倍率が１（電子ズーム無し）では読込レートは書出レートと一致し、ズーム倍率が大となることに応じて読込レートが書出レートよりも低くなるようにされる。画像信号処理部５内の各部には、１フレーム分の画像を処理するための時間としての、図中に示すような１フレーム分の処理時間（時点０〜時点Ｔｆｒ）が設定されることになるが（後述する同期信号ｓｙｎｃを参照）、メモリ１６Ｂからの切り出し画像の読み込みについても、当該１フレーム分の処理時間で完了するように、ズーム倍率に応じた可変の読込レートの設定が為されるものである。

この前提によると、この場合の切り出しにおいては、書き出し側の追い越しが発生しないように、メモリ１６Ｂの容量を設定すべきものとなる。

図７において、図７Ａでは、切り出し前の画像２０と、該画像２０についての切り出し範囲２０Ａとを示している。切り出し範囲２０Ａは、設定されたズーム倍率に応じて変化するものである。
また図７Ａでは、これら切り出し前の画像２０と切り出し範囲２０Ａについて図示すると共に、その紙面右側に対し、横軸を時間（Ｔ）、縦軸をライン数として、メモリ１６Ｂに対する書出レートＲ_ｗ、読込レートＲ_ｒとの関係を表している。
ここで、切り出し前の画像２０の横サイズ（水平方向画素数）をＷ、縦サイズ（垂直方向画素数）をＨとおく。また、ズーム倍率の逆数をＫとおく。
これによると、切り出し範囲２０Ａの横サイズはＫ・Ｗ、縦サイズはＫ・Ｈと表すことができる。
また図７Ｂには、図７Ａの場合よりもズーム倍率が小とされた場合（つまり図７Ａの場合よりＫの値が大の場合）における書出レートＲ_ｗと読込レートＲ_ｒとの関係を示し、図７Ｃには、図７Ａの場合よりもズーム倍率が大とされた場合（つまり図７Ａの場合よりＫの値が小の場合）における書出レートＲ_ｗと読込レートＲ_ｒとの関係を示している。

これら図７Ａ〜図７Ｃにおいて、メモリ１６Ｂに対し切り出し範囲２０Ａ内の全てのデータを書き出し終えるのは、それぞれ図中の時点Ｔｗｅとなる。またこの場合、メモリ１６Ｂから切り出し範囲２０Ａ内のデータの全てを読み込み終えるのは、前述の読込レートＲ_ｒの可変設定の下では、時点Ｔｆｒになる。
なお図からも明らかなように、該時点Ｔｆｒが表す「１フレーム分の処理時間」は、メモリ１６への画像２０（ズーム倍率＝１の画像）の書き出しに要する時間と一致するものである。

これらを踏まえた上で、書き出し側の追い越しを生じさせないために設定されるべきメモリ１６Ｂの容量（以下、単に必要メモリサイズとも称する）について考察する。
図７Ａ〜図７Ｃの各場合にて、最大の必要メモリサイズは、それぞれ図中のＸで表すことができる。具体的には、メモリ１６Ｂに切り出し範囲２０Ａの画像全てを書き出し終えた時点Ｔｗｅにおける、未読み込みのデータ量である。

ここで、図７Ａ〜図７Ｃをそれぞれ対比すると、最大の必要メモリサイズとしてのＸの値は、ズーム倍率に応じて変化することが分かる。具体的に、最大の必要メモリサイズとしてのＸの値は、或るズーム倍率を基準として、それよりもズーム倍率が小又は大となるに従って徐々に減少することになる。換言すれば、必要メモリサイズは、ズーム倍率が或る値のとき（基準ズーム倍率とする）にその最大値をとるものである。
従って、この基準ズーム倍率が分かれば、そのときのＸの値が最大の必要メモリサイズ（つまり書き出し側の追い越しを生じさせないために確保すべきメモリ１６Ｂの容量）であるということになる。

具体的に、この場合における最大の必要メモリサイズを導出してみる。
先ず、前述のように本例では読込レートＲ_ｒがズーム倍率に応じて可変（読込完了時間がＴｆｒに一致）であることから、書出レートＲ_ｗ、読込レートＲ_ｒはそれぞれ以下のように表すことができる。

Ｒ_ｗ＝（Ｈ）／Ｔｆｒ
Ｒ_ｒ＝（Ｋ・Ｈ）／Ｔｆｒ ・・・［式１］

ここで、任意の時点ｔにおいて、書き出しライン数は

Ｒ_ｗ・ｔ ・・・［式２］

読み出しライン数は

Ｒ_ｒ・ｔ ・・・［式３］

と表される。
両者の差分が、その時点ｔにおける必要メモリサイズとなる。この時点ｔにおける必要メモリサイズＭ（ｔ）は、

Ｍ（ｔ）＝Ｈ／Ｔｆｒ−Ｋ・Ｈ／Ｔｆｒ・ｔ ・・・［式４］

と表すことができる。
このとき、書き出し／読み込みの１ライン分のデータ数はＫ・Ｗとなるので、上記［式４］はデータ数に換算すると、

Ｍ（ｔ）＝Ｋ・Ｗ・（Ｈ／Ｔｆｒ−Ｋ・Ｈ／Ｔｆｒ・ｔ） ・・・［式５］

となる。

先の説明からも理解されるように、Ｍ（ｔ）の値は、ｔ＝Ｔｗｅのときに最大となるものである。すなわち、

Ｍ（Ｔｗｅ）＝Ｋ・（１−Ｋ）・Ｗ・Ｈ・Ｔｗｅ／Ｔｒｅ ・・・［式６］

このとき、図７Ａ〜Ｃを参照すると、三角形の相似原理により、

Ｔｗｅ／Ｔｒｅ＝（Ｋ・Ｈ）／（Ｈ） ・・・［式７］

とおくことができる。
この点より、必要メモリサイズとズーム倍率の逆数Ｋとの関係は、下記の［式８］で表されるものとなる。

Ｍ（Ｋ）＝Ｋ・Ｋ・（１−Ｋ）・Ｗ・Ｈ ・・・［式８］

ここで、数学上の極値原理によると、Ｍ（Ｋ）が最大値／最小値をとるのはＭ（Ｋ）の一次微分が０になる場合である。
Ｍ（Ｋ）の一次微分は、

ｄＭ（Ｋ）＝（２Ｋ−３Ｋ・Ｋ）・Ｗ・Ｈ ・・・［式９］

このことより、Ｋ＝０、Ｋ＝２／３のとき、Ｍ（Ｋ）が極値をとることになる。
さらに、２次微分の解析によれば、Ｋ＝０が最小値（０）をとる極値点、Ｋ＝２／３が最大値をとる極値点となることが分かる。

以上より、Ｋ＝２／３、すなわちズーム倍率＝１．５倍のときに、必要メモリサイズが最大となり、その値は上記［式８］より「４／２７・Ｗ・Ｈ」と計算される。
このように、書き出し側の追い越し防止のためのメモリ１６Ｂの容量としては、少なくとも切り出し前の画像２０のサイズの４／２７の容量を確保しておけばよいものである。

［3-3．同期の乗り換えについて］

ここで、本実施の形態では、切り出しにより電子ズーム機能を実現することに対応させて、同期の乗り換えを行うものとしている。
先ず前提として、通常の同期伝播について図８を参照して説明しておく。
図８では画像信号に対し信号処理１→信号処理２→信号処理３が順に施されることを前提としており、図８Ａに示す同期信号ＳＹＮＣ０、図８Ｃに示す同期信号ＳＹＮＣ１、図８Ｅに示す同期信号ＳＹＮＣ２は、それぞれ信号処理１、信号処理２、信号処理３についての１フレーム分の処理時間の開始タイミングを表す信号となる。なお図８ＧのＳＹＮＣ３は、信号処理３の後段の信号処理について、その１フレーム分の処理時間の開始タイミングを表す信号となる。
図８Ｂ、図８Ｄ、図８Ｆの各々に白抜きで示したフレーム１〜３は、それぞれ、ＳＹＮＣ１，２，３に基づき信号処理１，２，３に割り当てられるフレーム１〜３の各フレームについての処理時間を表したものである。

信号処理１から信号処理２に出力される同期信号ＳＹＮＣ１には、信号処理１に入力された同期信号ＳＹＮＣ０に対し、図中のＤ１と示す遅延が与えられる。この遅延Ｄ１は、信号処理１の処理時間分に応じた遅延となる。
また、信号処理２から信号処理３に出力される同期信号ＳＹＮＣ２には、信号処理２に入力された同期信号ＳＹＮＣ１に対し、図中のＤ２と示す遅延が与えられる。この遅延Ｄ２は、信号処理２の処理時間分に応じた遅延である。
また信号処理３から出力される同期信号ＳＹＮＣ３には、信号処理３に入力された同期信号ＳＹＮＣ２に対し図中のＤ３と示す遅延が与えられるが、この遅延Ｄ３は信号処理３の処理時間分に応じた遅延である。

このように通常の同期伝播では、信号処理１〜３の各信号処理ごとに、その信号処理で要する処理時間に応じた遅延Ｄが与えられた同期信号が次段の信号処理に伝播していくことになる。

これに対し本実施の形態では、切出部１６が切り出しによる電子ズーム処理を行うことに対応させて、以下のような同期の乗り換えを行う。
図９は、同期の乗り換えについての説明図である。
図９Ａは第１信号処理部１５に入力される同期信号ｓｙｎｃ０を、図９Ｃは第１信号処理部１５から切出制御部１６Ａに出力される同期信号ｓｙｎｃ１を、また図９Ｅは切出制御部１６Ａからサイズ変換部１７に出力される同期信号ｓｙｎｃ２を示している。
図９Ｂは同期信号ｓｙｎｃ０に基づき設定される第１信号処理部１５のフレームごとの処理時間、図９Ｄは同期信号ｓｙｎｃ１に基づき設定される切出制御部１６Ａのフレームごとの処理時間、図９Ｆは同期信号ｓｙｎｃ２に基づき設定されるサイズ変換部１７のフレームごとの処理時間を表している。ここでは図９Ｂ，Ｄ，Ｆに示すフレームごとの処理時間として、フレーム１〜フレーム４までの４フレーム分を示している。なお図９Ｄと図９Ｆでは、破線により示す枠が同期信号ｓｙｎｃに基づき設定される１フレーム分の処理時間を意味する。
なお確認のため述べておくと、動画撮像では、同期信号ｓｙｎｃで設定される１周期内に処理を完了することが要請される。該要請が満たされなければ、一定のフレームレートの実現が困難なためである。

先ず、同期信号ｓｙｎｃ０と同期信号ｓｙｎｃ１との関係を見ると、同期信号ｓｙｎｃ１には、同期信号ｓｙｎｃ０に対し、第１信号処理部１５の処理時間分に応じた遅延（図中Ｄ１）が与えられる。換言すれば、切出制御部１６Ａには、このように同期信号ｓｙｎｃ０に遅延Ｄ１が与えられた同期信号ｓｙｎｃ１が入力される。

ここで、切出制御部１６Ａからサイズ変換部１７に対して、通常の同期伝播と同様の遅延が与えられた同期信号ｓｙｎｃ、つまりこの場合は切出制御部１６Ａの処理時間分の遅延が与えられた同期信号ｓｙｎｃ（ｓｙｎｃ２’とする）を出力した場合を考えてみる。
図９Ｇは、このような同期信号ｓｙｎｃ２’の波形を表し、図９Ｆは該同期信号ｓｙｎｃ２’が与えられた場合のサイズ変換部１７の１フレーム分ごとの処理時間を表している。

切出制御部１６Ａによる処理時間分に応じた遅延ＤをＤ２とすると、同期信号ｓｙｎｃ２’は、図９Ｇに示されるように同期信号ｓｙｎｃ０に対して「Ｄ１＋Ｄ２」の遅延が与えられたものと表すことができる。

ここで注意すべきは、切り出しによる電子ズーム処理を行う場合は、サイズ変換部１７に処理対象のデータが読み込まれるタイミングが、切出処理に設定された１フレーム分の処理時間（図９Ｄ）の先頭タイミングよりも時間的に後方になるという点である。これは、前述のようにメモリ１６Ｂを用いて切り出しによる電子ズーム処理を行う場合は、第１信号処理部１５における切り出し前画像の先頭画素データの出力が開始されてから、切り出し範囲の先頭の画素データがメモリ１６Ｂに書き出されるまでの間に時間差が生じることに起因する。
図９Ｈでは、破線の枠が同期信号ｓｙｎｃ２’に基づきサイズ変換部１７に設定される処理時間を表し、実線の枠がメモリ１６Ｂから画素データが読み込まれて実際に処理が可能となる時間を表している。
これらの対比より、切出制御部１６Ａが通常の同期伝播と同様の遅延が与えられた同期信号ｓｙｎｃ２’をサイズ変換部１７に出力した場合には、サイズ変換部１７に処理の空回り部分が生じてしまうことになる（図中ＷＳ）。つまり、このＷＳの分の処理時間の不足が生じてしまうものである。

そこで、処理時間が適正に確保されるようにすべく、本実施の形態では、サイズ変換部１７に与える同期信号ｓｙｎｃ２に、ズーム倍率に応じた分の遅延を与えることで、切出制御部１６Ａとサイズ変換部１７との間で同期の乗り換えを行うものとしている。
具体的にこの場合は、図９Ｄと図９Ｅとの間に「Ｄｚ」と示すような遅延を与えるものとする。
この遅延Ｄｚは、第１信号処理部１５における切り出し前画像の先頭画素データの出力が開始されるタイミングと、メモリ１６Ｂに切り出し範囲の先頭画素データが書き出されたタイミングとの時間差に相当する。この時間差は、指示されたズーム倍率に応じた値となる。従って遅延Ｄｚは、ズーム倍率に応じた分の遅延となるものである。
このような遅延Ｄｚを与えた同期信号ｓｙｎｃ２を切出制御部１６Ａからサイズ変換部１７に出力することで、図９Ｆに示されるように、サイズ変換部１７に先の図９Ｈに示したような空回り部分を生じさせないようにでき、サイズ変換部１７による処理時間を適正に確保できる。

上記のような同期の乗り換えの実現のため、切出制御部１６Ａは、第１信号処理部１５からの同期信号ｓｙｎｃ１を受けた後、第１信号処理部１５により切り出し範囲の先頭画素データがメモリ１６Ｂに書き出されるのを待ってから同期信号ｓｙｎｃ２を発行する。
具体的には、前述した出力画素カウント値Ｇctで特定される現在の画素位置が、ズーム倍率情報により指示された切り出し開始画素位置に一致したことに応じて、同期信号ｓｙｎｃ２を発行する。

ところで、ズーム倍率が変動した際は切り出し範囲の先頭画素位置も変化するので、場合によっては、メモリ１６Ｂに切り出し範囲の先頭画素データが書き出されても、サイズ変換部１７では未だ前フレーム分の処理を完了していないというケースが生じ得る。
図９においては、フレーム３とフレーム４との間でズーム倍率の変化点があった場合を例示している。
本実施の形態のようにズーム倍率に応じた分だけ遅延させた同期信号ｓｙｎｃ２を出力する場合には、ズーム倍率が変動した際に、図９中のＹと示すように、ズーム倍率変動前のフレームついての処理時間が浸食されてしまうケースが生じ得る。
このような処理時間の浸食が生じることで、メモリ１６Ｂに切り出し範囲の先頭画素データが書き出されても、サイズ変換部１７では未だ前フレーム分の処理を完了していないというケースが生じ得る。

そこで、同期信号ｓｙｎｃ２の発行条件として、前述のように第１信号処理部１５により切り出し範囲の先頭画素データがメモリ１６Ｂに書き出されたとの条件のみでなく、サイズ変換部１７にて前フレーム分の処理が完了しているとの条件も課すことができる。
具体的にこの場合、切出制御部１６Ａは、前述のように出力画素カウント値Ｇctで特定される現在の画素位置が、ズーム倍率情報により指示された切り出し開始画素位置に一致したか否かを判別すると共に、サイズ変換部１７が前フレーム分の処理を完了したか否かを判別する。
そして、これらの判別の結果、前フレーム分の処理が完了したとの条件と、出力画素カウント値Ｇctで特定される現在の画素位置がズーム倍率情報により指示された切り出し開始画素位置に一致したとの条件とが満たされた場合に、同期信号ｓｙｎｃ２を発行する。
これにより、前フレーム分の処理の浸食の発生を防止しつつ、サイズ変換部１７の処理時間を適正に確保することができる。

上記のようなズーム倍率に応じた同期の乗り換えを行うことで、同期の遅延を最小限に抑えつつ、サイズ変換部１７以降の処理時間を確保でき、ズーム倍率のスムーズな遷移が可能となる。

＜４．変形例＞

以上、本技術に係る実施の形態について説明したが、本技術はこれまでで説明した具体例に限定されるべきものではない。
例えばこれまでの説明では、切り出しのためのメモリの書き出し／読み込みに関して、読み込み側についてのみメモリ蓄積量に応じた制御を行うものとしたが、書き出し側についてもメモリ蓄積量に応じた制御を行うものとしてもよい。

図１０は、このように書き出し側についてもメモリ蓄積量に応じた制御を行う場合に採られるべき構成を例示している。
なお図１０において、既にこれまでで説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
この場合は、先の図４に示した構成との比較で、切出部１６に代えて切出部１６’が設けられた点が異なる。具体的に切出部１６’は、先の切出部１６との比較で、第１信号処理部１５に代えて第１信号処理部１５’が、また切出制御部１６Ａに代えて切出制御部１６Ａ’が設けられた点が異なる。
第１信号処理部１５’は、第１信号処理部１５との比較で、切出制御部１６Ａ’に対して書出要求を行う点が異なる。具体的に第１信号処理部１５’は、自らの処理を経た画素データの出力があるごとに、切出制御部１６Ａ’に対して書出要求を発行する。また第１信号処理部１５’は、切出制御部１６Ａ’からの書出許可が為された画素データをメモリ１６Ｂに書き出す。

図１１は、切出制御部１６Ａ’がメモリ蓄積量に応じた書き出し制御にあたり実行する具体的な処理の手順を示したフローチャートである。
先ず、切出制御部１６Ａ’は、第１信号処理部１５’からの同期信号ｓｙｎｃ１を待機し（ステップＳ３０１）、同期信号ｓｙｎｃ１が入力されたことに応じ、出力画素カウント値Ｇct、及び書出画素カウント値Ｗctを初期化（０リセット）する（ステップＳ３０２及びＳ３０３）。

これらカウント値Ｇct，Ｗctの初期化を行った後、切出制御部１６Ａ’は、第１信号処理部１５’からの書出要求を待機する（ステップＳ３０４）。これは、第１信号処理部１５’における画素出力を待機することと換言できる。
第１信号処理部１５’からの書出要求があった場合、切出制御部１６Ａ’は、出力画素カウント値Ｇctをカウントアップ（Ｇct＝Ｇct＋１）した後（ステップＳ３０５）、切出先頭位置に到達した否かを判別する（ステップＳ３０６）。すなわち、出力画素カウント値Ｇctから特定される画素位置が、ズーム倍率情報で指示された切り出し開始画素位置に一致したか否かを判別する。

切出先頭位置に到達していないとの否定結果が得られた場合、切出制御部１６Ａ’はステップＳ３０４に戻って再び第１信号処理部１５’からの書出要求を待機する。

一方、切出先頭位置に到達したとの肯定結果が得られた場合、切出制御部１６Ａ’は、メモリ残量があるか否かを判別する（ステップＳ３０７）。具体的には、「Ｗct−Ｒct」で計算されるメモリ１６Ｂにおけるデータ蓄積量が、メモリ１６Ｂ未満であるか否かを判別する。
該判別において、「Ｗct−Ｒct」の値がメモリ１６Ｂの容量未満ではなく、メモリ残量がないとの否定結果が得られた場合、切出制御部１６Ａ’は、先のステップＳ３０４に戻って再び第１信号処理部１５’からの書出要求を待機する。すなわち、メモリ残量がないとされた場合は、切出先頭位置に到達しているとしても、メモリ１６Ｂへの書き出しが禁止されるものである。

また、「Ｗct−Ｒct」の値がメモリ１６Ｂの容量未満であり、メモリ残量があるとの肯定結果が得られた場合、切出制御部１６Ａ’は、サイズ変換部１７に対して書出許可を行う（ステップＳ３０８）と共に、書出画素カウント値Ｗctをカウントアップ（Ｗct＝Ｗct＋１）する（ステップＳ３０９）。

書出画素カウント値Ｗctをカウントアップした後、切出制御部１６Ａ’は、書出が完了したか否かを判別する（ステップＳ３１０）。すなわち、書出画素カウント値Ｗctがズーム倍率情報として指示された切り出し画素数の値以上であるか否かを判別する。
書出画素カウント値Ｗctが指示された切り出し画素数の値以上ではなく、書出が完了していないとの否定結果が得られた場合、切出制御部１６Ａ’は、先のステップＳ３０４に戻って第１信号処理部１５’からの書出要求を待機する。

一方、書出画素カウント値Ｗctが指示された切り出し画素数の値以上であり、書出が完了したとの肯定結果が得られた場合、切出制御部１６Ａ’は、先のステップＳ３０１に戻り、再び同期信号ｓｙｎｃ１が検出されるまで待機する。

このような書出制御を行うことで、メモリ１６Ｂのオーバーフローを防止できる。

また、これまでの説明では、切り出し処理に用いるメモリが切出部１６内に設けられる場合を例示したが、該メモリについては、先の図１に示したメモリ部９としての共用メモリを用いることもできる。
切り出し用のメモリとしてメモリ部９を使用する場合は、電子ズーム処理に伴いバス１２の帯域が消費されることになるが、このようなバス帯域の削減、及びメモリ部９の容量消費を削減するべく、図１２に示すように、メモリ部９への書出データを圧縮する圧縮部１６Ｃと、メモリ部９から読み込まれる圧縮データによる読込データを解凍する解凍部１６Ｄとを設けることができる。
ここでは、これら圧縮部１６Ｃと解凍部１６Ｄとが共に切出部１６’’の内部に設けられたものとして図示している。
なおこの図１２においても、既にこれまでで説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。

圧縮部１６Ｃは、第１信号処理部１５からの書出データに所定のデータ圧縮方式に従った圧縮処理を施し、圧縮データをバス１２上に送出する。
解凍部１６Ｄはメモリ部９からバス１２を介してサイズ変換部１７に読み込まれる圧縮データについての解凍処理を行い、解凍された読込データをサイズ変換部１７に送出する。

汎用な圧縮／解凍手法を採用しても、圧縮率は少なくとも１／２以上を得ることができる。従って上記の構成により、電子ズーム処理の実行に伴うバス帯域及びメモリ部９の消費容量の増加を効果的に抑制できる。

また、本技術は以下に示す構成を採ることもできる。
（１）
ズーム倍率情報に基づき、イメージセンサから読み出された画サイズによる画像信号に対し切り出しを行う切出処理部と、
上記ズーム倍率情報に基づき、上記切出部による切り出し後の画像信号に対し必要に応じて画サイズ変換処理を行う画サイズ変換処理部と
を備える動画撮像装置。
（２）
上記切出部は、
上記ズーム倍率情報から特定される切り出し対象範囲の画像信号をメモリに選択的に蓄積させ、
上記サイズ変換部は、
上記メモリに蓄積された画像信号を読み込むことで上記切り出し後の画像信号を得る
上記（１）に記載の動画撮像装置。
（３）
上記切出部は、
上記メモリにおけるデータ蓄積量に応じて上記サイズ変換部による上記メモリの読込動作を制御する
上記（２）に記載の動画撮像装置。
（４）
上記切出部は、
１フレームごとの処理の開始タイミングを表す同期信号を、上記ズーム倍率情報に応じた分だけ遅延させて上記サイズ変換部に出力する
上記（２）に記載の動画撮像装置。
（５）
上記切出部は、
上記切り出し対象範囲の先頭部が上記メモリに蓄積されたことに応じて上記同期信号を上記サイズ変換部に出力する
上記（４）に記載の動画撮像装置。
（６）
上記切出部は、
上記切り出し対象範囲の先頭部が上記メモリに蓄積されたか否か、及び上記サイズ変換部が前フレーム分のサイズ変換処理を完了したか否かを判別し、両判別にて肯定結果が得られた場合に上記同期信号を上記サイズ変換部に出力する
上記（５）に記載の動画撮像装置。
（７）
上記メモリに書き出される画像信号に圧縮処理を施す圧縮処理部と、
上記メモリから読み込まれる画像信号に解凍処理を施す解凍処理部とを備える
上記（２）乃至（６）何れかに記載の動画撮像装置。

１ 撮像装置、２ 撮像光学系、３ イメージセンサ、４ 読出部、５ 画像信号処理部、６ エンコーダ、７ 記録デバイス、８ 表示部、９ メモリ部、１０ コントローラ、１１ 操作部、１２ バス、１５,１５’ 第１信号処理部、１６,１６’,１６'' 切出部、１６Ａ,１６Ａ’ 切出制御部、１６Ｂ メモリ、１７ サイズ変換部、１８ 第２信号処理部、１９ 手ぶれ補正部

Claims (8)

1. ズーム倍率情報に基づき、イメージセンサから読み出された画サイズによる画像信号に対し切り出しを行う切出処理部と、
   上記ズーム倍率情報に基づき、上記切出部による切り出し後の画像信号に対し必要に応じて画サイズ変換処理を行う画サイズ変換処理部と
   を備える動画撮像装置。
2. 上記切出部は、
   上記ズーム倍率情報から特定される切り出し対象範囲の画像信号をメモリに選択的に蓄積させ、
   上記サイズ変換部は、
   上記メモリに蓄積された画像信号を読み込むことで上記切り出し後の画像信号を得る
   請求項１に記載の動画撮像装置。
3. 上記切出部は、
   上記メモリにおけるデータ蓄積量に応じて上記サイズ変換部による上記メモリの読込動作を制御する
   請求項２に記載の動画撮像装置。
4. 上記切出部は、
   １フレームごとの処理の開始タイミングを表す同期信号を、上記ズーム倍率情報に応じた分だけ遅延させて上記サイズ変換部に出力する
   請求項２に記載の動画撮像装置。
5. 上記切出部は、
   上記切り出し対象範囲の先頭部が上記メモリに蓄積されたことに応じて上記同期信号を上記サイズ変換部に出力する
   請求項４に記載の動画撮像装置。
6. 上記切出部は、
   上記切り出し対象範囲の先頭部が上記メモリに蓄積されたか否か、及び上記サイズ変換部が前フレーム分のサイズ変換処理を完了したか否かを判別し、両判別にて肯定結果が得られた場合に上記同期信号を上記サイズ変換部に出力する
   請求項５に記載の動画撮像装置。
7. 上記メモリに書き出される画像信号に圧縮処理を施す圧縮処理部と、
   上記メモリから読み込まれる画像信号に解凍処理を施す解凍処理部とを備える
   請求項２に記載の動画撮像装置。
8. ズーム倍率情報に基づき、イメージセンサから読み出された画サイズによる画像信号に対し切り出しを行う切出手順と、
   上記ズーム倍率情報に基づき、上記切出手順による切り出し後の画像信号に対し必要に応じて画サイズ変換処理を行う画サイズ変換手順と
   を有する動画像電子ズーム方法。

Images