JP2013239961A - 動画撮像装置、動画像電子ズーム方法 - Google Patents
動画撮像装置、動画像電子ズーム方法 Download PDFInfo
- Publication number
- JP2013239961A JP2013239961A JP2012112422A JP2012112422A JP2013239961A JP 2013239961 A JP2013239961 A JP 2013239961A JP 2012112422 A JP2012112422 A JP 2012112422A JP 2012112422 A JP2012112422 A JP 2012112422A JP 2013239961 A JP2013239961 A JP 2013239961A
- Authority
- JP
- Japan
- Prior art keywords
- image
- memory
- unit
- size conversion
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】動画像についての電子ズームによる画質劣化の抑制を、複雑な構成を要さず簡易に且つ低コストで実現することをその課題とする。
【解決手段】ズーム倍率情報に基づき、イメージセンサから読み出された画サイズによる画像信号に対し切り出しを行った後、上記ズーム倍率情報に基づき、上記切出部による切り出し後の画像信号に対し必要に応じて画サイズ変換処理を行う。従来のようにサイズ変換後に切り出しを行う場合には画サイズの拡大処理が必要となるが、これを不要とできることで画像の劣化を効果的に防止できる。また、電子ズーム機能の実現にあたりイメージセンサの部分読出を行う必要性はないものとでき、この点で構成の複雑化やコストアップの防止が図られる。
【選択図】図3
【解決手段】ズーム倍率情報に基づき、イメージセンサから読み出された画サイズによる画像信号に対し切り出しを行った後、上記ズーム倍率情報に基づき、上記切出部による切り出し後の画像信号に対し必要に応じて画サイズ変換処理を行う。従来のようにサイズ変換後に切り出しを行う場合には画サイズの拡大処理が必要となるが、これを不要とできることで画像の劣化を効果的に防止できる。また、電子ズーム機能の実現にあたりイメージセンサの部分読出を行う必要性はないものとでき、この点で構成の複雑化やコストアップの防止が図られる。
【選択図】図3
Description
本技術は、動画撮像を行う動画撮像装置と動画像電子ズーム方法とに関する。
撮像装置として、例えばデジタルスチルカメラ装置やカメラ機能を備えた電子機器(例えばスマートフォンなど)等では、静止画の記録と動画像の記録との双方が可能に構成されたものがある。
このような撮像装置では、静止画の記録(出力)と動画の記録(出力)とでイメージセンサを共用する構成が一般的である。この場合、動画については、その出力画サイズを、処理能力等の観点からイメージセンサの有効画素数(読出画サイズ)よりも小さく設定するのが通常である。例えば、イメージセンサの読み出し画サイズが10M(メガ)ピクセル程度である場合、記録される動画像の画サイズを2Mピクセル程度に設定するなどということが行われている。
このような撮像装置では、静止画の記録(出力)と動画の記録(出力)とでイメージセンサを共用する構成が一般的である。この場合、動画については、その出力画サイズを、処理能力等の観点からイメージセンサの有効画素数(読出画サイズ)よりも小さく設定するのが通常である。例えば、イメージセンサの読み出し画サイズが10M(メガ)ピクセル程度である場合、記録される動画像の画サイズを2Mピクセル程度に設定するなどということが行われている。
このようにイメージセンサの読み出し画サイズよりも小さい画サイズによる動画像を出力するシステムでは、比較的処理負担の大きい画像信号処理の前段にて、予め動画出力サイズへの変換(縮小)をしておくということが行われる。
これにより、上記のようなセンサ読出画サイズ=10Mピクセル、動画出力画サイズ=2Mピクセルの例では、処理負担は1/5程度に軽減できる。
これにより、上記のようなセンサ読出画サイズ=10Mピクセル、動画出力画サイズ=2Mピクセルの例では、処理負担は1/5程度に軽減できる。
一方で、撮像装置には、電子ズーム機能が与えられたものがある。電子ズーム機能は、例えば撮像画像の一部を切り出し、切り出し後の画像の画サイズを必要に応じて出力画サイズに一致させるように調整することで実現できる。
従来の撮像装置として、例えば上記のような処理負担軽減のための画サイズ縮小処理を行う撮像装置では、電子ズーム機能のための切り出し処理を、出力画サイズへの縮小処理を施した後に施すようにされている。つまりこの場合は、出力画サイズへの縮小→ズーム倍率に応じた切り出し→切り出し後の画像を出力画サイズに拡大、という処理を経ることになる。
このように従来の撮像装置では、電子ズーム処理の実現にあたり、上記のように切り出し後の画像を出力画サイズに合わせて拡大しなければならいものとなっている。この結果、出力画像の画質劣化が避けられないものとなる。
なお、電子ズーム機能としては、上記のような画像信号の切り出しを行う手法以外にも、例えばイメージセンサの部分読出を行うことでも実現可能である。
しかしながらその場合には、部分読出が可能なイメージセンサの実現のため読出回路の工夫が必要であったり、また読出回路の駆動方式をズーム倍率に応じて切り替えることが必要となるなど、回路構成の複雑化や回路規模の増大化を招くものとなって、コストアップを助長するものとなってしまう。
しかしながらその場合には、部分読出が可能なイメージセンサの実現のため読出回路の工夫が必要であったり、また読出回路の駆動方式をズーム倍率に応じて切り替えることが必要となるなど、回路構成の複雑化や回路規模の増大化を招くものとなって、コストアップを助長するものとなってしまう。
本技術は上記の事情に鑑み為されたものであり、動画像についての電子ズームによる画質劣化の抑制を、複雑な構成を要さず簡易に且つ低コストで実現することをその課題とする。
上記課題の解決を図るべく、本技術では動画像の撮像を行う動画撮像装置を以下のように構成することとした。
すなわち、本技術の動画撮像装置は、ズーム倍率情報に基づき、イメージセンサから読み出された画サイズによる画像信号に対し切り出しを行う切出処理部を備える。
また、上記ズーム倍率情報に基づき、上記切出部による切り出し後の画像信号に対し必要に応じて画サイズ変換処理を行う画サイズ変換処理部を備えるものである。
すなわち、本技術の動画撮像装置は、ズーム倍率情報に基づき、イメージセンサから読み出された画サイズによる画像信号に対し切り出しを行う切出処理部を備える。
また、上記ズーム倍率情報に基づき、上記切出部による切り出し後の画像信号に対し必要に応じて画サイズ変換処理を行う画サイズ変換処理部を備えるものである。
上記本技術によれば、電子ズーム機能は、撮像画像の切り出し後に、必要に応じた画サイズ変換が行われて実現されることになる。これにより、従来のようにサイズ変換後に切り出しを行う場合に必要となる画サイズの拡大処理は不要とできるので、画像の劣化を効果的に防止できる。
また、本技術によれば、電子ズーム機能の実現にあたり、イメージセンサの部分読出を行う必要性はないものとでき、この点で構成の複雑化やコストアップの防止が図られる。
また、本技術によれば、電子ズーム機能の実現にあたり、イメージセンサの部分読出を行う必要性はないものとでき、この点で構成の複雑化やコストアップの防止が図られる。
上記のように本技術によれば、動画像についての電子ズームによる画質劣化の抑制を、複雑な構成を要さず簡易に且つ低コストで実現することができる。
以下、本技術に係る実施の形態について説明する。
なお、説明は以下の順序で行う。
<1.撮像装置の全体構成>
<2.従来手法について>
<3.実施の形態の電子ズーム手法>
[3-1.概要]
[3-2.切り出し手法の具体例]
[3-3.同期の乗り換えについて]
<4.変形例>
なお、説明は以下の順序で行う。
<1.撮像装置の全体構成>
<2.従来手法について>
<3.実施の形態の電子ズーム手法>
[3-1.概要]
[3-2.切り出し手法の具体例]
[3-3.同期の乗り換えについて]
<4.変形例>
<1.撮像装置の全体構成>
図1は、本技術に係る実施の形態としての撮像装置1の内部構成を示したブロック図である。
本実施の形態の撮像装置1は、ユーザ操作に応じて静止画の記録と動画の記録とを選択的に実行可能に構成されている。また本実施の形態の撮像装置1は、記録される動画像について、電子的に画像を拡大/縮小する電子ズーム機能を有する。
図1は、本技術に係る実施の形態としての撮像装置1の内部構成を示したブロック図である。
本実施の形態の撮像装置1は、ユーザ操作に応じて静止画の記録と動画の記録とを選択的に実行可能に構成されている。また本実施の形態の撮像装置1は、記録される動画像について、電子的に画像を拡大/縮小する電子ズーム機能を有する。
図1において、撮像装置1は、撮像光学系2、イメージセンサ3、読出部4、画像信号処理部5、エンコード/デコード部6、記録デバイス7、表示部8、メモリ部9、コントローラ10、操作部11を備える。また撮像装置1は、バス12を備える。撮像光学系2、画像信号処理部5、エンコード/デコード部6、記録デバイス7、表示部8、メモリ部9、コントローラ10の各部は該バス12を介して相互に接続される。これらバス12に接続された各部は、該バス12を介してデータの転送やコマンド(制御信号)のやり取りを行うことが可能とされる。
撮像光学系2は、被写体の光画像をイメージセンサ3の撮像面上に結像させる。撮像光学系2は、コントローラ10からの指示に従い、適切な画像を得られるように、焦点距離、被写体距離、絞りなどを調整する機構を持つ。
イメージセンサ3は、結像された光画像を光電変換して電気信号に変換する。具体的には、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサなどにより実現される。
イメージセンサ3は、結像された光画像を光電変換して電気信号に変換する。具体的には、CCD(Charge Coupled Device)センサやCMOS(Complementary Metal Oxide Semiconductor)センサなどにより実現される。
読出部4は、イメージセンサ10で得られた電気信号についての読み出しを行って、撮像画像信号を得る。
画像信号処理部5は、読出部4で得られた上記撮像画像信号に所定の画像信号処理を施す。
なお、画像信号処理部5の内部構成については後述する。
なお、画像信号処理部5の内部構成については後述する。
エンコード/デコード部6は、画像信号処理部5で所定の画像信号処理が施された後の撮像画像信号について所定のエンコード処理を施して圧縮画像データを得ると共に、入力された圧縮画像データについてのデコード処理を行うことが可能に構成される。
具体的に、エンコード/デコード部6は、コントローラ10からの指示に基づき、静止画記録時には上記撮像画像信号に対し例えばJPEG(Joint Photographic Experts Group)形式などの所定の静止画圧縮コーデックに従ったエンコード処理を施して圧縮静止画データを得、また動画記録時には例えばH.264(MPEG−4 AVC)などの所定の動画圧縮コーデックに従ったエンコード処理を施して圧縮動画データを得る。
また再生時には、コントローラ10からの指示に基づき、入力される圧縮画像データについてのデコード処理を施す。
具体的に、エンコード/デコード部6は、コントローラ10からの指示に基づき、静止画記録時には上記撮像画像信号に対し例えばJPEG(Joint Photographic Experts Group)形式などの所定の静止画圧縮コーデックに従ったエンコード処理を施して圧縮静止画データを得、また動画記録時には例えばH.264(MPEG−4 AVC)などの所定の動画圧縮コーデックに従ったエンコード処理を施して圧縮動画データを得る。
また再生時には、コントローラ10からの指示に基づき、入力される圧縮画像データについてのデコード処理を施す。
記録デバイス7は、フラッシュメモリ(Flash Memory)メモリなどの半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどの記録媒体と、それらの記録媒体に対する記録再生系回路・機構により構成される。
記録時には、エンコード/デコード部6で得られた圧縮静止画データ、圧縮動画データが記録デバイス7に供給される。記録デバイス7はこのように供給される圧縮静止画データ、圧縮動画データを上記記録媒体に記録する。
また再生時には、上記記録媒体に保存された圧縮静止画データ、圧縮動画データがメモリ部9に読み込まれ、エンコード/デコード部6でデコード処理が行われる。デコードされた画像データは、表示部8で表示させたり、或いは図示しない外部インターフェースにより外部機器に出力することも可能である。
記録時には、エンコード/デコード部6で得られた圧縮静止画データ、圧縮動画データが記録デバイス7に供給される。記録デバイス7はこのように供給される圧縮静止画データ、圧縮動画データを上記記録媒体に記録する。
また再生時には、上記記録媒体に保存された圧縮静止画データ、圧縮動画データがメモリ部9に読み込まれ、エンコード/デコード部6でデコード処理が行われる。デコードされた画像データは、表示部8で表示させたり、或いは図示しない外部インターフェースにより外部機器に出力することも可能である。
表示部8は、入力画像データをアナログ化するD/A変換回路と、アナログ化された画像信号を後段の表示装置に適合する形式のビデオ信号にエンコードするビデオエンコーダと、入力されるビデオ信号に対応する画像を表示する表示装置とを有して構成される。
上記表示装置は、例えば、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)パネル等により実現され、ファインダとしての機能も有する。
上記表示装置は、例えば、LCD(Liquid Crystal Display)や有機EL(Electroluminescence)パネル等により実現され、ファインダとしての機能も有する。
コントローラ10は、CPU(Central Processing Unit)及び制御プログラムからなり、撮像装置1の各部の制御を行う。上記制御プログラム自体は例えばメモリ部9に格納され、上記CPUによって実行される。
コントローラ10に対しては、操作部11が接続される。操作部11は、例えばシャッターボタンなどのハードウェアキー、操作ダイアル、タッチパネルなどの入力デバイスを備え、撮像者(ユーザ)の入力操作を検出し、コントローラ10に伝達する。コントローラ10はユーザの入力操作に応じて撮像装置1の動作を決定し、各部が必要な動作を行うように制御する。
特に本実施の形態の場合、操作部11はユーザによるズーム操作が可能に構成され、コントローラ10は、該ズーム操作に応じて、ズーム倍率(電子ズームのズーム倍率)の計算を行う。
後述するように本実施の形態では、画像信号処理部5が電子ズーム機能を実現するための切り出し処理を実行するものとされており、コントローラ10は、計算したズーム倍率に応じたズーム倍率情報を画像信号処理部5に対して供給する。
具体的に本例の場合、上記ズーム倍率情報としては、切り出し開始画素位置の情報と切り出し画像の画サイズ(画素数)の情報とを示す情報であるとする。
コントローラ10に対しては、操作部11が接続される。操作部11は、例えばシャッターボタンなどのハードウェアキー、操作ダイアル、タッチパネルなどの入力デバイスを備え、撮像者(ユーザ)の入力操作を検出し、コントローラ10に伝達する。コントローラ10はユーザの入力操作に応じて撮像装置1の動作を決定し、各部が必要な動作を行うように制御する。
特に本実施の形態の場合、操作部11はユーザによるズーム操作が可能に構成され、コントローラ10は、該ズーム操作に応じて、ズーム倍率(電子ズームのズーム倍率)の計算を行う。
後述するように本実施の形態では、画像信号処理部5が電子ズーム機能を実現するための切り出し処理を実行するものとされており、コントローラ10は、計算したズーム倍率に応じたズーム倍率情報を画像信号処理部5に対して供給する。
具体的に本例の場合、上記ズーム倍率情報としては、切り出し開始画素位置の情報と切り出し画像の画サイズ(画素数)の情報とを示す情報であるとする。
メモリ部9は、例えばDRAM(Dynamic Random Access Memory)などの半導体メモリで構成され、エンコード/デコード部6で得られた画像データや、コントローラ10が扱う各種データ、画像信号処理部5で処理された画像データなどが記録される。
<2.従来手法について>
実施の形態の電子ズーム手法についての説明に先立ち、先ずは従来の電子ズーム手法について具体的に説明しておく。
図2は、従来の撮像装置における電子ズーム手法についての説明図である。
図2において、図2Aは、従来の撮像装置が備える画像信号処理部5’の内部構成を示している。
この図2Aに示されるように、従来の画像信号処理部5’には、第1信号処理部101、サイズ変換部102、第2信号処理部103、及び電子ズーム/手ぶれ補正部104が備えられている。
実施の形態の電子ズーム手法についての説明に先立ち、先ずは従来の電子ズーム手法について具体的に説明しておく。
図2は、従来の撮像装置における電子ズーム手法についての説明図である。
図2において、図2Aは、従来の撮像装置が備える画像信号処理部5’の内部構成を示している。
この図2Aに示されるように、従来の画像信号処理部5’には、第1信号処理部101、サイズ変換部102、第2信号処理部103、及び電子ズーム/手ぶれ補正部104が備えられている。
第1信号処理部101には、読出部4よりイメージセンサ3の読み出し画像が入力され、クランプ調整処理やホワイトバランス調整処理を施す。
サイズ変換部102は、第1信号処理部101で処理された画像信号について画サイズの変換処理を施す。
また第2信号処理部103は、サイズ変換部102による画サイズ変換後の画像信号について画素補間処理や輪郭強調処理を行う。
電子ズーム/手ぶれ補正部104は、第2信号処理部103による処理後の画像信号に対して電子ズーム処理、及び手ぶれ補正処理を施す。
電子ズーム/手ぶれ補正部104には、外部よりズーム倍率情報が与えられ、該ズーム倍率情報に従って入力画像の一部を切り出すことで電子ズーム機能を実現する。
電子ズーム/手ぶれ補正部104には、外部よりズーム倍率情報が与えられ、該ズーム倍率情報に従って入力画像の一部を切り出すことで電子ズーム機能を実現する。
ここで、第1信号処理部101が実行するクランプ調整処理やホワイトバランス調整処理は計算量が比較的少ない簡易な処理となる。
一方で、第2信号処理部103が実行する画素補間処理や輪郭強調処理は計算量が多く、処理負担が比較的大きいものとなる。イメージセンサ3の読み出し画サイズに対してこのような計算量の大きい処理を施すものとすると、膨大な信号処理能力が要求され、第2信号処理部103の回路規模が大となって、消費電力も増加してしまうことになる。
一方で、第2信号処理部103が実行する画素補間処理や輪郭強調処理は計算量が多く、処理負担が比較的大きいものとなる。イメージセンサ3の読み出し画サイズに対してこのような計算量の大きい処理を施すものとすると、膨大な信号処理能力が要求され、第2信号処理部103の回路規模が大となって、消費電力も増加してしまうことになる。
そこで従来では、図2Aに示されるように、第2信号処理部103による処理を施す前に、サイズ変換部102により画サイズの縮小を行うようにしている。具体的にサイズ変換部102では、画サイズを動画像の出力画サイズ(記録画サイズ)付近まで縮小化するものである。
図2Bは、図2Aに示すサイズ変換部102で行われる画サイズ縮小処理、及び電子ズーム/手ぶれ補正部103で行われる電子ズーム処理(切り出し・拡大処理)を模式化して示している。
この図2Bに示されるように、図2Aに示す従来構成では、出力画サイズ付近への縮小が行われた画像に対して、ズーム倍率に応じた切り出しが行われる。そして、このように切り出された画像を、出力画サイズに合わせるべく画像の拡大処理が施されるものとなる。なおこの拡大処理については、電子ズーム/手ぶれ補正部104にて行われる。
この図2Bに示されるように、図2Aに示す従来構成では、出力画サイズ付近への縮小が行われた画像に対して、ズーム倍率に応じた切り出しが行われる。そして、このように切り出された画像を、出力画サイズに合わせるべく画像の拡大処理が施されるものとなる。なおこの拡大処理については、電子ズーム/手ぶれ補正部104にて行われる。
このようにサイズ縮小後にズーム倍率に応じた切り出しを行う従来手法では、切り出し後の画像を出力画サイズに合わせるための拡大処理を要することとなる。このことから、従来手法では出力画像の画質劣化(解像感の低下)が避けられないものとなっていた。
ここで、電子ズーム機能としては、センサ読み出し後の画像信号の切り出しを行う手法以外にも、例えばイメージセンサの部分読出を行うことでも実現可能である。これによれば、解像感の低下は最小限に抑えることができる。
しかしながら、部分読出が可能なイメージセンサの実現のためには読出回路の工夫が必要となる。また、読出回路の駆動方式をズーム倍率に応じて切り替えることも必要となる。これらの点より、電子ズーム機能をイメージセンサの部分読出で実現する手法は、回路構成の複雑化や回路規模の増大化を招くものとなって、コストアップを助長するものとなってしまう。
本実施の形態は上記問題点に鑑み為されたものであり、動画像についての電子ズームによる画質劣化の抑制を、複雑な構成を要さず簡易に且つ低コストで実現することをその課題とする。
<3.実施の形態の電子ズーム手法>
[3-1.概要]
図3は、実施の形態の電子ズーム手法の概要についての説明図である。
図3Aは、図1に示した画像信号処理部5の内部構成を示したブロック図である。
図示するように画像信号処理部5には、第1信号処理部15、切出部16、サイズ変換部17、第2信号処理部18、及び手ぶれ補正部19が備えられる。
[3-1.概要]
図3は、実施の形態の電子ズーム手法の概要についての説明図である。
図3Aは、図1に示した画像信号処理部5の内部構成を示したブロック図である。
図示するように画像信号処理部5には、第1信号処理部15、切出部16、サイズ変換部17、第2信号処理部18、及び手ぶれ補正部19が備えられる。
第1信号処理部15は、先の第1信号処理部101と同様、読出部4で得られた画像信号に対してクランプ調整処理やホワイトバランス調整処理を施す。
前述のようにこれらの処理は比較的計算量が少なく、イメージセンサ3の読み出し画サイズに対して行っても回路規模や消費電力の増大化は抑制される。
前述のようにこれらの処理は比較的計算量が少なく、イメージセンサ3の読み出し画サイズに対して行っても回路規模や消費電力の増大化は抑制される。
切出部16では、第1信号処理部15による処理後の画像信号についての切り出しが行われる。切出部16では、図1に示したコントローラ10からのズーム倍率情報に従った切出が行われる。
なお、切出部16の内部構成については後に改めて説明する。
なお、切出部16の内部構成については後に改めて説明する。
サイズ変換部17は、切出部16で得られた切出後の画像信号に対し、必要に応じて画サイズの変換処理を施す。
ここで、切出部16で得られる切り出し後の画サイズは、ズーム倍率に応じたサイズとなるので、該切り出し後の画サイズが必ずしも動画出力画サイズに一致するものとはならない。サイズ変換部17は、切出部16による切り出し後の画像の画サイズを動画出力画サイズに応じたサイズに変換する。具体的に本例では、後段で手ぶれ補正処理を行う関係から、出力画サイズ付近の所定の画サイズに変換を行うようにされる。
サイズ変換部17は、コントローラ10より供給されるズーム倍率情報に基づき、画サイズの縮小量を決定し、画サイズの変換処理を行う。
なお、画サイズの変換処理としては、例えば単純間引きや画像加算、或いはフィルタによる解像度変換手法などで実現できる。
ここで、切出部16で得られる切り出し後の画サイズは、ズーム倍率に応じたサイズとなるので、該切り出し後の画サイズが必ずしも動画出力画サイズに一致するものとはならない。サイズ変換部17は、切出部16による切り出し後の画像の画サイズを動画出力画サイズに応じたサイズに変換する。具体的に本例では、後段で手ぶれ補正処理を行う関係から、出力画サイズ付近の所定の画サイズに変換を行うようにされる。
サイズ変換部17は、コントローラ10より供給されるズーム倍率情報に基づき、画サイズの縮小量を決定し、画サイズの変換処理を行う。
なお、画サイズの変換処理としては、例えば単純間引きや画像加算、或いはフィルタによる解像度変換手法などで実現できる。
第2信号処理部18は、サイズ変換部17によるサイズ変換処理後の画像信号について、先の第2信号処理部103と同様の画素補間処理や輪郭強調処理を施す。
手ぶれ補正部19は、第2信号処理部103による処理後の画像信号に対し手ぶれ補正処理を施す。この手ぶれ補正処理は、例えば動きベクトルの検出結果に基づき特定される所定の画像領域を切り出すことで実現できる。
図3Bは、切出部16における切り出しと、サイズ変換部17によるサイズ変換とを模式的に表している。
この図に示すように図3Aに示す画像信号処理部5の構成によれば、イメージセンサ3の読み出し画サイズに対してズーム倍率に応じた切り出しが行われた後に、出力画サイズ付近への画サイズ変換が行われる。
この図に示すように図3Aに示す画像信号処理部5の構成によれば、イメージセンサ3の読み出し画サイズに対してズーム倍率に応じた切り出しが行われた後に、出力画サイズ付近への画サイズ変換が行われる。
このような実施の形態としての電子ズーム手法によれば、サイズ変換後にズーム倍率に応じた切り出しを行う従来手法のように、最終的に出力画サイズに合わせるための拡大処理を行う必要はないものとできる。これにより、出力画像の解像感の低下を効果的に抑制でき、画像劣化の抑制を図ることができる。
また本実施の形態によれば、読み出し画サイズ→出力画サイズとしての固定の縮小率で画サイズの変換を行う従来手法と比較すれば、ズーム倍率にも依るが、画サイズの縮小率を低くすることが可能となる。つまりこの点においても、従来手法との比較で画質劣化の抑制を図ることが可能となる。
また、本実施の形態によれば、電子ズーム機能の実現にあたり、イメージセンサ3の部分読出を行う必要性はない。この点で、構成の複雑化やコストアップの防止が図られる。
また本実施の形態によれば、読み出し画サイズ→出力画サイズとしての固定の縮小率で画サイズの変換を行う従来手法と比較すれば、ズーム倍率にも依るが、画サイズの縮小率を低くすることが可能となる。つまりこの点においても、従来手法との比較で画質劣化の抑制を図ることが可能となる。
また、本実施の形態によれば、電子ズーム機能の実現にあたり、イメージセンサ3の部分読出を行う必要性はない。この点で、構成の複雑化やコストアップの防止が図られる。
このように本実施の形態によれば、動画像についての電子ズームによる画質劣化の抑制を、複雑な構成を要さず簡易に且つ低コストで実現することができる。
[3-2.切り出し手法の具体例]
図4は、切り出しに係る具体的な構成についての説明図である。
この図4では、切出部16の内部構成と共に、第1信号処理部15、及びサイズ変換部17を併せて示している。
図示するように切出部16には、切出制御部16Aとメモリ16Bとが備えられる。
切出制御部16Aにはコントローラ10からのズーム倍率情報が入力される。また切出制御部16Aには、第1信号処理部15より同期信号sync1が入力される。
図4は、切り出しに係る具体的な構成についての説明図である。
この図4では、切出部16の内部構成と共に、第1信号処理部15、及びサイズ変換部17を併せて示している。
図示するように切出部16には、切出制御部16Aとメモリ16Bとが備えられる。
切出制御部16Aにはコントローラ10からのズーム倍率情報が入力される。また切出制御部16Aには、第1信号処理部15より同期信号sync1が入力される。
ここで、画像信号処理部5内の各部には、1フレーム分の処理時間の先頭(開始)タイミングを表す同期信号syncが伝播する。
図のように第1信号処理部15に入力される同期信号syncは「sync0」、第1信号処理部15から切出制御部16Aに出力される同期信号syncは「sync1」、切出制御部16Aからサイズ変換部17に出力される同期信号syncは「sync2」、サイズ変換部17から図3Aに示した第2信号処理部18に出力される同期信号syncは「sync3」とする。
図のように第1信号処理部15に入力される同期信号syncは「sync0」、第1信号処理部15から切出制御部16Aに出力される同期信号syncは「sync1」、切出制御部16Aからサイズ変換部17に出力される同期信号syncは「sync2」、サイズ変換部17から図3Aに示した第2信号処理部18に出力される同期信号syncは「sync3」とする。
本実施の形態において、画像の切り出しは、切出制御部16Aが、第1信号処理部15に対し、該第1信号処理部15の処理後の画像をズーム倍率情報に応じて選択的にメモリ16Bに蓄積させ、また該蓄積された画像をサイズ変換部17に順次読み込ませることで実現する。
先ずは、第1信号処理部15によるメモリ16Bへの画像書き出しに関する制御について説明する。
切出制御部16Aは、第1信号処理部15において画素データの出力があるごとに、出力画素カウント値Gctをカウントアップして、該出力画素カウント値Gctにより現在の出力画素位置(座標)を特定する。
このように特定される出力画素位置が、ズーム倍率情報としてコントローラ10より指示された切り出し開始画素位置に至ったことに応じて、第1信号処理部15に、その以降に出力される画素データのメモリ16Bへの書き出しを開始させる。
そして、このように画素データのメモリ16Bへの書き出しを開始させた後は、書き出しがあるごとに書出画素カウント値Wctをカウントアップして書き出し画素数を特定し、該書き出し画素数が、ズーム倍率情報としてコントローラ10より指示された切り出し画素数と一致したことに応じて、第1信号処理部15によるメモリ16Bへの書き出しを停止させる。
これにより、ズーム倍率に応じた範囲の画像のみをメモリ16Bに選択的に蓄積させることができる。
切出制御部16Aは、第1信号処理部15において画素データの出力があるごとに、出力画素カウント値Gctをカウントアップして、該出力画素カウント値Gctにより現在の出力画素位置(座標)を特定する。
このように特定される出力画素位置が、ズーム倍率情報としてコントローラ10より指示された切り出し開始画素位置に至ったことに応じて、第1信号処理部15に、その以降に出力される画素データのメモリ16Bへの書き出しを開始させる。
そして、このように画素データのメモリ16Bへの書き出しを開始させた後は、書き出しがあるごとに書出画素カウント値Wctをカウントアップして書き出し画素数を特定し、該書き出し画素数が、ズーム倍率情報としてコントローラ10より指示された切り出し画素数と一致したことに応じて、第1信号処理部15によるメモリ16Bへの書き出しを停止させる。
これにより、ズーム倍率に応じた範囲の画像のみをメモリ16Bに選択的に蓄積させることができる。
図5は、上記のような書出制御の実現にあたり切出制御部16Aが実行する具体的な処理の手順を示したフローチャートである。
先ず切出制御部16Aは、第1信号処理部15からの同期信号sync1を待機し(ステップS101)、該同期信号sync1が検出されたことに応じて、出力画素カウント値Gctと書出画素カウント値Wctとを初期化(0リセット)する(ステップS102及びS103)。
先ず切出制御部16Aは、第1信号処理部15からの同期信号sync1を待機し(ステップS101)、該同期信号sync1が検出されたことに応じて、出力画素カウント値Gctと書出画素カウント値Wctとを初期化(0リセット)する(ステップS102及びS103)。
また切出制御部16Aは、これらカウント値の初期化を行った後、第1信号処理部15における画素出力を待機する(ステップS104)。そして該画素出力があった場合は、出力画素カウント値Gctをカウントアップ(Gct=Gct+1)した後(ステップS104)、切出先頭位置に到達したか否かを判別する(ステップS105)。すなわち、出力画素カウント値Gctから特定される現在の出力画素位置が、ズーム倍率情報として指示された切り出し開始画素位置に一致したか否かを判別するものである。
上記判別にて、切出先頭位置に到達していないとの否定結果が得られた場合は、ステップS104に戻って再び第1信号処理部15における画素出力を待機する。
一方、切出先頭位置に到達したとの肯定結果が得られた場合、切出制御部16Aは、第1信号処理部15にメモリ16Bへの書き出し指示を行う(ステップS106)。
また、切出制御部16Aは、該書き出し指示を行ったことに応じ、書出画素カウント値Wctをカウントアップ(Wct=Wct+1)する(ステップS107)。
また、切出制御部16Aは、該書き出し指示を行ったことに応じ、書出画素カウント値Wctをカウントアップ(Wct=Wct+1)する(ステップS107)。
書出画素カウント値Wctをカウントアップした後、切出制御部16Aは、書出が完了したか否かを判別する(ステップS109)。具体的には、書出画素カウント値Wctが、ズーム倍率情報として指示された切り出し画素数の値以上であるか否かを判別する。
書出画素カウント値Wctが指示された切り出し画素数の値以上ではなく、書出が完了していないとの否定結果が得られた場合、切出制御部16Aは、第1信号処理部15における画素出力を待機する(ステップS110)。そして、該画素出力があった場合は、先のステップS107に戻り、再び第1信号処理部15にメモリ16Bへの書き出し指示を行う。
これにより、指示された切り出し画素数分の書き出しが実行されることになる。
これにより、指示された切り出し画素数分の書き出しが実行されることになる。
また、書出画素カウント値Wctが指示された切り出し画素数の値以上であり、書出が完了したとの肯定結果が得られた場合、切出制御部16Aは、先のステップS101に戻り、再び同期信号sync1が検出されるまで待機する。
続いて、読み込み側の制御について説明する。
本実施の形態において、切出制御部16Aは、メモリ16Bのデータ蓄積量に応じてサイズ変換部17による読込動作を制御する。
本実施の形態において、切出制御部16Aは、メモリ16Bのデータ蓄積量に応じてサイズ変換部17による読込動作を制御する。
先ず前提として、この場合のサイズ変換部17は、図4に示されるように、切出制御部16Aに対してメモリ16Bの読込要求を行うようにされている。
具体的にサイズ変換部17は、同期信号sync2により1フレーム分の処理の開始が指示されたことに応じ、切出制御部16Aに対する読込要求を開始する。
具体的にサイズ変換部17は、同期信号sync2により1フレーム分の処理の開始が指示されたことに応じ、切出制御部16Aに対する読込要求を開始する。
切出制御部16Aは、サイズ変換部17からの読込要求に対して読込許可を与えるか否かにより、サイズ変換部17によるメモリ16Bからの画素データの読み込みを制御する。
切出制御部16Aは、サイズ変換部17からの読込要求に応じて読込許可を行った場合は、メモリ16Bからの画素データの読み込みがあったものとして、読込画素カウント値Rctをカウントアップする。この読込画素カウント値Rctにより切出画像についての読み込み位置を特定できる。
切出制御部16Aは、サイズ変換部17からの読込要求に応じて読込許可を行った場合は、メモリ16Bからの画素データの読み込みがあったものとして、読込画素カウント値Rctをカウントアップする。この読込画素カウント値Rctにより切出画像についての読み込み位置を特定できる。
ここで、前述のように切出制御部16Aは、メモリ16Bに対する画素データの書き出し数を管理するための書出画素カウント値Wctをカウントしている。
切出制御部16Aは、この書出画素カウント値Wctと上記読込画素カウント値Rctとの差を計算することで、メモリ16Bに蓄積されている画素データの容量(画素数)を特定し、このようなメモリ16Bの画素データの蓄積量に応じて、サイズ変換部17による読込動作を制御する。具体的には、画素データの蓄積量としての「Wct−Rct」による値が、設定された閾値thを超える場合には上記読込許可を与え、超えない場合には上記読込許可を与えないこととして、サイズ変換部17による読込動作を制御する。
切出制御部16Aは、この書出画素カウント値Wctと上記読込画素カウント値Rctとの差を計算することで、メモリ16Bに蓄積されている画素データの容量(画素数)を特定し、このようなメモリ16Bの画素データの蓄積量に応じて、サイズ変換部17による読込動作を制御する。具体的には、画素データの蓄積量としての「Wct−Rct」による値が、設定された閾値thを超える場合には上記読込許可を与え、超えない場合には上記読込許可を与えないこととして、サイズ変換部17による読込動作を制御する。
図6は、上記のような読込制御の実現にあたり切出制御部16Aが実行する具体的な処理の手順を示したフローチャートである。
先ず切出制御部16Aは、信号処理部15からの同期信号sync1を待機し(ステップS201)、該同期信号sync1が検出されたことに応じて、読込画素カウント値Rctを初期化(0リセット)する(ステップS202)。
そしてカウント値Rctの初期化を行った後、切出制御部16Aは、サイズ変換部17からの読込要求を待機する(ステップS203)。
先ず切出制御部16Aは、信号処理部15からの同期信号sync1を待機し(ステップS201)、該同期信号sync1が検出されたことに応じて、読込画素カウント値Rctを初期化(0リセット)する(ステップS202)。
そしてカウント値Rctの初期化を行った後、切出制御部16Aは、サイズ変換部17からの読込要求を待機する(ステップS203)。
サイズ変換部17からの読込要求があった場合、切出制御部16Aは、メモリ16Bにおける蓄積量が十分であるか否かを判別する(ステップS204)。具体的には、前述した「Wct−Rct」による値が、設定された閾値thを超えているか否かを判別する。
該判別において、「Wct−Rct」の値が閾値thを超えておらず蓄積量が十分でないとの否定結果が得られた場合、切出制御部16Aは、書出が完了しているか否かを判別する(ステップS205)。すなわち、第1信号処理部15によるメモリ16Bへの切出範囲分の画素データの書き出しが完了しているか否かを判別すべく、書出画素カウント値Wctが、ズーム倍率情報として指示された切り出し画素数の値以上であるか否かを判別する。
該判別において、「Wct−Rct」の値が閾値thを超えておらず蓄積量が十分でないとの否定結果が得られた場合、切出制御部16Aは、書出が完了しているか否かを判別する(ステップS205)。すなわち、第1信号処理部15によるメモリ16Bへの切出範囲分の画素データの書き出しが完了しているか否かを判別すべく、書出画素カウント値Wctが、ズーム倍率情報として指示された切り出し画素数の値以上であるか否かを判別する。
ステップS205による判別において、書出画素カウント値Wctが上記指示された切り出し画素数の値以上となっておらず、書出が完了していないとの否定結果が得られた場合、切出制御部16Aは、先のステップS203に戻り、再びサイズ変換部17からの読込要求を待機する。
一方、先のステップS204の判別にて「Wct−Rct」の値が閾値thを超えており蓄積量が十分であるとの肯定結果が得られた場合、又は該ステップS204の判別にて蓄積量が十分ではないとされたが上記ステップS205の判別にて書出が完了しているとの肯定結果が得られた場合、切出制御部16Aは、サイズ変換部17に対して読込許可を行う(ステップS206)。
なお確認のため述べておくと、既にメモリ16Bに切出範囲分の画素データが書き出し済みであれば、あとはメモリ16Bの蓄積量に関わらず全ての蓄積データがサイズ変換部17側に読み込まれるべきである。このため、上記のようにステップS205で肯定結果が得られた場合は、メモリ16Bの蓄積量に関わらず、サイズ変換部17に読込許可を行うものとしている。
なお確認のため述べておくと、既にメモリ16Bに切出範囲分の画素データが書き出し済みであれば、あとはメモリ16Bの蓄積量に関わらず全ての蓄積データがサイズ変換部17側に読み込まれるべきである。このため、上記のようにステップS205で肯定結果が得られた場合は、メモリ16Bの蓄積量に関わらず、サイズ変換部17に読込許可を行うものとしている。
切出制御部16Aは、上記のように読込許可を行ったことに応じて、読込画素カウント値Rctをカウントアップ(Rct=Rct+1)する(ステップS207)。
そして、このように読込画素カウント値Rctをカウントアップした後、切出制御部16Aは、読込が完了であるか否かを判別する。具体的には、読込画素カウント値Rctが、ズーム倍率情報として指示された切り出し画素数の値以上であるか否かを判別する。
読込画素カウント値Rctが上記指示された切り出し画素数の値以上ではなく、読込が完了していないとの否定結果が得られた場合、切出制御部16Aは、先のステップS203に戻り、サイズ変換部17からの読込要求を待機する。
一方、読込画素カウント値Rctが上記指示された切り出し画素数の値以上となっており、読込が完了したとの肯定結果が得られた場合、切出制御部16Aは、先のステップS201に戻り、再び同期信号sync1を待機する。
一方、読込画素カウント値Rctが上記指示された切り出し画素数の値以上となっており、読込が完了したとの肯定結果が得られた場合、切出制御部16Aは、先のステップS201に戻り、再び同期信号sync1を待機する。
ここで、切り出しに要するメモリ容量について図7を参照して説明しておく。
先ず前提として、本例では、イメージセンサ3の読出レートが一定であることに応じ、第1信号処理部15によるメモリ16Bへの書出レートも一定とされている。なお図中では、書出レートは「R_w」と表記している。
一方で、メモリ16Bの読込レート(図中「R_r」)は、ズーム倍率に応じて可変とされる。すなわち、ズーム倍率が1(電子ズーム無し)では読込レートは書出レートと一致し、ズーム倍率が大となることに応じて読込レートが書出レートよりも低くなるようにされる。画像信号処理部5内の各部には、1フレーム分の画像を処理するための時間としての、図中に示すような1フレーム分の処理時間(時点0〜時点Tfr)が設定されることになるが(後述する同期信号syncを参照)、メモリ16Bからの切り出し画像の読み込みについても、当該1フレーム分の処理時間で完了するように、ズーム倍率に応じた可変の読込レートの設定が為されるものである。
先ず前提として、本例では、イメージセンサ3の読出レートが一定であることに応じ、第1信号処理部15によるメモリ16Bへの書出レートも一定とされている。なお図中では、書出レートは「R_w」と表記している。
一方で、メモリ16Bの読込レート(図中「R_r」)は、ズーム倍率に応じて可変とされる。すなわち、ズーム倍率が1(電子ズーム無し)では読込レートは書出レートと一致し、ズーム倍率が大となることに応じて読込レートが書出レートよりも低くなるようにされる。画像信号処理部5内の各部には、1フレーム分の画像を処理するための時間としての、図中に示すような1フレーム分の処理時間(時点0〜時点Tfr)が設定されることになるが(後述する同期信号syncを参照)、メモリ16Bからの切り出し画像の読み込みについても、当該1フレーム分の処理時間で完了するように、ズーム倍率に応じた可変の読込レートの設定が為されるものである。
この前提によると、この場合の切り出しにおいては、書き出し側の追い越しが発生しないように、メモリ16Bの容量を設定すべきものとなる。
図7において、図7Aでは、切り出し前の画像20と、該画像20についての切り出し範囲20Aとを示している。切り出し範囲20Aは、設定されたズーム倍率に応じて変化するものである。
また図7Aでは、これら切り出し前の画像20と切り出し範囲20Aについて図示すると共に、その紙面右側に対し、横軸を時間(T)、縦軸をライン数として、メモリ16Bに対する書出レートR_w、読込レートR_rとの関係を表している。
ここで、切り出し前の画像20の横サイズ(水平方向画素数)をW、縦サイズ(垂直方向画素数)をHとおく。また、ズーム倍率の逆数をKとおく。
これによると、切り出し範囲20Aの横サイズはK・W、縦サイズはK・Hと表すことができる。
また図7Bには、図7Aの場合よりもズーム倍率が小とされた場合(つまり図7Aの場合よりKの値が大の場合)における書出レートR_wと読込レートR_rとの関係を示し、図7Cには、図7Aの場合よりもズーム倍率が大とされた場合(つまり図7Aの場合よりKの値が小の場合)における書出レートR_wと読込レートR_rとの関係を示している。
また図7Aでは、これら切り出し前の画像20と切り出し範囲20Aについて図示すると共に、その紙面右側に対し、横軸を時間(T)、縦軸をライン数として、メモリ16Bに対する書出レートR_w、読込レートR_rとの関係を表している。
ここで、切り出し前の画像20の横サイズ(水平方向画素数)をW、縦サイズ(垂直方向画素数)をHとおく。また、ズーム倍率の逆数をKとおく。
これによると、切り出し範囲20Aの横サイズはK・W、縦サイズはK・Hと表すことができる。
また図7Bには、図7Aの場合よりもズーム倍率が小とされた場合(つまり図7Aの場合よりKの値が大の場合)における書出レートR_wと読込レートR_rとの関係を示し、図7Cには、図7Aの場合よりもズーム倍率が大とされた場合(つまり図7Aの場合よりKの値が小の場合)における書出レートR_wと読込レートR_rとの関係を示している。
これら図7A〜図7Cにおいて、メモリ16Bに対し切り出し範囲20A内の全てのデータを書き出し終えるのは、それぞれ図中の時点Tweとなる。またこの場合、メモリ16Bから切り出し範囲20A内のデータの全てを読み込み終えるのは、前述の読込レートR_rの可変設定の下では、時点Tfrになる。
なお図からも明らかなように、該時点Tfrが表す「1フレーム分の処理時間」は、メモリ16への画像20(ズーム倍率=1の画像)の書き出しに要する時間と一致するものである。
なお図からも明らかなように、該時点Tfrが表す「1フレーム分の処理時間」は、メモリ16への画像20(ズーム倍率=1の画像)の書き出しに要する時間と一致するものである。
これらを踏まえた上で、書き出し側の追い越しを生じさせないために設定されるべきメモリ16Bの容量(以下、単に必要メモリサイズとも称する)について考察する。
図7A〜図7Cの各場合にて、最大の必要メモリサイズは、それぞれ図中のXで表すことができる。具体的には、メモリ16Bに切り出し範囲20Aの画像全てを書き出し終えた時点Tweにおける、未読み込みのデータ量である。
図7A〜図7Cの各場合にて、最大の必要メモリサイズは、それぞれ図中のXで表すことができる。具体的には、メモリ16Bに切り出し範囲20Aの画像全てを書き出し終えた時点Tweにおける、未読み込みのデータ量である。
ここで、図7A〜図7Cをそれぞれ対比すると、最大の必要メモリサイズとしてのXの値は、ズーム倍率に応じて変化することが分かる。具体的に、最大の必要メモリサイズとしてのXの値は、或るズーム倍率を基準として、それよりもズーム倍率が小又は大となるに従って徐々に減少することになる。換言すれば、必要メモリサイズは、ズーム倍率が或る値のとき(基準ズーム倍率とする)にその最大値をとるものである。
従って、この基準ズーム倍率が分かれば、そのときのXの値が最大の必要メモリサイズ(つまり書き出し側の追い越しを生じさせないために確保すべきメモリ16Bの容量)であるということになる。
従って、この基準ズーム倍率が分かれば、そのときのXの値が最大の必要メモリサイズ(つまり書き出し側の追い越しを生じさせないために確保すべきメモリ16Bの容量)であるということになる。
具体的に、この場合における最大の必要メモリサイズを導出してみる。
先ず、前述のように本例では読込レートR_rがズーム倍率に応じて可変(読込完了時間がTfrに一致)であることから、書出レートR_w、読込レートR_rはそれぞれ以下のように表すことができる。
R_w=(H)/Tfr
R_r=(K・H)/Tfr ・・・[式1]
先ず、前述のように本例では読込レートR_rがズーム倍率に応じて可変(読込完了時間がTfrに一致)であることから、書出レートR_w、読込レートR_rはそれぞれ以下のように表すことができる。
R_w=(H)/Tfr
R_r=(K・H)/Tfr ・・・[式1]
ここで、任意の時点tにおいて、書き出しライン数は
R_w・t ・・・[式2]
読み出しライン数は
R_r・t ・・・[式3]
と表される。
両者の差分が、その時点tにおける必要メモリサイズとなる。この時点tにおける必要メモリサイズM(t)は、
M(t)=H/Tfr−K・H/Tfr・t ・・・[式4]
と表すことができる。
このとき、書き出し/読み込みの1ライン分のデータ数はK・Wとなるので、上記[式4]はデータ数に換算すると、
M(t)=K・W・(H/Tfr−K・H/Tfr・t) ・・・[式5]
となる。
R_w・t ・・・[式2]
読み出しライン数は
R_r・t ・・・[式3]
と表される。
両者の差分が、その時点tにおける必要メモリサイズとなる。この時点tにおける必要メモリサイズM(t)は、
M(t)=H/Tfr−K・H/Tfr・t ・・・[式4]
と表すことができる。
このとき、書き出し/読み込みの1ライン分のデータ数はK・Wとなるので、上記[式4]はデータ数に換算すると、
M(t)=K・W・(H/Tfr−K・H/Tfr・t) ・・・[式5]
となる。
先の説明からも理解されるように、M(t)の値は、t=Tweのときに最大となるものである。すなわち、
M(Twe)=K・(1−K)・W・H・Twe/Tre ・・・[式6]
このとき、図7A〜Cを参照すると、三角形の相似原理により、
Twe/Tre=(K・H)/(H) ・・・[式7]
とおくことができる。
この点より、必要メモリサイズとズーム倍率の逆数Kとの関係は、下記の[式8]で表されるものとなる。
M(K)=K・K・(1−K)・W・H ・・・[式8]
M(Twe)=K・(1−K)・W・H・Twe/Tre ・・・[式6]
このとき、図7A〜Cを参照すると、三角形の相似原理により、
Twe/Tre=(K・H)/(H) ・・・[式7]
とおくことができる。
この点より、必要メモリサイズとズーム倍率の逆数Kとの関係は、下記の[式8]で表されるものとなる。
M(K)=K・K・(1−K)・W・H ・・・[式8]
ここで、数学上の極値原理によると、M(K)が最大値/最小値をとるのはM(K)の一次微分が0になる場合である。
M(K)の一次微分は、
dM(K)=(2K−3K・K)・W・H ・・・[式9]
このことより、K=0、K=2/3のとき、M(K)が極値をとることになる。
さらに、2次微分の解析によれば、K=0が最小値(0)をとる極値点、K=2/3が最大値をとる極値点となることが分かる。
M(K)の一次微分は、
dM(K)=(2K−3K・K)・W・H ・・・[式9]
このことより、K=0、K=2/3のとき、M(K)が極値をとることになる。
さらに、2次微分の解析によれば、K=0が最小値(0)をとる極値点、K=2/3が最大値をとる極値点となることが分かる。
以上より、K=2/3、すなわちズーム倍率=1.5倍のときに、必要メモリサイズが最大となり、その値は上記[式8]より「4/27・W・H」と計算される。
このように、書き出し側の追い越し防止のためのメモリ16Bの容量としては、少なくとも切り出し前の画像20のサイズの4/27の容量を確保しておけばよいものである。
このように、書き出し側の追い越し防止のためのメモリ16Bの容量としては、少なくとも切り出し前の画像20のサイズの4/27の容量を確保しておけばよいものである。
[3-3.同期の乗り換えについて]
ここで、本実施の形態では、切り出しにより電子ズーム機能を実現することに対応させて、同期の乗り換えを行うものとしている。
先ず前提として、通常の同期伝播について図8を参照して説明しておく。
図8では画像信号に対し信号処理1→信号処理2→信号処理3が順に施されることを前提としており、図8Aに示す同期信号SYNC0、図8Cに示す同期信号SYNC1、図8Eに示す同期信号SYNC2は、それぞれ信号処理1、信号処理2、信号処理3についての1フレーム分の処理時間の開始タイミングを表す信号となる。なお図8GのSYNC3は、信号処理3の後段の信号処理について、その1フレーム分の処理時間の開始タイミングを表す信号となる。
図8B、図8D、図8Fの各々に白抜きで示したフレーム1〜3は、それぞれ、SYNC1,2,3に基づき信号処理1,2,3に割り当てられるフレーム1〜3の各フレームについての処理時間を表したものである。
ここで、本実施の形態では、切り出しにより電子ズーム機能を実現することに対応させて、同期の乗り換えを行うものとしている。
先ず前提として、通常の同期伝播について図8を参照して説明しておく。
図8では画像信号に対し信号処理1→信号処理2→信号処理3が順に施されることを前提としており、図8Aに示す同期信号SYNC0、図8Cに示す同期信号SYNC1、図8Eに示す同期信号SYNC2は、それぞれ信号処理1、信号処理2、信号処理3についての1フレーム分の処理時間の開始タイミングを表す信号となる。なお図8GのSYNC3は、信号処理3の後段の信号処理について、その1フレーム分の処理時間の開始タイミングを表す信号となる。
図8B、図8D、図8Fの各々に白抜きで示したフレーム1〜3は、それぞれ、SYNC1,2,3に基づき信号処理1,2,3に割り当てられるフレーム1〜3の各フレームについての処理時間を表したものである。
信号処理1から信号処理2に出力される同期信号SYNC1には、信号処理1に入力された同期信号SYNC0に対し、図中のD1と示す遅延が与えられる。この遅延D1は、信号処理1の処理時間分に応じた遅延となる。
また、信号処理2から信号処理3に出力される同期信号SYNC2には、信号処理2に入力された同期信号SYNC1に対し、図中のD2と示す遅延が与えられる。この遅延D2は、信号処理2の処理時間分に応じた遅延である。
また信号処理3から出力される同期信号SYNC3には、信号処理3に入力された同期信号SYNC2に対し図中のD3と示す遅延が与えられるが、この遅延D3は信号処理3の処理時間分に応じた遅延である。
また、信号処理2から信号処理3に出力される同期信号SYNC2には、信号処理2に入力された同期信号SYNC1に対し、図中のD2と示す遅延が与えられる。この遅延D2は、信号処理2の処理時間分に応じた遅延である。
また信号処理3から出力される同期信号SYNC3には、信号処理3に入力された同期信号SYNC2に対し図中のD3と示す遅延が与えられるが、この遅延D3は信号処理3の処理時間分に応じた遅延である。
このように通常の同期伝播では、信号処理1〜3の各信号処理ごとに、その信号処理で要する処理時間に応じた遅延Dが与えられた同期信号が次段の信号処理に伝播していくことになる。
これに対し本実施の形態では、切出部16が切り出しによる電子ズーム処理を行うことに対応させて、以下のような同期の乗り換えを行う。
図9は、同期の乗り換えについての説明図である。
図9Aは第1信号処理部15に入力される同期信号sync0を、図9Cは第1信号処理部15から切出制御部16Aに出力される同期信号sync1を、また図9Eは切出制御部16Aからサイズ変換部17に出力される同期信号sync2を示している。
図9Bは同期信号sync0に基づき設定される第1信号処理部15のフレームごとの処理時間、図9Dは同期信号sync1に基づき設定される切出制御部16Aのフレームごとの処理時間、図9Fは同期信号sync2に基づき設定されるサイズ変換部17のフレームごとの処理時間を表している。ここでは図9B,D,Fに示すフレームごとの処理時間として、フレーム1〜フレーム4までの4フレーム分を示している。なお図9Dと図9Fでは、破線により示す枠が同期信号syncに基づき設定される1フレーム分の処理時間を意味する。
なお確認のため述べておくと、動画撮像では、同期信号syncで設定される1周期内に処理を完了することが要請される。該要請が満たされなければ、一定のフレームレートの実現が困難なためである。
図9は、同期の乗り換えについての説明図である。
図9Aは第1信号処理部15に入力される同期信号sync0を、図9Cは第1信号処理部15から切出制御部16Aに出力される同期信号sync1を、また図9Eは切出制御部16Aからサイズ変換部17に出力される同期信号sync2を示している。
図9Bは同期信号sync0に基づき設定される第1信号処理部15のフレームごとの処理時間、図9Dは同期信号sync1に基づき設定される切出制御部16Aのフレームごとの処理時間、図9Fは同期信号sync2に基づき設定されるサイズ変換部17のフレームごとの処理時間を表している。ここでは図9B,D,Fに示すフレームごとの処理時間として、フレーム1〜フレーム4までの4フレーム分を示している。なお図9Dと図9Fでは、破線により示す枠が同期信号syncに基づき設定される1フレーム分の処理時間を意味する。
なお確認のため述べておくと、動画撮像では、同期信号syncで設定される1周期内に処理を完了することが要請される。該要請が満たされなければ、一定のフレームレートの実現が困難なためである。
先ず、同期信号sync0と同期信号sync1との関係を見ると、同期信号sync1には、同期信号sync0に対し、第1信号処理部15の処理時間分に応じた遅延(図中D1)が与えられる。換言すれば、切出制御部16Aには、このように同期信号sync0に遅延D1が与えられた同期信号sync1が入力される。
ここで、切出制御部16Aからサイズ変換部17に対して、通常の同期伝播と同様の遅延が与えられた同期信号sync、つまりこの場合は切出制御部16Aの処理時間分の遅延が与えられた同期信号sync(sync2’とする)を出力した場合を考えてみる。
図9Gは、このような同期信号sync2’の波形を表し、図9Fは該同期信号sync2’が与えられた場合のサイズ変換部17の1フレーム分ごとの処理時間を表している。
図9Gは、このような同期信号sync2’の波形を表し、図9Fは該同期信号sync2’が与えられた場合のサイズ変換部17の1フレーム分ごとの処理時間を表している。
切出制御部16Aによる処理時間分に応じた遅延DをD2とすると、同期信号sync2’は、図9Gに示されるように同期信号sync0に対して「D1+D2」の遅延が与えられたものと表すことができる。
ここで注意すべきは、切り出しによる電子ズーム処理を行う場合は、サイズ変換部17に処理対象のデータが読み込まれるタイミングが、切出処理に設定された1フレーム分の処理時間(図9D)の先頭タイミングよりも時間的に後方になるという点である。これは、前述のようにメモリ16Bを用いて切り出しによる電子ズーム処理を行う場合は、第1信号処理部15における切り出し前画像の先頭画素データの出力が開始されてから、切り出し範囲の先頭の画素データがメモリ16Bに書き出されるまでの間に時間差が生じることに起因する。
図9Hでは、破線の枠が同期信号sync2’に基づきサイズ変換部17に設定される処理時間を表し、実線の枠がメモリ16Bから画素データが読み込まれて実際に処理が可能となる時間を表している。
これらの対比より、切出制御部16Aが通常の同期伝播と同様の遅延が与えられた同期信号sync2’をサイズ変換部17に出力した場合には、サイズ変換部17に処理の空回り部分が生じてしまうことになる(図中WS)。つまり、このWSの分の処理時間の不足が生じてしまうものである。
図9Hでは、破線の枠が同期信号sync2’に基づきサイズ変換部17に設定される処理時間を表し、実線の枠がメモリ16Bから画素データが読み込まれて実際に処理が可能となる時間を表している。
これらの対比より、切出制御部16Aが通常の同期伝播と同様の遅延が与えられた同期信号sync2’をサイズ変換部17に出力した場合には、サイズ変換部17に処理の空回り部分が生じてしまうことになる(図中WS)。つまり、このWSの分の処理時間の不足が生じてしまうものである。
そこで、処理時間が適正に確保されるようにすべく、本実施の形態では、サイズ変換部17に与える同期信号sync2に、ズーム倍率に応じた分の遅延を与えることで、切出制御部16Aとサイズ変換部17との間で同期の乗り換えを行うものとしている。
具体的にこの場合は、図9Dと図9Eとの間に「Dz」と示すような遅延を与えるものとする。
この遅延Dzは、第1信号処理部15における切り出し前画像の先頭画素データの出力が開始されるタイミングと、メモリ16Bに切り出し範囲の先頭画素データが書き出されたタイミングとの時間差に相当する。この時間差は、指示されたズーム倍率に応じた値となる。従って遅延Dzは、ズーム倍率に応じた分の遅延となるものである。
このような遅延Dzを与えた同期信号sync2を切出制御部16Aからサイズ変換部17に出力することで、図9Fに示されるように、サイズ変換部17に先の図9Hに示したような空回り部分を生じさせないようにでき、サイズ変換部17による処理時間を適正に確保できる。
具体的にこの場合は、図9Dと図9Eとの間に「Dz」と示すような遅延を与えるものとする。
この遅延Dzは、第1信号処理部15における切り出し前画像の先頭画素データの出力が開始されるタイミングと、メモリ16Bに切り出し範囲の先頭画素データが書き出されたタイミングとの時間差に相当する。この時間差は、指示されたズーム倍率に応じた値となる。従って遅延Dzは、ズーム倍率に応じた分の遅延となるものである。
このような遅延Dzを与えた同期信号sync2を切出制御部16Aからサイズ変換部17に出力することで、図9Fに示されるように、サイズ変換部17に先の図9Hに示したような空回り部分を生じさせないようにでき、サイズ変換部17による処理時間を適正に確保できる。
上記のような同期の乗り換えの実現のため、切出制御部16Aは、第1信号処理部15からの同期信号sync1を受けた後、第1信号処理部15により切り出し範囲の先頭画素データがメモリ16Bに書き出されるのを待ってから同期信号sync2を発行する。
具体的には、前述した出力画素カウント値Gctで特定される現在の画素位置が、ズーム倍率情報により指示された切り出し開始画素位置に一致したことに応じて、同期信号sync2を発行する。
具体的には、前述した出力画素カウント値Gctで特定される現在の画素位置が、ズーム倍率情報により指示された切り出し開始画素位置に一致したことに応じて、同期信号sync2を発行する。
ところで、ズーム倍率が変動した際は切り出し範囲の先頭画素位置も変化するので、場合によっては、メモリ16Bに切り出し範囲の先頭画素データが書き出されても、サイズ変換部17では未だ前フレーム分の処理を完了していないというケースが生じ得る。
図9においては、フレーム3とフレーム4との間でズーム倍率の変化点があった場合を例示している。
本実施の形態のようにズーム倍率に応じた分だけ遅延させた同期信号sync2を出力する場合には、ズーム倍率が変動した際に、図9中のYと示すように、ズーム倍率変動前のフレームついての処理時間が浸食されてしまうケースが生じ得る。
このような処理時間の浸食が生じることで、メモリ16Bに切り出し範囲の先頭画素データが書き出されても、サイズ変換部17では未だ前フレーム分の処理を完了していないというケースが生じ得る。
図9においては、フレーム3とフレーム4との間でズーム倍率の変化点があった場合を例示している。
本実施の形態のようにズーム倍率に応じた分だけ遅延させた同期信号sync2を出力する場合には、ズーム倍率が変動した際に、図9中のYと示すように、ズーム倍率変動前のフレームついての処理時間が浸食されてしまうケースが生じ得る。
このような処理時間の浸食が生じることで、メモリ16Bに切り出し範囲の先頭画素データが書き出されても、サイズ変換部17では未だ前フレーム分の処理を完了していないというケースが生じ得る。
そこで、同期信号sync2の発行条件として、前述のように第1信号処理部15により切り出し範囲の先頭画素データがメモリ16Bに書き出されたとの条件のみでなく、サイズ変換部17にて前フレーム分の処理が完了しているとの条件も課すことができる。
具体的にこの場合、切出制御部16Aは、前述のように出力画素カウント値Gctで特定される現在の画素位置が、ズーム倍率情報により指示された切り出し開始画素位置に一致したか否かを判別すると共に、サイズ変換部17が前フレーム分の処理を完了したか否かを判別する。
そして、これらの判別の結果、前フレーム分の処理が完了したとの条件と、出力画素カウント値Gctで特定される現在の画素位置がズーム倍率情報により指示された切り出し開始画素位置に一致したとの条件とが満たされた場合に、同期信号sync2を発行する。
これにより、前フレーム分の処理の浸食の発生を防止しつつ、サイズ変換部17の処理時間を適正に確保することができる。
具体的にこの場合、切出制御部16Aは、前述のように出力画素カウント値Gctで特定される現在の画素位置が、ズーム倍率情報により指示された切り出し開始画素位置に一致したか否かを判別すると共に、サイズ変換部17が前フレーム分の処理を完了したか否かを判別する。
そして、これらの判別の結果、前フレーム分の処理が完了したとの条件と、出力画素カウント値Gctで特定される現在の画素位置がズーム倍率情報により指示された切り出し開始画素位置に一致したとの条件とが満たされた場合に、同期信号sync2を発行する。
これにより、前フレーム分の処理の浸食の発生を防止しつつ、サイズ変換部17の処理時間を適正に確保することができる。
上記のようなズーム倍率に応じた同期の乗り換えを行うことで、同期の遅延を最小限に抑えつつ、サイズ変換部17以降の処理時間を確保でき、ズーム倍率のスムーズな遷移が可能となる。
<4.変形例>
以上、本技術に係る実施の形態について説明したが、本技術はこれまでで説明した具体例に限定されるべきものではない。
例えばこれまでの説明では、切り出しのためのメモリの書き出し/読み込みに関して、読み込み側についてのみメモリ蓄積量に応じた制御を行うものとしたが、書き出し側についてもメモリ蓄積量に応じた制御を行うものとしてもよい。
以上、本技術に係る実施の形態について説明したが、本技術はこれまでで説明した具体例に限定されるべきものではない。
例えばこれまでの説明では、切り出しのためのメモリの書き出し/読み込みに関して、読み込み側についてのみメモリ蓄積量に応じた制御を行うものとしたが、書き出し側についてもメモリ蓄積量に応じた制御を行うものとしてもよい。
図10は、このように書き出し側についてもメモリ蓄積量に応じた制御を行う場合に採られるべき構成を例示している。
なお図10において、既にこれまでで説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
この場合は、先の図4に示した構成との比較で、切出部16に代えて切出部16’が設けられた点が異なる。具体的に切出部16’は、先の切出部16との比較で、第1信号処理部15に代えて第1信号処理部15’が、また切出制御部16Aに代えて切出制御部16A’が設けられた点が異なる。
第1信号処理部15’は、第1信号処理部15との比較で、切出制御部16A’に対して書出要求を行う点が異なる。具体的に第1信号処理部15’は、自らの処理を経た画素データの出力があるごとに、切出制御部16A’に対して書出要求を発行する。また第1信号処理部15’は、切出制御部16A’からの書出許可が為された画素データをメモリ16Bに書き出す。
なお図10において、既にこれまでで説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
この場合は、先の図4に示した構成との比較で、切出部16に代えて切出部16’が設けられた点が異なる。具体的に切出部16’は、先の切出部16との比較で、第1信号処理部15に代えて第1信号処理部15’が、また切出制御部16Aに代えて切出制御部16A’が設けられた点が異なる。
第1信号処理部15’は、第1信号処理部15との比較で、切出制御部16A’に対して書出要求を行う点が異なる。具体的に第1信号処理部15’は、自らの処理を経た画素データの出力があるごとに、切出制御部16A’に対して書出要求を発行する。また第1信号処理部15’は、切出制御部16A’からの書出許可が為された画素データをメモリ16Bに書き出す。
図11は、切出制御部16A’がメモリ蓄積量に応じた書き出し制御にあたり実行する具体的な処理の手順を示したフローチャートである。
先ず、切出制御部16A’は、第1信号処理部15’からの同期信号sync1を待機し(ステップS301)、同期信号sync1が入力されたことに応じ、出力画素カウント値Gct、及び書出画素カウント値Wctを初期化(0リセット)する(ステップS302及びS303)。
先ず、切出制御部16A’は、第1信号処理部15’からの同期信号sync1を待機し(ステップS301)、同期信号sync1が入力されたことに応じ、出力画素カウント値Gct、及び書出画素カウント値Wctを初期化(0リセット)する(ステップS302及びS303)。
これらカウント値Gct,Wctの初期化を行った後、切出制御部16A’は、第1信号処理部15’からの書出要求を待機する(ステップS304)。これは、第1信号処理部15’における画素出力を待機することと換言できる。
第1信号処理部15’からの書出要求があった場合、切出制御部16A’は、出力画素カウント値Gctをカウントアップ(Gct=Gct+1)した後(ステップS305)、切出先頭位置に到達した否かを判別する(ステップS306)。すなわち、出力画素カウント値Gctから特定される画素位置が、ズーム倍率情報で指示された切り出し開始画素位置に一致したか否かを判別する。
第1信号処理部15’からの書出要求があった場合、切出制御部16A’は、出力画素カウント値Gctをカウントアップ(Gct=Gct+1)した後(ステップS305)、切出先頭位置に到達した否かを判別する(ステップS306)。すなわち、出力画素カウント値Gctから特定される画素位置が、ズーム倍率情報で指示された切り出し開始画素位置に一致したか否かを判別する。
切出先頭位置に到達していないとの否定結果が得られた場合、切出制御部16A’はステップS304に戻って再び第1信号処理部15’からの書出要求を待機する。
一方、切出先頭位置に到達したとの肯定結果が得られた場合、切出制御部16A’は、メモリ残量があるか否かを判別する(ステップS307)。具体的には、「Wct−Rct」で計算されるメモリ16Bにおけるデータ蓄積量が、メモリ16B未満であるか否かを判別する。
該判別において、「Wct−Rct」の値がメモリ16Bの容量未満ではなく、メモリ残量がないとの否定結果が得られた場合、切出制御部16A’は、先のステップS304に戻って再び第1信号処理部15’からの書出要求を待機する。すなわち、メモリ残量がないとされた場合は、切出先頭位置に到達しているとしても、メモリ16Bへの書き出しが禁止されるものである。
該判別において、「Wct−Rct」の値がメモリ16Bの容量未満ではなく、メモリ残量がないとの否定結果が得られた場合、切出制御部16A’は、先のステップS304に戻って再び第1信号処理部15’からの書出要求を待機する。すなわち、メモリ残量がないとされた場合は、切出先頭位置に到達しているとしても、メモリ16Bへの書き出しが禁止されるものである。
また、「Wct−Rct」の値がメモリ16Bの容量未満であり、メモリ残量があるとの肯定結果が得られた場合、切出制御部16A’は、サイズ変換部17に対して書出許可を行う(ステップS308)と共に、書出画素カウント値Wctをカウントアップ(Wct=Wct+1)する(ステップS309)。
書出画素カウント値Wctをカウントアップした後、切出制御部16A’は、書出が完了したか否かを判別する(ステップS310)。すなわち、書出画素カウント値Wctがズーム倍率情報として指示された切り出し画素数の値以上であるか否かを判別する。
書出画素カウント値Wctが指示された切り出し画素数の値以上ではなく、書出が完了していないとの否定結果が得られた場合、切出制御部16A’は、先のステップS304に戻って第1信号処理部15’からの書出要求を待機する。
書出画素カウント値Wctが指示された切り出し画素数の値以上ではなく、書出が完了していないとの否定結果が得られた場合、切出制御部16A’は、先のステップS304に戻って第1信号処理部15’からの書出要求を待機する。
一方、書出画素カウント値Wctが指示された切り出し画素数の値以上であり、書出が完了したとの肯定結果が得られた場合、切出制御部16A’は、先のステップS301に戻り、再び同期信号sync1が検出されるまで待機する。
このような書出制御を行うことで、メモリ16Bのオーバーフローを防止できる。
また、これまでの説明では、切り出し処理に用いるメモリが切出部16内に設けられる場合を例示したが、該メモリについては、先の図1に示したメモリ部9としての共用メモリを用いることもできる。
切り出し用のメモリとしてメモリ部9を使用する場合は、電子ズーム処理に伴いバス12の帯域が消費されることになるが、このようなバス帯域の削減、及びメモリ部9の容量消費を削減するべく、図12に示すように、メモリ部9への書出データを圧縮する圧縮部16Cと、メモリ部9から読み込まれる圧縮データによる読込データを解凍する解凍部16Dとを設けることができる。
ここでは、これら圧縮部16Cと解凍部16Dとが共に切出部16’’の内部に設けられたものとして図示している。
なおこの図12においても、既にこれまでで説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
切り出し用のメモリとしてメモリ部9を使用する場合は、電子ズーム処理に伴いバス12の帯域が消費されることになるが、このようなバス帯域の削減、及びメモリ部9の容量消費を削減するべく、図12に示すように、メモリ部9への書出データを圧縮する圧縮部16Cと、メモリ部9から読み込まれる圧縮データによる読込データを解凍する解凍部16Dとを設けることができる。
ここでは、これら圧縮部16Cと解凍部16Dとが共に切出部16’’の内部に設けられたものとして図示している。
なおこの図12においても、既にこれまでで説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
圧縮部16Cは、第1信号処理部15からの書出データに所定のデータ圧縮方式に従った圧縮処理を施し、圧縮データをバス12上に送出する。
解凍部16Dはメモリ部9からバス12を介してサイズ変換部17に読み込まれる圧縮データについての解凍処理を行い、解凍された読込データをサイズ変換部17に送出する。
解凍部16Dはメモリ部9からバス12を介してサイズ変換部17に読み込まれる圧縮データについての解凍処理を行い、解凍された読込データをサイズ変換部17に送出する。
汎用な圧縮/解凍手法を採用しても、圧縮率は少なくとも1/2以上を得ることができる。従って上記の構成により、電子ズーム処理の実行に伴うバス帯域及びメモリ部9の消費容量の増加を効果的に抑制できる。
また、本技術は以下に示す構成を採ることもできる。
(1)
ズーム倍率情報に基づき、イメージセンサから読み出された画サイズによる画像信号に対し切り出しを行う切出処理部と、
上記ズーム倍率情報に基づき、上記切出部による切り出し後の画像信号に対し必要に応じて画サイズ変換処理を行う画サイズ変換処理部と
を備える動画撮像装置。
(2)
上記切出部は、
上記ズーム倍率情報から特定される切り出し対象範囲の画像信号をメモリに選択的に蓄積させ、
上記サイズ変換部は、
上記メモリに蓄積された画像信号を読み込むことで上記切り出し後の画像信号を得る
上記(1)に記載の動画撮像装置。
(3)
上記切出部は、
上記メモリにおけるデータ蓄積量に応じて上記サイズ変換部による上記メモリの読込動作を制御する
上記(2)に記載の動画撮像装置。
(4)
上記切出部は、
1フレームごとの処理の開始タイミングを表す同期信号を、上記ズーム倍率情報に応じた分だけ遅延させて上記サイズ変換部に出力する
上記(2)に記載の動画撮像装置。
(5)
上記切出部は、
上記切り出し対象範囲の先頭部が上記メモリに蓄積されたことに応じて上記同期信号を上記サイズ変換部に出力する
上記(4)に記載の動画撮像装置。
(6)
上記切出部は、
上記切り出し対象範囲の先頭部が上記メモリに蓄積されたか否か、及び上記サイズ変換部が前フレーム分のサイズ変換処理を完了したか否かを判別し、両判別にて肯定結果が得られた場合に上記同期信号を上記サイズ変換部に出力する
上記(5)に記載の動画撮像装置。
(7)
上記メモリに書き出される画像信号に圧縮処理を施す圧縮処理部と、
上記メモリから読み込まれる画像信号に解凍処理を施す解凍処理部とを備える
上記(2)乃至(6)何れかに記載の動画撮像装置。
(1)
ズーム倍率情報に基づき、イメージセンサから読み出された画サイズによる画像信号に対し切り出しを行う切出処理部と、
上記ズーム倍率情報に基づき、上記切出部による切り出し後の画像信号に対し必要に応じて画サイズ変換処理を行う画サイズ変換処理部と
を備える動画撮像装置。
(2)
上記切出部は、
上記ズーム倍率情報から特定される切り出し対象範囲の画像信号をメモリに選択的に蓄積させ、
上記サイズ変換部は、
上記メモリに蓄積された画像信号を読み込むことで上記切り出し後の画像信号を得る
上記(1)に記載の動画撮像装置。
(3)
上記切出部は、
上記メモリにおけるデータ蓄積量に応じて上記サイズ変換部による上記メモリの読込動作を制御する
上記(2)に記載の動画撮像装置。
(4)
上記切出部は、
1フレームごとの処理の開始タイミングを表す同期信号を、上記ズーム倍率情報に応じた分だけ遅延させて上記サイズ変換部に出力する
上記(2)に記載の動画撮像装置。
(5)
上記切出部は、
上記切り出し対象範囲の先頭部が上記メモリに蓄積されたことに応じて上記同期信号を上記サイズ変換部に出力する
上記(4)に記載の動画撮像装置。
(6)
上記切出部は、
上記切り出し対象範囲の先頭部が上記メモリに蓄積されたか否か、及び上記サイズ変換部が前フレーム分のサイズ変換処理を完了したか否かを判別し、両判別にて肯定結果が得られた場合に上記同期信号を上記サイズ変換部に出力する
上記(5)に記載の動画撮像装置。
(7)
上記メモリに書き出される画像信号に圧縮処理を施す圧縮処理部と、
上記メモリから読み込まれる画像信号に解凍処理を施す解凍処理部とを備える
上記(2)乃至(6)何れかに記載の動画撮像装置。
1 撮像装置、2 撮像光学系、3 イメージセンサ、4 読出部、5 画像信号処理部、6 エンコーダ、7 記録デバイス、8 表示部、9 メモリ部、10 コントローラ、11 操作部、12 バス、15,15’ 第1信号処理部、16,16’,16'' 切出部、16A,16A’ 切出制御部、16B メモリ、17 サイズ変換部、18 第2信号処理部、19 手ぶれ補正部
Claims (8)
- ズーム倍率情報に基づき、イメージセンサから読み出された画サイズによる画像信号に対し切り出しを行う切出処理部と、
上記ズーム倍率情報に基づき、上記切出部による切り出し後の画像信号に対し必要に応じて画サイズ変換処理を行う画サイズ変換処理部と
を備える動画撮像装置。 - 上記切出部は、
上記ズーム倍率情報から特定される切り出し対象範囲の画像信号をメモリに選択的に蓄積させ、
上記サイズ変換部は、
上記メモリに蓄積された画像信号を読み込むことで上記切り出し後の画像信号を得る
請求項1に記載の動画撮像装置。 - 上記切出部は、
上記メモリにおけるデータ蓄積量に応じて上記サイズ変換部による上記メモリの読込動作を制御する
請求項2に記載の動画撮像装置。 - 上記切出部は、
1フレームごとの処理の開始タイミングを表す同期信号を、上記ズーム倍率情報に応じた分だけ遅延させて上記サイズ変換部に出力する
請求項2に記載の動画撮像装置。 - 上記切出部は、
上記切り出し対象範囲の先頭部が上記メモリに蓄積されたことに応じて上記同期信号を上記サイズ変換部に出力する
請求項4に記載の動画撮像装置。 - 上記切出部は、
上記切り出し対象範囲の先頭部が上記メモリに蓄積されたか否か、及び上記サイズ変換部が前フレーム分のサイズ変換処理を完了したか否かを判別し、両判別にて肯定結果が得られた場合に上記同期信号を上記サイズ変換部に出力する
請求項5に記載の動画撮像装置。 - 上記メモリに書き出される画像信号に圧縮処理を施す圧縮処理部と、
上記メモリから読み込まれる画像信号に解凍処理を施す解凍処理部とを備える
請求項2に記載の動画撮像装置。 - ズーム倍率情報に基づき、イメージセンサから読み出された画サイズによる画像信号に対し切り出しを行う切出手順と、
上記ズーム倍率情報に基づき、上記切出手順による切り出し後の画像信号に対し必要に応じて画サイズ変換処理を行う画サイズ変換手順と
を有する動画像電子ズーム方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012112422A JP2013239961A (ja) | 2012-05-16 | 2012-05-16 | 動画撮像装置、動画像電子ズーム方法 |
US13/889,749 US9131158B2 (en) | 2012-05-16 | 2013-05-08 | Moving-image capturing apparatus and electronic zoom method for moving image |
CN201310168328XA CN103428421A (zh) | 2012-05-16 | 2013-05-09 | 运动图像捕获装置以及用于运动图像的电子缩放方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012112422A JP2013239961A (ja) | 2012-05-16 | 2012-05-16 | 動画撮像装置、動画像電子ズーム方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013239961A true JP2013239961A (ja) | 2013-11-28 |
Family
ID=49581022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012112422A Pending JP2013239961A (ja) | 2012-05-16 | 2012-05-16 | 動画撮像装置、動画像電子ズーム方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9131158B2 (ja) |
JP (1) | JP2013239961A (ja) |
CN (1) | CN103428421A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018186455A (ja) * | 2017-04-27 | 2018-11-22 | キヤノン株式会社 | 撮像装置、撮像システム、移動体、チップ |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5845464B2 (ja) * | 2011-05-31 | 2016-01-20 | パナソニックIpマネジメント株式会社 | 画像処理装置及び画像処理方法並びにデジタルカメラ |
JP5938703B2 (ja) * | 2014-04-25 | 2016-06-22 | パナソニックIpマネジメント株式会社 | 画像処理装置、画像処理装置の制御方法、プログラム、表示装置 |
JP6527585B2 (ja) * | 2015-05-15 | 2019-06-05 | オリンパス株式会社 | 圧縮画像データ送信装置、圧縮画像データ送受信システム、圧縮画像データ送信方法およびプログラム |
US10867445B1 (en) * | 2016-11-16 | 2020-12-15 | Amazon Technologies, Inc. | Content segmentation and navigation |
US11200675B2 (en) | 2017-02-20 | 2021-12-14 | Sony Corporation | Image processing apparatus and image processing method |
CN111010590B (zh) * | 2018-10-08 | 2022-05-17 | 阿里巴巴(中国)有限公司 | 一种视频裁剪方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0644687B1 (en) * | 1993-09-17 | 2003-12-03 | Canon Kabushiki Kaisha | Image pickup apparatus |
JP2004064334A (ja) * | 2002-07-26 | 2004-02-26 | Mitsubishi Electric Corp | 撮像装置 |
JP2008294504A (ja) | 2007-05-22 | 2008-12-04 | Sharp Corp | 撮影装置及び撮影装置を備える携帯端末装置 |
JP5202283B2 (ja) * | 2008-12-20 | 2013-06-05 | 三洋電機株式会社 | 撮像装置及び電子機器 |
-
2012
- 2012-05-16 JP JP2012112422A patent/JP2013239961A/ja active Pending
-
2013
- 2013-05-08 US US13/889,749 patent/US9131158B2/en not_active Expired - Fee Related
- 2013-05-09 CN CN201310168328XA patent/CN103428421A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018186455A (ja) * | 2017-04-27 | 2018-11-22 | キヤノン株式会社 | 撮像装置、撮像システム、移動体、チップ |
Also Published As
Publication number | Publication date |
---|---|
CN103428421A (zh) | 2013-12-04 |
US20130308014A1 (en) | 2013-11-21 |
US9131158B2 (en) | 2015-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8089527B2 (en) | Image capturing apparatus, image capturing method and storage medium | |
US9325905B2 (en) | Generating a zoomed image | |
JP2013239961A (ja) | 動画撮像装置、動画像電子ズーム方法 | |
US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
US20130176458A1 (en) | Flexible Burst Image Capture System | |
JP2010279022A (ja) | 撮像装置 | |
US8194155B2 (en) | Information processing apparatus, buffer control method, and computer program | |
US9972355B2 (en) | Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer readable storage medium | |
US20120105577A1 (en) | Panoramic image generation device and panoramic image generation method | |
JP4767838B2 (ja) | 撮像装置および撮像方法 | |
US8269859B2 (en) | Photographing apparatus that performs distortion correction in association with digital and optical zoom, method of controlling the same, and recording medium having recorded thereon computer program to implement the method | |
EP2575355B1 (en) | Digital image capturing method and apparatus | |
US8466986B2 (en) | Image capturing apparatus, image capturing control method, and storage medium storing program for image capturing | |
JP6741532B2 (ja) | 撮像装置および記録方法 | |
US11202019B2 (en) | Display control apparatus with image resizing and method for controlling the same | |
US11356611B2 (en) | Image capture apparatus and control method thereof | |
JP6327939B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2015019243A (ja) | 撮像装置、及びその制御方法とプログラム | |
JP4987800B2 (ja) | 撮像装置 | |
JP2015119403A (ja) | 画像記録装置、画像記録方法およびプログラム並びに撮像装置 | |
JP6632385B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP6245818B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2009130561A (ja) | 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム | |
JP2020010244A (ja) | 撮像装置および撮像装置の制御方法 | |
JP2014179851A (ja) | 撮像装置及び撮像装置の制御方法 |