JP5284013B2 - 撮像装置およびその制御方法、プログラム - Google Patents

撮像装置およびその制御方法、プログラム Download PDF

Info

Publication number
JP5284013B2
JP5284013B2 JP2008223916A JP2008223916A JP5284013B2 JP 5284013 B2 JP5284013 B2 JP 5284013B2 JP 2008223916 A JP2008223916 A JP 2008223916A JP 2008223916 A JP2008223916 A JP 2008223916A JP 5284013 B2 JP5284013 B2 JP 5284013B2
Authority
JP
Japan
Prior art keywords
pixels
image
angle
view
vertical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008223916A
Other languages
English (en)
Other versions
JP2010062671A (ja
JP2010062671A5 (ja
Inventor
敏和 柳井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008223916A priority Critical patent/JP5284013B2/ja
Priority to US12/545,805 priority patent/US8687093B2/en
Priority to CN2012103567772A priority patent/CN102883105A/zh
Priority to CN200910167262.6A priority patent/CN101668121A/zh
Priority to EP09169183A priority patent/EP2159751A1/en
Priority to EP12187482A priority patent/EP2562714A1/en
Publication of JP2010062671A publication Critical patent/JP2010062671A/ja
Publication of JP2010062671A5 publication Critical patent/JP2010062671A5/ja
Application granted granted Critical
Publication of JP5284013B2 publication Critical patent/JP5284013B2/ja
Priority to US14/172,768 priority patent/US8964068B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、解像度の劣化を少なくした電子ズーム技術に関する。
近年、撮像素子の進歩により電子スチルカメラやビデオカメラなどの画像入力機器の発展が著しい。特に、撮像素子から読み出した画像信号から所望の範囲の信号のみを取り出し、取り出した画像信号を拡大して電子的にズームを行う電子ズーム機能を有する動画機能付き電子スチルカメラやビデオカメラが提案されている。
この電子ズーム機能は、最も広角時において読み出し画素数と表示や記録のための出力画素数が略同一になるように設計されている。このため、ズームアップ（拡大）するにつれて、読み出し画素数が出力画素数に比べて不足してくるので解像度が劣化していく。このため、以下のような方式が提案されている。
まず、第１の方式として、解像度の劣化の少ない電子ズームを実現するために、常に最も広角時の領域から全画素（例えば１２８０×９６０）を読み出し、望遠時にはその中を切り出してそのまま読み出す（例えば２倍ズーム時に６４０×４８０）。広角時には画素数を縮小変換して出力する（この場合１２８０×９６０を６４０×４８０に縮小変換）という方式が提案されている。
しかしながら、第１の方式では、常に全画素（１２８０×９６０）を読み出す必要があるため、表示フレームレートが（この場合６４０×４８０を読み出す場合の１／４のフレームレートに）低下してしまう。
また、第２の方式として、特許文献１のように、読み出し画素数と表示や記録のための出力画素数を略同一にした解像度の劣化の少ない電子ズーム方式が提案されている。この方式では、例えば２倍ズームの機能を持たせる場合、望遠時には切り出した領域６４０×４８０の全ての画素を読み出し、広角時には全画素１２８０×９６０の領域から６４０×４８０の画素を縦横１／２間引きで読み出している。ここで、１２８０×９６０の領域の全画素は、例えば、静止画撮影時に利用される。
しかしながら、第２の方式では、間引き読み出しが可能な飛び飛びの倍率しか取ることができないため、電子ズームの際に飛び飛びの倍率の画像しか撮影できない。
次に、第３の方式として、特許文献２のように、中間の倍率を実現するために、単純な間引きではなく、撮像素子から出力された画像信号に対しての間引き割合を徐々に変更する電子ズーム方式が提案されている。この方式では、画像信号に対しての間引き割合としてｍ画素のうちｎ画素（ｍ≧ｎ ｍ、ｎは自然数）を読み出すことを記号ｎ／ｍで表し、ｎ／ｍを変更することで、中間の倍率を実現している。
しかしながら、第３の方式では、画像信号に対しての間引き割合を徐々に変更することで中間の倍率を実現することができるが、第１の方式と同様に、常に全画素を読み出す必要があるため、表示フレームレートが低下してしまう。
そこで、第４の方式として特許文献３が提案されている。この方式では、領域Ｄおよびそれより大きな領域Ｅにおいて、それぞれ間引き率ｄおよびそれより大きな間引き率ｅを用いて、表示に必要な同一の画像サイズを読み出す。さらに、領域Ｄと領域Ｅの中間の領域においては、間引き率ｄで領域Ｅを読み出すとともに、読み出した画像のうちの中間の領域の画像サイズを用いて、表示に必要な同一の画像サイズに変換することで、中間の倍率の電子ズームを実現している。ここで、特許文献３においては、１／ｅに間引くことを間引き率ｅと表現しているが、本明細書では１／ｅに間引くことを間引き率１／ｅと定義する。
特開２０００−２９５５３０号公報 特開２００５−１９１８６７号公報 特開２００２−３３０３２９号公報
しかしながら、第４の方式では、間引き率ｄで領域Ｄを読み出し、領域Ｄと領域Ｅの中間の領域においても間引き率ｄで領域Ｅを読み出すことで、電子ズームを実現している。これによると、領域Ｅの読み出し画像サイズ（画素数）が、領域Ｄの読み出し画像サイズ（画素数）の（ｅ／ｄ）の２乗倍になってしまうため、領域Ｅの読み出し時間も領域Ｄの読み出し時間の（ｅ／ｄ）の２乗倍となってしまう。このため、動画撮影時のフレームレートは領域Ｅの読み出し時間に制限されてしまう。
例えば、表示に必要な同一の画像サイズを１０ｘ１０画素とした場合、１０ｘ１０画素の領域を間引き率１で読み出し、２０ｘ２０画素の領域を間引き率２で読み出すことになる。この場合、１０ｘ１０画素の領域と２０ｘ２０画素の領域の中間の領域においては間引き率１で２０ｘ２０画素の領域を読み出すことになるので、読み出す画素数は、（２／１）の２乗倍より４倍となる。
また、領域Ｅの読み出しと領域Ｄの読み出しの間に読み出し時間のアンバランスが生じ、電子ズームを実行した場合、撮影した画像の読み出し時間が領域毎に異なってしまう。
例えば、１０ｘ１０画素の領域の第１の画素（１画素目）の読み出し時点と２０ｘ２０画素の領域の第１の画素（１画素目）の読み出し時点との差が、３００画素の読み出しに相当する時間だけ異なることになる。また、１０ｘ１０画素の領域の最後の画素（１００画素目）の読み出し時点と２０ｘ２０画素の領域の最後の画素（４００画素目）の読み出し時点との差は、３００画素の読み出しに相当する時間だけ異なることになる。
また、特許文献３には、第３の方式と同様の方法で中間倍率の表示に必要な画像サイズを実現しつつ、撮像素子からの画素の読み出し方法を変更することにより、所望の中間倍率の領域のみを読み出す技術が記載されている。
しかしながら、電子ズームの中間倍率毎に撮像素子の読み出し方法を変更すると制御が複雑となる。
本発明は、上記課題に鑑みてなされ、解像度の劣化が少なく且つ複雑な制御を必要とせずにスムーズに動作する電子ズーム技術を実現するものである。
上記の目的を達成するために、本発明の撮像装置は、被写体像を光電変換する複数の画素を有する撮像素子と、電子ズームのズーム倍率を設定する設定手段と、前記撮像素子から画素信号を読み出す読み出し手段と、前記読み出し手段により読み出された画素信号を用いて予め決められた画素数の画像を生成する生成手段と、前記設定手段により第１のズーム倍率または前記第１のズーム倍率より大きい第２のズーム倍率が設定された場合に、前記読み出し手段が前記撮像素子の第１の読み出し画角から第１の間引き率で画素信号を読み出し、前記設定手段により設定されたズーム倍率に応じて前記第１の読み出し画角から前記第１の間引き率で読み出された画素信号のうちの第３の読み出し画角または前記第３の読み出し画角より小さい第４の読み出し画角の画素信号から前記予め決められた画素数の画像を前記生成手段が生成するように制御し、前記設定手段により前記第２のズーム倍率より大きい第３のズーム倍率または前記第３のズーム倍率より大きい第４のズーム倍率が設定された場合に、前記読み出し手段が前記撮像素子の第２の読み出し画角から第２の間引き率で画素信号を読み出し、前記設定手段により設定されたズーム倍率に応じて前記第２の読み出し画角から前記第２の間引き率で読み出された画素信号のうちの第５の読み出し画角の画素信号または前記第５の読み出し画角より小さい第６の読み出し画角の画素信号から前記予め決められた画素数の画像を前記生成手段が生成するように制御する制御手段と、を有する。
また、本発明の撮像装置の制御方法は、被写体像を光電変換する複数の画素を有する撮像素子と、電子ズームのズーム倍率を設定する設定手段と、を有する撮像装置の制御方法であって、前記撮像素子から画素信号を読み出す読み出し工程と、前記読み出し手段により読み出された画素信号を用いて予め決められた画素数の画像を生成する生成工程と、を有し、前記設定手段により第１のズーム倍率または前記第１のズーム倍率より大きい第２のズーム倍率が設定された場合に、前記読み出し工程において前記撮像素子の第１の読み出し画角から第１の間引き率で画素信号を読み出し、前記設定手段により設定されたズーム倍率に応じて前記第１の読み出し画角から前記第１の間引き率で読み出された画素信号のうちの第３の読み出し画角または前記第３の読み出し画角より小さい第４の読み出し画角の画素信号から前記予め決められた画素数の画像を前記生成工程において生成するように制御し、前記設定手段により前記第２のズーム倍率より大きい第３のズーム倍率または前記第３のズーム倍率より大きい第４のズーム倍率が設定された場合に、前記読み出し工程において前記撮像素子の第２の読み出し画角から第２の間引き率で画素信号を読み出し、前記設定手段により設定されたズーム倍率に応じて前記第２の読み出し画角から前記第２の間引き率で読み出された画素信号のうちの第５の読み出し画角の画素信号または前記第５の読み出し画角より小さい第６の読み出し画角の画素信号から前記予め決められた画素数の画像を前記生成工程において生成するように制御する。
本発明によれば、解像度の劣化が少なく且つ複雑な制御を必要とせずにスムーズに動作する電子ズーム技術を実現できる。
以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
［第１の実施形態］
以下に、第１の実施形態について説明する。
本発明の撮像装置は、動画機能付き電子スチルカメラやビデオカメラなどにより実現され、高画素数の撮像素子、これにより得られる画像を表示可能な画像表示部、および、記録可能な画像記録部を備える。また、動画の表示や記録に用いる画素数は、静止画の記録に用いる画素数より少ないことを前提としている。
図１は、第１の実施形態の撮像装置の構成を示す図である。
図１において、本実施形態の撮像装置は、光学系１、撮像素子２、駆動回路部３、前処理部４、信号処理部５、画像データを記憶するメモリ部６、画像表示部７、画像記録部８、操作部９および同期制御部１０から構成される。
光学系１は、被写体像を撮像素子２に結像させる合焦レンズ、光学ズームを行うズームレンズ、被写体像の明るさを調整する絞り、露光を制御するシャッタからなり、これらは駆動回路３により駆動される。
撮像素子２は、水平垂直方向に配列された複数の画素と、これら画素から読み出された信号を所定の順番で出力する回路を有する。詳細は図３を参照して後述する。
駆動回路部３は、同期制御部１０からの制御信号により、定電圧やドライブ能力を強化させたパルスを供給することで、光学系１および撮像素子２を駆動する。さらに、同期制御部１０からの制御信号を撮像素子２へ伝達する機能も備える。
前処理部４は、同期制御部１０からの制御信号により制御され、撮像素子２から出力されるアナログ信号に含まれるリセットノイズなどのノイズ成分を除去する相関２重サンプリング回路（ＣＤＳ回路）を有する。さらに、前処理部４は、ノイズが除去された信号の振幅を調整するゲインコントールアンプ、振幅が調整されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路を有する。
信号処理部５は、同期制御部１０からの制御信号により制御され、前処理部４から送出されるデジタル信号に変換された出力信号に対して適切な信号処理を行い画像データに変換する。また、信号処理部５は、メモリ部６や画像記録部８へデジタル信号に変換された出力信号や画像データを出力する。また、信号処理部５は、メモリ部６や画像記録部８からのデジタル信号に変換された出力信号や画像データを受けて信号処理を行う。さらに、撮像素子２の出力信号から合焦状態や露光量等の測光データを検出し、同期制御部１０に送出する機能も備える。
メモリ部６は、同期制御部１０からの制御信号により制御され、デジタル信号に変換された撮像素子２の出力信号や、信号処理された画像データを一時的に記憶する。さらに、表示用の画像データを画像表示部７へ出力する機能も備える。
画像表示部７は、同期制御部１０からの制御信号により制御され、メモリ部６に記憶する表示用の画像データを、撮影前の構図決めや撮影後の画像の確認のために表示するもので、電子ビューファインダー（ＥＶＦ）や液晶ディスプレイ（ＬＣＤ）で構成される。また、画像表示部７には、一般に撮像素子２の垂直画素数より表示画素数が少ないものが用いられ、本実施形態でも画像表示部７の表示画素数は、撮像素子２の出力画素数より少ないものとする。
画像記録部８は、着脱可能なメモリ等を備え、同期制御部１０からの制御信号により制御され、信号処理部５から送出されるデジタル信号に変換された出力信号や画像データの記録や着脱可能なメモリからの読み込みを行うことができる。
操作部９は、スイッチ、押しボタン、レバー、ダイアル等の操作部材を用いた外部からの指示を同期制御部１０へ伝達する。外部からの指示としては、例えば、撮像装置の電源スイッチの状態、撮影を指示する押しボタンの状態、光学ズームや電子ズームを指示するボタンやレバーの状態あるいは撮影モードを選択するモードダイアルの状態などがある。また、操作部９は、撮影前の画像表示の指示、撮影の各種指示、撮影した画像の表示あるいは撮像装置の動作を予め指示するメニュー操作等を同期制御部１０に伝達する。さらに、操作部９は、同期制御部１０からの制御信号により、ＬＣＤやＬＥＤ等の表示装置あるいは画像表示部７を用いて、撮像装置の状態を表示することができる。また、画像表示部７を表示装置とし、画像表示部７に装着したタッチパネルを操作部材として用いて、オンスクリーンでの操作を行う構成であってもよい。
同期制御部１０は、操作部９からの指示により撮像装置全体を制御する。また、信号処理部５から送出される合焦状態や露光量等の測光データに応じて、光学系１を制御して、最適な被写体像を撮像素子２に結像させる。さらに、メモリ部６の使用状況や画像記録部８のメモリの着脱状態や使用状況を検出することもできる。
ここで、図２を参照して、前処理部４から送出される出力信号を画像データに変換する例を説明する。
図２は、図１の信号処理部５の詳細を例示するブロック図である。
図２において、信号処理部５は、Ｒ補間回路９１、Ｇ補間回路９２、Ｂ補間回路９３、ホワイトバランス回路９４、色信号補正回路９５、ガンマ変換回路９６および輪郭補正回路９７を有する。
信号処理部５は、同期制御回路１０により制御され、前処理部４から入力されたＲ・Ｇ・Ｂ信号から、それぞれの画素位置に対して不足しているＲ信号、Ｇ信号およびＢ信号を、Ｒ補間回路９１、Ｇ補間回路９２およびＢ補間回路９３により補間して生成する。続いて、Ｒ信号、Ｇ信号およびＢ信号のそれぞれに対して、ホワイトバランス回路９４によるホワイトバランスの調整と色信号補正回路９５による色ノイズ除去やモアレ等の偽色除去といった色信号処理を行う。さらに、ガンマ変換回路９６によるガンマ変換と輪郭補正回路９７によるエッジ強調やアパーチャー補正といった輝度信号処理を行うことで、カラー画像を完成させる。完成したカラー画像は、メモリ部６や画像記録部８に送出される。
ここで、Ｒ補間回路９１、Ｇ補間回路９２およびＢ補間回路９３において、静止画用画像、動画記録用画像、表示用画像に応じた画素数の変換を実行してもよい。また、高画素数の撮像素子２を用いた撮像装置においては、カラー画像の容量（カラー画像のデータ量）も大きくなるため、信号処理部５が画像圧縮回路を備えることで、画像の圧縮を行った後、画像記録部８に出力して記録してもよい。
次に、本実施形態の撮像装置の主な動作について説明する。
＜表示画像の制御＞
（１）操作部９の電源スイッチからの指示により電源がオンされる。
（２）信号処理部５で撮像素子２からの画像信号を表示用の画像データに変換して、画像表示部７に表示するとともに、測光データを検出し、同期制御部１０に送出される。
（３）測光データに基づいて同期制御部１０は光学系１を制御する。
（４）（２）および（３）を繰り返すとともに、操作部９からの指示を待つ。
＜静止画撮影の制御＞
（１）操作部９の撮影スイッチからの指示により静止画撮影の制御が開始される。
（２）信号処理部５で撮像素子２からの画像信号から測光データを検出し、同期制御部１０に送出される。
（３）測光データに基づいて同期制御部１０が光学系１を制御する。
（４）撮像素子２において、静止画記録用の露光と信号の出力を行う。
（５）信号処理部５で、撮像素子２からの画像信号を記録用の画像データに変換して、画像記録部８に送出し、着脱可能なメモリに記録するとともに、表示用の画像データに変換して、画像表示部７に表示する。
（６）＜表示画像の制御＞の（４）に戻る。
＜動画撮影の制御＞
（１）操作部９の撮影スイッチからの指示により動画撮影の制御が開始される。
（２）信号処理部５で撮像素子２からの画像信号を記録用の画像データに変換して、画像記録部８に送出し、着脱可能なメモリに記録するとともに、表示用の画像データに変換して、画像表示部７に表示する。
（３）信号処理部５で撮像素子２からの画像信号から測光データを検出し、同期制御部１０に送出する。
（４）測光データに応じて同期制御部１０は光学系１を制御する。撮像素子２において、静止画記録用の露光と信号の出力を行う。
（５）（２）〜（４）を繰り返すとともに、操作部９からの指示を待つ。
＜電子ズームの制御＞
（１）表示画像の制御の（４）や動画撮影の制御の（５）において、操作部９のズームボタンやズームレバーからの指示により電子ズームの制御が開始される。
（２）同期制御部１０は電子ズーム倍率を決定し、撮像素子２の駆動を切り換える。
（３）同期制御部１０は電子ズーム倍率に応じた信号処理を信号処理部５に指示する。
（４）＜表示画像の制御＞の（４）や＜動画撮影の制御＞の（５）に戻る。
次に、図３〜図５を参照して、撮像素子２の構成について説明する。
図３では、説明を簡単にするため、画素数は、水平方向および垂直方向にそれぞれ１２画素とする。１１は、入射した光を電気信号に変換する画素の１つを示し、水平方向（Ｈ）、垂直方向（Ｖ）の画素の位置を示すアドレスを（１、１）と表示する。そして、全ての画素の構成は、垂直制御線２０１〜２１２および垂直信号線１０１〜１１２がそれぞれ対応する画素毎に異なる以外、画素１１と同一であって、画素の位置を示すアドレスは、（Ｖ、Ｈ）で表される。
図４に画素１１の詳細な構成を示す。図４において、点線で囲われた部分が画素１１であり、水平１行の画素に共通して接続され、水平１行の画素を同時に制御できる垂直制御線２０１と、垂直１列の画素に共通して接続され、画素の信号を出力する垂直信号線１０１とで他の回路に接続される。垂直制御線２０１は、リセット制御線２２１、垂直アドレス線２４１、転送制御線２６１を含む。
Ｄ１は光を電荷に変換する光電変換素子、Ｃ１は光電変換素子Ｄ１の電荷を電圧に変換する際に電荷を蓄積するＦＤ容量である。Ｔｄ１は画素内アンプの駆動トランジスタで、ＦＤ容量Ｃ１の電圧に応じた電圧を出力する。Ｔ１はリセット制御線２２１接続され、ＦＤ容量Ｃ１の電圧をリセットするリセットトランジスタである。Ｔ２は垂直アドレス線２４１に接続され、駆動トランジスタＴｄ１の出力を画素の出力信号として、垂直信号線１０１に出力する選択トランジスタである。Ｔ３は転送制御線２６１に接続され、光電変換素子Ｄ１からＦＤ容量Ｃ１への電荷の転送を制御する転送トランジスタである。Ｖｄは駆動トランジスタＴｄ１およびリセットトランジスタＴ１の電源である。
本実施形態において、駆動トランジスタＴｄ１以外のトランジスタは、スイッチとして働き、ゲートに接続されている制御線のオンで導通し、オフで遮断するものとする。
ここで、撮像素子２における画素信号の読み出し動作について説明する。
撮像素子２の水平１行の画素を読み出す場合、垂直制御線２０１は、水平１行の画素全てを制御する。ここでは画素（１、１）を例に説明するが、他の画素の動作も同様である。転送トランジスタＴ３がオフの状態で、リセット制御線２２１によりリセットトランジスタＴ１がオンし、ＦＤ容量Ｃ１の電圧がリセットされた後、リセットトランジスタＴ１をオフする。次に、転送制御線２６１により転送トランジスタＴ３がオンすると、光電変換素子Ｄ１からＦＤ容量Ｃ１へ電荷が転送される。そして、ＦＤ容量Ｃ１において、光電変換素子Ｄ１から転送された電荷が画素の信号として電荷電圧変換される。次に、垂直アドレス線２４１により選択トランジスタＴ２がオンし、ＦＤ容量Ｃ１の信号電圧を垂直信号線１０１に出力する。この信号が画素信号となり、この読み出しを画素信号読みと定義する。
６０１は、（１、１）〜（１２、１２）までの水平方向１２画素、垂直方向１２画素の全ての画素を含む全画角となる第１の読み出し画角を示す。６０２は、全画角のうち、（３、３）〜（１０、１０）までの水平方向８画素、垂直方向８画素を含む第２の読み出し画角をを示す。６０３は、全画角の内、（５、５）〜（８、８）までの水平方向４画素、垂直方向４画素を含む第３の読み出し画角を示す。
２１〜２６は垂直シフトレジスタであり、読み出す画素に接続されている垂直アドレス線２０１〜２１２を選択できるとともに、第１の読み出し画角６０１、第２の読み出し画角６０２および第３の読み出し画角６０３が選択できるように６分割されている。
３３は垂直制御回路であり、制御入力端子１６を介して同期制御部１０からの制御信号を入力し、垂直シフトレジスタ２１〜２６を制御する。３４は垂直シフトレジスタ制御線であり、垂直アドレス線２０１〜２１２を、「１行毎に選択」、「２行毎に選択」、「３行毎に選択」のいずれか１つを指示することができる。３５〜３７は垂直レジスタ選択線であり、垂直レジスタ選択線３５が垂直シフトレジスタ２１〜２６の全てを選択することで、全画角となる第１の読み出し画角６０１に対応する画素を選択する。また、垂直レジスタ選択線３６が垂直シフトレジスタ２２〜２５までを選択することで、第２の読み出し画角６０２に対応する画素を選択する。さらに、垂直レジスタ選択線３７が垂直シフトレジスタ２３、２４を選択することで、第３の読み出し画角６０３に対応する画素を選択する。また、垂直レジスタ選択線３５〜３７は、選択した垂直シフトレジスタに対して、「１行読み動作」、「２行加算動作」、「３行加算動作」のいずれか１つを指示することができる。
例えば、垂直レジスタ選択線３５〜３７が、「１行読み動作」を指示し、垂直シフトレジスタ制御線３４が、「１行毎に選択」、「２行毎に選択」、「３行毎に選択」のいずれか１つを指示したとする。この場合、それぞれ、対応する画角の垂直アドレス線を「１行毎に選択」、「２行毎に１行を選択」、「３行毎に１行を選択」するように、垂直シフトレジスタ２１〜２６を制御することができる。また、垂直レジスタ選択線３５〜３７が、「２行加算動作」を指示し、垂直シフトレジスタ制御線３４が、「２行毎に選択」を指示したとする。この場合、それぞれ、対応する画角の垂直アドレス線を、１行分の読み動作の中で「２行を同時に選択」するように、垂直シフトレジスタ２１〜２６を制御することができる。これにより、垂直アドレス線には、垂直方向に２画素分の信号が加算平均されて出力されることになる。さらに、垂直レジスタ選択線３５〜３７が、「３行加算動作」を指示し、垂直シフトレジスタ制御線３４が、「３行毎に選択」を指示したとする。この場合、それぞれ、対応する画角の垂直アドレス線を、１行分の読み動作の中で「３行を同時に選択」するように、垂直シフトレジスタ２１〜２６を制御することができる。これにより、垂直アドレス線には、垂直方向に３画素分の信号が加算平均されて出力されることになる。
１２は加算回路であり、垂直信号線１０１〜１１２に送出される画素信号を加算することができる。４０は加算制御回路であり、制御入力端子１６を介して、同期制御部９からの制御信号の指示により、加算回路１２を制御する。４１〜４８は加算回路１２を制御する加算制御線である。
１３は水平読み出し回路であり、水平アドレス線４０１〜４１２により制御され、加算回路１２の加算出力線３０１〜３１２を介して送出される信号を出力回路１４へ出力することができる。出力回路１４は、電流増幅回路や電圧増幅回路からなり、水平読み出し回路１３から出力された信号を適切な電流増幅や電圧増幅して、出力端子１５を介して前処理部４へ出力する。５０は水平読み出し回路１３を制御する水平読み出し制御線である。
６１〜６６は水平シフトレジスタであり、水平アドレス線４０１〜４１２を選択できるとともに、第１の読み出し画角６０１、第２の読み出し画角６０２および第３の読み出し画角６０３が選択できるように６分割されている。
７３は水平制御回路であり、制御入力端子１６を介して同期制御部９からの制御信号により水平シフトレジスタ６１〜６６を制御する。７４は水平シフトレジスタ制御線であり、水平アドレス線を、「１列毎に選択」、「２列毎に選択」、「３列毎に選択」のいずれか１つを指示することができる。７５〜７７は水平レジスタ選択線であり、水平レジスタ選択線７５が、水平シフトレジスタ６１〜６６の全てを選択することで、全画角となる第１の読み出し画角６０１に対応する画素を選択する。また、水平レジスタ選択線７６が水平シフトレジスタ６２〜６５までを選択することで、第２の読み出し画角６０２に対応する画素を選択する。さらに、水平レジスタ選択線７７が水平シフトレジスタ６３、６４を選択することで、第３の読み出し画角６０３に対応する画素を選択する。
例えば、水平シフトレジスタ制御線７４が、「１列毎に選択」、「２列毎に選択」、「３列毎に選択」のいずれか１つを指示したとする。この場合、それぞれ、対応する画角の水平アドレス線を「１列毎に選択」、「２列毎に１列を選択」、「３列毎に１列を選択」するように、水平シフトレジスタ６１〜６６を制御することができる。
図５に加算回路１２および水平読み出し回路１３の詳細な構成を示す。図５においては、図３の左側６画素に対応する部分のみを説明するが、右側６画素についても同様である。
Ｔ４１〜Ｔ４８は、同じ番号の加算制御線４１〜４８によりオンオフされることで、導通あるいは遮断するスイッチとして機能するトランジスタである。Ｃ１０１〜Ｃ１０６（不図示の対応するＣ１０７〜Ｃ１１２も同様）は、垂直信号線１０１〜１０６（垂直信号線１０７〜１１２も同様）に送出される画素信号を蓄積する蓄積容量である。３０１〜３０６（３０７〜３１２も同様）は、加算回路１２の出力となる加算出力線である。
Ｃ４０１〜Ｃ４０６（不図示の対応するＣ４０７〜Ｃ４１２も同様）は、加算出力線３０１〜３０６（３０７〜３１２も同様）を介して送出される信号を蓄積する蓄積容量である。Ｔ４０１〜Ｔ４０６（不図示の対応するＴ４０７〜Ｔ４１２も同様）は、同じ番号の制御線４０１〜４０６（不図示の対応する制御線４０７〜４１２も同様）によりオンオフされることで、導通あるいは遮断するスイッチとして機能するトランジスタである。これらは、水平信号線５０１を介して信号を出力回路１４へ出力することができる。
出力回路１４は水平信号線５０１を入力としたアンプとなっており、入力信号を適切な電流増幅や電圧増幅して、出力端子１５を介して前処理部４へ出力する。
次に、図５を参照して加算回路１２および水平読み出し回路１３の動作について説明する。
まず、加算制御線４１による制御で、トランジスタＴ４１をオンの状態にし、垂直信号線１０１〜１０６に送出される画素信号を蓄積容量Ｃ１０１〜Ｃ１０６に蓄積した後に、トランジスタＴ４１をオフする。
加算しない場合は、加算制御線４５〜４８により、トランジスタＴ４５〜Ｔ４８をオンの状態にする。そして、蓄積容量Ｃ１０１〜Ｃ１０６の信号を、加算出力線３０１〜３０６に出力し、それぞれ対応する水平読み出し回路１３の蓄積容量Ｃ４０１〜Ｃ４０６に蓄積した後に、トランジスタＴ４５〜Ｔ４８をオフする。
次に、水平シフトレジスタ制御線７４からの「１列毎に選択」の動作開始指示に応じて、水平アドレス線４０１〜４０６の制御によりトランジスタＴ４０１〜Ｔ４０６までを順番にオンオフする。これにより、蓄積容量Ｃ４０１〜Ｃ４０６の信号が、順番に水平信号線５０１を介して出力回路１４へ出力される。
垂直信号線１０７〜１１２に送出される画素信号も同様に動作させることで、垂直信号線１０１〜１１２に送出される画素信号を順番に出力することができる。
水平２画素加算する場合は、加算制御線４３、４４の制御によりトランジスタＴ４３、Ｔ４４をオンの状態にするとともに、加算制御線４６、４７の制御によりトランジスタＴ４６、Ｔ４７をオンの状態にする。これにより、蓄積容量Ｃ１０１〜Ｃ１０６の信号を２個ずつ加算平均した信号を、それぞれ対応する加算出力線３０１、３０３、３０５に出力する。
そして、それぞれ対応する蓄積容量Ｃ４０１、Ｃ４０３、Ｃ４０５に蓄積した後に、トランジスタＴ４３、Ｔ４４、Ｔ４６、Ｔ４７をオフする。
次に、水平シフトレジスタ制御線７４からの「２列毎に選択」の動作開始指示に応じて、水平アドレス線４０１、４０３、４０５の制御により、トランジスタＴ４０１、Ｔ４０３、Ｔ４０５を順番にオンオフする。これにより、蓄積容量Ｃ４０１、Ｃ４０３、Ｃ４０５の信号が順番に水平信号線５０１を介して出力回路１４へ出力される。
垂直信号線１０７〜１１２に送出される画素信号も同様に動作させることで、蓄積容量Ｃ４０７、Ｃ４０９、Ｃ４１１の信号を、順番に水平信号線５０１を介して出力回路１４へ出力することができる。これにより、垂直信号線１０１〜１１２に送出される画素信号を水平に２画素加算した信号を出力することができる。
水平３画素加算する場合は、加算制御線４２、４４の制御によりトランジスタＴ４２、Ｔ４４をオンの状態にするとともに、加算制御線４５、４６の制御によりトランジスタＴ４５、Ｔ４６をオンの状態にする。これにより、蓄積容量Ｃ１０１〜Ｃ１０６の信号を３個ずつ加算平均した信号を、それぞれ対応する加算出力線３０１、３０４に出力する。
そして、それぞれ対応する蓄積容量Ｃ４０１、Ｃ４０４に蓄積した後に、トランジスタＴ４２、Ｔ４４、Ｔ４５、Ｔ４６をオフする。
次に、水平シフトレジスタ制御線７４からの「３列毎に選択」の動作開始指示に応じて、水平アドレス線４０１、４０４の制御によりトランジスタＴ４０１、Ｔ４０４を順番にオンオフする。これにより、蓄積容量Ｃ４０１、Ｃ４０４の信号が順番に水平信号線５０１を介して出力回路１４へ出力される。
垂直信号線１０７〜１１２に送出される信号も同様に動作させることで、蓄積容量Ｃ４０７、Ｃ４１０の信号を、順番に水平信号線５０１を介して出力回路１４へ出力することができる。これにより、垂直信号線１０１〜１１２に送出される画素信号を水平に３画素加算した信号を出力することができる。
以上の説明では、垂直方向の加算動作と垂直アドレス線の選択方法として、「１行毎に選択」で「１行読み動作」、「２行毎に選択」で「１行読み動作」、「３行毎に選択」で「１行読み動作」について説明した。また、「２行を連続して選択」で「２行加算動作」および「３行を連続して選択」で「３行加算動作」についても説明した。また、水平方向の加算回路の動作の選択方法として、「水平加算なし動作」、「水平２画素加算動作」および「水平３画素加算動作」の３種類について説明した。さらに、水平アドレス線の選択方法として、「１列毎に選択」、「２列毎に選択」および「３列毎に選択」の３種類について説明した。これにより、水平・垂直方向それぞれ１画素毎に読み出す動作の他に、垂直アドレス線の選択方法、水平方向の加算回路の動作の選択方法および水平アドレス線の選択方法を組み合わせて使用することもできる。
例えば、水平・垂直方向の画素間引きについては、垂直のみの１／２間引き、垂直のみの１／３間引き、水平のみの１／２間引き、水平のみの１／３間引き、水平・垂直それぞれ１／２間引き、水平・垂直それぞれ１／３間引きが実現可能である。さらに、水平１／２間引きと垂直１／３間引きの組み合わせ、水平１／３間引きと垂直１／２間引きの組み合わせが実現可能である。すなわち、間引き率は、水平・垂直方向のそれぞれについて、ｎを自然数として１／ｎに設定可能である。
また、水平・垂直方向の画素加算については、垂直のみの２画素加算、垂直のみの３画素加算、水平のみの２画素加算、水平のみの３画素加算が実現可能である。さらに、水平・垂直それぞれ２画素の４画素加算、水平・垂直それぞれ３画素の９画素加算、水平２画素と垂直３画素の６画素加算、水平３画素と垂直２画素の６画素加算が実現可能である。
さらに、読み出し画角として、全画角となる第１の読み出し画角６０１、第２の読み出し画角６０２および第３の読み出し画角６０３の３種類選択できるので、それぞれの画角において、上記画素加算や画素間引きも実現可能である。
また、図３〜図５で説明した回路を拡張することで、水平・垂直方向の画素加算数や画素間引き数を３画素以上にすること、および、読み出し画角を３種類以上にすることも可能である。
次に、本実施形態の撮像装置の撮影モードについて説明する。
まず、＜静止画撮影の制御＞の（４）に相当する全画角となる第１の読み出し画角６０１を画素毎に読み出す、静止画撮影モードについて説明する。
静止画撮影モードにおいては、全画角となる第１の読み出し画角６０１を水平・垂直方向それぞれ１画素毎に読み出すことになる。このため、
（１）垂直シフトレジスタおよび水平シフトレジスタは、全画角となる第１の読み出し画角６０１
（２）垂直シフトレジスタは、「１行毎に選択」で「１行読み動作」
（３）加算回路１２は、「水平加算なし動作」
（４）水平シフトレジスタは、「１列毎に選択」
がそれぞれ選択される。
露光後、撮像素子２において、垂直シフトレジスタ制御線３４が「１行毎に選択」を指示し、垂直レジスタ選択線３５を選択するとともに、「１行読み動作」が指示される。これにより、全画角となる第１の読み出し画角６０１が選択され、垂直制御線２０１〜２１２が順番に選択される。
この動作により、まず最初に、垂直制御線２０１が選択されることで、撮像素子２の第１行目の画素信号読みを行い、対応する垂直信号線１０１〜１１２に画素信号が出力される。
静止画撮影モードにおいては、水平加算を行わないので、加算回路１２は、画素信号をそのまま水平読み出し回路１３に送出し、対応する蓄積容量Ｃ４０１〜Ｃ４１２に蓄積する。
次に、水平シフトレジスタ制御線７４が、「１列毎に選択」を指示し、水平レジスタ選択線７５を選択することで、全画角となる第１の読み出し画角６０１が選択され、水平アドレス線４０１〜４１２が順番に選択される。
この動作により、蓄積容量Ｃ４０１〜Ｃ４１２の信号が、順番に水平信号線５０１を介して出力回路１４へ送られ、出力端子１５から出力される。
これにより、垂直制御線２０１によって選択された撮像素子２の第１行目の画素信号が出力される。
同様にして、垂直制御線２０２〜２１２によって選択された撮像素子２の画素信号を順番に出力することができるので、全画角となる第１の読み出し画角６０１に含まれる全画素を画素毎に読み出すことができる。
次に、＜電子ズームの制御＞の（２）の電子ズーム動作時の撮像素子２の駆動を、異なる３つの画角を読み出す場合について説明する。
ここで、全画角となる第１の読み出し画角６０１を水平・垂直それぞれ１／３間引きで読み出すモードを間引き等倍ズームモード（第１のズーム倍率から第２のズーム倍率）と定義する。また、第２の読み出し画角６０２を水平・垂直それぞれ１／２間引きで読み出すモードを間引き２倍ズームモード（第３のズーム倍率から第４のズーム倍率）と定義する。さらに、第３の読み出し画角６０３を水平・垂直それぞれ１画素毎に読み出すモードを３倍ズームモードと定義する。
さらに、本実施形態では、後述するように、第１の読み出し画角６０１に第３の読み出し画角および当該第３の読み出し画角より小さい第４の読み出し画角が設定される。また、、第２の読み出し画角６０２に第５の読み出し画角および当該第５の読み出し画角より小さい第６の読み出し画角が設定される。
間引き等倍ズームモードにおいては、全画角となる第１の読み出し画角６０１を水平・垂直それぞれ１／３間引きで読み出すことになるので、
（１）垂直シフトレジスタおよび水平シフトレジスタは、全画角となる第１の読み出し画角６０１
（２）垂直シフトレジスタは、「３行毎に選択」で「１行読み動作」
（３）加算回路１２は、「水平加算なし動作」
（４）水平シフトレジスタは、「３列毎に選択」
がそれぞれ選択される。
撮像素子２において、垂直シフトレジスタ制御線３４が、「３行毎に選択」を指示し、垂直レジスタ選択線３５を選択するとともに、「１行読み動作」が指示される。これにより、全画角となる第１の読み出し画角６０１が選択され、垂直制御線２０１、２０４、２０７、２１０が順番に選択される。
この動作により、まず最初に、垂直制御線２０１が選択されることで、撮像素子２の第１行目の画素信号読みを行い、対応する垂直信号線１０１〜１１２に画素信号が出力される。
本実施形態の等倍ズームモードにおいては、水平加算を行わないので、加算回路１２は、画素信号をそのまま水平読み出し回路１３に送出し、対応する蓄積容量Ｃ４０１〜Ｃ４１２に蓄積する。
次に、水平シフトレジスタ制御線７４が、「３列毎に選択」を指示し、水平レジスタ選択線７５を選択することで、全画角となる第１の読み出し画角６０１が選択され、水平アドレス線４０１、４０４、４０７、４１０が順番に選択される。
この動作により、蓄積容量Ｃ４０１、Ｃ４０４、Ｃ４０７、Ｃ４１０の信号が、順番に水平信号線５０１を介して出力回路１４へ送られ、出力端子１５から出力される。
これにより、垂直制御線２０１によって選択された撮像素子２の第１行目の画素信号が出力される。
同様にして、垂直制御線２０４、２０７、２１０によって選択された撮像素子２の画素信号を順番に出力することができるので、全画角となる第１の読み出し画角６０１に含まれる画素を水平・垂直それぞれ１／３間引きで読み出すことができる。
次に、間引き２倍ズームモードにおいては、第２の読み出し画角６０２を水平・垂直それぞれ１／２間引きで読み出すことになるので、
（１）垂直シフトレジスタおよび水平シフトレジスタは、第２の読み出し画角６０２
（２）垂直シフトレジスタは、「２行毎に選択」で「１行読み動作」
（３）加算回路１２は、「水平加算なし動作」
（４）水平シフトレジスタは、「２列毎に選択」
がそれぞれ選択される。
撮像素子２において、垂直シフトレジスタ制御線３４が、「２行毎に選択」を指示し、垂直レジスタ選択線３６を選択するとともに「１行読み動作」が指示される。これにより、第２の読み出し画角６０２が選択され、垂直制御線２０３、２０５、２０７、２０９が順番に選択される。
この動作により、まず最初に、垂直制御線２０３が選択されることで、撮像素子２の第３行目の画素信号読みを行い、対応する垂直信号線１０１〜１１２に画素信号が出力される。
本実施形態の間引き２倍ズームモードにおいては、水平加算を行わないので、加算回路１２は、画素信号をそのまま水平読み出し回路１３に送出し、対応する蓄積容量Ｃ４０１〜Ｃ４１２に蓄積する。
次に、水平シフトレジスタ制御線７４が、「２列毎に選択」を指示し、水平レジスタ選択線７６を選択することで、第２の読み出し画角６０２が選択され、水平アドレス線４０３、４０５、４０７、４０９が順番に選択される。
この動作により、蓄積容量Ｃ４０３、Ｃ４０５、Ｃ４０７、Ｃ４０９の信号が、順番に水平信号線５０１を介して出力回路１４へ送られ、出力端子１５から出力される。
これにより、垂直制御線２０３によって選択された撮像素子２の第３行目の画素信号が出力される。
同様にして、垂直制御線２０５、２０７、２０９によって選択された撮像素子２の画素信号を順番に出力することができるので、第２の読み出し画角６０２に含まれる画素を水平・垂直それぞれ１／２間引きで読み出すことができる。
３倍ズームモードにおいては、第３の読み出し画角６０３を水平・垂直それぞれ１画素毎に読み出すことになるので、
（１）垂直シフトレジスタおよび水平シフトレジスタは、第３の読み出し画角６０３
（２）垂直シフトレジスタは、「１行毎に選択」で「１行読み動作」
（３）加算回路１２は、「水平加算なし動作」
（４）水平シフトレジスタは、「１列毎に選択」
がそれぞれ選択される。
撮像素子２において、垂直シフトレジスタ制御線３４が、「１行毎に選択」を指示し、垂直レジスタ選択線３７を選択するとともに「１行読み動作」が指示される。これにより、第３の読み出し画角６０３が選択され、垂直制御線２０５、２０６、２０７、２０８が順番に選択される。
この動作により、まず最初に、垂直制御線２０５が選択されることで、撮像素子２の第５行目の画素信号読みを行い、対応する垂直信号線１０１〜１１２に画素信号が出力される。
本実施形態の３倍ズームモードにおいては、水平加算を行わないので、加算回路１２は、画素信号をそのまま水平読み出し回路１３に送出し、対応する蓄積容量Ｃ４０１〜Ｃ４１２に蓄積する。
次に、水平シフトレジスタ制御線７４が、「１列毎に選択」を指示し、水平レジスタ選択線７７を選択することで、第３の読み出し画角６０３が選択され、水平アドレス線４０５、４０６、４０７、４０８が順番に選択される。
この動作により、蓄積容量Ｃ４０５、Ｃ４０６、Ｃ４０７、Ｃ４０８の信号が、順番に水平信号線５０１を介して出力回路１４へ送られ、出力端子１５から出力される。
これにより、垂直制御線２０５によって選択された撮像素子２の第５行目の画素信号が出力される。
同様にして、垂直制御線２０６、２０７、２０８によって選択された撮像素子２の画素信号を順番に出力することができるので、第３の読み出し画角６０３に含まれる画素を水平・垂直それぞれ１画素毎に読み出すことができる。
以上、本実施形態の撮像装置の構成と動作について説明したが、理解の容易にするため撮像素子２の画素数を水平方向１２画素、垂直方向１２画素としている。
実際には、撮像装置は１００万画素以上の高画素数の撮像素子を備えるため、以後の説明では、本実施形態の撮像素子２の全画素数を、水平３０００画素、垂直２２５０画素とし、動画記録用の画素数をＶＧＡ相当の水平６４０画素、垂直４８０画素とする。
図６は、撮像素子２の全画素数を間引き率１／３で間引いて読み出した画像を示し、図３の全画角となる第１の読み出し画角６０１を水平・垂直それぞれ１／３間引きで読み出すモードに相当する。
７３１は全画素数である水平３０００画素、垂直２２５０画素を間引き率１／３で間引いて読み出した１．００倍画角（全画角）を示し、読み出した水平画素数が１０００画素、垂直画素数が７５０画素となる。そして、水平１０００画素、垂直７５０画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、１．００倍（等倍）の電子ズーム画像となる。
７３２は間引き率１／３で間引いて読み出した１．００倍画角７３１のうちの水平画素数が８００画素、垂直画素数が６００画素となる１．２５倍画角を示す。そして、水平８００画素、垂直６００画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、１．２５倍の電子ズーム画像となる。この場合、１．２５倍画角７３２に対応する撮像素子２の画素数は、水平２４００画素、垂直１８００画素となっている。
７３３は間引き率１／３で間引いて読み出した１．００倍画角７３１のうちの水平画素数が７２０画素、垂直画素数が５４０画素となる１．３９倍画角を示す。そして、水平７２０画素、垂直５４０画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、１．３９倍の電子ズーム画像となる。この場合、１．３９倍画角７３３に対応する撮像素子２の画素数は、水平２１６０画素、垂直１６２０画素となっている。
７３４は間引き率１／３で間引いて読み出した１．００倍画角７３１のうちの水平画素数が６４０画素、垂直画素数が４８０画素となる１．５６倍画角を示す。そして、水平６４０画素、垂直４８０画素の画像そのままであるので、１．５６倍の電子ズーム画像となる。ここで、１．５６倍画角７３４に対応する撮像素子２の画素数は、水平１９２０画素、垂直１４４０画素となっている。
図７は、図６の１．５６倍画角７３４に対応する画素から間引き率１／２で間引いて読み出した画像を示し、図３の第２の読み出し画角６０２を水平・垂直それぞれ１／２間引きで読み出すモードに相当する。
この場合、撮像素子２から１．５６倍画角７３４に対応する領域のみを読み出してもよいし、数画素から数十画素広く読み出してもよい。広く読み出した画素は、動画記録用の画素数である水平６４０画素、垂直４８０画素を作成する時の画像処理に用いることができる。
７４１は図６の１．５６倍画角７３４に対応する画素である水平１９２０画素、垂直１４４０画素を間引き率１／２で間引いて読み出した１．５６倍画角を示し、読み出した水平画素数が９６０画素、垂直画素数が７２０画素となる。そして、水平９６０画素、垂直７２０画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、１．５６倍の電子ズーム画像となる。
７４２は間引き率１／２で間引いて読み出した１．５６倍画角７４１のうちの水平画素数が８００画素、垂直画素数が６００画素となる１．８８倍画角を示す。そして、水平８００画素、垂直６００画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、１．８８倍の電子ズーム画像となる。この場合、１．８８倍画角７４２に対応する撮像素子２の画素数は、水平１６００画素、垂直１２００画素となっている。
７４３は間引き率１／２で間引いて読み出した１．５６倍画角７４１のうちの水平画素数が７００画素、垂直画素数が５２５画素となる２．１４倍画角を示す。そして、水平７００画素、垂直５２５画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、２．１４倍の電子ズーム画像となる。この場合、２．１４倍画角７４３に対応する撮像素子２の画素数は、水平１４００画素、垂直１０５０画素となっている。
７４４は間引き率１／２で間引いて読み出した１．５６画角７４１のうちの水平画素数が６４０画素、垂直画素数が４８０画素となる２．３４倍画角を示す。そして、水平６４０画素、垂直４８０画素の画像そのままであるので、２．３４倍の電子ズーム画像となる。この場合、２．３４倍画角７４４に対応する撮像素子２の画素数は、水平１２８０画素、垂直９６０画素となっている。
図８は、図７の２．３４倍画角７４４に対応する画素から水平・垂直それぞれ１画素毎に読み出した画像を示し、図３の第３の読み出し画角６０３を水平・垂直それぞれ１画素毎に読み出すモードに相当する。このモードは、間引き率１／１で読み出すモードと言い換えることができる。
この場合、撮像素子２から２．３４倍画角７４４に対応する領域のみを読み出してもよいし、数画素から数十画素広く読み出してもよい。広く読み出した画素は、動画記録用の画素数である水平６４０画素、垂直４８０画素を作成する時の画像処理に用いることができる。
７５１は図７の２．３４倍画角７４４に対応する画素である水平１２８０画素、垂直９６０画素を間引き率１／１で読み出した２．３４倍画角を示す。そして、読み出した水平１２８０画素、垂直９６０画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、２．３４倍の電子ズーム画像となる。
７５２は間引き率１／１で読み出した２．３４倍画角７５１のうちの水平画素数が１０００画素、垂直画素数が７５０画素となる３．００倍画角を示す。そして、水平１０００画素、垂直７５０画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、３．００倍の電子ズーム画像となる。
７５３は間引き率１／１で読み出した２．３４倍画角７５１のうちの水平画素数が８００画素、垂直画素数が６００画素となる３．７５倍画角を示す。そして、水平８００画素、垂直６００画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、３．７５倍の電子ズーム画像となる。
７５４は間引き率１／１で読み出した２．３４倍画角７５１のうちの水平画素数が６４０画素、垂直画素数が４８０画素となる４．６９倍画角を示す。そして、水平６４０画素、垂直４８０画素の画像そのままであるので、４．６９倍の電子ズーム画像となる。
ここで、画角７３１〜７３４、画角７４１〜７４４および画角７５１〜７５４は、中心が一致、あるいは、略一致した画角となっている。
また、画角７３１〜７３４、画角７４１〜７４４および画角７５１〜７５４において、それぞれ動画記録用の水平６４０画素、垂直４８０画素の画像を作成するので、電子ズームの停止位置と表現してもよい。
さらに、撮像装置の画像処理においては、Ｒ補間回路９１、Ｇ補間回路９２およびＢ補間回路９３による画素補間や色信号補正回路９５によるモアレ等の偽色除去の際に、記録する領域の外側に数画素から十数画素のフィルタリング画素が必要となることがある。そのため、本実施形態で用いた画角の外側に数画素から十数画素のフィルタリング画素を設けるように、撮像素子２からの読み出し画角や電子ズームの読み出し画角を決めてもよい。
次に、図６〜図８を参照して電子ズームの動作について説明する。
＜電子ズームの制御＞の（１）において、操作部９のズームボタンやズームレバーからの指示により電子ズームの制御が開始される。
＜電子ズームの制御＞の（２）において、同期制御部１０は、操作部９によりズームボタンやズームレバーが、高倍率側と低倍率側のいずれを指示しているかを検出する。そして、現在の電子ズーム停止位置から次の電子ズーム停止位置を決定し、撮像素子２の駆動を切り換える。
まず最初に、電源がオンした時点での電子ズームの倍率を、図６の１．００倍（等倍）電子ズームの停止位置と仮定し、操作部９により高倍率側に電子ズームを行う場合について説明する。
なお、操作部９から低倍率側に動作する指示が入力された場合は、そのような電子ズーム倍率は設定できないので、同期制御部１０は指示を無視する。
１．００倍（等倍）電子ズームの場合、撮像素子２は、図６の全画角となる１．００倍画角７３１を間引き率１／３で間引いて読み出す。そして、読み出した水平１０００画素、垂直７５０画素を用いて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施している。
操作部９からの指示が高倍率側なので、撮像素子２の読み出しは、図６の全画角となる１．００倍画角７３１のままで、１．２５倍画角７３２の水平８００画素、垂直６００画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を１．２５倍の電子ズーム画像として、表示あるいは記録もしくは両方を実施する。
次に、操作部９からの指示が引き続き高倍率側の場合、撮像素子２の読み出しは、図６の全画角となる１．００倍画角７３１のままで、１．３９倍画角７３３の水平７２０画素、垂直５４０画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を１．３９倍の電子ズーム画像として、表示あるいは記録もしくは両方を実施する。
さらに、操作部９からの指示が高倍率側の場合、撮像素子２の読み出しを図７に切り換え、１．５６倍画角７４１を間引き率１／２で間引いて読み出す。そして、読み出した水平９６０画素、垂直７２０画素を用いて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を１．５６倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
操作部９からの指示が引き続き高倍率側の場合、撮像素子２の読み出しは、図７の１．５６倍画角７４１のままで、１．８８倍画角７４２の水平８００画素、垂直６００画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を１．８８倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
次に、操作部９からの指示がさらに高倍率側の場合、撮像素子２の読み出しは、図７の１．５６倍画角７４１のままで、２．１４倍画角７４３の水平７００画素、垂直５２５画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を２．１４倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
さらに、操作部９からの指示が高倍率側の場合、撮像素子２の読み出しを図８に切り換え、２．３４倍画角７５１を間引き率１／１で読み出す。そして、読み出した水平１２８０画素、垂直９６０画素を用いて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を２．３４倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
操作部９からの指示が引き続き高倍率側の場合、撮像素子２の読み出しは、図８の２．３４倍画角７５１のままで、３．００倍画角７５２の水平１０００画素、垂直７５０画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を３．００倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
次に、操作部９からの指示がさらに高倍率側の場合、撮像素子２の読み出しは、図８の２．３４倍画角７５１のままで、３．７５倍画角７５３の水平８００画素、垂直６００画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を３．７５倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
さらに、操作部９からの指示が高倍率側の場合、撮像素子２の読み出しは、図８の２．３４倍画角７５１のままで、４．６９倍画角７５４の水平６４０画素、垂直４８０画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を４．６９倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
なお、操作部９からの指示がさらに高倍率側の場合、そのような電子ズーム倍率は設定できないので、同期制御部１０は指示を無視する。
次に、電子ズームの停止位置が、図８の４．６９倍電子ズームの停止位置にあると仮定し、操作部９により低倍率側に電子ズームを行う場合について説明する。
各電子ズームの停止位置の動作については、高倍率側に電子ズームを行う場合と同じであるので説明は省略する。
４．６９倍電子ズームから２．３４倍電子ズームまでは、撮像素子２の読み出しを、図８の２．３４倍画角７５１を間引き率１／１で読み出すモードのまま、画角を４．６９倍画角７５４から２．３４倍画角７５１まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
次に、２．１４倍電子ズームから１．５６倍電子ズームまでは、撮像素子２の読み出しを図７に切り換える。そして、１．５６倍画角７４１を間引き率１／２で読み出すモードのまま、画角を２．１４倍画角７４３から１．５６倍画角７４１まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
さらに、１．３９倍電子ズームから１．００倍（等倍）電子ズームまでは、撮像素子２の読み出しを図６に切り換える。そして、１．００倍画角７３１を間引き率１／３で読み出すモードのまま、画角を１．３９倍画角７３３から１．００倍画角７３１まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
途中の電子ズーム停止位置から高倍率側や低倍率側に電子ズームを行う場合も、操作部９からの指示により、上記説明の途中の画角からスタートして、高倍率側や低倍率側に電子ズームの動作を行えばよいので、説明は省略する。
また、図８の４．６９倍画角７５４より小さな画角を設定し、解像度の劣化を伴うが、さらに高倍率な電子ズームを実施、あるいは、組み合わせても構わない。
以上説明したように、本実施形態によれば、常に動画記録用の画素数以上である水平６４０画素、垂直４８０画素以上の画素数を用いてズーム画像を作成しているので、解像度の劣化の少ない電子ズームが実現可能である。
また、電子ズームの停止位置が１０箇所であるのに対して、撮像素子２からの読み出し画角が３種類で済むので、撮像素子２の制御の複雑さを低減することが可能である。
さらに、本実施形態においては、図８に示す撮像素子２の読み出し画角である２．３４倍画角７５１の画素数が、動画記録用の画素数である水平６４０画素、垂直４８０画素に対して、水平２倍、垂直２倍の画素数となっている。この２倍という値は、図８の２．３４倍画角７５１の間引き率である１／１と、図７に示す撮像素子２の読み出し画角である１．５６倍画角７４１の間引き率である１／２の比を取って、（１／１）／（１／２）＝２によって計算された値である。
また、図７に示す撮像素子２の読み出し画角である１．５６倍画角７４１の画素数は、動画記録用の画素数である水平６４０画素、垂直４８０画素に対して、水平１．５倍、垂直１．５倍の画素数となっている。この１．５倍という値は、図７の１．５６倍画角７４１の間引き率である１／２と、図６に示す撮像素子２の読み出し画角である１．００倍画角７３１の間引き率である１／３の比を取って、（１／２）／（１／３）＝３／２＝１．５によって計算された値である。
すなわち、ｐを自然数として、読み出し画角が切り換わる前の第１の間引き率が１／（ｐ＋１）、切り換わった後の第２の間引き率が１／ｐとする。この場合、切り換わる前の読み出し画角と間引き率で読み出される画素数が、水平方向および垂直方向についてそれぞれ（ｐ＋１）／ｐ倍以上の画素数となる。
そこで、図６に示す撮像素子２の読み出し画角である１．００倍画角７３１の画素数との比較において、
１．００倍画角７３１の画素数：１．５６倍画角７４１の画素数：２．３４倍画角７５１の画素数
＝（１０００ｘ７５０）：（９６０ｘ７２０）：（１２８０ｘ９６０）
＝７５００００：６９１２００：１２２８８００
となり、最大の読み出し画素数と最小の読み出し画素数の比が、１/２以内に収まっている。
このため、電子ズームを実行した場合、撮影した画像の読み出し時間が領域内で大きく異なってしまうことを回避することも可能である。
さらに、常に全画素を読み出す必要がないので、フレームレートの低下を抑えることができるという効果もある。
また、動画記録用の水平６４０画素、垂直４８０画素以上の画素数を持つ画像から画素数を縮小せずに作成した画像と、動画記録用の画素数（６４０×４８０）を持つ画像から画素数を縮小する方向で作成した画像とでは画質が異なることがわかっている。すなわち、画像処理後の解像感や色ノイズやモアレ等の偽色の画質が異なることがわかっている。
ここで本実施形態では、図６の１．５６倍画角７３４や図７の２．３４倍画角７４４といった動画記録用の画素数である水平６４０画素、垂直４８０画素から画像を作成するモードを利用していないため、常に同じ画質を保つことができるという効果がある。
ただし、図８の４．６９倍画角７５４だけは動画記録用の画素数である水平６４０画素、垂直４８０画素から画像を作成することになるが、既に間引き率が１／１であるため、同じ画像処理方法では他の画角と同じような画質を保つ効果は期待できない。
ここで、本実施形態においては、図６の１．５６倍画角７３４や図７の２．３４倍画角７４４といった動画記録用の画素数である水平６４０画素、垂直４８０画素から画像を作成するモードを利用していないため、これらのモードを備えていなくてもよい。
［第２の実施形態］
次に、図１〜図８を参照して、第２の実施形態について説明する。図１〜図５については、第１の実施形態と同様であるので説明を省略する。
第１の実施形態では、電子ズームの倍率を変更する動作に伴って、撮像素子２の読み出し画角の切り換えが、１．３９倍電子ズームと１．５６倍電子ズームの間、および、２．１４倍電子ズームと２．３４倍電子ズームの間で発生する。
すなわち、図６の１．３９倍画角７３３と図７の１．５６倍画角７４１の間、および、図７の２．１４倍画角７４３と図８の２．３４倍画角７５１の間で撮像素子２の駆動の切り換えが実施されることになる。
例えば、操作部９からの指示が、１．３９倍電子ズームと１．５６倍電子ズームの間で停止した場合、同期制御部１０が図６の１．３９倍画角７３３か図７の１．５６倍画角７４１のいずれかを選択することになる。しかし、制御が中途半端な場合は、図６の１．３９倍画角７３３と図７の１．５６倍画角７４１の間の行き来を頻繁に繰り返すという不具合が発生してしまう可能性がある。
この場合は、同期制御部１０が、撮像素子２の駆動制御と信号処理部５の動作制御の両方を同時に切り換える制御を繰り返し実施する。このため、同期制御部１０の負荷が大きくなり、光学系１、画像を記憶するメモリ部６、画像表示部７、画像記録部８、操作部９等の制御に支障をきたすおそれがある。
そこで、第２の実施形態においては、撮像素子２の読み出し画角の切り換えが頻繁に繰り返すことがないような電子ズームの動作を、図６〜図８を参照して説明する。
第１の実施形態と同様に、＜電子ズームの制御＞の（１）において、操作部９のズームボタンやズームレバーからの指示により電子ズームの制御が開始される。
＜電子ズームの制御＞の（２）において、同期制御部１０は、操作部９によりズームボタンやズームレバーが、高倍率側と低倍率側のいずれを指示しているかを検出する。そして、現在の電子ズーム停止位置から次の電子ズーム停止位置を決定し、撮像素子２の駆動を切り換える。
まず最初に、電源がオンした時点での電子ズームの倍率を、図６の１．００倍（等倍）電子ズームの停止位置と仮定し、操作部９により高倍率側に電子ズームを行う場合について説明する。
各電子ズームの停止位置の動作については、第１の実施形態と同様の説明は省略する。
なお、操作部９から低倍率側に動作するように指示が入力された場合は、そのような電子ズーム倍率は設定できないので、同期制御部１０は指示を無視する。
１．００倍（等倍）電子ズームの場合、撮像素子２は、図６の全画角となる１．００倍画角７３１を間引き率１／３で間引いて読み出す。そして、読み出した水平１０００画素、垂直７５０画素を用いて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施している。
１．００倍（等倍）電子ズームから１．３９倍電子ズームまでは、撮像素子２の読み出しを、図６の１．００倍画角７３１を間引き率１／３で読み出すモードのまま、画角を１．００倍画角７３１から１．３９倍画角７３３まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
次に、１．５６倍電子ズームの時は、撮像素子２の読み出しは、図６の全画角となる１．００倍画角７３１のままで、１．５６倍画角７３４の水平６４０画素、垂直４８０画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を１．５６倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
１．８８倍電子ズームから２．１４倍電子ズームまでは、撮像素子２の読み出しを図７に切り換える。そして、１．５６倍画角７４１を間引き率１／２で読み出すモードのまま、画角を１．８８倍画角７４２から２．１４倍画角７４３まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
次に、２．３４倍電子ズームの時は、撮像素子２の読み出しは、図７の１．５６倍画角７４１のままで、２．３４倍画角７４４の水平６４０画素、垂直４８０画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を２．３４倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
さらに、３．００倍電子ズームから４．６９倍電子ズームまでは、撮像素子２の読み出しを図８に切り換える。そして、２．３４倍画角７５１を間引き率１／１で読み出すモードのまま、画角を３．００倍画角７５２から４．６９倍画角７５４まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
なお、操作部９からの指示がさらに高倍率側の場合、そのような電子ズーム倍率は設定できないので、同期制御部１０は指示を無視する。
次に、電子ズームの停止位置が、図８の４．６９倍電子ズームの停止位置にあると仮定し、操作部９により低倍率側に電子ズームを行う場合について説明する。
各電子ズームの停止位置の動作については、第１の実施形態と同様の説明は省略する。
４．６９倍電子ズームから２．３４倍電子ズームまでは、撮像素子２の読み出しを、図８の２．３４倍画角７５１を間引き率１／１で読み出すモードのまま、画角を４．６９倍画角７５４から２．３４倍画角７５１まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
次に、２．１４倍電子ズームから１．５６倍電子ズームまでは、撮像素子２の読み出しを図７に切り換える。そして、１．５６倍画角７４１を間引き率１／２で読み出すモードのまま、画角を２．１４倍画角７４３から１．５６倍画角７４１まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
さらに、１．３９倍電子ズームから１．００倍（等倍）電子ズームまでは、撮像素子２の読み出しを図６に切り換える。そして、１．００倍画角７３１を間引き率１／３で読み出すモードのまま、画角を１．３９倍画角７３３から１．００倍画角７３１まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
途中の電子ズーム停止位置から高倍率側や低倍率側に電子ズームを行う場合、操作部９からの指示により、上記説明の途中の画角からスタートして、高倍率側や低倍率側に電子ズームの動作を行えばよいので説明は省略する。
さらに、図８の４．６９倍画角７５４より小さな画角を設定し、解像度の劣化を伴うが、さらに高倍率な電子ズームを実施、あるいは、組み合わせても構わない。
以上説明したように、本実施形態によれば、常に動画記録用の画素数以上である水平６４０画素、垂直４８０画素以上の画素数を用いてズーム画像を作成しているので、解像度の劣化の少ない電子ズームが実現可能である。
また、電子ズームの停止位置が１２箇所であるのに対して、撮像素子２からの読み出し画角が３種類で済むので、撮像素子の制御の複雑さを低減することが可能である。
さらに、本実施形態においては、図８に示す撮像素子２の読み出し画角である２．３４倍画角７５１の画素数が、動画記録用の画素数である水平６４０画素、垂直４８０画素に対して、水平２倍、垂直２倍の画素数となっている。
また、図７に示す撮像素子２の読み出し画角である１．５６倍画角７４１の画素数は、動画記録用の画素数である水平６４０画素、垂直４８０画素に対して、水平１．５倍、垂直１．５倍の画素数となっている。
そこで、図６に示す撮像素子２の読み出し画角である１．００倍画角７３１の画素数との比較において、
１．００倍画角７３１の画素数：１．５６倍画角７４１の画素数：２．３４倍画角７５１の画素数
＝（１０００ｘ７５０）画素：（９６０ｘ７２０）画素：（１２８０ｘ９６０）画素
＝７５００００画素：６９１２００画素：１２２８８００画素
となり、最大の読み出し画素数と最小の読み出し画素数の比が、１/２以内に収まっている。
このため、電子ズームを実行させた場合、撮影した画像の読み出し時間が領域内で大きく異なってしまうことを回避することも可能である。
さらに、常に全画素を読み出す必要がないので、フレームレートの低下を抑えることができるという効果もある。
また、本実施形態では、撮像素子２の読み出し画角の切り換えが、高倍率側に電子ズームを行う場合は、１．５６倍電子ズームと１．８８倍電子ズームの間、および、２．３４倍電子ズームと３．００倍電子ズームの間で発生する。また、低倍率側に電子ズームを行う場合は、２．３４倍電子ズーム倍電子ズームと２．１４倍電子ズームの間、および、１．５６倍電子ズームと１．３９倍電子ズームの間で発生する。
すなわち、高倍率側に電子ズームを行う場合と低倍率側に電子ズームを行う場合とで、撮像素子２の読み出し画角の切り換えポイントが異なる。このため、いずれのズーム停止位置にあっても、撮像素子２の読み出し画角の切り換えを伴う画角の変更を頻繁に繰り返すことがなくなり、制御のルールが明確になり、同期制御部１０への負担が軽減されるという効果もある。
［第３の実施形態］
次に、図１〜図５および図９〜図１１を参照して、第３の実施形態について説明する。図１〜図５については、第１の実施形態と同様であるので説明を省略する。
第３の実施形態では、解像度や画質の劣化を抑えるとともに、撮像素子２の読み出し画角の切り換えが頻繁に繰り返すことがないような電子ズームの動作を行う。
本実施形態においても撮像素子２の全画素数を、水平３０００画素、垂直２２５０画素とし、動画記録用の画素数をＶＧＡ相当の水平６４０画素、垂直４８０画素とする。
図９は、撮像素子２の全画素数を間引き率１／３で間引いて読み出した画像を示した図で、図３の第１の読み出し画角６０１を水平・垂直それぞれ１／３間引きで読み出すモードに相当する。
７０１は全画素数である水平３０００画素、垂直２２５０画素を間引き率１／３で間引いて読み出した１．００倍画角（全画角）を示し、読み出した水平画素数が１０００画素、垂直画素数が７５０画素となる。そして、水平１０００画素、垂直７５０画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、１．００倍（等倍）電子ズームの画像となる。
７０２は間引き率１／３で間引いて読み出した１．００倍画角７０１のうちの水平画素数が８００画素、垂直画素数が６００画素となる１．２５倍画角を示す。そして、水平８００画素、垂直６００画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、１．２５倍の電子ズーム画像となる。この場合、１．２５倍画角７０２に対応する撮像素子２の画素数は、水平２４００画素、垂直１８００画素となっている。
７０３は間引き率１／３で間引いて読み出した１．００倍画角７０１のうちの水平画素数が７２０画素、垂直画素数が５４０画素となる１．３９倍画角を示す。そして、水平７２０画素、垂直５４０画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、１．３９倍の電子ズーム画像となる。この場合、１．３９倍画角７０３に対応する撮像素子２の画素数は、水平２１６０画素、垂直１６２０画素となっている。
７０４は間引き率１／３で間引いて読み出した１．００倍画角７０１のうちの水平画素数が６４０画素、垂直画素数が４８０画素となる１．５６倍画角を示す。そして、水平６４０画素、垂直４８０画素の画像そのままであるので、１．５６倍の電子ズーム画像となる。この場合、１．５６倍画角７０４に対応する撮像素子２の画素数は、水平１９２０画素、垂直１４４０画素となっている。
図１０は、図９の１．３９倍画角７０３に対応する画素から間引き率１／２で間引いて読み出した画像を示し、図３の第２の読み出し画角６０２を水平・垂直それぞれ１／２間引きで読み出すモードに相当する。
この場合、撮像素子２から１．３９倍画角７０３に対応する領域のみを読み出してもよいし、数画素から数十画素広く読み出してもよい。広く読み出した画素は、動画記録用の画素数である水平６４０画素、垂直４８０画素を作成する時の画像処理に用いることができる。
７１１は図９の１．３９倍画角７０３に対応する画素である水平２１６０画素、垂直１６２０画素を間引き率１／２で間引いて読み出した１．３９倍画角を示し、読み出した水平画素数が１０８０画素、垂直画素数が８１０画素となる。そして、水平１０８０画素、垂直８１０画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、１．３９倍の電子ズーム画像となる。
７１２は間引き率１／２で間引いて読み出した１．３９倍画角７１１のうちの水平画素数が９６０画素、垂直画素数が７２０画素となる１．５６倍画角を示す。そして、水平９６０画素、垂直７２０画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、１．５６倍の電子ズーム画像となる。この場合、１．５６倍画角７１２に対応する撮像素子２の画素数は、水平１９２０画素、垂直１４４０画素となっている。
７１３は間引き率１／２で間引いて読み出した１．３９倍画角７１１のうちの水平画素数が８００画素、垂直画素数が６００画素となる１．８８倍画角を示す。そして、水平８００画素、垂直６００画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、１．８８倍の電子ズーム画像となる。この場合、１．８８倍画角７１３に対応する撮像素子２の画素数は、水平１６００画素、垂直１２００画素となっている。
７１４は間引き率１／２で間引いて読み出した１．３９倍画角７１１のうちの水平画素数が７００画素、垂直画素数が５２５画素となる２．１４倍画角を示す。そして、水平７００画素、垂直５２５画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、２．１４倍の電子ズーム画像となる。この場合、２．１４倍画角７１４に対応する撮像素子２の画素数は、水平１４００画素、垂直１０５０画素となっている。
７１５は間引き率１／２で間引いて読み出した１．３９倍画角７１１のうちの水平画素数が６４０画素、垂直画素数が４８０画素となる２．３４倍画角を示す。そして、水平６４０画素、垂直４８０画素の画像そのままであるので、２．３４倍の電子ズーム画像となる。この場合、２．３４倍画角７１５に対応する撮像素子２の画素数は、水平１２８０画素、垂直９６０画素となっている。
図１１は、図１０の２．１４倍画角７１４に対応する画素から水平・垂直それぞれ１画素毎に読み出した画像を示し、図３の第３の読み出し画角６０３を水平・垂直それぞれ１画素毎に読み出すモードに相当する。このモードは、間引き率１／１で読み出すモードと言い換えることができる。
この場合、撮像素子２から２．１４倍画角７１４に対応する領域のみを読み出してもよいし、数画素から数十画素広く読み出してもよい。広く読み出した画素は、動画記録用の画素数である水平６４０画素、垂直４８０画素を作成する時の画像処理に用いることができる。
７２１は図１０の２．１４倍画角７１４に対応する画素である水平１４００画素、垂直１０５０画素を間引き率１／１で読み出した２．１４倍画角を示す。そして、読み出した水平１４００画素、垂直１０５０画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、２．１４倍の電子ズーム画像となる。
７２２は間引き率１／１で読み出した２．１４倍画角７２１のうちの水平画素数が１２８０画素、垂直画素数が９６０画素となる２．３４倍画角を示す。そして、水平１２８０画素、垂直９６０画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、２．３４倍の電子ズーム画像となる。
７２３は間引き率１／１で読み出した２．１４倍画角７２１のうちの水平画素数が１０００画素、垂直画素数が７５０画素となる３．００倍画角を示す。そして、水平１０００画素、垂直７５０画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、３．００倍の電子ズーム画像となる。
７２４は間引き率１／１で読み出した２．１４倍画角７２１のうちの水平画素数が８００画素、垂直画素数が６００画素となる３．７５倍画角を示す。そして、水平８００画素、垂直６００画素を用いて水平６４０画素、垂直４８０画素の画像を作成すると、３．７５倍の電子ズーム画像となる。
７２５は間引き率１／１で読み出した２．１４倍画角７２１のうちの水平画素数が６４０画素、垂直画素数が４８０画素となる４．６９倍画角を示す。そして、水平６４０画素、垂直４８０画素の画像そのままであるので、４．６９倍の電子ズーム画像となる。
ここで、画角７０１〜７０４、画角７１１〜７１５および画角７２１〜７２５は、中心が一致、あるいは、略一致した画角となっている。
また、画角７０１〜７０４、画角７１１〜７１５および画角７２１〜７２５において、それぞれ動画記録用の水平６４０画素、垂直４８０画素の画像を作成するので、電子ズームの停止位置と表現してもよい。
さらに、撮像装置の画像処理においては、Ｒ補間回路９１、Ｇ補間回路９２およびＢ補間回路９３による画素補間や色信号補正回路９５によるモアレ等の偽色除去の際に、記録する領域の外側に数画素から十数画素のフィルタリング画素が必要となることがある。そのため、本実施形態で用いた画角の外側に数画素から十数画素のフィルタリング画素を設けるように、撮像素子２からの読み出し画角や電子ズームの読み出し画角を決めてもよい。
次に、図９〜図１１を参照して、電子ズームの動作について説明する。
電子ズームの制御＞の（１）において、操作部９のズームボタンやズームレバーからの指示により電子ズームの制御が開始される。
＜電子ズームの制御＞の（２）において、同期制御部１０は、操作部９によりズームボタンやズームレバーが高倍率側と低倍率側のいずれを指示しているかを検出する。そして、現在の電子ズーム停止位置から次の電子ズーム停止位置を決定し、撮像素子２の駆動を切り換える。
まず最初に、電源がオンした時点での電子ズームの倍率を、図９の１．００倍（等倍）電子ズームの停止位置と仮定し、操作部９により高倍率側に電子ズームを行う場合について説明する。
なお、操作部９から低倍率側に動作するように指示が入力された場合は、そのような電子ズーム倍率は設定できないので、同期制御部１０は指示を無視する。
１．００倍（等倍）電子ズームの場合、撮像素子２は、図９の全画角となる１．００倍画角７０１を間引き率１／３で間引いて読み出す。そして、読み出した水平１０００画素、垂直７５０画素を用いて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施している。
操作部９からの指示が高倍率側なので、撮像素子２の読み出しは、図９の全画角となる１．００倍画角７０１のままで、１．２５倍画角７０２の水平８００画素、垂直６００画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を１．２５倍の電子ズーム画像として、表示あるいは記録もしくは両方を実施する。
次に、操作部９からの指示が引き続き高倍率側の場合、撮像素子２の読み出しは、図９の全画角となる１．００倍画角７０１のままで、１．３９倍画角７０３の水平７２０画素、垂直５４０画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を１．３９倍の電子ズーム画像として、表示あるいは記録もしくは両方を実施する。
さらに、操作部９からの指示が高倍率側の場合、撮像素子２の読み出しを図１０に切り換え、１．３９倍画角７１１を間引き率１／２で間引いて読み出す。そして、読み出した水平１０８０画素、垂直８１０画素のうちの１．５６倍画角７１２に対応する水平９６０画素、垂直７２０画素を用いて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を１．５６倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
操作部９からの指示が引き続き高倍率側の場合、撮像素子２の読み出しは、図１０の１．３９倍画角７１１のままで、１．８８倍画角７１３の水平８００画素、垂直６００画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を１．８８倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
次に、操作部９からの指示がさらに高倍率側の場合、撮像素子２の読み出しは、図１０の１．３９倍画角７１１のままで、２．１４倍画角７１４の水平７００画素、垂直５２５画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を２．１４倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
さらに、操作部９からの指示が高倍率側の場合、撮像素子２の読み出しを図１１に切り換え、２．１４倍画角７２１を間引き率１／１で読み出す。そして、読み出した水平１４００画素、垂直１０５０画素のうちの２．３４倍画角７２２に対応する水平１２８０画素、垂直９６０画素を用いて、信号処理部５において水平６４０画素、垂直４８０画素の画像の作成、表示および記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を２．３４倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
操作部９からの指示が引き続き高倍率側の場合、撮像素子２の読み出しは、図１１の２．１４倍画角７２１のままで、３．００倍画角７２３の水平１０００画素、垂直７５０画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を３．００倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
次に、操作部９からの指示がさらに高倍率側の場合、撮像素子２の読み出しは、図１１の２．１４倍画角７２１のままで、３．７５倍画角７２４の水平８００画素、垂直６００画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を３．７５倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
さらに、操作部９からの指示が高倍率側の場合、撮像素子２の読み出しは、図１１の２．１４倍画角７２１のままで、４．６９倍画角７２５の水平６４０画素、垂直４８０画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を４．６９倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
なお、操作部９からの指示がさらに高倍率側の場合、そのような電子ズーム倍率は設定できないので、同期制御部１０は指示を無視する。
次に、電子ズームの停止位置が、図１１の４．６９倍電子ズームの停止位置にあると仮定し、操作部９により低倍率側に電子ズームを行う場合について説明する。
各電子ズームの停止位置の動作については、高倍率側に電子ズームを行う場合と同様であるので説明を省略する。
４．６９倍電子ズームから２．３４倍電子ズームまでは、撮像素子２の読み出しを、図１１の２．１４倍画角７２１を間引き率１／１で読み出すモードのまま、画角を４．６９倍画角７２５から２．３４倍画角７２２まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
次に、２．１４倍電子ズームの時は、撮像素子２の読み出しは、図１１の２．１４倍画角７２１を間引き率１／１で読み出した水平１４００画素、垂直１０５０画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を２．１４倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
引き続き、１．８８倍電子ズームから１．５６倍電子ズームまでは、撮像素子２の読み出しを図１０に切り換える。そして、１．３９倍画角７１１を間引き率１／２で読み出すモードのまま、画角を１．８８倍画角７１３から１．５６倍画角７１２まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
次に、１．３９倍電子ズームの場合、撮像素子２の読み出しは、図１０の１．３９倍画角７１１を間引き率１／２で読み出した水平１０８０画素、垂直８１０画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を１．３９倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
さらに、１．２５倍電子ズームから１．００倍（等倍）電子ズームまでは、撮像素子２の読み出しを図９に切り換える。そして、１．００倍画角７０１を間引き率１／３で読み出すモードのまま、画角を１．２５倍画角７０２から１．００倍画角７０１まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
途中の電子ズーム停止位置から高倍率側や低倍率側に電子ズームを行う場合も、操作部９からの指示により、上記説明の途中の画角からスタートして、高倍率側や低倍率側に電子ズームの動作を行えばよいので説明を省略する。
また、図１１の４．６９倍画角７２５より小さな画角を設定し、解像度の劣化を伴うが、さらに高倍率な電子ズームを実施、あるいは、組み合わせても構わない。
以上説明したように、本実施形態によれば、常に動画記録用の画素数以上である水平６４０画素、垂直４８０画素以上の画素数を用いてズーム画像を作成しているので、解像度の劣化の少ない電子ズームが実現できる。
また、電子ズームの停止位置が１２箇所であるのに対して、撮像素子２からの読み出し画角が３種類で済むので、撮像素子の制御の複雑さを低減することが可能である。
さらに、図１１に示す撮像素子２の読み出し画角である２．１４倍画角７２１の画素数が、動画記録用の画素数である水平６４０画素、垂直４８０画素に対して、水平２倍、垂直２倍の画素数を持つ２．３４倍画角７２２より一回り大きな画角となっている。
また図１０に示す撮像素子２の読み出し画角である１．３９倍画角７１１の画素数は、動画記録用の画素数である水平６４０画素、垂直４８０画素に対して水平１．５倍、垂直１．５倍の画素数を持つ１．５６倍画角７１２より一回り大きな画角となっている。
そこで、図９に示す撮像素子２の読み出し画角である１．００倍画角７０１の画素数との比較において、
１．００倍画角７０１の画素数：１．３９倍画角７１１の画素数：２．１４倍画角７２１の画素数
＝（１０００ｘ７５０）画素：（１０８０ｘ８１０）画素：（１４００ｘ１０５０）画素
＝７５００００画素：８７４８００画素：１４７０００画素
となり、最大の読み出し画素数と最小の読み出し画素数の比が、１/２以内に収まっている。
このため、電子ズームを実行させた場合、撮影した画像の読み出し時間が領域内で大きく異なってしまうことを回避することも可能である。
さらに、常に全画素を読み出す必要がないので、フレームレートの低下を抑えることができるという効果もある。
また、上述したように、動画記録用の画素数を持つ画像から画素数を縮小せずに作成した画像と、動画記録用の画素数を持つ画像から画素数を縮小する方向で作成した画像とでは画質が異なることがわかっている。
そこで、本実施形態では、図９の１．５６倍画角７０４や図１０の２．３４倍画角７１５といった動画記録用の画素数である水平６４０画素、垂直４８０画素から画像を作成するモードを利用していないため、常に同じ画質を保つことができるという効果がある。
ただし、図１１の４．６９倍画角７２５だけは動画記録用の画素数である水平６４０画素、垂直４８０画素から画像を作成することになるが、既に間引き率が１／１であるため、同じ画像処理方法では他の画角と同じような画質を保つ効果は期待できない。
ここで、本実施形態においては、図９の１．５６倍画角７０４や図１０の２．３４倍画角７１５といった動画記録用の画素数である水平６４０画素、垂直４８０画素から画像を作成するモードを利用していないため、これらのモードを備えていなくてもよい。
また、本実施形態においては、撮像素子２の読み出し画角の切り換えは、高倍率側に電子ズームを行う場合は、１．３９倍電子ズームと１．５６倍電子ズームの間、および、２．１４倍電子ズームと２．３４倍電子ズームの間で発生する。また、低倍率側に電子ズームを行う場合は、２．１４倍電子ズーム倍電子ズームと１．８８倍電子ズームの間、および、１．３９倍電子ズームと１．２５倍電子ズームの間で発生する。
すなわち、高倍率側に電子ズームを行う場合と低倍率側に電子ズームを行う場合とで、撮像素子２の読み出し画角の切り換えポイントが異なる。このため、いずれのズーム停止位置にあっても、撮像素子２の読み出し画角の切り換えを伴う画角の変更を頻繁に繰り返すことはなくなるため、制御のルールが明確になり、同期制御部１０への負担が軽減されるという効果もある。
［第４の実施形態］
次に、図１〜図５および図９〜図１１を参照して、第４の実施形態について説明する。図１〜図５については、第１の実施形態と同様であるので説明を省略する。また、図９〜図１１の各電子ズームの停止位置の動作についても、第３の実施形態と同様であるので説明を省略する。
第１の実施形態では、電子ズームの倍率を変更する動作に伴って、撮像素子２の読み出し画角の切り換えが、１．３９倍電子ズームと１．５６倍電子ズームの間、および、２．１４倍電子ズームと２．３４倍電子ズームの間で発生する。
これを、図９〜図１１に対応させて説明すると、図９の１．３９倍画角７０３と図１０の１．５６倍画角７１２の間、および、図１０の２．１４倍画角７１４と図１１の２．３４倍画角７２２の間で撮像素子２の駆動の切り換えが実施されることになる。
例えば、操作部９からの指示が、１．３９倍電子ズームと１．５６倍電子ズームの間で停止した場合、同期制御部１０が図９の１．３９倍画角７０３か図１０の１．５６倍画角７１２のいずれかを選択することになる。しかし、制御が中途半端な場合は、図９の１．３９倍画角７０３と図１０の１．５６倍画角７１２の間の行き来を頻繁に繰り返すという不具合が発生してしまう可能性がある。
この場合、同期制御部１０は、撮像素子２の駆動制御と信号処理部５の動作制御の両方を同時に切り換える制御を繰り返し実施するので、同期制御部１０への負担が大きくなる。このため、光学系１、画像を記憶するメモリ部６、画像表示部７、画像記録部８、操作部９等への制御に支障をきたすおそれがある。
そこで、第４の実施形態においては、撮像素子２の読み出し画角の切り換えが頻繁に繰り返すことがないような電子ズームの動作を行う。
第３の実施形態と同様に、＜電子ズームの制御＞の（１）において、操作部９のズームボタンやズームレバーからの指示により電子ズームの制御が開始される。
＜電子ズームの制御＞の（２）において、同期制御部１０は、操作部９によりズームボタンやズームレバーが高倍率側と低倍率側のいずれを指示しているかを検出する。そして、現在の電子ズーム停止位置から次の電子ズーム停止位置を決定し、撮像素子２の駆動を切り換える。
まず最初に、電源がオンした時点での電子ズームの倍率を、図９の１．００倍（等倍）電子ズームの停止位置と仮定し、操作部９により高倍率側に電子ズームを行う場合について説明する。
各電子ズームの停止位置の動作については、第３の実施形態と同様の説明は省略する。
なお、操作部９から低倍率側に動作するように指示が入力された場合は、そのような電子ズーム倍率は設定できないので、同期制御部１０は指示を無視する。
１．００倍（等倍）電子ズームの場合、撮像素子２は、図９の全画角となる１．００倍画角７０１を間引き率１／３で間引いて読み出す。そして、読み出した水平１０００画素、垂直７５０画素を用いて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施している。
１．００倍（等倍）電子ズームから１．３９倍電子ズームまでは、撮像素子２の読み出しを、図９の１．００倍画角７０１を間引き率１／３で読み出すモードのまま、画角を１．００倍画角７０１から１．３９倍画角７０３まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
次に、１．５６倍電子ズームの場合、撮像素子２の読み出しは、図９の全画角となる１．００倍画角７０１のままで、１．５６倍画角７０４の水平６４０画素、垂直４８０画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を１．５６倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
１．８８倍電子ズームから２．１４倍電子ズームまでは、撮像素子２の読み出しを図１０に切り換える。そして、１．３９倍画角７１１を間引き率１／２で読み出すモードのまま、画角を１．８８倍画角７１３から２．１４倍画角７１４まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
次に、２．３４倍電子ズームの場合、撮像素子２の読み出しは、図１０の１．３９倍画角７１１のままで、２．３４倍画角７１５の水平６４０画素、垂直４８０画素を用いる。そして、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。ここで、操作部９からの指示が終了した場合は、撮像素子２から連続して読み出して作成した画像を２．３４倍の電子ズーム画像として、表示あるいは記録もしくはその両方を継続して実施すればよい。
さらに、３．００倍電子ズームから４．６９倍電子ズームまでは、撮像素子２の読み出しを図１１に切り換える。そして、２．１４倍画角７１４を間引き率１／１で読み出すモードのまま、画角を３．００倍画角７２３から４．６９倍画角７２５まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
なお、操作部９からの指示がさらに高倍率側の場合、そのような電子ズーム倍率は設定できないので、同期制御部１０は指示を無視する。
次に、電子ズームの停止位置が、図１１の４．６９倍電子ズームの停止位置にあると仮定し、操作部９により低倍率側に電子ズームを行う場合について説明する。
各電子ズームの停止位置の動作については、第３の実施形態と同様の説明は省略する。
４．６９倍電子ズームから２．１４倍電子ズームまでは、撮像素子２の読み出しを、図１１の２．１４倍画角７２１を間引き率１／１で読み出すモードのまま、画角を４．６９倍画角７２５から２．１４倍画角７２１まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
次に、１．８８倍電子ズームから１．３９倍電子ズームまでは、撮像素子２の読み出しを図１０に切り換える。そして、１．３９倍画角７１１を間引き率１／２で読み出すモードのまま、画角を１．８８倍画角７１３から１．３９倍画角７１１まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
さらに、１．２５倍電子ズームから１．００倍（等倍）電子ズームまでは、撮像素子２の読み出しを図９に切り換える。そして、１．００倍画角７０１を間引き率１／３で読み出すモードのまま、画角を１．２５倍画角７０２から１．００倍画角７０１まで順番に変更する。そして、それぞれの電子ズーム倍率に応じて、信号処理部５において水平６４０画素、垂直４８０画素の画像を作成し、表示あるいは記録もしくはその両方を実施する。
途中の電子ズーム停止位置から高倍率側や低倍率側に電子ズームを行う場合、操作部９からの指示により、上記説明の途中の画角からスタートして、高倍率側や低倍率側に電子ズームの動作を行えばよいので説明を省略する。
以上説明したように、本実施形態によれば、常に動画記録用の画素数以上である水平６４０画素、垂直４８０画素以上の画素数を用いてズーム画像を作成しているので、解像度の劣化の少ない電子ズームが実現可能である。
また、電子ズームの停止位置が１４箇所であるのに対して、撮像素子２からの読み出し画角が３種類で済んでいるので、撮像素子の制御の複雑さを低減することが可能である。
さらに、図１１に示す撮像素子２の読み出し画角である２．１４倍画角７２１の画素数が、動画記録用の画素数である水平６４０画素、垂直４８０画素に対して、水平２倍、垂直２倍の画素数を持つ２．３４倍画角７２２より一回り大きな画角となっている。
また図１０に示す撮像素子２の読み出し画角である１．３９倍画角７１１の画素数は、動画記録用の画素数である水平６４０画素、垂直４８０画素に対して水平１．５倍、垂直１．５倍の画素数を持つ１．５６倍画角７１２より一回り大きな画角となっている。
そこで、図９に示す撮像素子２の読み出し画角である１．００倍画角７０１の画素数との比較において、
１．００倍画角７０１の画素数：１．３９倍画角７１１の画素数：２．１４倍画角７２１の画素数
＝（１０００ｘ７５０）画素：（１０８０ｘ８１０）画素：（１４００ｘ１０５０）画素
＝７５００００画素：８７４８００画素：１４７０００画素
となり、最大の読み出し画素数と最小の読み出し画素数の比が１/２以内に収まっている。
このため、電子ズームを実行させた場合、撮影した画像の読み出し時間が領域内で大きく異なってしまうことを回避することも可能である。
さらに、常に全画素を読み出す必要がないので、フレームレートの低下を抑えることができるという効果もある。
また、本実施形態においては、撮像素子２の読み出し画角の切り換えは、高倍率側に電子ズームを行う場合は、１．５６倍電子ズームと１．８８倍電子ズームの間、および、２．３４倍電子ズームと３．００倍電子ズームの間で発生する。また、低倍率側に電子ズームを行う場合は、２．１４倍電子ズーム倍電子ズームと１．８８倍電子ズームの間、および、１．３９倍電子ズームと１．２５倍電子ズームの間で発生する。
すなわち、高倍率側に電子ズームを行う場合と低倍率側に電子ズームを行う場合とで、撮像素子２の読み出し画角の切り換えポイントが異なる。このため、いずれのズーム停止位置にいても、撮像素子２の読み出し画角の切り換えを伴う画角の変更を頻繁に繰り返すということはなくなるため、制御のルールが明確になり、同期制御部１０への負担が軽減されるという効果もある。
さらに、実際の撮影においては、操作部９のズームボタンやズームレバーを使用して、電子ズームを行いながら撮影画角を決定する場合、高倍率側の電子ズームと低倍率側の電子ズームを繰り返して行うことがある。
この場合、第２および第３の実施形態のように、撮像素子２の読み出し画角の切り換えポイントとなるズーム停止位置が１ポイントしかずれていない場合、撮像素子２の読み出し画角の切り換えが起こる確率が高くなることが考えられる。
そこで、本実施形態では、撮像素子２の読み出し画角の切り換えポイントとなるズーム停止位置が２ポイントずれて切り換られるように制御する。これにより、高倍率側の電子ズームと低倍率側の電子ズームを繰り返して実行した場合においても、撮像素子２の読み出し画角の切り換えが起こる確率を低く抑えることができるので、同期制御部１０への負担を軽減するという効果がある。
さらに、図１１の２．１４倍画角７２１が、動画記録用の画素数に対して水平２倍、垂直２倍の画素数を持つ２．３４倍画角７２２より一回り大きな画角となっている。さらに、図１０の１．３９倍画角７１１が、動画記録用の画素数に対して水平１．５倍、垂直１．５倍の画素数を持つ１．５６倍画角７１２より一回り大きな画角となっている。
そこで、図１１に示す撮像素子２の読み出し画角を、さらにもう一回り大きな１．８８倍画角７１３に相当する画角とするとともに、図１０に示す撮像素子２の読み出し画角を、さらにもう一回り大きな１．２５倍画角７０２に相当する画角としてもよい。
これにより、撮像素子２の読み出し画角の切り換えポイントとなるズーム停止位置を２ポイントずらす制御と動画記録用の画素数である水平６４０画素、垂直４８０画素から画像を作成するモードを使用しないことを両立させることができる。
撮像素子２の読み出し画角をどこまで大きくするかは、電子ズームの制御の容易さと、撮影時のフレームレートや読み出し画素数の制限等とのトレードオフで決めればよい。
さらに、図１１の４．６９倍画角７２５より小さな画角を設定し、解像度の劣化を伴うが、さらに高倍率な電子ズームを実施、あるいは、組み合わせても構わない。
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを格納した記憶媒体（又は記録媒体）をカメラに供給ことによっても達成されることは言うまでもない。この場合、カメラのコンピュータ（又はCPUやMPU）が記憶媒体からプログラムコードを読み出して実行することによって達成される。
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したズーム処理を実行する制御プログラムや各種テーブルが格納されることになる。これらのプログラムコードは、例えば、アップデート可能なファームウェアとしても提供可能である。
本発明に係る実施形態の撮像装置の構成を示す図である。 図１の信号処理部の詳細な構成を示す図である。 図１の撮像素子の詳細な構成を示す図である。 撮像素子の画素の詳細な構成を示す図である。 図３の加算回路および水平読み出し回路の詳細な構成を示す図である。 撮像素子の全画素数を間引き率１／３で間引いて読み出した画像を例示する図である。 図６の１．５６倍画角に対応する画素から間引き率１／２で間引いて読み出した画像を例示する図である。 図７の２．３４倍画角に対応する画素から水平・垂直それぞれ１画素毎に読み出した画像を例示する図である。 撮像素子の全画素数を間引き率１／３で間引いて読み出した画像を例示する図である。 図９の１．３９倍画角に対応する画素から間引き率１／２で間引いて読み出した画像を例示する図である。 図１０の２．１４倍画角に対応する画素から水平・垂直それぞれ１画素毎に読み出した画像を例示する図である。
符号の説明
１ 光学系
２ 撮像素子
３ 駆動回路部
４ 前処理部
５ 信号処理部
６ メモリ部
７ 画像表示部
８ 画像記録部
９ 操作部
１０ 同期制御部
１１ 画素
１２ 加算回路
１３ 水平読み出し回路
１４ 出力回路
２１〜３２ 垂直シフトレジスタ
３３ 垂直制御回路
４０ 加算制御回路
６１〜７２ 水平シフトレジスタ
７３ 水平制御回路
１０１〜１１２ 垂直信号線
２０１〜２１２ 垂直制御線
３０１〜３１２ 加算出力線
４０１〜４１２ 水平制御線

Claims (9)

  1. 被写体像を光電変換する複数の画素を有する撮像素子と、
    電子ズームのズーム倍率を設定する設定手段と、
    前記撮像素子から画素信号を読み出す読み出し手段と、
    前記読み出し手段により読み出された画素信号を用いて予め決められた画素数の画像を生成する生成手段と、
    前記設定手段により第１のズーム倍率または前記第１のズーム倍率より大きい第２のズーム倍率が設定された場合に、前記読み出し手段が前記撮像素子の第１の読み出し画角から第１の間引き率で画素信号を読み出し、前記設定手段により設定されたズーム倍率に応じて前記第１の読み出し画角から前記第１の間引き率で読み出された画素信号のうちの第３の読み出し画角または前記第３の読み出し画角より小さい第４の読み出し画角の画素信号から前記予め決められた画素数の画像を前記生成手段が生成するように制御し、
    前記設定手段により前記第２のズーム倍率より大きい第３のズーム倍率または前記第３のズーム倍率より大きい第４のズーム倍率が設定された場合に、前記読み出し手段が前記撮像素子の第２の読み出し画角から第２の間引き率で画素信号を読み出し、前記設定手段により設定されたズーム倍率に応じて前記第２の読み出し画角から前記第２の間引き率で読み出された画素信号のうちの第５の読み出し画角の画素信号または前記第５の読み出し画角より小さい第６の読み出し画角の画素信号から前記予め決められた画素数の画像を前記生成手段が生成するように制御する制御手段と、
    を有することを特徴とする撮像装置。
  2. 前記第４の読み出し画角の画素数が前記予め決められた画素数以上であり、前記第６の読み出し画角の画素数が前記予め決められた画素数以上であることを特徴とする請求項１に記載の撮像装置。
  3. 前記間引き率は、前記撮像素子の水平方向と垂直方向のそれぞれの画素について、ｎを自然数として１／ｎに設定されることを特徴とする請求項１または２に記載の撮像装置。
  4. ｐを自然数として、前記第１の間引き率が１／（ｐ＋１）、前記第２の間引き率が１／ｐの場合、前記第１の読み出し画角と前記第１の間引き率で読み出される画素数が、水平方向および垂直方向についてそれぞれ（ｐ＋１）／ｐ倍以上の画素数となることを特徴とする請求項３に記載の撮像装置。
  5. 前記第２の間引き率が１／１の場合、前記第２の読み出し画角から読み出される画素数は、前記第１の読み出し画角から前記第１の間引き率で読み出される画素数に対して、水平方向および垂直方向についてそれぞれ２倍またはそれ以上の画素数となることを特徴とする請求項４に記載の撮像装置。
  6. 前記制御手段は、前記第２のズーム倍率から前記第３のズーム倍率に移行する場合に、前記第１の読み出し画角から前記第１の間引き率で読み出された画素信号から前記第２のズーム倍率の画像を前記生成手段が生成し、前記第２の読み出し画角から前記第２の間引き率で読み出された画素信号から前記第３のズーム倍率の画像を前記生成手段が生成するように制御し、
    前記第３のズーム倍率から前記第２のズーム倍率に移行する場合に、前記第２の読み出し画角から前記第２の間引き率で読み出された画素信号から前記第３のズーム倍率の画像を前記生成手段が生成し、前記第１の読み出し画角から前記第１の間引き率で読み出された画素信号から前記第２のズーム倍率の画像を前記生成手段が生成するように制御することを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
  7. 前記制御手段は、前記第２のズーム倍率から前記第３のズーム倍率に移行する場合に、前記第１の読み出し画角から前記第１の間引き率で読み出された画素信号から前記第２のズーム倍率の画像および前記第３のズーム倍率の画像を前記生成手段が生成するように制御し、
    前記第３のズーム倍率から前記第２のズーム倍率に移行する場合に、前記第２の読み出し画角から前記第２の間引き率で読み出された画素信号から前記第３のズーム倍率の画像を前記生成手段が生成し、前記第１の読み出し画角から前記第１の間引き率で読み出された画素信号から前記第２のズーム倍率の画像を前記生成手段が生成するように制御することを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
  8. 被写体像を光電変換する複数の画素を有する撮像素子と、電子ズームのズーム倍率を設定する設定手段と、を有する撮像装置の制御方法であって、
    前記撮像素子から画素信号を読み出す読み出し工程と、
    前記読み出し手段により読み出された画素信号を用いて予め決められた画素数の画像を生成する生成工程と、を有し、
    前記設定手段により第１のズーム倍率または前記第１のズーム倍率より大きい第２のズーム倍率が設定された場合に、前記読み出し工程において前記撮像素子の第１の読み出し画角から第１の間引き率で画素信号を読み出し、前記設定手段により設定されたズーム倍率に応じて前記第１の読み出し画角から前記第１の間引き率で読み出された画素信号のうちの第３の読み出し画角または前記第３の読み出し画角より小さい第４の読み出し画角の画素信号から前記予め決められた画素数の画像を前記生成工程において生成するように制御し、
    前記設定手段により前記第２のズーム倍率より大きい第３のズーム倍率または前記第３のズーム倍率より大きい第４のズーム倍率が設定された場合に、前記読み出し工程において前記撮像素子の第２の読み出し画角から第２の間引き率で画素信号を読み出し、前記設定手段により設定されたズーム倍率に応じて前記第２の読み出し画角から前記第２の間引き率で読み出された画素信号のうちの第５の読み出し画角の画素信号または前記第５の読み出し画角より小さい第６の読み出し画角の画素信号から前記予め決められた画素数の画像を前記生成工程において生成するように制御することを特徴とする撮像装置の制御方法。
  9. 請求項８に記載の制御方法を撮像装置のコンピュータに実行させるためのプログラム。
JP2008223916A 2008-09-01 2008-09-01 撮像装置およびその制御方法、プログラム Expired - Fee Related JP5284013B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2008223916A JP5284013B2 (ja) 2008-09-01 2008-09-01 撮像装置およびその制御方法、プログラム
US12/545,805 US8687093B2 (en) 2008-09-01 2009-08-21 Image sensing apparatus, control method thereof, and storage medium
CN200910167262.6A CN101668121A (zh) 2008-09-01 2009-08-27 摄像装置及其控制方法
CN2012103567772A CN102883105A (zh) 2008-09-01 2009-08-27 摄像装置及其控制方法
EP09169183A EP2159751A1 (en) 2008-09-01 2009-09-01 Image sensing apparatus, control method thereof, and program
EP12187482A EP2562714A1 (en) 2008-09-01 2009-09-01 Image sensing apparatus, control method thereof, and program
US14/172,768 US8964068B2 (en) 2008-09-01 2014-02-04 Image sensing apparatus, control method thereof, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008223916A JP5284013B2 (ja) 2008-09-01 2008-09-01 撮像装置およびその制御方法、プログラム

Publications (3)

Publication Number Publication Date
JP2010062671A JP2010062671A (ja) 2010-03-18
JP2010062671A5 JP2010062671A5 (ja) 2011-10-20
JP5284013B2 true JP5284013B2 (ja) 2013-09-11

Family

ID=41258502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008223916A Expired - Fee Related JP5284013B2 (ja) 2008-09-01 2008-09-01 撮像装置およびその制御方法、プログラム

Country Status (4)

Country Link
US (2) US8687093B2 (ja)
EP (2) EP2562714A1 (ja)
JP (1) JP5284013B2 (ja)
CN (2) CN102883105A (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5284013B2 (ja) 2008-09-01 2013-09-11 キヤノン株式会社 撮像装置およびその制御方法、プログラム
JP5658451B2 (ja) * 2009-11-30 2015-01-28 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
US20120002084A1 (en) * 2010-06-30 2012-01-05 True Vision Systems, Inc. Systems, apparatus, and methods for digital image capture with variable density display and high resolution electronic zoom
JP5931619B2 (ja) * 2012-07-17 2016-06-08 オリンパス株式会社 撮像装置
WO2017086065A1 (ja) * 2015-11-17 2017-05-26 富士フイルム株式会社 撮影装置及びその制御方法
WO2021124736A1 (ja) * 2019-12-19 2021-06-24 富士フイルム株式会社 撮像装置
CN113132614B (zh) * 2019-12-31 2023-09-01 中兴通讯股份有限公司 一种摄像头光学变焦电子装置、方法、单元及存储器
CN112333381B (zh) * 2020-03-20 2022-04-29 华为技术有限公司 一种控制方法、音圈马达、镜头模组和电子设备
CN111970438B (zh) * 2020-08-03 2022-06-28 Oppo广东移动通信有限公司 变焦处理方法及装置、设备、存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6102103A (en) 1997-11-12 2000-08-15 Modine Manufacturing Company Heat battery
JP2000295530A (ja) 1999-04-07 2000-10-20 Canon Inc 固体撮像装置
JP2001045364A (ja) * 1999-07-30 2001-02-16 Fuji Photo Film Co Ltd ディジタル・カメラおよびその動作制御方法
JP4503878B2 (ja) * 2001-04-27 2010-07-14 オリンパス株式会社 撮像装置及び撮像方法
US7257278B2 (en) * 2003-02-26 2007-08-14 Hewlett-Packard Development Company, L.P. Image sensor for capturing and filtering image data
JP4266807B2 (ja) 2003-12-25 2009-05-20 オリンパス株式会社 撮像装置及び電子ズーミング方法
JP4624065B2 (ja) * 2004-10-13 2011-02-02 オリンパス株式会社 撮像装置
JP4678849B2 (ja) 2005-10-31 2011-04-27 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4018727B2 (ja) * 2006-02-14 2007-12-05 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP4655991B2 (ja) * 2006-04-21 2011-03-23 カシオ計算機株式会社 撮像装置及び電子ズーム方法と、プログラム
JP4262263B2 (ja) * 2006-06-07 2009-05-13 キヤノン株式会社 撮像装置及びその制御方法
JP5284013B2 (ja) 2008-09-01 2013-09-11 キヤノン株式会社 撮像装置およびその制御方法、プログラム

Also Published As

Publication number Publication date
CN101668121A (zh) 2010-03-10
EP2562714A1 (en) 2013-02-27
US20100053377A1 (en) 2010-03-04
US8687093B2 (en) 2014-04-01
JP2010062671A (ja) 2010-03-18
US8964068B2 (en) 2015-02-24
EP2159751A1 (en) 2010-03-03
US20140184855A1 (en) 2014-07-03
CN102883105A (zh) 2013-01-16

Similar Documents

Publication Publication Date Title
JP5284013B2 (ja) 撮像装置およびその制御方法、プログラム
JP4503878B2 (ja) 撮像装置及び撮像方法
JP4208904B2 (ja) 撮像装置及びその制御方法並びに撮像システム
JP5764740B2 (ja) 撮像装置
JP5317591B2 (ja) 撮像装置
US20050206757A1 (en) Image pickup device and image pickup apparatus
US20070296837A1 (en) Image sensing apparatus having electronic zoom function, and control method therefor
JP4468276B2 (ja) ディジタルカメラ
JP2009159550A (ja) 撮像装置
JP2006013828A (ja) 撮像装置
JP2010183173A (ja) 撮像装置及びそのスルー画像表示方法
JP2006352715A (ja) デジタルカメラ、及びその露出制御方法
JP5484617B2 (ja) 撮像装置
JP2010062639A (ja) 撮像装置
JP2007096588A (ja) 画像撮影装置および画像表示方法
JP5279638B2 (ja) 撮像装置
JP2006246148A (ja) 撮像装置
JP2007088842A (ja) 撮像装置、および撮像素子の駆動方法
JP4836500B2 (ja) デジタルカメラ、及びその画像処理方法
WO2011065012A1 (ja) データ処理装置
JP5397048B2 (ja) デジタルカメラ、及びその撮影感度設定方法とプログラム
JP2006352716A (ja) 撮像装置及び撮像方法
JP2000299810A (ja) 撮像装置
JP2020022034A (ja) 撮像素子、撮像装置および制御方法
JP2019161438A (ja) 画像処理装置、画像処理方法及び画像処理システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130529

R151 Written notification of patent or utility model registration

Ref document number: 5284013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees