JP2004072278A

JP2004072278A - Imaging apparatus and control method therefor

Info

Publication number: JP2004072278A
Application number: JP2002226666A
Authority: JP
Inventors: Hisanori Hirose; 広瀬　久敬; Toshiki Ishida; 石田　俊樹
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-08-02
Filing date: 2002-08-02
Publication date: 2004-03-04

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus which can obtain sufficient resolution in a video signal that enlarges/displays an output signal of an image pickup element by an electronic zoom processing and to provide a control method of the device. <P>SOLUTION: TG104 generates a timing signal for controlling timing for reading a charge against the imaging device 103 and timing for mixing or transferring the charge. A zoom control part 113 decides a scale factor enlarging or reducing video data generated based on the output signal of the imaging device 103 by a signal processing. The zoom control part 113 decides a mixed number of pixels of the charge in the imaging device 103 and a cutting range. A vertical scale factor control part 116 controls TG 104 so that mix of the charges corresponding to the mixed number of the pixels, which the zoom control part 113 decides, and charge transfer corresponding to the cutting range are realized. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、ズーム機能を持った撮像装置およびその制御方法に関するものである。
【０００２】
【従来の技術】
従来の撮像装置は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）等の撮像素子が光電変換を行い出力する電気信号をデジタル信号化し、デジタル信号処理を施して所定の映像信号を得る。更にズーム機能を有する撮像装置は、一般的に撮像素子の前に光学ズームレンズを用いて広角側から望遠側まで画角を任意に決めて撮影できるようになっている。また、撮像素子の中央部分に結像した被写体像をデジタル信号処理により電気的に拡大処理を行う電子ズーム処理によって、更に望遠側の映像信号が得られるようになっている。
【０００３】
図９は、従来のズーム機能を備える撮像装置の概略構成を示すブロック図である。
図９において、撮像装置３０は、光学ズームおよび電子ズームによるズーム機能を備え、撮像素子の出力信号からテレビ信号等を生成して出力する撮像装置である。レンズ４０は、撮像素子４２へ被写体を結像する。モータ４１は、レンズ４０を駆動するモータである。撮像素子４２は、ＣＣＤ等の光電変換を行う撮像素子である。ＴＧ（タイミングジェネレータ）４３は、撮像素子４２をドライブするタイミングジェネレータである。ＡＤ変換器４４は、撮像素子４２の出力信号をデジタル信号に変換するＡＤ（アナログ−デジタル）変換回路である。信号処理部４５は、ＡＤ変換器４４の出力信号を基に、色分離処理、ガンマ処理等を行い、輝度信号および色差信号を生成する信号処理回路である。
【０００４】
ズーム操作ボタン４６は、利用者がズーム操作を行うボタンである。一般的にズーム操作ボタン４６は、映像を拡大する拡大ボタン（または、ＴＥＬＥボタン）と拡大した映像を基に戻す縮小ボタン（または、ＷＩＤＥボタン）より構成される。ズーム切り替え部４７は、ズーム操作ボタン４６の操作に応じた拡大／縮小処理を、光学ズームで行うか電子ズームで行うかを判断し切り替える回路である。光学ズーム制御部４８は、ズーム切り替え部４７の判断を基に、レンズ４０が撮像素子４２に対して結像する被写体の画角を調整することで拡大縮小処理を行うようにモータ４１を制御する制御信号を出力する回路である。
【０００５】
尚、光学ズーム制御部４８は、レンズ４０が最も望遠側（ＴＥＬＥ端）の状態である場合に、その旨を知らせる通知信号をズーム切り替え部４７へ出力する。ズーム切り替え部４７は、この通知信号と、ズーム操作ボタン４６の操作を基に、光学ズームと電子ズームを切り替える。
【０００６】
ここで、ズーム切り替え部４７の切り替え処理について更に説明する。
図１０は、従来の撮像装置３０が備えるズーム切り替え部４７による光学ズームと電子ズームの切換処理を示す図である。図１０に示すように、ズーム切り替え部４７は、光学ズームにより移動するレンズ４０がＴＥＬＥ端に達してから電子ズームに切り替えている。具体的には、光学ズーム制御部２８が、モータ４１の位置から光学ズームのＴＥＬＥ端を検知し、ズーム切り替え部４７へ通知信号を出力する。
【０００７】
次に、上述した図９に示した従来の撮像素子の動作について、縦４８０画素、横７２０画素から構成される図１１（ａ）に示す撮像素子を例に説明する。
図１１（ａ）は、従来の撮像素子における画素混合例を示す図である。
通常、撮像素子４２は、動画像撮影時はインタレース読み出しを行う。つまり、ＴＧ４３からのドライブにより、撮像素子４２においては垂直方向に隣り合う２画素の電荷が混合されて転送される。図１１（ａ）に示すように、補色系の色フィルタを画素毎に形成している撮像素子４２においては、シアン（Ｃｙ）＋イエロー（Ｙｅ）の２画素の電荷を混合した信号とマゼンタ（Ｍｇ）＋グリーン（Ｇｒ）の２画素の電荷を混合した信号を出力する。
【０００８】
以上により、撮像素子４２は、垂直方向に２画素を混合し、垂直２４０画素、水平７２０画素を１フィールド分として信号を出力する。次に、この信号はＡＤ変換機４４によりデジタル信号に変換される。次に、信号処理部４７において色分離処理やガンマ処理、輝度信号および色差信号生成が行なわれる。また、輝度信号および色差信号を基にＮＴＳＣテレビジョン信号を生成して出力してもよい。
【０００９】
次に、従来の撮像装置における電子ズームの処理について説明する。
図１１（ｂ）は、電子ズーム処理する場合の撮像素子からの電荷の読み出し方法を示す図である。画面の一部を電気的に拡大して出力する電子ズーム処理では、図１１（ｂ）に示すように撮像素子４２の中央部分の信号を用いて拡大処理を行う。図１１（ｂ）は倍率（処理倍率）２倍の電子ズームを行う場合であり、垂直方向４８０画素の内、中心部分の２４０画素を、１フィールド期間かけて読み出す。すなわち、撮像素子４２の中央部分の信号を水平方向の１ライン単位で間欠的に読み出すことによって、撮像素子の中央部分の信号が１フィールド期間（一映像走査期間）に引き伸ばされて出力される。
【００１０】
尚、間欠読み出しを行う時は、信号処理部４５は、撮像素子４２から信号が読み出されない期間において、既に読み出された信号を利用して補間するためのメモリ等を用いて補間処理を行う。従って、図１１（ｂ）に示す２倍の電子ズームの場合に、電子ズーム処理によって読み出される信号は、撮像素子４２は垂直方向１２０画素の信号である。また、信号処理部４５は、メモリを用いた補間処理によって、間欠読み出しされた垂直方向１２０画素の信号から垂直方向２４０画素の信号を生成する。
【００１１】
【発明が解決しようとする課題】
しかしながら、上述した撮像装置ではＴＶモニタ等の表示装置の解像度と同数の画素数のデータを読み出す撮像素子を用いているので、例えば、倍率２倍の電子ズーム処理では撮像素子の撮像面の１／４部分を表示装置全面に表示することになる。これにより、表示装置に表示される映像の解像度は水平、垂直で１／２となってしまう問題があった。
すなわち、縦４８０画素、横７２０画素から構成される撮像素子を利用して、電子ズーム処理によって縦と横それぞれ２倍に拡大する場合、撮像素子の中央部分の縦２４０画素、横３６０画素（全画素数の１／４）の信号を基に、補間することで縦４８０画素、横７２０画素を生成するため解像度は大幅に低下してしまう。
【００１２】
本発明は、上述した事情を考慮してなされたもので、撮像素子の出力信号を電子ズーム処理によって拡大表示する映像信号において充分な解像度を得ることができる撮像装置およびその制御方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
この発明は、上述した課題を解決すべくなされたもので、本発明による撮像装置においては、２次元状に複数の受光素子が配置された撮像領域を有する撮像素子と、前記撮像領域内の第１の領域からの信号を用いて映像デ―タを出力する第１の制御モードと、前記第１の領域よりも小さい第２の領域からの信号を用いて映像デ―タを出力する第２の制御モードとを有し、前記第１の制御モードの場合は、複数の受光素子の信号を混合した信号により前記映像デ―タを出力し、前記第２の制御モードの場合は、混合していない複数の受光素子毎の信号又は前記第１の制御モードの場合の混合数よりも少ない複数の受光素子の信号を混合した信号により前記映像デ―タを出力するように制御する制御手段とを具備することを特徴とする。
【００１４】
また、２次元状に複数の受光素子が配置された撮像領域を有する撮像素子を有する撮像装置の制御方法であって、前記撮像領域内の第１の領域からの信号を用いて映像デ―タを出力する第１の制御モードと、前記第１の領域よりも小さい第２の領域からの信号を用いて映像デ―タを出力する第２の制御モードとを有し、前記第１の制御モードの場合は、複数の受光素子の信号を混合した信号により前記映像デ―タを出力し、前記第２の制御モードの場合は、混合していない複数の受光素子毎の信号又は前記第１の制御モードの場合の混合数よりも少ない複数の受光素子の信号を混合した信号により前記映像デ―タを出力するように制御することを特徴とする。
【００１５】
これにより、本発明の撮像装置およびその制御方法においては、電子ズーム倍率（処理倍率）に応じて、画素の混合数を調整し映像の解像度を変更することができる。すなわち、撮像素子の出力信号を電子ズーム処理によって拡大表示する映像信号において充分な解像度を得ることができる
【００１６】
【発明の実施の形態】
以下、図面を用いて本発明の実施形態について説明する。
まず、本発明の第一の実施形態である撮像装置の概略構成について説明する。
図１は、本発明の第一の実施形態における撮像装置の概略構成を示す図である。図１において、撮像装置１００は、光学ズームおよび電子ズームによるズーム機能を備え、撮像素子の出力信号からテレビ信号等を生成して出力する撮像装置である。レンズ１０１は、複数のレンズ等で構成され、後述する撮像素子１０３の受光面に被写体を結像するズームレンズである。モータ１０２は、レンズ１０１を駆動するモータである。このモータ１０２がレンズ１０１を駆動することで撮像素子１０３へ結像する被写体の画角を変更しズーム機能を実現する。
【００１７】
撮像素子１０３は、ＣＣＤ等の光電変換を行う撮像素子である。撮像素子１０３は、図３（ａ）に示すような補色フィルタを有する２次元配置された光電変換を行う複数の受光素子（以下、画素とする）を備え、各画素で生成される電荷を読み出し、読み出した電荷を混合及び／または転送することで電荷量に応じた出力信号を出力する。また、撮像素子１０３は、垂直方向に隣り合う１〜Ｎ個（Ｎは自然数）の画素の電荷を混合して、１〜Ｎ個の画素単位で電荷を転送する。尚、図３（ａ）および電荷の混合方法についての説明は後述する
【００１８】
ＴＧ（タイミング信号生成手段）１０４は、撮像素子１０３をドライブするタイミングジェネレータである。ＴＧ１０４は、撮像素子１０３における電荷蓄積、電荷の混合（画素混合）、電荷転送のタイミングを制御するタイミング信号を生成する。ＡＤ変換器１０５は、撮像素子１０３の出力信号をデジタル信号に変換するＡＤ（アナログ−デジタル）変換を行う。
【００１９】
垂直補間処理部１０６は、電子ズーム処理の際に撮像素子１０３ａからの出力信号の垂直補間を行う回路である。尚、電子ズーム処理をしない場合は、垂直補間処理部１０６は、ＡＤ変換器１０５からの入力信号をそのまま出力信号として出力する。
【００２０】
色分離部１０７は、垂直補間処理部１０６の出力信号を色分離処理してＲＧＢ（Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ））信号を出力する回路である。アパーチャ／ガンマ処理部１０８は、色分離部１０７の出力するＲＧＢ信号に対して輪郭強調などの処理であるアパーチャ処理や、ガンマ補正などの処理であるガンマ処理を行う回路である。輝度色差処理部１０９は、アパーチャ／ガンマ処理部１０８により処理されたＲＧＢ信号からの輝度信号と色差信号を生成する回路である。
【００２１】
水平切り出し部１１０は、電子ズーム処理の際に、処理倍率に応じて輝度色差処理部１０９の出力する輝度信号と色差信号の水平方向１ラインにおける中央部分を切り出す回路である。水平補間処理部１１１は、水平切り出し部１１０が切り出した輝度信号と色差信号を、処理倍率に応じて拡大し水平補間する回路である。尚、水平切り出し部１１０と水平補間処理部１１１の処理により映像信号のアスペクト比を４：３に調整する。
【００２２】
ズーム操作ボタン１１２は、利用者がズーム操作を行うボタンであり、映像を拡大する拡大ボタン（または、ＴＥＬＥボタン）と拡大した映像を基に戻す縮小ボタン（または、ＷＩＤＥボタン）より構成される。また、ズーム操作ボタン１１２は、利用者により拡大ボタンが押下されている場合には、拡大操作信号を出力し、利用者により縮小ボタンが押下されている場合には、縮小操作信号を出力する。
【００２３】
ズーム制御部１１３は、ズーム操作ボタン１１２の出力する拡大操作信号または縮小操作信号（２つをまとめて操作信号とする）に応じて、レンズ１０１による光学ズームを行うか、信号処理による電子ズームを行うかを判断し切り替える回路である。更に、ズーム制御部１１３は、光学ズームを行うと判断した場合は、後述する光学ズーム制御部１１４へ光学ズーム時の倍率を指示する指示信号を出力する。また、ズーム制御部１１３は、電子ズ−ム処理を行うと判断した場合には、垂直倍率制御部１１６、水平倍率制御部１１７を制御するようにする。尚、ズーム制御部１１３と光学ズーム制御部１１４の処理関係については後述する。
【００２４】
光学ズーム制御部１１４は、ズーム制御部１１３の指示信号を基に、レンズ１０１が撮像素子１０３に対して結像する被写体の画角を調整することで拡大縮小処理を行うようにモータ１０２を制御する制御信号を出力する回路である。尚、光学ズーム制御部１１４は、レンズ１０１が最も望遠側（ＴＥＬＥ端）の状態である場合に、その旨を知らせる通知信号をズーム制御部１１３へ出力する。ズーム制御部１１３は、この通知信号と、ズーム操作ボタン１１２からの操作信号を基に、光学ズームと電子ズームを切り替える。また、ズーム制御部１１３は、電子ズーム処理を行う場合に、現時点での電子ズーム倍率とズーム操作ボタン１１２からの操作信号を基に次の電子ズーム倍率を算出し決定する倍率決定機能（倍率決定手段）を有する。
【００２５】
垂直倍率制御部１１６は、ズーム制御部１１３の制御に基づき、垂直方向の混合数に応じた電荷の混合を行ったり、撮像素子内の任意の範囲の電荷転送を行うためのタイミング信号を出力するようＴＧ１０４を制御するＴＧ制御機能（タイミング信号制御手段）を有する。具体的には、垂直倍率制御部１１６は、撮像素子１０３が１ライン単位の間欠出力信号を出力したり、撮像素子１０３が撮像素子内の中央部分のみの電荷を出力したりするためのタイミング信号を生成するようにＴＧ１０４を制御するＴＧ制御信号を出力する。
【００２６】
水平倍率制御部１１７は、水平方向の拡大／縮小処理を行うため、水平切り出し部１１０と水平補間処理部１１１へ水平倍率信号を出力する回路である。
【００２７】
ここで、ズーム制御部１１３の切り替え処理と電子ズーム倍率決定処理について更に説明する。
図２は、図１の撮像装置１００における光学ズームと電子ズームの切り替え処理および画素の混合数と電子ズーム倍率の変化を示す図である。
【００２８】
図２に示すように、ＷＩＤＥ端の位置にレンズ１０１がある状態（ｔ１）において、ズーム操作ボタン１１２の拡大ボタンを押下し続けると、以下の順に撮像装置１００の状態が変化する。まず、レンズ１０１が光学ズーム倍率に応じてＴＥＬＥ端へ向けて移動し、最大の光学ズーム倍率（例えば１０倍）になるとレンズ１０１はＴＥＬＥ端の位置に移動した状態となる（ｔ２）。次に、光学ズームと電子ズームの切換処理により電子ズーム処理が始まり、電子ズーム倍率が上昇する。これにより、例えば電子ズーム倍率が２倍の時は、撮像装置１００の操作者には、光学ズーム倍率１０倍と掛け合わせた２０倍の映像が提供される。
【００２９】
以上に示したように、撮像装置１００は、ズーム操作ボタン１１２の操作に応じて、光学ズーム処理を実行したり、電子ズーム処理を実行したりする。また、撮像装置１００は、電子ズーム処理において、ズーム操作ボタン１１２の操作に応じて電子ズーム倍率を決定し、電子ズーム倍率に応じた電荷の画素混合数を決定する。これにより、ズーム操作ボタン１１２の操作により電子ズーム倍率が高倍率になった場合に、撮像装置１００は、電荷の画素混合数を減少させることで電子ズーム後の映像の解像度を向上させることができる。
【００３０】
次に、図２のｔ２の時点における光学ズームと電子ズームの切換処理について説明する。図２に示すようにズーム制御部１１３は、光学ズームにより移動するレンズ１０１がＴＥＬＥ端に達してから電子ズームに切り替えている。具体的には、光学ズーム制御部１１４が、モータ１０２の位置から光学ズームのＴＥＬＥ端を検知し、ズーム制御部１１３へ通知信号を出力する。次に、ズーム制御部１１３は、ズーム操作ボタン１１２より拡大操作信号を受信すると、電子ズームに切り替えて、電子ズームの処理倍率を算出し、算出した処理倍率を含む電子ズーム処理の指示信号を出力する。尚、以下の説明において撮像装置１００が光学レンズの移動をせずに電子ズーム処理を行っている場合の動作モードを電子ズームモード、光学レンズを移動させている場合の動作モードを光学ズームモードとする。
【００３１】
次に、図２のｔ１からｔ３の間における光学ズーム時の撮像素子１０３における電荷転送および画素混合の処理例を示し、撮像装置１００の動作について説明する。
図３（ａ）は、光学ズーム時の撮像素子１０３における電荷転送および画素混合の処理例を示す図である。
【００３２】
図３（ａ）に示すように、撮像素子１０３は、垂直４８０画素、水平７２０画素のインタレース用の補色フィルタ（Ｃｙ、Ｍｇ、Ｙｅ、Ｇｒ）を有する画素配列である。ＴＧ１０４がタイミング信号を供給することで、撮像素子１０３は、１フィールド期間内に撮像素子１０３全体の電荷を読み出すために以下の処理を行う。まず、撮像素子１０３は、各画素で生成される電荷を垂直転送部へ読み出し、読み出した電荷を垂直方向に隣り合った２画素（Ｃｙ＋Ｍｇ、Ｙｅ＋Ｇｒ）の混合処理を行う。この混合処理を行うことにより、撮像素子１０３が出力信号として出力する画素数は撮像素子１０３の有する画素数の半分である垂直２４０画素、水平７２０画素となる。すなわち、出力する画素数が半分になるので、撮像措置１０３が全画素を出力するのに要する時間もおよそ半分になり、１フィールド期間内に全部の画素混合した電荷を読み出すことができる。
【００３３】
次に、撮像素子１０３は、垂直転送部により２画素分を混合した電荷を垂直方向に転送する。次に、撮像素子１０３は、水平転送部により垂直転送部より転送されてきた電荷を水平ライン毎に転送する。次に、撮像素子１０３は、出力処理部により水平転送部より転送されてきた電荷を電圧信号に変換して出力信号として出力する。以上の処理を、撮像素子１０３は、ＴＧ１０４の出力するタイミング信号の制御に応じて行う。
【００３４】
次に、ズーム操作ボタン１１２の操作によって図２のｔ３の時点における撮像装置１００の動作について説明する。ここでは、ズーム操作ボタン１１２の操作によりズーム制御部１１３の出力する電子ズーム倍率が１．５倍弱から１．５倍強に変化する場合について説明する。電子ズーム倍率が１．５倍弱の場合では、垂直方向の２画素の電荷を混合するとともに、撮像素子の上部の６０ライン分と下部の６０ライン分を掃き捨て、撮像素子から中心部分の３２０ライン分（混合された１８０ライン分）の電荷を出力する。そして、混合された１８０ライン分の電荷は、垂直補間回路１０６により、垂直補間され２４０ライン分の電荷になる。
【００３５】
電子ズーム倍率が１．５倍強になると、画素の混合数が１画素（非混合）になる。以上により、２画素混合していた場合は、１．５倍であれば垂直方向においては簡単にいうと２画素から３画素分の信号を作成していたが、非混合に変更することで、４画素から１画素を間引いた３画素より３画素分の信号を作成すればよく、垂直方向の解像度を向上させることができる。
【００３６】
次に、垂直倍率制御部１１６は、電子ズーム倍率＝１．５倍に応じた電荷転送となるタイミング信号を出力するようＴＧ１０４を制御するＴＧ制御信号を出力する。これにより、ＴＧ１０４は、撮像素子１０３へ、中心部分の３２０ラインから画素混合なしで、１ライン単位で４ラインに１ラインの割合で間引いて電荷を出力するよう転送処理を行うタイミング信号を出力する。この時、撮像素子１０３は、垂直方向に隣り合った画素同士の混合処理を停止し、各画素の信号を非混合のまま読み出す。
【００３７】
ここで、間引かれた１ラインの上下のラインにおける映像の繋がりが自然に見えるような画質改善処理を行ってもよい。また、映像が自然に見えるような画質改善処理については後述する。
【００３８】
また、水平倍率制御部１１７は、水平切り出し部１１０と水平補間処理部１１１へ水平倍率信号を出力する。これにより、水平切り出し部１１０においては、水平倍率に応じた切り出し処理を行い、水平７２０画素の中央部分の５４０画素を切り出す。次に、水平補間処理部１１１は、水平切り出し部１１０の切り出した画素データに対して、１ライン分の拡大画素データを生成する水平拡大処理を行う。具体的には、水平補間処理部１１１は、２画素分の画素データから３画素分の拡大画素データを生成する。以上により、撮像装置１００は、出力画像として、従来の２画素混合と比べて垂直方向の解像度の向上した電子ズーム倍率が１．５倍の映像を出力することができる。
【００３９】
次に、ズーム操作ボタン１１２の操作によって図２のｔ４の時点における撮像素子１０３における電荷転送および画素混合の処理例を示し、撮像装置１００の動作について説明する。
図３（ｂ）は、電子ズーム時の撮像素子１０３における電荷転送および画素混合の処理例を示す図である。尚、この時のズーム制御部１１３が出力する電子ズーム倍率は２倍である。
【００４０】
図３（ｂ）に示すように、ＴＧ１０４がタイミング信号を供給することで、撮像素子１０３は、１フィールド期間内に撮像素子１０３の一部の電荷を読み出すために以下の処理を行う。まず、垂直倍率制御部１１６は、ズーム制御部１１３の制御に基づき、撮像素子１０３において非混合であって、２４０ライン分の電荷を出力するタイミング信号をＴＧ１０４が出力するようなＴＧ制御信号を出力する。これにより、ＴＧ１０４は、非混合であって、２４０ライン分の電荷を出力するタイミング信号を撮像素子１０３へ供給する。
【００４１】
上述したタイミング信号により、まず、撮像素子１０３は、各画素で生成される電荷を垂直転送部へ読み出す。この時、撮像素子１０３は、垂直転送部において画素混合を行わない。次に、撮像素子１０３は、垂直方向の４８０画素の内、最初に水平転送部へ転送する１２０画素分（図３（ｂ）の掃き捨て部分Ａ）を高速転送により掃き捨てる。次に、撮像素子１０３は、中央部分の２４０画素を１ライン単位で水平転送部へ転送し、出力処理部より出力する。尚、この中央部分の画素エリアを有効エリアとする。次に、撮像素子１０３は、残りの１２０画素分（図３（ｂ）の掃き捨て部分Ｂ）を高速転送により掃き捨てる。
【００４２】
上記の垂直方向の上下１２０画素分を掃き捨てる理由は、撮像素子１０３の有効エリアの各画素信号を１フィールド期間内に非混合のまま全部読み出すことができないためであり、不要な部分を高速転送により掃き捨てることで、有効エリアを構成する非混合の画素信号を読み出せるようにしている。
【００４３】
以上の処理により撮像素子１０３が出力する出力信号は、ＡＤ変換器１０５によりデジタル信号に変換され、垂直補間処理部１０６に入力される。垂直補間処理部１０６においては、そのまま次の色分離部１０７へ出力する。次に、色分離部１０７は、電荷を非混合で出力した信号に応じた処理を行うことでＲＧＢ信号を生成する。次に、アパーチャ／ガンマ処理部１０８は、色分離部１０７が生成したＲＧＢ信号に対してアパーチャ処理やガンマ処理を行う。この時、色分離部１０７は、垂直倍率処理部１１６からの非混合の画素を処理するための制御信号によって色分離処理を行う。
【００４４】
次に、輝度色差処理部１０９は、アパーチャ／ガンマ処理部１０８の出力するＲＧＢ信号を基に輝度信号、色差信号を生成する。次に、水平切り出し部１１０は、水平７２０画素の中央部分の３６０画素を切り出す。水平補間処理部１１１は、切り出した中央部分の信号を水平映像期間（１ライン分）に拡大し補間する。以上により、撮像装置１００は、映像のアスペクト比を４：３に調整してから外部に出力することができる。
【００４５】
以上に示したように、ズーム操作ボタン１１２の操作によって図２のｔ４の時点において、撮像素子１０３の電荷転送および非混合を制御し、拡大映像信号は垂直方向に混合されていない垂直２４０画素と、切り出した水平３６０画素から垂直２４０画素、水平７２０画素の映像信号を生成する。これにより、従来の混合した垂直１２０画素と、切り出した水平３６０画素から垂直２４０画素、水平７２０画素の映像信号を生成する場合に比べて、垂直解像度の劣化が少ない高画質な拡大映像信号を得ることができる。尚、上述した実施形態における撮像装置１００は、電子ズーム倍率が１．５倍を境に画素の混合数を変更したが、この限りではなく、通常用いられている拡大／縮小時の画質を向上する信号処理の利用などを考慮して、より高画質の映像を得ることができる電子ズーム倍率を境にして好適である。
【００４６】
次に、ズーム操作ボタン１１２の操作によって図２のｔ４の以降からｔ５までの、撮像装置１００の動作について説明する。まず、撮像装置１００のズーム制御部１１３は、ズーム操作ボタン１１２からの拡大操作信号に応じて、更に電子ズーム倍率を上昇させる（２倍以上）。垂直倍率制御部１１６は、撮像素子１０３から非混合で２４０ラインよりも少ないライン数の電荷が出力されるように、ＴＧ１０４を制御する。つまり、撮像素子１０３の上部の１２０ラインよりも多いライン分の電荷と、撮像素子１０３の下部の１２０ラインよりも多いライン分の電荷は掃き捨てられる。そして、撮像素子１０３から出力された２４０ラインよりも少ない数のライン分の電荷は、垂直補間回路１０６で２４０ラインになるように補間される。
【００４７】
次に、本発明の第二の実施形態として、原色フィルタを有する撮像素子を具備する撮像装置について説明する。
図４は、本発明の第二の実施形態として、原色フィルタを有する撮像素子を具備する撮像装置の概略構成について示す図である。図４の撮像装置１００ａ内において、図１の撮像装置１００内と同じ符号（１０１、１０２、１０５、１０８〜１１５、１１７）を付与したものは、同様の処理を行うものであり説明を省略する。
【００４８】
尚、図４の撮像装置１００ａと図１の撮像装置１００において、大きく異なる機能は以下に示す２点である。
・原色フィルタの撮像素子をドライブし、その出力信号を処理する機能を有する。
・垂直方向の３画素を混合することにより、電子ワイド機能を有する。
以下、上述した２点の機能に重点をおいて撮像装置１００ａについて説明する。
【００４９】
尚、電子ワイド機能とは、レンズ１０１が最も広角側に達した状態で、デジタル信号処理により電気的に縮小処理を行う機能である。これにより、撮像装置１００ａは、映像信号として出力できる被写体像の範囲を更に広げることができる。
【００５０】
撮像素子１０３ａは、図５（ａ）に示すような垂直７２０画素、水平１４４０画素の原色フィルタを有する撮像素子である。また、撮像素子１０３ａは、垂直方向に隣り合う３つの画素の電荷を混合することができる。尚、図５（ａ）の説明については、後述する。また、ＴＧ１０４ａは、撮像素子１０３ａをドライブするタイミングジェネレータである。ＴＧ１０４ａは、原色フィルタを有する撮像素子１０３ａにおいて混合および転送を制御するタイミング信号を出力する。また、垂直補間処理部１０６ａは、電子ズーム処理の際に撮像素子１０３ａからの出力信号の垂直補間を行う回路である。
【００５１】
尚、電子ズーム処理をしない場合は、垂直補間処理部１０６ａは、ＡＤ変換器１０５からの入力信号をそのまま出力信号として出力する。また、色分離部１０７ａは、垂直補間処理部１０６ａの出力信号を色分離処理してＲＧＢ信号を出力する回路である。この時、色分離部１０７ａは、原色フィルタを有する撮像素子１０３ａの出力信号に応じた信号処理を行う。
【００５２】
また、ズーム制御部１１３ａは、ズーム操作ボタン１１２の出力する拡大操作または縮小操作を指示する操作信号に応じて、レンズ１０１による光学ズームを行うか、信号処理による電子ズームまたは電子ワイドを行うかを判断し動作モードを切り替える制御を行う。更に、ズーム制御部１１３ａは、光学ズームを行うと判断した場合は、後述する光学ズーム制御部１１４ａへ光学ズーム時の倍率を指示する指示信号を出力する。
【００５３】
尚、ズーム制御部１１３ａと光学ズーム制御部１１４ａの処理関係については後述する。また、ズーム制御部１１３ａは、電子ズーム処理を行うと判断した場合には、電子ズーム処理における拡大の処理倍率を算出する。また、ズーム制御部１１３ａは、電子ワイド処理を行うと判断した場合には、電子ワイド処理における縮小の処理倍率を算出する。また、ズーム制御部１１３ａが、拡大または縮小の処理倍率を算出する処理については後述する。
【００５４】
光学ズーム制御部１１４ａは、ズーム制御部１１３ａの指示信号を基に、レンズ１０１が撮像素子１０３に対して結像する被写体の画角を調整することで拡大縮小処理を行うようにモータ１０２を制御する制御信号を出力する回路である。また、光学ズーム制御部１１４は、レンズ１０１が最も望遠側（ＴＥＬＥ端）の状態である場合に、その旨を知らせるＴＥＬＥ端通知信号をズーム制御部１１３ａへ出力する。また、光学ズーム制御部１１４は、レンズ１０１が最も広角側（ＷＩＤＥ端）である場合に、その旨を知らせるＷＩＤＥ端通知信号をズーム制御部１１３ａへ出力する。
【００５５】
ここで、ズーム制御部１１３ａが、処理倍率を算出し、決定する処理について説明する。
ズーム制御部１１３ａは、光学ズーム制御部１１４からのＴＥＬＥ端通知信号と、ズーム操作ボタン１１２からの操作信号を基に、光学ズームと電子ズームを切り替える。また、ズーム制御部１１３ａは、電子ズーム処理を行う場合に、現時点での電子ズーム倍率とズーム操作ボタン１１２からの拡大操作信号を基に次の電子ズーム倍率を算出し決定する倍率決定機能（倍率決定手段）を有する。
【００５６】
また、ズーム制御部１１３ａは、光学ズーム制御部１１４からのＷＩＤＥ端通知信号と、ズーム操作ボタン１１２からの操作信号を基に、光学ズームと電子ワイドを切り替える。また、ズーム制御部１１３ａは、電子ワイド処理を行う場合に、現時点での電子ワイド倍率とズーム操作ボタン１１２からの縮小操作信号を基に次の電子ワイド倍率を算出し決定する倍率決定機能（倍率決定手段）を有する。尚、電子ズーム倍率および電子ワイド倍率を纏めて電子処理倍率とする。
【００５７】
垂直倍率制御部１１６ａは、電子ズーム制御部１１３ａの制御に基づき、垂直方向の混合数に応じた電荷の混合を行ったり、電荷転送を行うためのタイミング信号を出力するようＴＧ１０４ａを制御するＴＧ制御機能（タイミング信号制御手段）を有する。
【００５８】
以上に説明したように、図４に示した撮像装置１００ａの各処理部は、図１に示した撮像装置１００の各処理部とほぼ同じ機能である。また、撮像装置１００ａは、レンズ１０１が最も広角側に達した場合に電子ワイド処理を行うが、この電子ワイド処理については、撮像装置１００が同様の処理機能を具備してもよい。
【００５９】
ここで、ズーム制御部１１３ａの動作モードの切り替え処理と電子処理倍率決定処理について更に説明する。
図６は、図４の撮像装置１００ａにおける動作モードとして、電子ワイドと光学ズームと電子ズームの切換処理を示す図である。
【００６０】
まず、撮像装置１００ａの光学ズーム処理および電子ズーム処理の動作について説明する。
図６に示すように、ＷＩＤＥ端の位置にレンズ１０１がある状態（ｔ１１）において、ズーム操作ボタン１１２の拡大ボタンを押下し続けると、撮像装置１００ａは、図６のｔ１１〜ｔ１５の順に光学ズーム処理および電子ズーム処理を行う。この図６のｔ１１〜ｔ１５に示す処理は、図２のｔ１〜ｔ５で示した撮像装置１００の動作と同様の動作となる。すなわち、撮像装置１００ａの光学ズームの動作および電子ズーム動作は、上述した撮像装置１００と同じである。但し、２画素混合の方法が異なるので、撮像素子１０３ａの電荷転送および画素混合の処理例を示し、図６のｔ１１〜ｔ１５における撮像装置１００ａの動作について簡単に説明する。
【００６１】
図５（ａ）は、図４に示した撮像素子１０３ａの原色フィルタ構成を示す図である。図５（ａ）の左側に示すように、撮像素子１０３ａは、ＲＧＢの原色フィルタが付与された垂直７２０画素、水平１４４０画素の画素配列を有する。この撮像素子１０３ａに対して、図６のｔ１１における２画素混合の処理をさせる場合に、撮像装置１００ａは以下に示す動作を行う。
【００６２】
図５（ｂ）は、光学ズーム時の撮像素子１０３ａにおける２画素混合時の電荷転送および画素混合の処理例を示す図である。ＴＧ１０４ａがタイミング信号を供給することで、撮像素子１０３ａは、１フィールド期間内に撮像素子１０３ａの一部の電荷を読み出すために以下の処理を行う。まず、垂直倍率制御部１１６ａは、ズーム制御部１１３ａの制御を基に、撮像素子１０３ａにおいて２画素混合であって、２４０ライン分の電荷を出力するタイミング信号をＴＧ１０４ａが出力するようなＴＧ制御信号を出力する。これにより、ＴＧ１０４ａは、２画素混合であって、２４０ライン分の電荷を出力するタイミング信号を撮像素子１０３ａへ供給する。
【００６３】
上述したタイミング信号により、撮像素子１０３ａは、各画素で生成される電荷を垂直転送部へ読み出し、読み出した電荷を垂直方向に隣り合った２画素（Ｒ＋Ｒ、Ｂ＋Ｂ、Ｇ＋Ｇ）の混合処理を行う。次に、撮像素子１０３ａは、垂直方向の７２０画素の内、最初に水平転送部へ転送する１２０画素分（図５（ｂ）の掃き捨て部分Ａ）を高速転送により掃き捨てる。次に、撮像素子１０３ａは、中央部分の２画素混合後の２４０画素（混合前で４８０画素分）を１ライン単位で水平転送部へ転送し、出力処理部より出力する。次に、撮像素子１０３ａは、残りの１２０画素分（図５（ｂ）の掃き捨て部分Ｂ）を高速転送により掃き捨てる。
【００６４】
上記の垂直方向の上下１２０画素分を掃き捨てる理由は、撮像素子１０３ａの２画素混合後の各画素信号を１フィールド期間内に全部読み出すためである。以上の処理により撮像素子１０３ａが出力する出力信号は、ＡＤ変換器１０５によりデジタル信号に変換され、垂直補間処理部１０６ａに入力される。垂直補間処理部１０６ａにおいては、そのまま次の色分離部１０７ａへ出力する。次に、色分離部１０７ａは、撮像素子１０３ａの出力信号（２Ｒ、２Ｂ、２Ｇ）に応じた処理を行うことでＲＧＢ信号を生成する。以降の処理は、第一の実施形態で示した撮像装置１００と同様であるので省略する。
【００６５】
次に、撮像素子１０３ａに対して、図６のｔ１４における非混合の処理をさせる場合に、撮像装置１００ａは以下に示す動作を行う。
図５（ｃ）は、電子ズーム時の撮像素子１０３ａにおける非混合時の電荷転送および非混合の処理例を示す図である。ＴＧ１０４ａがタイミング信号を供給することで、撮像素子１０３ａは、１フィールド期間内に撮像素子１０３ａの一部の電荷を読み出すために以下の処理を行う。まず、垂直倍率制御部１１６ａは、ズーム制御部１１３ａの制御を基に、撮像素子１０３ａにおいて非混合であって、１２０ライン分の電荷を出力するタイミング信号をＴＧ１０４ａが出力するようなＴＧ制御信号を出力する。これにより、ＴＧ１０４ａは、非混合であって、２４０ライン分の電荷を出力するタイミング信号を撮像素子１０３ａへ供給する。
【００６６】
上述したタイミング信号により、撮像素子１０３ａは、各画素で生成される電荷を垂直転送部へ読み出す。次に、撮像素子１０３ａは、垂直方向の７２０画素の内、最初に水平転送部へ転送する２４０画素分（図５（ｃ）の掃き捨て部分Ｃ）を高速転送により掃き捨てる。次に、撮像素子１０３ａは、中央部分の２４０画素を１ライン単位で水平転送部へ転送し、出力処理部より出力する。次に、撮像素子１０３ａは、残りの２４０画素分（図５（ｃ）の掃き捨て部分Ｄ）を高速転送により掃き捨てる。
【００６７】
上記の垂直方向の上下２４０画素分を掃き捨てる理由は、撮像素子１０３ａにおいて垂直方向の中央部分の各画素信号を１フィールド期間内に全部読み出すためである。以上の処理により撮像素子１０３ａが出力する出力信号は、ＡＤ変換器１０５によりデジタル信号に変換され、垂直補間処理部１０６ａに入力される。垂直補間処理部１０６ａにおいては、そのまま次の色分離部１０７ａへ出力する。次に、色分離部１０７ａは、撮像素子１０３ａの出力信号（Ｒ、Ｂ、Ｇ）に応じた処理を行うことでＲＧＢ信号を生成する。以降の処理は、第一の実施形態で示した撮像装置１００と同様であるので省略する。
【００６８】
次に、撮像装置１００ａの電子ワイドの動作について説明する。
ここで、ＷＩＤＥ端とＴＥＬＥ端の間の位置にレンズ１０１がある状態（ｔ１１〜ｔ１２の間）において、ズーム操作ボタン１１２の縮小ボタンを押下し続けると、以下の順に撮像装置１００ａの状態が変化する。まず、レンズ１０１が光学ズーム倍率に応じてＷＩＤＥ端へ向けて移動し、最小の光学ズーム倍率（１倍）になるとレンズ１０１はＷＩＤＥ端の位置に移動した状態となる（ｔ１１）。次に、光学ズームと電子ワイドの切換処理により電子ワイド処理が始まり、電子処理倍率が下降する。
【００６９】
次に、電子処理倍率が０．７５倍になると画素の混合数を２画素から３画素へ変更して、３画素混合にする（ｔ１６）。これにより、撮像装置１００ａは、２画素混合において１２画素（受光素子２４画素分）から３画素を間引く縮小倍率（０．７５倍）の状態から、３画素混合の８画素（受光素子２４画素分）から９画素を生成する拡大倍率（１．１２５倍）の状態となる。これにより、２画素混合において、１／４の画素が間引かれることで画質の劣化が増大するところを、２画素混合に比べて解像度の低い３画素混合ではあるが、有効エリアの全画素の情報を利用することで、全体的な画質の向上を図ることが出来る。
【００７０】
そして、最小の電子処理倍率（２／３倍）まで下降した場合（撮像素子全面から垂直３画素混合して読み出す状態）は、ストップする（ｔ１７）。尚、本実施形態では、撮像装置１００ａの最小の電子処理倍率が２／３倍であったが、電子処理倍率が２／３倍以下となる更なる縮小処理を行っても良い。尚、２画素混合から３画素混合に切り替える電子処理倍率は、上述した０．７５倍の限りではなく、垂直補間処理と合わせて行う画質改善処理との組み合わせなどを考慮して、画質向上に最適な倍率であればよい。
【００７１】
上述した図６のｔ１７に示した最も広角側へ制御された場合（混合数＝３画素）の、撮像装置１００ａの動作について以下に説明する。
図５（ａ）の右側に示す図は、垂直方向の隣り合う３画素を混合し出力した場合の出力信号を示す図である。ＴＧ１０４ａがタイミング信号を供給することで、図５（ａ）に示す撮像素子１０３ａは、１フィールド期間内に撮像素子１０３ａ全体の電荷を読み出すために以下の処理を行う。
【００７２】
まず、撮像素子１０３ａは、各画素で生成される電荷を垂直転送部へ読み出し、読み出した電荷を垂直方向に隣り合った３画素（２Ｒ＋Ｇ、Ｂ＋２Ｇ）の混合処理を行う。この混合処理を行うことにより、撮像素子１０３ａが出力信号として出力する画素数は撮像素子１０３ａの有する画素数の３分の１である垂直２４０画素、水平１４４０画素となる。すなわち、出力する画素数が３分の１になるので、撮像素子１０３ａは、１フィールド期間内に全部の画素混合した電荷を読み出すことができる。尚、上述した全部の画素とは、撮像素子１０３ａの有効エリアにある画素の全てであっても、撮像素子１０３ａの有する画素の全てであってもよい。
【００７３】
次に、撮像素子１０３ａにおいて、３画素混合された信号は図５（ａ）に示すように、第一行目では２Ｒ＋Ｇ、Ｂ＋２Ｇ、・・・であり、第二行目では、Ｒ＋２Ｇ、２Ｂ＋２、・・・である。これにより、色分離部１０７ａは、例えば、以下の演算によってＲ信号、Ｇ信号、Ｂ信号を分離する。
Ｒ　＝　（２＊（２Ｒ＋Ｇ）　−　（Ｒ＋２Ｇ））／３
Ｇ　＝　−（（２Ｒ＋Ｇ）　−　２＊（Ｒ＋２Ｇ））／３
Ｂ　＝　（２＊（２Ｂ＋Ｇ）　−　（Ｂ＋２Ｇ））／３
【００７４】
ここで、色分離部１０７ａが上記の演算で求めた各信号は、垂直２４０画素、水平１４４０画素のベイヤー配列である撮像素子からの出力信号と等価である。これにより、色分離部１０７ａは、上記の演算で求めた各信号に対して通常の原色ベイヤー配列における色分離処理を行うことによってＲＧＢ信号を生成することができる。上述以降の、アパーチャ／ガンマ処理部１０８によるアパーチャ処理、ガンマ処理や、輝度色差処理部１０９、水平切り出し部１１０水平補間処理部１１１の処理は、上述した第一の実施形態と同じ処理であるので説明は省略する。
【００７５】
尚、上述した実施形態においては、撮像素子１０３ａの電荷を垂直方向に隣り合った３画素を混合したが、この限りではなく、撮像素子１０３ａから垂直方向に隣り合った同色の３画素を混合する方法でもよい。
以上に示したように、撮像装置１００ａの出力する映像信号は３画素を混合処理した広角側でも、２画素を混合処理したやや望遠域でも、非混合で読み出す望遠側でも垂直方向の画素数が２４０画素一定であるため垂直方向の解像度または画質を向上することができる。
【００７６】
また、上述した実施形態においては最大３画素を画素混合したがこの限りではなく、最も広角側の設定においては撮像素子に蓄積された画素電荷をＮ画素（Ｎは撮像素子で混合可能な最大画素数）混合して読み出してもよい。この場合には、ズーム操作ボタン１１２によって徐々に望遠側に設定を変えていくにつれて、混合する画素数をＮ画素混合からＮ−１画素混合、Ｎ−２画素混合、…と混合画素数を減少していくように制御する構成であればよい。また、上述した構成の撮像装置は、ズーム操作ボタン１１２の操作に応じて撮像素子上で垂直方向の画素を混合する画素数を切り替えることができる。これにより、垂直方向の解像度や画質の劣化の少ない拡大映像または縮小映像を得ることができる。
【００７７】
次に、上述した実施形態においては、撮像装置１００および撮像装置１００ａは、ズーム機能のあるレンズ１０１およびモータ１０２を備えていたが、ズーム機能のないレンズを具備する撮像装置について、第三の実施形態として説明する。
【００７８】
図７は、本発明の第三の実施形態として、ズーム機能のないレンズを具備する撮像装置の概略構成について示す図である。図７に示す撮像装置２００内において、図１の撮像装置１００ａ内と同じ符号（１０３ａ〜１１２、１１５ａ〜１１７）を付与したものは、同様の処理を行うものであり説明を省略する。尚、図７の撮像装置２００と図４の撮像装置１００ａにおいて、大きく異なる機能は以下に示す２点である。
・レンズに光学ズームの機能が無い。
・光学ズームと電子ズームまたは電子ワイドとの切り替えを行う機能が無い。
以下、上述した２点の機能に重点をおいて撮像装置２００について説明する。
【００７９】
レンズ２０１は、ズーム機能の無い例えば単焦点レンズなどのレンズである。ズーム制御部２０３は、ズーム操作ボタン１１２の出力する拡大操作または縮小操作を指示する操作信号に応じて、信号処理による電子ズームまたは電子ワイドを行うかを判断し、拡大／縮小の倍率の制御を行う。すなわち、ズーム制御部２０３は、電子ズーム処理を行うと判断した場合には、電子ズーム処理における拡大の倍率を算出し、電子ワイド処理を行うと判断した場合には、電子ワイド処理における縮小の倍率を算出する。
【００８０】
ここで、ズーム制御部２０３が、倍率を算出し、決定する処理について説明する。
ズーム制御部２０３は、電子ズーム処理を行う場合に、現時点での電子ズーム倍率とズーム操作ボタン１１２からの拡大操作信号を基に次の電子ズーム倍率を算出し決定する倍率決定機能（倍率決定手段）を有する。また、ズーム制御部２０３は、電子ワイド処理を行う場合に、現時点での電子ワイド倍率とズーム操作ボタン１１２からの縮小操作信号を基に次の電子ワイド倍率を算出し決定する倍率決定機能（倍率決定手段）を有する。尚、電子ズーム倍率および電子ワイド倍率を纏めて電子処理倍率とする。
【００８１】
次に、ズーム制御部２０３の電子処理倍率の決定処理について更に説明する。
図８は、図７の撮像装置２００における電子ワイド処理時または電子ズーム処理時の画素の混合数と電子処理倍率の変化を示す図である。図８に示すように、混合数＝２の場合に、撮像装置２００は、電子処理倍率＝１として、出力する映像の処理倍率が１倍である。尚、撮像装置２００の出力する映像の倍率や電子処理倍率と、画素混合数の関係は上述した限りではなく、任意に設定してよい。
【００８２】
まず、撮像装置２００の電子ズーム処理の動作について説明する。
図８に示すように、電子処理倍率が１倍の状態（ｔ２１）において、ズーム操作ボタン１１２の拡大ボタンを押下し続けると、撮像装置２００は、図８のｔ２１〜ｔ２４の順に電子ズーム処理を行う。この図８のｔ２１〜ｔ２４に示す処理は、図６のｔ１２〜ｔ１５で示した撮像装置１００ａの動作と同様の動作となる。すなわち、撮像装置２００の電子ズーム動作は、上述した撮像装置１００ａと同じであり、ｔ２１とｔ１２、ｔ２２とｔ１３、ｔ２３とｔ１４、ｔ２４とｔ１５が対応する。この時、ズーム制御部２０３は、ズーム制御部１１３ａと同様の処理を行う。但し、ｔ２１において、ｔ１２と比べて光学ズームから電子ズームへの切り替え処理が無く、撮像装置２００は、電子ワイド処理から電子ズーム処理へ切り替えを行う。
【００８３】
次に、撮像装置２００の電子ワイドの動作について説明する。
図８のｔ２１〜ｔ２５〜ｔ２６に示す処理は、図６のｔ１１〜ｔ１６〜ｔ１７で示した撮像装置１００ａの動作と同様の動作となる。すなわち、撮像装置２００の電子ワイド動作は、上述した撮像装置１００ａと同じであり、ｔ２１とｔ１１、ｔ２５とｔ１６、ｔ２６とｔ１７が対応する。この時、ズーム制御部２０３は、ズーム制御部１１３ａと同様の処理を行う。但し、ｔ２１において、ｔ１１と比べて光学ズームから電子ワイドへの切り替え処理が無く、撮像装置２００は、電子ズーム処理から電子ワイド処理へ切り替えを行う。
【００８４】
また、上述した実施形態においては、撮像素子１０３、１０３ａは、垂直方向にのみ電荷の混合機能を有していたがこの限りではない。例えば、撮像素子１０３、１０３ａが水平方向の電荷の混合機能を更に有する場合には、ズーム制御部２０３は、垂直方向と水平方向とを別々に混合数と切り出し範囲を算出し決定してもよい。また、撮像素子１０３、１０３ａにおいて垂直方向と水平方向で画素配列のアスペクト比と、撮像装置１００、１００ａの出力する映像信号のアスペクト比とが同じである場合などは、ズーム制御部２０３は、垂直方向と水平方向で共通に用いる混合数と切り出し範囲を算出して決定してもよい。
【００８５】
また、間欠ラインに関して、映像として自然なものにする画質改善処理について説明する。例えば斜めの直線を電子ズームした映像はギザギザの直線になってしまう。これをリニア補間やスプライン補間など一般に用いられている画質改善処理を行うことで、自然な映像となる。すなわち、映像を自然なものにする画質改善処理とは、リニア補間やスプライン補間などの処理を意味する。また、それらの処理はＲＧＢ信号に行うよりも輝度信号や色差信号に行う方が効果的である。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００８６】
【発明の効果】
以上説明したように、本発明では、電子ズームの倍率に応じて、画素の混合数を調整し映像の解像度を変更することができる。すなわち、撮像素子の出力信号を電子ズーム処理によって拡大表示する映像信号において充分な解像度を得ることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施形態における撮像装置の概略構成を示す図である。
【図２】図１の撮像装置１００における光学ズームと電子ズームの切り替え処理および画素の混合数と電子ズーム倍率の変化を示す図である。
【図３】光学ズーム時および電子ズーム時の撮像素子１０３における電荷転送および画素混合の処理例を示す図である。
【図４】本発明の第二の実施形態として、原色フィルタを有する撮像素子を具備する撮像装置の概略構成について示す図である。
【図５】図４に示した撮像素子１０３ａの原色フィルタ構成と、電子ワイド時と、光学ズーム時と、電子ズーム時の撮像素子１０３ａにおける非混合時の電荷転送および非混合の処理例を示す図である。
【図６】図４の撮像装置１００ａにおける動作モードとして、電子ワイドと光学ズームと電子ズームの切換処理を示す図である。
【図７】本発明の第三の実施形態として、ズーム機能のないレンズを具備する撮像装置の概略構成について示す図である。
【図８】図７の撮像装置２００における電子ワイド処理時または電子ズーム処理時の画素の混合数と電子処理倍率の変化を示す図である。
【図９】従来のズーム機能を備える撮像装置の概略構成を示すブロック図である。
【図１０】従来の撮像装置３０が備えるズーム切り替え部４７による光学ズームと電子ズームの切換処理を示す図である。
【図１１】従来の撮像素子における画祖混合例と、電子ズーム処理する場合の撮像素子からの電荷の読み出し方法を示す図である。
【符号の説明】
１０１　　　　　　レンズ
１０２　　　　　　モータ
１０３、１０３ａ　撮像素子
１０４、１０４ａ　ＴＧ
１０５　　　　　　ＡＤ変換器
１０６、１０６ａ　垂直補間処理部
１０７、１０７ａ　色分離部
１０８　　　　　　アパーチャ／ガンマ処理部
１０９　　　　　　輝度色差処理部
１１０　　　　　　水平切り出し部
１１１　　　　　　水平補間処理部
１１２　　　　　　ズーム操作ボタン
１１３、１１３ａ　ズーム制御部
１１４　　　　　　光学ズーム制御部
１１６、１１６ａ　垂直倍率制御部
１１７、１１７ａ　水平倍率制御部
２０３　　　　　　ズーム制御部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging device having a zoom function and a control method thereof.
[0002]
[Prior art]
2. Description of the Related Art In a conventional imaging apparatus, an imaging element such as a CCD (Charge Coupled Device) performs photoelectric conversion to convert an output electric signal into a digital signal, and performs digital signal processing to obtain a predetermined video signal. Further, an image pickup apparatus having a zoom function is generally capable of arbitrarily determining an angle of view from the wide-angle side to the telephoto side by using an optical zoom lens in front of an image pickup device. Further, a video signal on the telephoto side can be further obtained by an electronic zoom process of electrically enlarging a subject image formed on a central portion of the image sensor by digital signal processing.
[0003]
FIG. 9 is a block diagram showing a schematic configuration of an imaging device having a conventional zoom function.
In FIG. 9, an imaging device 30 is an imaging device that has a zoom function of an optical zoom and an electronic zoom and generates and outputs a television signal or the like from an output signal of an imaging element. The lens 40 forms an image of a subject on the image sensor 42. The motor 41 is a motor that drives the lens 40. The imaging device 42 is an imaging device such as a CCD that performs photoelectric conversion. The TG (timing generator) 43 is a timing generator that drives the image sensor 42. The AD converter 44 is an AD (analog-digital) conversion circuit that converts an output signal of the image sensor 42 into a digital signal. The signal processing unit 45 is a signal processing circuit that performs a color separation process, a gamma process, and the like based on an output signal of the AD converter 44 to generate a luminance signal and a color difference signal.
[0004]
The zoom operation button 46 is a button for the user to perform a zoom operation. In general, the zoom operation button 46 includes an enlargement button (or a TELE button) for enlarging an image and a reduction button (or a WIDE button) for returning the enlarged image to a base. The zoom switching unit 47 is a circuit that determines and switches whether to perform the enlargement / reduction processing according to the operation of the zoom operation button 46 using the optical zoom or the electronic zoom. The optical zoom control unit 48 controls the motor 41 so as to perform the enlargement / reduction process by adjusting the angle of view of the subject that the lens 40 forms on the image sensor 42 based on the determination of the zoom switching unit 47. This is a circuit that outputs a control signal.
[0005]
Note that, when the lens 40 is at the most telephoto side (TELE end), the optical zoom control unit 48 outputs a notification signal to that effect to the zoom switching unit 47. The zoom switching unit 47 switches between optical zoom and electronic zoom based on the notification signal and the operation of the zoom operation button 46.
[0006]
Here, the switching process of the zoom switching unit 47 will be further described.
FIG. 10 is a diagram illustrating a process of switching between optical zoom and electronic zoom by the zoom switching unit 47 included in the conventional imaging device 30. As shown in FIG. 10, the zoom switching unit 47 switches to the electronic zoom after the lens 40 moved by the optical zoom reaches the TELE end. Specifically, the optical zoom control unit 28 detects the TELE end of the optical zoom from the position of the motor 41 and outputs a notification signal to the zoom switching unit 47.
[0007]
Next, the operation of the above-described conventional image sensor shown in FIG. 9 will be described using the image sensor shown in FIG. 11A composed of 480 pixels vertically and 720 pixels horizontally as an example.
FIG. 11A is a diagram illustrating an example of pixel mixing in a conventional image sensor.
Normally, the image sensor 42 performs interlaced reading when capturing a moving image. That is, the drive from the TG 43 causes the charges of two pixels adjacent in the vertical direction to be mixed and transferred in the image sensor 42. As shown in FIG. 11A, in the image sensor 42 in which a complementary color filter is formed for each pixel, a signal obtained by mixing charges of two pixels of cyan (Cy) + yellow (Ye) and magenta ( A signal obtained by mixing charges of two pixels of (Mg) + green (Gr) is output.
[0008]
As described above, the image sensor 42 mixes two pixels in the vertical direction, and outputs a signal with 240 pixels vertically and 720 pixels horizontally as one field. Next, this signal is converted into a digital signal by the AD converter 44. Next, the signal processing unit 47 performs color separation processing, gamma processing, and generation of a luminance signal and a color difference signal. Further, an NTSC television signal may be generated and output based on the luminance signal and the color difference signal.
[0009]
Next, a description will be given of a process of electronic zoom in a conventional imaging apparatus.
FIG. 11B is a diagram illustrating a method of reading out electric charges from the image sensor when performing the electronic zoom processing. In the electronic zoom processing for electrically enlarging and outputting a part of the screen, as shown in FIG. 11B, the enlargement processing is performed using the signal of the central part of the image sensor 42. FIG. 11B shows a case in which the electronic zoom with a magnification (processing magnification) of 2 is performed, and 240 pixels at the center of the 480 pixels in the vertical direction are read out over one field period. That is, by intermittently reading the signal of the central portion of the image sensor 42 in units of one line in the horizontal direction, the signal of the central portion of the image sensor is expanded and output in one field period (one video scanning period).
[0010]
When intermittent reading is performed, the signal processing unit 45 performs an interpolation process using a memory or the like for performing interpolation using a signal that has already been read during a period in which no signal is read from the image sensor 42. . Therefore, in the case of the double electronic zoom shown in FIG. 11B, the signal read out by the electronic zoom processing is a signal of the image sensor 42 of 120 pixels in the vertical direction. Further, the signal processing unit 45 generates a signal of 240 pixels in the vertical direction from the signal of 120 pixels in the vertical direction intermittently read out by an interpolation process using a memory.
[0011]
[Problems to be solved by the invention]
However, the above-described imaging apparatus uses an imaging element that reads out data of the same number of pixels as the resolution of a display device such as a TV monitor. The four parts are displayed on the entire display device. As a result, there is a problem that the resolution of the image displayed on the display device is halved in the horizontal and vertical directions.
That is, in the case of using an image sensor composed of 480 pixels vertically and 720 pixels horizontally and enlarging both vertically and horizontally twice by electronic zoom processing, 240 pixels vertically and 360 pixels horizontally at the center of the image sensor (total 360 pixels) Interpolation based on the signal of (1/4 of the number of pixels) generates 480 pixels vertically and 720 pixels horizontally, so that the resolution is greatly reduced.
[0012]
The present invention has been made in view of the above circumstances, and provides an imaging apparatus and a control method thereof capable of obtaining a sufficient resolution in a video signal in which an output signal of an imaging element is enlarged and displayed by electronic zoom processing. With the goal.
[0013]
[Means for Solving the Problems]
The present invention has been made to solve the above-described problem. In an imaging apparatus according to the present invention, an imaging device having an imaging region in which a plurality of light receiving elements are arranged two-dimensionally, A first control mode for outputting video data using a signal from the first area, and a second control mode for outputting video data using a signal from a second area smaller than the first area. In the first control mode, the video data is output by a signal obtained by mixing signals of a plurality of light receiving elements, and in the second control mode, the video data is mixed. Control means for controlling the video data to be output by a signal obtained by mixing signals of a plurality of light receiving elements which are not present or signals of a plurality of light receiving elements less than the number of mixing in the first control mode. It is characterized by having.
[0014]
Also, the present invention relates to a method for controlling an imaging apparatus having an imaging element having an imaging area in which a plurality of light receiving elements are arranged two-dimensionally, wherein video data is obtained by using a signal from a first area in the imaging area. And a second control mode for outputting video data using a signal from a second area smaller than the first area. In the case of the mode, the video data is output by a signal obtained by mixing the signals of the plurality of light receiving elements, and in the case of the second control mode, the signal of each of the plurality of light receiving elements which are not mixed or the first signal is output. The control is such that the video data is output by a signal obtained by mixing signals of a plurality of light receiving elements, which is smaller than the number of mixing in the control mode.
[0015]
Accordingly, in the image pickup apparatus and the control method thereof according to the present invention, the number of pixels can be adjusted and the resolution of the image can be changed according to the electronic zoom magnification (processing magnification). That is, a sufficient resolution can be obtained for a video signal in which the output signal of the image sensor is enlarged and displayed by electronic zoom processing.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, a schematic configuration of an imaging device according to a first embodiment of the present invention will be described.
FIG. 1 is a diagram illustrating a schematic configuration of an imaging device according to the first embodiment of the present invention. In FIG. 1, an imaging apparatus 100 is an imaging apparatus that has a zoom function of an optical zoom and an electronic zoom and generates and outputs a television signal or the like from an output signal of an imaging element. The lens 101 is a zoom lens that includes a plurality of lenses or the like and forms an image of a subject on a light receiving surface of an image sensor 103 described later. The motor 102 is a motor that drives the lens 101. The motor 102 drives the lens 101 to change the angle of view of the subject to be imaged on the image sensor 103 to realize a zoom function.
[0017]
The image sensor 103 is an image sensor that performs photoelectric conversion such as a CCD. The imaging element 103 includes a plurality of two-dimensionally arranged photoelectric conversion light receiving elements (hereinafter, referred to as pixels) having complementary color filters as shown in FIG. 3A, and reads out charges generated in each pixel. By mixing and / or transferring the read charges, an output signal corresponding to the charge amount is output. In addition, the image sensor 103 transfers charges in units of 1 to N pixels by mixing charges of 1 to N pixels (N is a natural number) adjacent in the vertical direction. The description of FIG. 3A and the method of mixing charges will be described later.
[0018]
A TG (timing signal generation unit) 104 is a timing generator that drives the image sensor 103. The TG 104 generates a timing signal for controlling charge accumulation, charge mixing (pixel mixing), and charge transfer timing in the image sensor 103. The AD converter 105 performs an AD (analog-digital) conversion for converting an output signal of the image sensor 103 into a digital signal.
[0019]
The vertical interpolation processing unit 106 is a circuit that performs vertical interpolation of an output signal from the image sensor 103a during electronic zoom processing. If the electronic zoom processing is not performed, the vertical interpolation processing unit 106 outputs the input signal from the AD converter 105 as an output signal as it is.
[0020]
The color separation unit 107 is a circuit that performs color separation processing on the output signal of the vertical interpolation processing unit 106 and outputs RGB (R (Red), G (Green), and B (Blue)) signals. The aperture / gamma processing unit 108 is a circuit that performs aperture processing, such as contour enhancement, and gamma processing, such as gamma correction, on the RGB signals output from the color separation unit 107. The luminance / color difference processing unit 109 is a circuit that generates a luminance signal and a color difference signal from the RGB signals processed by the aperture / gamma processing unit 108.
[0021]
The horizontal cutout unit 110 is a circuit that cuts out a central portion of one line in the horizontal direction of the luminance signal and the color difference signal output from the luminance / color difference processing unit 109 in accordance with the processing magnification at the time of electronic zoom processing. The horizontal interpolation processing unit 111 is a circuit that expands the luminance signal and the color difference signal extracted by the horizontal extraction unit 110 according to the processing magnification and performs horizontal interpolation. The aspect ratio of the video signal is adjusted to 4: 3 by the processing of the horizontal cutout unit 110 and the horizontal interpolation processing unit 111.
[0022]
The zoom operation button 112 is a button for the user to perform a zoom operation, and includes an enlargement button (or a TELE button) for enlarging an image and a reduction button (or a WIDE button) for returning the enlarged image to a base. The zoom operation button 112 outputs an enlargement operation signal when the user presses the enlargement button, and outputs a reduction operation signal when the user presses the reduction button.
[0023]
The zoom control unit 113 performs optical zoom by the lens 101 or performs electronic zoom by signal processing in accordance with an enlargement operation signal or a reduction operation signal output from the zoom operation button 112 (the two are collectively referred to as an operation signal). It is a circuit that determines whether to perform switching. Further, when the zoom control unit 113 determines that optical zoom is to be performed, the zoom control unit 113 outputs an instruction signal for instructing a magnification at the time of optical zoom to the optical zoom control unit 114 described later. When the zoom control unit 113 determines that the electronic zoom process is to be performed, the zoom control unit 113 controls the vertical magnification control unit 116 and the horizontal magnification control unit 117. The processing relationship between the zoom control unit 113 and the optical zoom control unit 114 will be described later.
[0024]
The optical zoom control unit 114 controls the motor 102 to perform the enlargement / reduction process by adjusting the angle of view of the subject that the lens 101 forms on the image sensor 103 based on the instruction signal from the zoom control unit 113. This is a circuit for outputting a control signal to be output. Note that, when the lens 101 is at the most telephoto side (TELE end), the optical zoom control unit 114 outputs a notification signal to that effect to the zoom control unit 113. The zoom control unit 113 switches between optical zoom and electronic zoom based on the notification signal and the operation signal from the zoom operation button 112. Further, when performing the electronic zoom processing, the zoom control unit 113 calculates and determines the next electronic zoom magnification based on the current electronic zoom magnification and the operation signal from the zoom operation button 112 (magnification determination function). Means).
[0025]
Based on the control of the zoom control unit 113, the vertical magnification control unit 116 mixes the charges according to the number of mixing in the vertical direction and outputs a timing signal for performing charge transfer in an arbitrary range in the image sensor. The TG 104 has a TG control function (timing signal control means). Specifically, the vertical magnification control unit 116 generates a timing signal for the image sensor 103 to output an intermittent output signal for each line, or for the image sensor 103 to output only a central portion of the charge in the image sensor. TG control signal for controlling the TG 104 so as to generate
[0026]
The horizontal magnification control unit 117 is a circuit that outputs a horizontal magnification signal to the horizontal cutout unit 110 and the horizontal interpolation processing unit 111 in order to perform enlargement / reduction processing in the horizontal direction.
[0027]
Here, the switching process of the zoom control unit 113 and the electronic zoom magnification determination process will be further described.
FIG. 2 is a diagram illustrating switching processing between optical zoom and electronic zoom and changes in the number of mixed pixels and electronic zoom magnification in the imaging apparatus 100 in FIG. 1.
[0028]
As shown in FIG. 2, in a state where the lens 101 is located at the position of the WIDE end (t1), if the enlargement button of the zoom operation button 112 is kept pressed, the state of the imaging device 100 changes in the following order. First, the lens 101 moves toward the TELE end according to the optical zoom magnification. When the lens 101 reaches the maximum optical zoom magnification (for example, 10 times), the lens 101 moves to the position at the TELE end (t2). Next, electronic zoom processing is started by switching processing between optical zoom and electronic zoom, and the electronic zoom magnification is increased. Thus, for example, when the electronic zoom magnification is 2 ×, the operator of the imaging apparatus 100 is provided with a 20 × image multiplied by the optical zoom magnification of 10 ×.
[0029]
As described above, the imaging device 100 executes an optical zoom process or an electronic zoom process according to the operation of the zoom operation button 112. Further, in the electronic zoom processing, the imaging device 100 determines the electronic zoom magnification in accordance with the operation of the zoom operation button 112, and determines the pixel mixture number of the electric charge according to the electronic zoom magnification. Accordingly, when the electronic zoom magnification is increased by operating the zoom operation button 112, the imaging apparatus 100 can improve the resolution of an image after the electronic zoom by reducing the number of pixel mixtures of charges. .
[0030]
Next, the switching process between the optical zoom and the electronic zoom at time t2 in FIG. 2 will be described. As shown in FIG. 2, the zoom control unit 113 switches to the electronic zoom after the lens 101 moved by the optical zoom reaches the TELE end. Specifically, the optical zoom control unit 114 detects the TELE end of the optical zoom from the position of the motor 102 and outputs a notification signal to the zoom control unit 113. Next, upon receiving an enlargement operation signal from the zoom operation button 112, the zoom control unit 113 switches to electronic zoom, calculates a processing magnification of the electronic zoom, and outputs an electronic zoom processing instruction signal including the calculated processing magnification. I do. In the following description, the operation mode when the imaging apparatus 100 performs the electronic zoom processing without moving the optical lens is an electronic zoom mode, and the operation mode when the optical lens is moving is an optical zoom mode. I do.
[0031]
Next, an example of a process of charge transfer and pixel mixing in the image sensor 103 during the optical zoom between t1 and t3 in FIG. 2 will be described, and the operation of the image capturing apparatus 100 will be described.
FIG. 3A is a diagram illustrating a processing example of charge transfer and pixel mixing in the image sensor 103 during the optical zoom.
[0032]
As shown in FIG. 3A, the image sensor 103 is a pixel array having complementary color filters (Cy, Mg, Ye, Gr) for interlacing of 480 pixels vertically and 720 pixels horizontally. When the TG 104 supplies the timing signal, the image sensor 103 performs the following processing to read out the charges of the entire image sensor 103 within one field period. First, the image sensor 103 reads out the electric charge generated in each pixel to the vertical transfer unit, and performs a process of mixing the read out electric charges with two vertically adjacent pixels (Cy + Mg, Ye + Gr). By performing this mixing process, the number of pixels output by the image sensor 103 as an output signal is 240 pixels vertically and 720 pixels horizontally, which are half the number of pixels of the image sensor 103. That is, since the number of pixels to be output is halved, the time required for the imaging unit 103 to output all the pixels is also halved, and the charges mixed with all the pixels can be read within one field period.
[0033]
Next, the image sensor 103 vertically transfers the charge obtained by mixing two pixels by the vertical transfer unit. Next, the image sensor 103 transfers the electric charge transferred from the vertical transfer unit by the horizontal transfer unit for each horizontal line. Next, the image sensor 103 converts the electric charge transferred from the horizontal transfer unit by the output processing unit into a voltage signal and outputs the voltage signal as an output signal. The above processing is performed by the image sensor 103 in accordance with the control of the timing signal output from the TG 104.
[0034]
Next, the operation of the imaging device 100 at the time t3 in FIG. 2 by operating the zoom operation button 112 will be described. Here, a case will be described in which the electronic zoom magnification output from the zoom control unit 113 changes from slightly less than 1.5 times to slightly more than 1.5 times by operating the zoom operation button 112. When the electronic zoom magnification is slightly less than 1.5 times, the electric charges of the two pixels in the vertical direction are mixed, and the upper 60 lines and the lower 60 lines of the image sensor are swept away, and the central portion 320 mm from the image sensor is removed. The charge corresponding to the line (180 mixed lines) is output. Then, the mixed electric charges for 180 lines are vertically interpolated by the vertical interpolation circuit 106 to become electric charges for 240 lines.
[0035]
When the electronic zoom magnification becomes slightly more than 1.5 times, the number of mixed pixels becomes one pixel (non-mixed). As described above, in the case where two pixels are mixed, if the magnification is 1.5 times, in the vertical direction, signals for two pixels are simply generated, but by changing to non-mixed, It is sufficient to generate a signal for three pixels from three pixels obtained by thinning one pixel from four pixels, and the resolution in the vertical direction can be improved.
[0036]
Next, the vertical magnification control unit 116 outputs a TG control signal for controlling the TG 104 so as to output a timing signal for charge transfer according to the electronic zoom magnification = 1.5. As a result, the TG 104 outputs a timing signal to the image sensor 103 for performing a transfer process so as to output electric charges by thinning out one line to four lines in units of one line without pixel mixing from the central 320 lines. . At this time, the image sensor 103 stops the mixing process between the vertically adjacent pixels, and reads out the signal of each pixel without mixing.
[0037]
Here, an image quality improvement process may be performed so that the connection of the images in the upper and lower lines of one thinned line looks natural. The image quality improvement processing for making a video look natural will be described later.
[0038]
In addition, the horizontal magnification control unit 117 outputs a horizontal magnification signal to the horizontal cutout unit 110 and the horizontal interpolation processing unit 111. Thus, the horizontal cutout unit 110 performs a cutout process according to the horizontal magnification, and cuts out 540 pixels at the center of 720 horizontal pixels. Next, the horizontal interpolation processing unit 111 performs a horizontal enlargement process for generating enlarged pixel data for one line on the pixel data extracted by the horizontal extraction unit 110. Specifically, the horizontal interpolation processing unit 111 generates enlarged pixel data for three pixels from pixel data for two pixels. As described above, the imaging apparatus 100 can output, as an output image, a video image with 1.5 times the electronic zoom magnification with improved vertical resolution compared to the conventional two-pixel mixture.
[0039]
Next, an example of processing of charge transfer and pixel mixing in the image sensor 103 at time t4 in FIG. 2 by operating the zoom operation button 112 will be described, and the operation of the image capturing apparatus 100 will be described.
FIG. 3B is a diagram illustrating a processing example of charge transfer and pixel mixing in the image sensor 103 during electronic zoom. The electronic zoom magnification output by the zoom control unit 113 at this time is twice.
[0040]
As shown in FIG. 3B, when the TG 104 supplies a timing signal, the image sensor 103 performs the following processing in order to read out some charges of the image sensor 103 within one field period. First, the vertical magnification control unit 116 outputs a TG control signal based on the control of the zoom control unit 113 such that the TG 104 outputs a timing signal that is not mixed in the image sensor 103 and outputs charges for 240 lines. I do. As a result, the TG 104 supplies a timing signal that is non-mixed and outputs charges for 240 lines to the image sensor 103.
[0041]
In response to the timing signal described above, first, the image sensor 103 reads out charges generated in each pixel to the vertical transfer unit. At this time, the image sensor 103 does not perform pixel mixing in the vertical transfer unit. Next, the image sensor 103 sweeps out 120 pixels (sweep-out part A in FIG. 3B) of the 480 pixels in the vertical direction which are first transferred to the horizontal transfer unit by high-speed transfer. Next, the image sensor 103 transfers the central 240 pixels to the horizontal transfer unit on a line-by-line basis, and outputs it from the output processing unit. The pixel area at the center is defined as an effective area. Next, the image sensor 103 sweeps away the remaining 120 pixels (the swept away portion B in FIG. 3B) by high-speed transfer.
[0042]
The reason for sweeping away the upper and lower 120 pixels in the vertical direction is that all the pixel signals in the effective area of the image sensor 103 cannot be read out unmixed within one field period, and unnecessary portions are transferred at high speed. , The non-mixed pixel signals forming the effective area can be read out.
[0043]
The output signal output from the image sensor 103 by the above processing is converted into a digital signal by the AD converter 105 and input to the vertical interpolation processing unit 106. In the vertical interpolation processing unit 106, the data is output to the next color separation unit 107 as it is. Next, the color separation unit 107 generates an RGB signal by performing a process according to the signal output without mixing the charges. Next, the aperture / gamma processing unit 108 performs aperture processing and gamma processing on the RGB signals generated by the color separation unit 107. At this time, the color separation unit 107 performs a color separation process according to a control signal for processing non-mixed pixels from the vertical magnification processing unit 116.
[0044]
Next, the luminance / color difference processing unit 109 generates a luminance signal and a color difference signal based on the RGB signals output from the aperture / gamma processing unit 108. Next, the horizontal cutout unit 110 cuts out 360 pixels at the center of the horizontal 720 pixels. The horizontal interpolation processing unit 111 expands and interpolates the cut-out signal of the central portion in a horizontal video period (for one line). As described above, the imaging apparatus 100 can output the image to the outside after adjusting the aspect ratio of the image to 4: 3.
[0045]
As described above, the operation of the zoom operation button 112 controls the charge transfer and the non-mixing of the image sensor 103 at the time point t4 in FIG. 2, and the enlarged video signal includes the vertical 240 pixels that are not mixed in the vertical direction. Then, a video signal of 240 pixels vertically and 720 pixels horizontally is generated from 360 pixels horizontally extracted. As a result, a high-quality enlarged video signal with less deterioration in vertical resolution is obtained as compared with a conventional case where a video signal of 240 vertical pixels and 720 horizontal pixels is generated from the mixed vertical 120 pixels and the cut horizontal 360 pixels. be able to. In the image pickup apparatus 100 according to the above-described embodiment, the number of pixels is changed when the electronic zoom magnification is 1.5 times. However, the present invention is not limited to this. In consideration of the use of signal processing to be performed, the electronic zoom magnification is suitable for obtaining a higher quality image.
[0046]
Next, the operation of the imaging device 100 from the time after t4 to t5 in FIG. 2 by operating the zoom operation button 112 will be described. First, the zoom control unit 113 of the imaging device 100 further increases the electronic zoom magnification (2 times or more) in accordance with the enlargement operation signal from the zoom operation button 112. The vertical magnification control unit 116 controls the TG 104 such that the charge of less than 240 lines is output from the image sensor 103 without mixing. In other words, the charge for more lines than the upper 120 lines of the image sensor 103 and the charge for more lines than the lower 120 lines of the image sensor 103 are swept away. Then, the electric charges for the number of lines smaller than 240 lines output from the image sensor 103 are interpolated by the vertical interpolation circuit 106 so as to have 240 lines.
[0047]
Next, as a second embodiment of the present invention, an imaging device including an imaging element having a primary color filter will be described.
FIG. 4 is a diagram illustrating a schematic configuration of an imaging apparatus including an imaging element having a primary color filter as a second embodiment of the present invention. In the image pickup apparatus 100a of FIG. 4, the same reference numerals (101, 102, 105, 108 to 115, 117) as those in the image pickup apparatus 100 of FIG. .
[0048]
Note that the imaging apparatus 100a of FIG. 4 and the imaging apparatus 100 of FIG. 1 have two significantly different functions as described below.
It has the function of driving the image sensor of the primary color filter and processing the output signal.
-It has an electronic wide function by mixing three pixels in the vertical direction.
Hereinafter, the imaging apparatus 100a will be described with emphasis on the two functions described above.
[0049]
Note that the electronic wide function is a function of performing electronic reduction processing by digital signal processing when the lens 101 reaches the widest angle side. Thereby, the imaging device 100a can further expand the range of the subject image that can be output as a video signal.
[0050]
The image sensor 103a is an image sensor having a primary color filter of 720 vertical pixels and 1440 horizontal pixels as shown in FIG. Further, the image sensor 103a can mix electric charges of three pixels adjacent in the vertical direction. The description of FIG. 5A will be described later. The TG 104a is a timing generator that drives the image sensor 103a. The TG 104a outputs a timing signal for controlling mixing and transfer in the image sensor 103a having a primary color filter. The vertical interpolation processing unit 106a is a circuit that performs vertical interpolation of an output signal from the image sensor 103a during electronic zoom processing.
[0051]
When the electronic zoom processing is not performed, the vertical interpolation processing unit 106a outputs the input signal from the AD converter 105 as an output signal as it is. The color separation unit 107a is a circuit that performs color separation processing on the output signal of the vertical interpolation processing unit 106a and outputs RGB signals. At this time, the color separation unit 107a performs signal processing according to the output signal of the image sensor 103a having the primary color filter.
[0052]
Further, the zoom control unit 113a determines whether to perform optical zoom by the lens 101 or to perform electronic zoom or electronic wide by signal processing according to an operation signal instructing an enlargement operation or a reduction operation output from the zoom operation button 112. Judge and control to switch the operation mode. Further, when it is determined that the optical zoom is to be performed, the zoom control unit 113a outputs an instruction signal for instructing a magnification at the time of the optical zoom to the optical zoom control unit 114a to be described later.
[0053]
The processing relationship between the zoom control unit 113a and the optical zoom control unit 114a will be described later. When determining to perform the electronic zoom processing, the zoom control unit 113a calculates the magnification of the enlargement in the electronic zoom processing. If the zoom control unit 113a determines that electronic wide processing is to be performed, the zoom control unit 113a calculates a reduction processing magnification in electronic wide processing. Further, a process in which the zoom control unit 113a calculates a processing magnification for enlargement or reduction will be described later.
[0054]
The optical zoom control unit 114a controls the motor 102 to perform the enlargement / reduction processing by adjusting the angle of view of the subject that the lens 101 forms on the image sensor 103 based on the instruction signal from the zoom control unit 113a. This is a circuit for outputting a control signal to be output. Further, when the lens 101 is at the most telephoto side (TELE end), the optical zoom control unit 114 outputs a TELE end notification signal notifying the fact to the zoom control unit 113a. Further, when the lens 101 is at the wide-angle end (WIDE end), the optical zoom control unit 114 outputs a WIDE end notification signal notifying the fact to the zoom control unit 113a.
[0055]
Here, a process in which the zoom control unit 113a calculates and determines a processing magnification will be described.
The zoom control unit 113a switches between optical zoom and electronic zoom based on a TELE end notification signal from the optical zoom control unit 114 and an operation signal from the zoom operation button 112. Further, when performing the electronic zoom processing, the zoom control unit 113a calculates and determines the next electronic zoom magnification based on the current electronic zoom magnification and the enlargement operation signal from the zoom operation button 112 (magnification determination function). Determination means).
[0056]
The zoom control unit 113a switches between optical zoom and electronic wide based on the WIDE end notification signal from the optical zoom control unit 114 and the operation signal from the zoom operation button 112. Further, when performing the electronic wide processing, the zoom control unit 113a calculates and determines the next electronic wide magnification based on the current electronic wide magnification and the reduction operation signal from the zoom operation button 112 (magnification determining function). Determination means). The electronic zoom magnification and the electronic wide magnification are collectively referred to as electronic processing magnification.
[0057]
The vertical magnification control unit 116a controls the TG 104a based on the control of the electronic zoom control unit 113a so as to mix the charges according to the number of mixing in the vertical direction and to output a timing signal for performing the charge transfer. It has functions (timing signal control means).
[0058]
As described above, each processing unit of the imaging device 100a illustrated in FIG. 4 has substantially the same function as each processing unit of the imaging device 100 illustrated in FIG. The imaging device 100a performs electronic wide processing when the lens 101 reaches the widest angle side, and the imaging device 100 may have a similar processing function for the electronic wide processing.
[0059]
Here, the operation mode switching processing and the electronic processing magnification determination processing of the zoom control unit 113a will be further described.
FIG. 6 is a diagram illustrating a process of switching between electronic wide, optical zoom, and electronic zoom as operation modes in the imaging apparatus 100a in FIG.
[0060]
First, the operations of the optical zoom process and the electronic zoom process of the imaging device 100a will be described.
As shown in FIG. 6, in a state where the lens 101 is located at the position of the WIDE end (t11), if the user continues to press the enlargement button of the zoom operation button 112, the imaging apparatus 100a performs optical zoom in the order of t11 to t15 in FIG. Processing and electronic zoom processing are performed. The processes shown at t11 to t15 in FIG. 6 are the same as the operations of the imaging device 100 shown at t1 to t5 in FIG. That is, the optical zoom operation and the electronic zoom operation of the imaging device 100a are the same as those of the above-described imaging device 100. However, since the method of mixing two pixels is different, a processing example of charge transfer and pixel mixing of the imaging element 103a is shown, and the operation of the imaging device 100a at t11 to t15 in FIG. 6 will be briefly described.
[0061]
FIG. 5A is a diagram illustrating a configuration of a primary color filter of the image sensor 103a illustrated in FIG. As shown on the left side of FIG. 5A, the image sensor 103a has a pixel array of 720 vertical pixels and 1440 horizontal pixels to which RGB primary color filters are added. When causing the image sensor 103a to perform the two-pixel mixing process at t11 in FIG. 6, the image capturing apparatus 100a performs the following operation.
[0062]
FIG. 5B is a diagram illustrating an example of processing of charge transfer and pixel mixing when two pixels are mixed in the image sensor 103a during optical zoom. When the TG 104a supplies the timing signal, the image sensor 103a performs the following processing to read out a part of the charge of the image sensor 103a within one field period. First, based on the control of the zoom control unit 113a, the vertical magnification control unit 116a mixes two pixels in the image sensor 103a and outputs a timing signal for outputting charges for 240 lines by the TG 104a. Is output. As a result, the TG 104a supplies a timing signal for mixing two pixels and outputting charges for 240 lines to the image sensor 103a.
[0063]
According to the timing signal described above, the image sensor 103a reads out the electric charge generated in each pixel to the vertical transfer unit, and performs a process of mixing the read out electric charges with two pixels (R + R, B + B, G + G) adjacent in the vertical direction. Next, the image sensor 103a sweeps out 120 pixels (the swept-out part A in FIG. 5B) which is first transferred to the horizontal transfer unit out of the 720 pixels in the vertical direction by high-speed transfer. Next, the image sensor 103a transfers the 240 pixels after mixing of the two pixels at the center (480 pixels before mixing) to the horizontal transfer unit in units of one line, and outputs the same from the output processing unit. Next, the image sensor 103a sweeps away the remaining 120 pixels (swept-away portion B in FIG. 5B) by high-speed transfer.
[0064]
The reason why the upper and lower 120 pixels in the vertical direction are swept away is that all the pixel signals after the two pixels of the image sensor 103a are mixed are read out within one field period. The output signal output from the image sensor 103a by the above processing is converted into a digital signal by the AD converter 105, and is input to the vertical interpolation processing unit 106a. In the vertical interpolation processing unit 106a, the data is output to the next color separation unit 107a as it is. Next, the color separation unit 107a generates an RGB signal by performing processing according to the output signals (2R, 2B, 2G) of the image sensor 103a. Subsequent processing is the same as that of the imaging device 100 described in the first embodiment, and a description thereof will be omitted.
[0065]
Next, when causing the image sensor 103a to perform the non-mixing process at t14 in FIG. 6, the image capturing apparatus 100a performs the following operation.
FIG. 5C is a diagram illustrating an example of charge transfer and non-mixing processing in the image pickup device 103a during non-mixing during electronic zoom. When the TG 104a supplies the timing signal, the image sensor 103a performs the following processing to read out a part of the charge of the image sensor 103a within one field period. First, based on the control of the zoom control unit 113a, the vertical magnification control unit 116a generates a TG control signal that is non-mixed in the image sensor 103a and that causes the TG 104a to output a timing signal for outputting charges for 120 lines. Output. As a result, the TG 104a supplies a timing signal that is non-mixed and outputs charges for 240 lines to the image sensor 103a.
[0066]
The image sensor 103a reads out the electric charge generated in each pixel to the vertical transfer unit according to the timing signal described above. Next, the image sensor 103a sweeps out 240 pixels (swept-out part C in FIG. 5C) of the 720 pixels in the vertical direction, which are first transferred to the horizontal transfer unit, by high-speed transfer. Next, the image sensor 103a transfers the central 240 pixels to the horizontal transfer unit in units of one line, and outputs the same from the output processing unit. Next, the image sensor 103a sweeps away the remaining 240 pixels (the swept away portion D in FIG. 5C) by high-speed transfer.
[0067]
The reason why the above 240 pixels in the vertical direction are swept away is to read out all the pixel signals in the central portion in the vertical direction in the image sensor 103a within one field period. The output signal output from the image sensor 103a by the above processing is converted into a digital signal by the AD converter 105, and is input to the vertical interpolation processing unit 106a. In the vertical interpolation processing unit 106a, the data is output to the next color separation unit 107a as it is. Next, the color separation unit 107a generates an RGB signal by performing processing according to the output signals (R, B, G) of the image sensor 103a. Subsequent processing is the same as that of the imaging device 100 described in the first embodiment, and a description thereof will be omitted.
[0068]
Next, an electronic wide operation of the imaging device 100a will be described.
Here, in a state where the lens 101 is located at a position between the WIDE end and the TELE end (between t11 and t12), if the reduction button of the zoom operation button 112 is kept pressed, the state of the imaging device 100a changes in the following order. I do. First, the lens 101 moves toward the WIDE end in accordance with the optical zoom magnification. When the optical zoom magnification reaches the minimum (1 ×), the lens 101 moves to the position at the WIDE end (t11). Next, electronic wide processing starts by switching processing between optical zoom and electronic wide, and the electronic processing magnification decreases.
[0069]
Next, when the electronic processing magnification becomes 0.75 times, the number of pixels to be mixed is changed from two pixels to three pixels, and three pixels are mixed (t16). Accordingly, the imaging apparatus 100a changes from a state of a reduction magnification (0.75 times) in which three pixels are thinned out from 12 pixels (for 24 light receiving elements) to a mixture of 2 pixels, to 8 pixels for 3 pixel mixing (for 24 light receiving elements). ) Is a state of an enlargement magnification (1.125 times) for generating 9 pixels. Thus, in the two-pixel mixture, where the deterioration of the image quality is increased by thinning out 1/4 of the pixels, the three-pixel mixture having a lower resolution than the two-pixel mixture, By using the information, the overall image quality can be improved.
[0070]
Then, when it is lowered to the minimum electronic processing magnification (2/3 times) (a state in which three pixels are vertically read from the entire surface of the image sensor), the operation is stopped (t17). In the present embodiment, the minimum electronic processing magnification of the imaging apparatus 100a is 2/3, but a further reduction process in which the electronic processing magnification is 2/3 or less may be performed. The electronic processing magnification for switching from the two-pixel mixing to the three-pixel mixing is not limited to the above-described 0.75 times, but is optimal for improving the image quality in consideration of the combination of the vertical interpolation processing and the image improvement processing performed together. Any magnification is acceptable.
[0071]
The operation of the imaging device 100a when the control is performed to the widest angle side (the number of mixtures = 3 pixels) at t17 in FIG. 6 will be described below.
The diagram shown on the right side of FIG. 5A is a diagram showing an output signal when three adjacent pixels in the vertical direction are mixed and output. When the TG 104a supplies the timing signal, the image sensor 103a illustrated in FIG. 5A performs the following processing to read out the charge of the entire image sensor 103a within one field period.
[0072]
First, the image sensor 103a reads out the charges generated in each pixel to the vertical transfer unit, and performs a process of mixing the read out charges with three pixels (2R + G, B + 2G) adjacent in the vertical direction. By performing this mixing process, the number of pixels output by the image sensor 103a as an output signal becomes 240 pixels vertically and 1440 pixels horizontally, which are one third of the number of pixels of the image sensor 103a. That is, since the number of output pixels is reduced to one third, the image pickup device 103a can read out the electric charges obtained by mixing all the pixels within one field period. Note that the above-mentioned all pixels may be all of the pixels in the effective area of the image sensor 103a or all of the pixels of the image sensor 103a.
[0073]
Next, in the image sensor 103a, the signals obtained by mixing the three pixels are 2R + G, B + 2G,... In the first row, and R + 2G, 2B + 2,. ... Thereby, the color separation unit 107a separates the R signal, the G signal, and the B signal by the following calculation, for example.
R = (2 * (2R + G)-(R + 2G)) / 3
G = − ((2R + G) −2 * (R + 2G)) / 3
B = (2 * (2B + G)-(B + 2G)) / 3
[0074]
Here, each signal obtained by the above calculation by the color separation unit 107a is equivalent to an output signal from an image sensor having a Bayer array of 240 vertical pixels and 1440 horizontal pixels. Thus, the color separation unit 107a can generate the RGB signals by performing the color separation processing in the normal primary color Bayer array on each signal obtained by the above calculation. The aperture processing and the gamma processing by the aperture / gamma processing unit 108 and the processing of the luminance / color difference processing unit 109, the horizontal cutout unit 110, and the horizontal interpolation processing unit 111 after the above are the same as those in the first embodiment described above. Description is omitted.
[0075]
In the above-described embodiment, the three pixels adjacent to each other in the vertical direction are mixed with the electric charge of the image sensor 103a. However, the present invention is not limited thereto. Three pixels of the same color adjacent in the vertical direction from the image sensor 103a are mixed. It may be a method.
As described above, the video signal output from the imaging device 100a has a vertical pixel count on the wide-angle side where three pixels are mixed, on the telephoto side where two pixels are mixed, and on the telephoto side where non-mixing is performed. Since the number of pixels is 240, the resolution or image quality in the vertical direction can be improved.
[0076]
In the above-described embodiment, a maximum of three pixels are mixed. However, the present invention is not limited to this. In the widest setting, the pixel charge accumulated in the image sensor is set to N pixels (N is the maximum pixel that can be mixed by the image sensor). Number) It is also possible to mix and read. In this case, as the setting is gradually changed to the telephoto side by the zoom operation button 112, the number of pixels to be mixed decreases from N pixel mixing to N-1 pixel mixing, N-2 pixel mixing,. Any configuration may be used as long as it is controlled so as to perform it. Further, the imaging device having the above-described configuration can switch the number of pixels for mixing pixels in the vertical direction on the imaging element in accordance with the operation of the zoom operation button 112. As a result, it is possible to obtain an enlarged image or a reduced image with little deterioration in the resolution and image quality in the vertical direction.
[0077]
Next, in the above-described embodiment, the imaging apparatus 100 and the imaging apparatus 100a include the lens 101 and the motor 102 having the zoom function. This will be described as an embodiment.
[0078]
FIG. 7 is a diagram illustrating a schematic configuration of an imaging apparatus including a lens without a zoom function as a third embodiment of the present invention. In the image pickup apparatus 200 shown in FIG. 7, those given the same reference numerals (103a to 112, 115a to 117) as those in the image pickup apparatus 100a of FIG. 1 perform the same processing and will not be described. Note that the imaging apparatus 200 in FIG. 7 and the imaging apparatus 100a in FIG. 4 have two significantly different functions as described below.
-There is no optical zoom function on the lens.
-There is no function to switch between optical zoom and electronic zoom or electronic wide.
Hereinafter, the imaging apparatus 200 will be described with emphasis on the two functions described above.
[0079]
The lens 201 is a lens having no zoom function, such as a single focus lens. The zoom control unit 203 determines whether to perform electronic zoom or electronic wide by signal processing in accordance with an operation signal instructing an enlargement operation or a reduction operation output from the zoom operation button 112, and controls the magnification of the enlargement / reduction. Do. That is, when it is determined that the electronic zoom processing is to be performed, the zoom control unit 203 calculates the magnification of the enlargement in the electronic zoom processing, and when it determines that the electronic wide processing is to be performed, the reduction magnification in the electronic wide processing is calculated. Is calculated.
[0080]
Here, a process in which the zoom control unit 203 calculates and determines a magnification will be described.
When performing the electronic zoom processing, the zoom control unit 203 calculates and determines the next electronic zoom magnification based on the current electronic zoom magnification and the enlargement operation signal from the zoom operation button 112 (magnification determining means). ). Further, when performing the electronic wide processing, the zoom control unit 203 calculates and determines the next electronic wide magnification based on the current electronic wide magnification and the reduction operation signal from the zoom operation button 112 (magnification determination function). Determination means). The electronic zoom magnification and the electronic wide magnification are collectively referred to as electronic processing magnification.
[0081]
Next, the determination processing of the electronic processing magnification by the zoom control unit 203 will be further described.
FIG. 8 is a diagram illustrating a change in the number of pixels mixed and the electronic processing magnification during electronic wide processing or electronic zoom processing in the imaging apparatus 200 in FIG. 7. As shown in FIG. 8, when the number of mixtures = 2, the imaging apparatus 200 sets the electronic processing magnification = 1, and the processing magnification of the output video is 1. Note that the relationship between the magnification of the video output from the imaging device 200 and the electronic processing magnification and the number of mixed pixels is not limited to the above, and may be set arbitrarily.
[0082]
First, the operation of the electronic zoom processing of the imaging device 200 will be described.
As illustrated in FIG. 8, in a state where the electronic processing magnification is 1 (t21), if the user continues to press the enlargement button of the zoom operation button 112, the imaging apparatus 200 performs the electronic zoom processing in the order of t21 to t24 in FIG. Do. The processing shown at t21 to t24 in FIG. 8 is the same as the operation of the imaging device 100a shown at t12 to t15 in FIG. That is, the electronic zoom operation of the imaging device 200 is the same as that of the above-described imaging device 100a, and corresponds to t21 and t12, t22 and t13, t23 and t14, and t24 and t15. At this time, the zoom control unit 203 performs the same processing as the zoom control unit 113a. However, at t21, there is no switching process from optical zoom to electronic zoom as compared to t12, and the imaging device 200 switches from electronic wide processing to electronic zoom processing.
[0083]
Next, an electronic wide operation of the imaging device 200 will be described.
The processes illustrated at t21 to t25 to t26 in FIG. 8 are the same as the operations of the imaging device 100a illustrated at t11 to t16 to t17 in FIG. That is, the electronic wide operation of the imaging device 200 is the same as that of the above-described imaging device 100a, and corresponds to t21 and t11, t25 and t16, and t26 and t17. At this time, the zoom control unit 203 performs the same processing as the zoom control unit 113a. However, at t21, there is no switching process from optical zoom to electronic wide as compared to t11, and the imaging device 200 switches from electronic zoom processing to electronic wide processing.
[0084]
In the above-described embodiment, the imaging elements 103 and 103a have the function of mixing charges only in the vertical direction, but this is not a limitation. For example, when the imaging devices 103 and 103a further have a function of mixing electric charges in the horizontal direction, the zoom control unit 203 may calculate and determine the number of mixing and the cutout range separately in the vertical direction and the horizontal direction. . When the aspect ratio of the pixel array in the vertical direction and the horizontal direction in the image sensors 103 and 103a is the same as the aspect ratio of the video signal output from the imaging devices 100 and 100a, the zoom control unit 203 The mixing number and the cut-out range commonly used in the direction and the horizontal direction may be calculated and determined.
[0085]
In addition, an image quality improvement process for making a natural image as an intermittent line will be described. For example, an image obtained by electronically zooming a diagonal straight line becomes a jagged straight line. By performing a commonly used image quality improvement process such as linear interpolation or spline interpolation, a natural image is obtained. That is, the image quality improvement processing for making a video natural is a processing such as linear interpolation or spline interpolation. Further, it is more effective to perform these processes on the luminance signal and the color difference signal than on the RGB signals.
As described above, the embodiments of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to the embodiments, and includes a design and the like within a range not departing from the gist of the present invention.
[0086]
【The invention's effect】
As described above, according to the present invention, the resolution of an image can be changed by adjusting the number of mixed pixels according to the magnification of the electronic zoom. That is, it is possible to obtain a sufficient resolution for a video signal in which the output signal of the image sensor is enlarged and displayed by the electronic zoom process.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a schematic configuration of an imaging device according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating switching processing between optical zoom and electronic zoom and changes in the number of mixed pixels and electronic zoom magnification in the imaging apparatus 100 of FIG. 1;
FIG. 3 is a diagram illustrating a processing example of charge transfer and pixel mixing in the image sensor 103 during optical zoom and electronic zoom.
FIG. 4 is a diagram illustrating a schematic configuration of an imaging device including an imaging element having a primary color filter as a second embodiment of the present invention.
5 illustrates an example of a primary color filter configuration of the image sensor 103a illustrated in FIG. 4, and an example of charge transfer and non-mixture processing when the image sensor 103a is not mixed in electronic wide, optical zoom, and electronic zoom. FIG.
FIG. 6 is a diagram illustrating a process of switching between electronic wide, optical zoom, and electronic zoom as operation modes in the imaging apparatus 100a of FIG.
FIG. 7 is a diagram illustrating a schematic configuration of an imaging apparatus including a lens without a zoom function as a third embodiment of the present invention.
8 is a diagram illustrating a change in the number of pixels mixed and the electronic processing magnification during electronic wide processing or electronic zoom processing in the imaging apparatus 200 of FIG. 7;
FIG. 9 is a block diagram illustrating a schematic configuration of an imaging device having a conventional zoom function.
FIG. 10 is a diagram showing switching processing between optical zoom and electronic zoom by a zoom switching unit 47 provided in a conventional imaging device 30.
11A and 11B are diagrams illustrating an example of image mixing in a conventional image sensor and a method of reading out charges from the image sensor when performing an electronic zoom process.
[Explanation of symbols]
101 lens
102 motor
103, 103a imaging device
104, 104a TG
105 AD converter
106, 106a Vertical interpolation processing unit
107, 107a color separation unit
108 aperture / gamma processing unit
109 Luminance and color difference processing unit
110 Horizontal cutout
111 Horizontal interpolation processing unit
112 Zoom operation button
113, 113a Zoom control unit
114 Optical zoom control unit
116, 116a Vertical magnification control unit
117, 117a Horizontal magnification control unit
203 Zoom control unit

Claims

２次元状に複数の受光素子が配置された撮像領域を有する撮像素子と、
前記撮像領域内の第１の領域からの信号を用いて映像デ―タを出力する第１の制御モードと、前記第１の領域よりも小さい第２の領域からの信号を用いて映像デ―タを出力する第２の制御モードとを有し、前記第１の制御モードの場合は、複数の受光素子の信号を混合した信号により前記映像デ―タを出力し、前記第２の制御モードの場合は、混合していない複数の受光素子毎の信号又は前記第１の制御モードの場合の混合数よりも少ない複数の受光素子の信号を混合した信号により前記映像デ―タを出力するように制御する制御手段と
を具備することを特徴とする撮像装置。An imaging element having an imaging area in which a plurality of light receiving elements are arranged two-dimensionally;
A first control mode for outputting video data using a signal from a first area in the imaging area, and a video data using a signal from a second area smaller than the first area. And a second control mode for outputting the video data by a signal obtained by mixing signals of a plurality of light receiving elements, in the case of the first control mode. In the case of (1), the video data is output by a signal of a plurality of light receiving elements that are not mixed or a signal obtained by mixing signals of a plurality of light receiving elements smaller than the number of mixing in the first control mode. An imaging apparatus comprising: a control unit configured to perform control on the imaging device.

前記撮像素子の受光面に対して結像する像の拡大または縮小を行う光学ズーム手段を有し、前記制御手段は、光学ズ−ムの場合は、前記第１の制御モードで動作するように制御することを特徴とする請求項１に記載の撮像装置。Optical zoom means for enlarging or reducing an image formed on a light receiving surface of the image sensor; wherein the control means operates in the first control mode in the case of optical zoom; The imaging device according to claim 1, wherein the control is performed.

前記制御手段は、前記第２の領域よりも小さい第３の領域からの信号を用いて映像デ―タを出力する第３の制御モードを有し、前記第３の制御モードの場合は、混合していない複数の受光素子毎の信号又は前記第１の制御モードの場合の混合数よりも少ない複数の受光素子の信号を混合した信号により前記映像デ―タを出力し、前記第２のモードでは、前記第２の領域から複数ラインの信号を間引いて前記映像デ―タを出力することを特徴とする請求項１または請求項２に記載の撮像装置。The control means has a third control mode for outputting video data using a signal from a third area smaller than the second area, and in the case of the third control mode, a mixing mode is provided. Outputting the video data by a signal for each of a plurality of light receiving elements that are not performed or a signal obtained by mixing signals of a plurality of light receiving elements less than the number of mixtures in the first control mode; 3. The imaging apparatus according to claim 1, wherein the video data is output by thinning out a plurality of lines of signals from the second area.

前記撮像素子に対して前記電荷を読み出すタイミングおよび前記電荷を混合または転送するタイミングを制御するタイミング信号を生成するタイミング信号生成手段と、
前記制御手段の制御に基づき、前記タイミング信号生成手段を制御するタイミング信号制御手段と
を具備することを特徴とする請求項１から請求項３のいずれか１項に記載の撮像装置。Timing signal generating means for generating a timing signal for controlling the timing of reading the charge and the timing of mixing or transferring the charge to the image sensor;
The imaging apparatus according to claim 1, further comprising: a timing signal control unit configured to control the timing signal generation unit based on the control of the control unit.

前記映像データの拡大または縮小を利用者が操作するためのズーム操作手段を更に具備し、
前記制御手段は、前記ズーム操作手段の操作に応じて前記処理倍率を決定すること
を特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。Further comprising a zoom operation means for a user to operate the enlargement or reduction of the video data,
The imaging apparatus according to claim 1, wherein the control unit determines the processing magnification in accordance with an operation of the zoom operation unit.

前記制御手段は、利用者が前記ズーム操作手段で縮小する操作を行った場合に、前記縮小する操作に応じた縮小倍率を決定し、利用者が前記ズーム操作手段で拡大する操作を行った場合に、前記拡大する操作に応じた拡大倍率を決定することを特徴とする請求項５に記載の撮像装置。The control unit determines a reduction magnification according to the operation of reducing when the user performs an operation of reducing with the zoom operation unit, and performs an operation of enlarging with the zoom operation unit. The imaging apparatus according to claim 5, wherein an enlargement magnification according to the enlargement operation is determined.

前記タイミング信号制御手段は、前記撮像素子において前記処理倍率に応じた領域の前記受光素子の電荷を前記混合数だけ混合し転送する前記タイミング信号を生成するよう前記タイミング信号生成手段を制御する
ことを特徴とする請求項４から請求項６のいずれか１項に記載の撮像装置。The timing signal control unit controls the timing signal generation unit to generate the timing signal for mixing and transferring the charges of the light receiving elements in an area corresponding to the processing magnification in the image sensor by the mixing number. The imaging device according to any one of claims 4 to 6, characterized in that:

前記撮像素子の受光面に対して結像する像の拡大または縮小を行う光学ズーム手段と、
前記映像データまたは前記像の拡大または縮小を利用者が操作するためのズーム操作手段と、
前記ズーム操作手段の操作に応じて前記光学ズーム手段の動作を制御する光学ズーム制御手段と
を更に具備し、
前記制御手段は、前記光学ズーム制御手段が前記光学ズーム手段を制御する処理および前記ズーム操作手段の操作に応じて前記処理倍率を決定すること
を特徴とする請求項１に記載の撮像装置。Optical zoom means for enlarging or reducing the image formed on the light receiving surface of the image sensor,
Zoom operation means for a user to operate the image data or the enlargement or reduction of the image,
Optical zoom control means for controlling the operation of the optical zoom means according to the operation of the zoom operation means,
2. The imaging apparatus according to claim 1, wherein the control unit determines the processing magnification according to a process in which the optical zoom control unit controls the optical zoom unit and an operation of the zoom operation unit. 3.

前記制御手段は、前記光学ズーム手段が最も広角側にある状態で、利用者が前記ズーム操作手段で更に縮小する操作を行った場合に、前記縮小する操作に応じた縮小倍率を決定し、前記光学ズーム手段が最も望遠側にある状態で、利用者が前記ズーム操作手段で更に拡大する操作を行った場合に、前記拡大する操作に応じた拡大倍率を決定することを特徴とする請求項８に記載の撮像装置。The control unit, when the user performs an operation of further reducing with the zoom operation unit in a state where the optical zoom unit is at the widest angle side, determines a reduction magnification according to the operation of reducing, 9. When the user performs an operation of further enlarging with the zoom operation unit in a state where the optical zoom unit is closest to the telephoto side, an enlargement magnification according to the enlarging operation is determined. An imaging device according to claim 1.

前記光学ズーム手段が最も広角側にある状態で、利用者が前記ズーム操作手段で更に縮小する操作を行った場合に、前記タイミング信号制御手段は、前記撮像素子において広げた領域の前記受光素子の電荷を前記混合数だけ混合し転送する前記タイミング信号を生成するよう前記タイミング信号生成手段を制御する
ことを特徴とする請求項８または請求項９に記載の撮像装置。In a state where the optical zoom unit is at the wide-angle side, when a user performs an operation of further reducing the size with the zoom operation unit, the timing signal control unit sets the light receiving element of the light-receiving element in an expanded area in the image sensor. The imaging apparatus according to claim 8, wherein the timing signal generation unit is controlled to generate the timing signal for mixing and transferring the charges by the mixing number.

前記光学ズーム手段が最も望遠側にある状態で、利用者が前記ズーム操作手段で更に拡大する操作を行った場合に、前記タイミング信号制御手段は、前記撮像素子において縮小した領域の前記受光素子の電荷を前記混合数だけ混合し転送する前記タイミング信号を生成するよう前記タイミング信号生成手段を制御する
ことを特徴とする請求項８または請求項９に記載の撮像装置。In a state where the optical zoom unit is closest to the telephoto side, when a user performs an operation of further enlarging with the zoom operation unit, the timing signal control unit sets the light receiving element of the light receiving element in a reduced area in the image sensor. The imaging apparatus according to claim 8, wherein the timing signal generation unit is controlled to generate the timing signal for mixing and transferring the charges by the mixing number.

２次元状に複数の受光素子が配置された撮像領域を有する撮像素子を有する撮像装置の制御方法であって、
前記撮像領域内の第１の領域からの信号を用いて映像デ―タを出力する第１の制御モードと、前記第１の領域よりも小さい第２の領域からの信号を用いて映像デ―タを出力する第２の制御モードとを有し、前記第１の制御モードの場合は、複数の受光素子の信号を混合した信号により前記映像デ―タを出力し、前記第２の制御モードの場合は、混合していない複数の受光素子毎の信号又は前記第１の制御モードの場合の混合数よりも少ない複数の受光素子の信号を混合した信号により前記映像デ―タを出力するように制御することを特徴とする撮像装置の制御方法。A method for controlling an imaging apparatus having an imaging device having an imaging region in which a plurality of light receiving elements are arranged two-dimensionally,
A first control mode for outputting video data using a signal from a first area in the imaging area, and a video data using a signal from a second area smaller than the first area. And a second control mode for outputting the video data by a signal obtained by mixing signals of a plurality of light receiving elements, in the case of the first control mode. In the case of (1), the video data is output by a signal of a plurality of light receiving elements that are not mixed or a signal obtained by mixing signals of a plurality of light receiving elements smaller than the number of mixing in the first control mode. A method for controlling an imaging device, comprising: