JP3754803B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP3754803B2 JP3754803B2 JP20609997A JP20609997A JP3754803B2 JP 3754803 B2 JP3754803 B2 JP 3754803B2 JP 20609997 A JP20609997 A JP 20609997A JP 20609997 A JP20609997 A JP 20609997A JP 3754803 B2 JP3754803 B2 JP 3754803B2
- Authority
- JP
- Japan
- Prior art keywords
- horizontal
- signal
- interpolation
- output
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title description 15
- 238000012545 processing Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 230000001934 delay Effects 0.000 description 16
- 230000003111 delayed effect Effects 0.000 description 12
- 238000000034 method Methods 0.000 description 12
- 238000012546 transfer Methods 0.000 description 9
- 238000000926 separation method Methods 0.000 description 7
- 101100173437 Fusarium pseudograminearum (strain CS3096) FCK2 gene Proteins 0.000 description 6
- 101100173436 Fusarium pseudograminearum (strain CS3096) FCK1 gene Proteins 0.000 description 4
- 101100150409 Gibberella moniliformis SSN3 gene Proteins 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置であって、撮像された画像を電子的に高画質に拡大縮小処理を行う撮像装置に関する。
【０００２】
【従来の技術】
近年のディジタル信号処理技術の進歩は、映像分野に大きな発展をもたらしている。ディジタルビデオカメラや、ディジタルスチルカメラなど、ディジタル記録媒体の出現で、パソコンなどに画像データを記録し、編集、加工することが容易かつ高画質にできるような環境となってきた。
【０００３】
従来、ディジタルビデオカメラでは、光学系によるズーミング以上にズーミングするために、撮像した画像を補間して拡大、縮小する電子ズームという処理が多く提案されている。これらは、以下のようなアルゴリズムを用いていた。
【０００４】
ある周波数でサンプリングされた連続的な画像データがあり、その画像データを他のある周波数サンプリング間隔で線形補間していく時には、補間画素の前後にある原サンプリング画素データと、補間画素との時間的な相対位置データｋが必要となる。
【０００５】
これを連続的に求めていく方法としては、Ｕ．Ｓ．Ｐａｔ．４，７７４，５８１に示されるような累算器を用いたメモリ読み出し手段を用いるとよい。これを、ビデオカメラに応用した例として、特開平５−３２８１８４号公報等がある。これは、線形補間のアルゴリズムを用いている。
【０００６】
図１０は、この線形補間のアルゴリズムの説明図で、メモリ上に蓄積された画像の一部を示したものである。Ｓn 、Ｓn-1 は、蓄積されている画素データ、Ｓ′は補間される画素データを示している。
【０００７】
この時、Ｓn 、Ｓn-1 、Ｓ′の関係は、Ｓ′＝Ｓn ・ｋ＋Ｓn-1 ・（１−ｋ）で表される。これをディジタル回路で実現するためには、この式をそのまま加算器、減算器、乗算器に当てはめるか、あるいは乗算器の削減のためにこの式を変形して、Ｓ′＝（Ｓn −Ｓn-1 ）・ｋ＋Ｓn-1 としてあてはめていた。
【０００８】
図１１は、これら従来の線形補間方式の撮像装置の補間部分の例である。補間画素Ｓ′の直前にある原サンプリング画素データＳn 、補間画素の直後に有る原サンプリング画素データＳn-1、補間画素Ｓ′との相対位置データｋに基づいて上述の線形補間式に基づいて、Ｓ′＝（Ｓn −Ｓn-1 ）・ｋ＋Ｓn-1 の計算を減算器６１、乗算器６２、加算器６３によって行い、補間画素データＳ′を出力する。
【０００９】
【発明が解決しようとする課題】
しかしながら、これらの従来の方式には以下のような欠点があった。上記従来例の線形補間では、回路構成は簡単になるものの、周波数特性が図１２のように高周波成分が大きく減衰してしまう特性のため、解像感のない画像として拡大・縮小されてしまうという欠点があった。
【００１０】
これを解決するために、特開平５−８３６１２号公報では垂直アパーチャ信号に係数をかけた後補正する方式を提案しているが、この方式は、垂直方向には効果が有るものの、もともと図１２に有るように高周波成分の減衰が大きいため、大きな改善効果は得られない。また、水平方向の劣化については補正が行われないため、水平解像度の劣化は著しい。
【００１１】
また、ソフトウエア処理により、高画質な画像の拡大、縮小を行う方式も提案されているが、処理に時間がかかり、また、ソフトウエアを実行するために高性能なＣＰＵや大容量のメモリなどが必要になる欠点が有った。
【００１２】
本発明の目的は、これら従来例の欠点を除き、簡単な回路構成で、解像度の高い高画質な画像の拡大・縮小が可能な撮像装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記の問題を解決するために本発明では、撮像素子と、撮像素子の出力信号の画像を水平あるいは垂直の少なくとも１方向に拡大、あるいは縮小する事が可能な画像処理部とを有する撮像装置であって、水平方向または垂直方向に隣接する４つの画素のデータをＳ ｎ 、Ｓ ｎ−１ 、Ｓ ｎ−２ 、Ｓ ｎ−３ とし、Ｓ ｎ−１ とＳ ｎ−２ の間に補間するべき位置が有り、その位置とＳ ｎ−１ との距離をＳ ｎ−１ 、Ｓ ｎ−２ の距離で割った値をＫとした時に行う補間処理のための前記画像処理部は、Ｐ ｎ ＝ＫＳ ｎ ＋（１−Ｋ）Ｓ ｎ−３ で表される平均値Ｐ ｎ を演算する第１演算回路と、Ｐ ｎ−１ ＝ＫＳ ｎ−１ ＋（１−Ｋ）Ｓ ｎ−２ で表される平均値Ｐ ｎ−１ を演算する第２演算回路と、Ｋの値に基づき新たな係数Ｋ’を演算する係数演算回路と、Ｐ ｎ 、Ｐ ｎ−１ 、及びＫ’の値に基づき前記補完するべき位置における画像データ値Ｓ’を演算する第３演算回路と、を含むことを特徴とする。
【００１４】
【発明の実施の形態】
図１は本発明の第１の実施例である。
【００１５】
１はカラー撮像素子であるＣＣＤ、２は入力された垂直転送制御信号ＳＴＶに応じてＣＣＤ１の駆動タイミングパルスを発生するタイミングパルス発生、３はＣＣＤ１の出力信号をサンプルアンドホールドして連続信号とするサンプルアンドホールド、４は入力信号をディジタル信号に変換するＡＤコンバータ、５、６は与えられた書き込み制御信号ＷＣに応じて入力信号を１水平期間遅延させるかあるいは、現在のデータを保持する１Ｈ遅延、７は入力信号から色信号Ｒ、Ｇ、Ｂを分離する色分離、８はローパスフィルタ、９は入力されたＲＧＢ信号に対し、クランプ、ホワイトバランス、ガンマ補正、ホワイト、ダーククリップ、色差マトリクスを行い色信号Ｃを形成する色信号処理、１０は入力された信号に対し、クランプガンマ補正、ホワイト、ダーククリップ、輪郭強調を行って輝度信号Ｙを形成する輝度信号処理、１１、１２は与えられた読みだし制御信号ＲＣに応じて入力信号を１水平期間遅延させた出力をそのまま出力するか、読み出しを停止するかの動作を行う１Ｈ遅延、１３、１４は与えられた補間係数ＳＣＨに応じて入力信号を水平４点補間する水平補間、１５、１６は入力信号を１水平期間、２水平期間、３水平期間それぞれ遅延させた出力を得る３Ｈ遅延、１７、１８は与えられた補間係数ＳＣＶに応じて入力信号の垂直補間を行う垂直補間、１９は色信号Ｃの出力、２０は輝度信号２０の出力、２１は、ズーム比率ＺＯＯＭの入力端子、２２は入力されたズーム比率ＺＯＯＭに応じて垂直転送制御信号ＳＴＶ、１Ｈ遅延５、６の書き込み制御信号ＷＣおよび垂直補間１７、１８の補間係数ＳＣＶを発生する垂直係数発生器、２３は入力されたズーム比率ＺＯＯＭに応じて１Ｈ遅延１１、１２の読み出し制御信号ＲＣ、水平補間１３、１４の補間係数ＳＣＨを発生する水平係数発生器である。
【００１６】
不図示の被写体像は、不図示の撮像光学系により、ＣＣＤ１上の撮像面に結像され、光電変換される。この光電変換された電荷は、タイミングパルス２により発生される駆動タイミングパルスに応じて垂直および水平方向に転送される。この際、垂直転送制御ＳＴＶが発生されると、ＣＣＤ１内の垂直方向の転送を行うパルスがタイミングパルス発生２から発生されず、ＣＣＤ１内の垂直方向の転送が行われない。例えば２倍の倍率で拡大を行う時は１水平期間光電変換された電荷を読み出した後、次の水平期間では垂直転送が行われず、電荷は読み出されない。この動作を繰り返し行う。ＣＣＤ１では上述のように転送された電荷が出力部で電荷電圧変換され、撮像信号として出力される。
【００１７】
この撮像信号はサンプルアンドホールド３で連続化され、ＡＤコンバータ４でディジタル信号に変換された後、１Ｈ遅延５に入力される。
【００１８】
１Ｈ遅延５で１水平期間遅延された出力は色分離７、ローパスフィルタ８に入力されると同時に１Ｈ遅延６に入力され、さらに１水平期間の遅延が行われる。
【００１９】
また、１Ｈ遅延５、および６では前述のようにＣＣＤ１の垂直転送が停止された時は、垂直係数発生器２２から書き込み制御信号ＷＣが発生され、書き込みが行われず、同じ信号が次の水平期間においても読み出される。
【００２０】
色分離７には、前述の１Ｈ遅延５および６の出力が入力される。色分離７の構成はＣＣＤ１の撮像面上のモザイク色フィルタの構成によって異なってくるが、例えば、多く用いられている黄、シアン、緑、マゼンタの繰り返しにより構成されるフィルタでインターレース読み出しの場合、２水平期間の信号を演算する事により、Ｒ、Ｇ、Ｂの信号が得られる。このＲ、Ｇ、Ｂの信号は、色信号処理９において上述のプロセス処理を行い、色信号Ｃが形成される。この色信号は、後段のディジタル処理に適した形式たとえば、Ｃｒ、Ｃｂの時分割多重形式などで出力される。
【００２１】
また、ローパスフィルタ８は、ＣＣＤ１の上述のモザイク色フィルタによって生ずる色キャリアを取り除き輝度信号を取り出す特性に設定される。このローパスフィルタの出力は輝度信号処理１０において前述のプロセス処理が行われ、輝度信号Ｙが形成される。
【００２２】
上述のように形成されたＣ及びＹは、まず１Ｈ遅延１１、１２に入力される。この１Ｈ遅延１１、１２では書き込まれた入力信号が、１水平期間遅延されると同時に、水平係数発生器２３により発生される読み出し制御信号ＲＣに応じて読み出しが行われる。この１Ｈ遅延１１、１２の出力は、水平補間１３、１４にそれぞれ入力される。水平補間１３、１４では、水平係数発生器２３により発生された補間係数ＳＣＨに応じて水平方向の４点補間が行われる。
【００２３】
水平補間１３、１４の出力は、３Ｈ遅延１５、１６にそれぞれ入力される。３Ｈ遅延１５、１６ではそれぞれ入力信号を１Ｈ、２Ｈ、３Ｈ遅延した出力を生成し、遅延されていない信号と共に垂直補間１７、１８にそれぞれ入力される。
【００２４】
垂直補間１７、１８では垂直係数発生器２２より発生された補間係数ＳＣＶに応じて入力された４つの信号から、４点補間を行い、補間された信号をそれぞれ出力し、色信号出力端子１９、輝度信号出力端子２０から不図示のＶＴＲあるいはテレビモニタなどの外部の機器に出力される。
【００２５】
ズームボリュームや、ズームスイッチなどの設定手段により設定されたズーム比率ＺＯＯＭは入力端子２１から入力され、垂直係数発生器２２および水平係数発生器２３に入力される。垂直係数発生器２２では、入力されたＺＯＯＭ信号に応じて、タイミングパルス発生２の垂直転送制御信号ＳＴＶ、１Ｈ遅延５、６の書き込み制御信号ＷＣ、垂直補間１７、１８の補間係数ＳＣＶを発生し、垂直方向に所定の倍率で拡大あるいは縮小された画像信号を形成するように動作する。
【００２６】
また、水平係数発生器２３では、入力されたＺＯＯＭ信号に応じて、１Ｈ遅延１１、１２の読み出し制御信号、水平補間１３、１４の補間係数ＳＣＨを発生して、水平方向に所定の倍率で拡大あるいは縮小された画像信号を形成するように動作する。
【００２７】
図２は本発明の実施例中、垂直補間１８の詳細例を示す。１０１、１０２、１０３、１０４、１０５は入力端子、１０６、１０９、１１２、１１５は減算器、１０７、１１０、１１３、１１６は乗算器、１０８、１１１、１１４は加算器、１１７は出力端子である。入力端子１０１は図１中水平補間１４の出力信号Ｓnを入力する。入力端子１０２は３Ｈ遅延１６の出力のうち１Ｈ遅延された信号Ｓn-1を入力する。入力端子１０３は３Ｈ遅延１６の出力のうち２Ｈ遅延された信号Ｓn-2を入力する。入力端子１０４は３Ｈ遅延１６の出力のうち３Ｈ遅延された信号Ｓn-3を入力する。入力端子１０５は垂直係数発生器２２の出力のうち補間係数ＳＣＶを入力する。
【００２８】
ＳnとＳn-3はまず減算器１０６で減算された後乗算器１０７でＳＣＶと乗算される。その出力は加算器１０８でＳn-3と加算され、信号Ｐnとなる。
【００２９】
ＳＣＶの値をＫとすると、この信号Ｐnは、ＳnとＳn-3をＫ及び（１−Ｋ）を重みとして加算平均した平均値になる。
【００３０】
また、Ｓn-1とＳn-2はまず減算器１０９で減算された後、乗算器１１０でＳＣＶと乗算され、加算器１１１でＳn-2と加算され、信号Ｐn-1となる。
【００３１】
この信号Ｐn-1は、Ｓn-1とＳn-2をＫ及び（１−Ｋ）を重みとして加算平均した平均値になる。ＰnとＰn-1は減算器１１２で減算された後、乗算器１１３で後述するＳＣＶ2と乗算され、加算器１１４でＰn-1と加算され、垂直補間された輝度信号Ｓｖとなり前述の輝度信号出力端子１１７より出力される。
【００３２】
入力されたＳＣＶはまた、乗算器１１６でＳＣＶ自身と乗算された後、ＳＣＶ自身と減算され、ＳＣＶ2となる。このＳＣＶ2は前述のように乗算器１１３に入力される。
【００３３】
なお、垂直補間１７も、図２と同一の構成で実現可能である。
【００３４】
図３は本発明の実施例中の水平係数発生器２３の詳細例である。
【００３５】
１２１はズーム係数入力端子２１から入力されたズーム係数の入力端子、１２２は加算器、１２３はレジスタ、１２４は読み出し制御ＲＣの出力端子、１２５は補間係数ＳＣＨの出力端子である。
【００３６】
入力端子１２１から入力されたズーム係数は、加算器１２２において、レジスタ１２３の出力のうち最上位ビットを除いた信号と加算され、その出力はレジスタ１２３に保持される。レジスタ１２３は１クロック毎にデータが更新される。レジスタ１２３の出力は、前述のように最上位ビットを除いた信号を加算器１２２に入力すると共に、最上位ビットを読み出し制御ＲＣとして出力端子１２４から出力し、最上位ビットを除いた値を補間係数ＳＣＨとして出力端子１２５から出力する。この動作としては、例えばＳＣＨが８ビット、ＲＣが１ビットとすると、レジスタ１２３は９ビットになる。ズーム係数は９ビットで、１倍である時は、２５６であるとする。この時、加算器１２２では常に２５６が加算されるため、下位の８ビットは常に０になる。また、最上位のビットは常に１になる。レジスタ１２３にはこの値が保持され、ＲＣは常に１、ＳＣＨは常に０となり、前述の１Ｈ遅延からは常にデータが読み出され、水平補間においては補間が行われず、全体として水平方向には拡大されず、拡大率は１倍になる。
【００３７】
またズーム比約２倍の時は、ＺＯＯＭの値は１２８になり、レジスタ１２３の値は０ １２８ ２５６ １２８ ２５６と変化する。この時最上位ビットは００ １ ０ １となり、はじめを除いては、２画素期間に１画素ずつ読み出しが行われ、係数は０ ０．５ ０ ０．５ ０と変化する事がわかる。
【００３８】
垂直係数発生器２２の動作も、垂直方向に１画素は１水平期間のずれになることを考慮すれば、上述と同等の構成で実現できる。
【００３９】
図４は、図２の垂直補間１８の特性図である。
【００４０】
前述の構成によって与えられた特性を周波数変換して、周波数レスポンスを得て、これを正規化周波数に対応して表した図である。従来の線形補間の図１２と比較して高周波域の減衰量が大幅に少なくなっている。
【００４１】
図５は本発明の実施例中１４の水平補間の詳細例を示す。
【００４２】
２０１、２０２は入力端子、２０３、２０４、２０５は１画素分の遅延を行う１クロック遅延、２０６、２０９、２１２、２１５は減算器、２０７、２１０、２１３、２１６は乗算器、２０８、２１１、２１４は加算器、２０１は出力端子である。
【００４３】
入力端子２０１から図１中１Ｈ遅延１２からの出力がＳnとして入力される。また、入力端子２０２から、水平係数発生器２３からの補間係数出力がＳchとして入力される。入力されたＳnはまず、１クロック遅延２０３、２０４、２０５によりそれぞれ１画素分ずつ遅延される。それぞれの出力をＳn-1、Ｓn-2、Ｓn-3とする。
【００４４】
ＳnとＳn-3はまず減算器２０６で減算された後乗算器２０７でＳchと乗算される。その出力は加算器２０８でＳn-3と加算され、信号Ｐnとなる。
【００４５】
また、Ｓn-1とＳn-2はまず減算器２０９で減算された後、乗算器２１０でＳＣＶと乗算され、加算器２１１でＳn-2と加算され、信号Ｐn-1となる。
【００４６】
ＰnとＰn-1は減算器２１２で減算された後、乗算器２１３で後述するＳch2と乗算され、加算器１１４でＰn-1と加算され、水平補間された輝度信号Ｓhとなり前述の輝度信号出力端子２０７より出力される。
【００４７】
入力されたＳchはまた、乗算器２１６でＳch自身と乗算された後、Ｓch自身と減算され、Ｓch2となる。このＳch2は前述のように乗算器２１３に入力される。
【００４８】
水平補間１３の構成は概ね図５と同一になるが、色信号がＣｒ、Ｃｂの点順次であるため、１クロック遅延が２クロック遅延になる点と、画素間の距離が２倍になるため係数が１／２になる点が図４と異なる。
【００４９】
図６は本発明の実施例の説明図である。
【００５０】
図６Ａは水平補間１４による水平方向の補間の動作を表している。原画素Ｓn、Ｓn-1、Ｓn-2、Ｓn-3に対してＳn-1とＳn-2の間の補間画素Ｓ′の値を求める。
【００５１】
まず、Ｓn-1、Ｓn-2からの距離の比率を（１−ｋ）：ｋとして求める（０＜＝Ｋ＜１）。
【００５２】
次に、このｋに応じて、水平方向の周囲の画素Ｓｎ、Ｓｎ−１、Ｓｎ−２、Ｓｎ−３の値に重み付けを行い、加算する事により、補間画素Ｓ′の値を求める。この時用いる係数を得るための構成が前述の図５の構成である。この構成は、補間の際の周波数レスポンスにおける高周波域の減衰量を大幅に少なくする。
【００５３】
図６Ｂは垂直補間１８による垂直方向の補間の動作を表している。図６Ａと同様に、原画素Ｓn、Ｓn-1、Ｓn-2、Ｓn-3に対してＳn-1とＳn-2の間の補間画素Ｓ′の値を求める。
【００５４】
この時用いる係数を得るための構成が前述の図２の構成である。
【００５５】
図７は本発明の第２の実施例である。
【００５６】
前出の図と同一もしくは同等部は同一符号を付している。
【００５７】
３０１、３０２はフィールドメモリ、３０３は読み出しアドレス発生である。
【００５８】
不図示の被写体像は、不図示の撮像光学系により、ＣＣＤ１上の撮像面に結像され、光電変換される。この光電変換された電荷は、タイミングパルス２により発生される駆動タイミングパルスに応じて垂直および水平方向に転送される。ＣＣＤ１では転送された電荷が出力部で電荷電圧変換され、撮像信号として出力される。
【００５９】
この撮像信号はサンプルアンドホールド３で連続化され、ＡＤコンバータ４でディジタル信号に変換された後、１Ｈ遅延５に入力される。
【００６０】
１Ｈ遅延５で１水平期間遅延された出力は色分離７、ローパスフィルタ８に入力されると同時に１Ｈ遅延６に入力され、さらに１水平期間の遅延が行われる。
【００６１】
色分離７には、前述の１Ｈ遅延５および６の出力が入力される。色分離７の構成はＣＣＤ１の撮像面上のモザイク色フィルタの構成によって異なってくるが、例えば、多く用いられている黄、シアン、緑、マゼンタの繰り返しにより構成されるフィルタでインターレス読み出しの場合、２水平期間の信号を演算する事により、Ｒ、Ｇ、Ｂの信号が得られる。このＲ、Ｇ、Ｂの信号は、色信号処理９において上述のプロセス処理を行い、色信号Ｃが形成される。この色信号は、後段のディジタル処理に適した形式たとえば、Ｃｒ、Ｃｂの時分割多重形式などで出力される。
【００６２】
また、ローパスフィルタ８は、ＣＣＤ１の上述のモザイク色フィルタによって生ずる色キャリアを取り除き輝度信号を取り出す特性に設定される。このローパスフィルタ８の出力は輝度信号処理１０において前述のプロセス処理が行われ、輝度信号Ｙが形成される。
【００６３】
上述のように形成されたＣ及びＹは、フィールドメモリ３０１、３０２に入力される。このフィールドメモリ３０１、３０２では書き込まれた入力信号が、１フィールド期間遅延され、読み出しアドレス発生３０３により発生される読み出しアドレスＲＡＣ、ＲＡＹにそれぞれ応じて読み出しが行われる。この読み出しアドレスＲＡＣ、ＲＡＹは、垂直係数発生器２２により発生される垂直読み出し制御ＲＣＶおよび水平係数発生器により発生される水平読み出し制御ＲＣＨによりそれぞれ制御され、ズーム係数入力端子２１から入力された値に応じて読み出しアドレスを発生する。たとえば、ズーム係数が２倍の拡大を表す値である時は、水平方向、垂直方向ともに２画素分の期間に１画素が読み出されるように制御される。
【００６４】
このフィールドメモリ３０１、３０２の出力は、水平期間１３、１４にそれぞれ入力される。水平補間１３、１４では、水平係数発生器２３により発生された補間係数ＳＣＨに応じて水平方向の４点補間が行われる。
【００６５】
水平補間１３、１４の出力は、３Ｈ遅延１５、１６にそれぞれ入力される。３Ｈ遅延１５、１６ではそれぞれ入力信号を１Ｈ、２Ｈ、３Ｈ遅延した出力を生成し、遅延されていない信号と共に垂直補間１７、１８にそれぞれ入力される。
【００６６】
垂直補間１７、１８では垂直係数発生器２２より発生された補間係数ＳＣＶに応じて入力された４つの信号から、４点補間を行い、補間された信号をそれぞれ出力し、色信号出力端子１９、輝度信号出力端子２０から不図示のＶＴＲあるいはテレビモニタなどの外部機器に出力される。
【００６７】
ズームボリュームや、ズームスイッチなどの設定手段により設定されたズーム比率ＺＯＯＭは入力端子２１から入力され、垂直係数発生器２２および水平係数発生器２３に入力される。
【００６８】
垂直係数発生器２２では、前述のように、入力されたＺＯＯＭ信号に応じて、読み出しアドレス発生３０３および３Ｈ遅延１５を制御するの垂直読み出し制御信号ＲＣＶ、垂直補間１７、１８の補間係数ＳＣＶを発生し、垂直方向に所定の倍率で拡大あるいは縮小された画像信号を形成するように動作する。
【００６９】
また、水平係数発生器２３では、入力されたＺＯＯＭ信号に応じて読み出しアドレス発生３０３の水平読み出し制御信号ＲＣＨ、水平補間１３、１４の補間係数ＳＣＨを発生して、水平方向に所定の倍率で拡大あるいは縮小された画像信号を形成するように動作する。
【００７０】
図８は本発明の第３の実施例を示す図である。
【００７１】
３１０はタイミングパルス発生と異なる周波数のクロックを発生するクロック発生、３１１、３１２は入力信号は書き込みクロックに同期して連続で書き込み、出力信号は読み出しクロックと読み出しアドレスに応じて読み出す方式のデュアルポートタイプなどと呼ばれる１水平期間分の１Ｈメモリである。
【００７２】
ＣＣＤ１から色信号処理９、輝度信号処理１０の出力までの信号の流れは前出の実施例と同一である。
【００７３】
色信号処理９の出力Ｃおよび輝度信号処理１０の出力Ｙは１Ｈメモリ３１１、３１２に入力される。
【００７４】
１Ｈメモリ３１１、３１２では書き込みはタイミングパルス発生２より発生されるＣＣＤ１の水平転送クロックと同期したクロックＣＫ１に同期して連続で行われる。
【００７５】
読み出しは、クロック発生３１０から発生された前述のようにＣＫ１とは異なる周波数のＣＫ２と、水平係数発生器２３から発生される水平読み出し制御ＲＣＨに応じて読み出しアドレス発生で発生された読み出しアドレスＲＡＣおよびＲＡＹに応じて行われる。
【００７６】
この動作は、以下のように行われる。なお、説明の簡略化のため輝度信号のみについて説明する。
【００７７】
ＣＫ１の周波数ＦＣＫ１とＣＫ２の周波数ＦＣＫ２の比率ＦＣＫ２／ＦＣＫ１がＫである時、１Ｈメモリ３１２の出力は、読み出しクロックの周波数はＦＣＫ２であって、読み出しのデータレートはＦＣＫ１と同じになるように読み出しアドレスＲＡＹが発生される。水平補間１４では１Ｈメモリ３１２から読み出された、上述のようにＣＫ２に同期し、データレートがＦＣＫ１である信号を入力して、これを水平方向にＫ倍に補間し、その補間された信号を出力する。これにより出力端子２０から出力される輝度信号のデータレートはＦＣＫ２になる。
【００７８】
例えばＫが５／４であるとすると、１Ｈメモリ３１２からの出力はＦＣＫ２の周波数に同期して出力されるが、その出力は５クロック毎に４個のデータが出力される。つまり、５クロックに１度は同じデータが２度出力される。水平補間１４ではこのデータをもとに前述のような４点補間を行い、５つの補間されたデータを生成して出力する。したがって、水平補間１４の出力においては、クロック周波数、データレートともにＦＣＫ２になる。
【００７９】
図９は本発明の第４の実施例を示す図である。
【００８０】
３２０、３２１は書き込みは書き込みアドレスに応じて行い、読み出しは順次走査により行う方式のフィールドメモリ、３２２はフィールドメモリの書き込みアドレスを発生する書き込みアドレス発生である。
【００８１】
ＣＣＤ１から色信号処理９、輝度信号処理１０の出力までの信号の流れは前出の実施例と同一である。
【００８２】
色信号処理９の出力Ｃおよび輝度信号処理１０の出力Ｙは３Ｈ遅延１５、１６に入力される。
【００８３】
３Ｈ遅延１５、１６では１水平期間、２水平期間、３水平期間遅延した信号をそれぞれ出力し、その入力信号と共に垂直補間１７、１８にそれぞれ入力させる。
【００８４】
垂直補間１７、１８では水平係数発生器２２から発生された補間係数ＳＣＶに応じて、前述の４点補間の方式により垂直方向に画素を補間する。それらの出力は、それぞれ水平補間１３、１４に入力される。水平補間１３、１４では、入力された信号を、水平係数発生器２３から発生される補間係数ＳＣＨに応じて前述の４点補間の方式により水平方向に画素を補間する。それらの出力は、フィールドメモリ３２０、３２１に入力される。
【００８５】
フィールドメモリ３２１では、入力信号が書き込みアドレス発生３２２により発生される書き込みアドレスＷＡＹに応じて書き込まれる。この時、ズーム比入力端子２１に入力されたズーム比率に応じて、フィールドメモリ上に、縮小された画像が書き込まれるようにアドレスＷＡＹが発生される。
【００８６】
例えば、ズーム比率が１／２の縮小を表す場合、アドレスは、水平方向２画素期間に１ずつ、垂直方向にも２ライン期間同じアドレスが発生され、フィールドメモリ上の画像が１／２に縮小された画像になるように動作する。
【００８７】
またズーム比率が１と１／２の間である時は、垂直補間１８、水平補間１４により、垂直、水平方向に補間された後、ズーム比率に応じてアドレスの増加を制御して書き込み、フィールドメモリ上の画像がズーム比率の値に縮小された画像となるように動作する。
【００８８】
フィールドメモリ、３２０の動作も上述とほぼ同じであるが、色信号は時分割多重されているため、２画素分のデータを１つのまとまりとして扱う。
【００８９】
フィールドメモリ３２０、３２１では、上述の動作により書き込まれた画像を順次読み出す事により、縮小された画像の色信号及び輝度信号が読み出され、出力端子１９、２０からそれぞれ出力される。
【００９０】
【発明の効果】
以上説明したように、本発明によれば、撮像素子の出力信号の画像を水平あるいは垂直の少なくとも１方向に拡大、あるいは縮小する際に、水平、あるいは垂直方向に隣接する、４点の画像データをもとにそれらの画素の間のある位置の補間された画像データを得る事により、周波数特性の優れた画像劣化の非常に少ない拡大、縮小画像を得る事が可能になる。
【００９１】
また、さらに、本発明の４点の画像データをもとに補間データを生成する際、隣接する４つの画素のデータをＤ０、Ｄ１、Ｄ２、Ｄ３とし、Ｄ１とＤ２の間に補間するべき位置が有り、その位置とＤ１との距離をＤ１、Ｄ２の距離で割った値をＫとした時に、まず、Ｄ０とＤ３、Ｄ１とＤ２の２つの組み合わせにおいて、それぞれの組のデータを前者に対してＫ、後者に対して（１−Ｋ）を重みとして加算平均した平均値を求め、それら２つの平均値をもとに前述の補完するべき位置における画像データを得る事により、整数演算のみで画像データの演算が出来るため、ハードウエアによる実現が非常に容易に行なえる。
【図面の簡単な説明】
【図１】本発明の第１実施例図。
【図２】垂直補間回路の例を示す図。
【図３】水平係数発生器の例を示す図。
【図４】図２の垂直補間の特性図。
【図５】水平補間の詳細例を示す図。
【図６】Ａは水平補間動作の説明図。Ｂは垂直補間動作の説明図。
【図７】本発明の第２実施例図。
【図８】本発明の第３実施例図。
【図９】本発明の第４実施例図。
【図１０】従来の線形補間の説明図。
【図１１】従来の補間回路例を示す図。
【図１２】従来の周波数特性図。
【発明の属する技術分野】
本発明は、撮像装置であって、撮像された画像を電子的に高画質に拡大縮小処理を行う撮像装置に関する。
【０００２】
【従来の技術】
近年のディジタル信号処理技術の進歩は、映像分野に大きな発展をもたらしている。ディジタルビデオカメラや、ディジタルスチルカメラなど、ディジタル記録媒体の出現で、パソコンなどに画像データを記録し、編集、加工することが容易かつ高画質にできるような環境となってきた。
【０００３】
従来、ディジタルビデオカメラでは、光学系によるズーミング以上にズーミングするために、撮像した画像を補間して拡大、縮小する電子ズームという処理が多く提案されている。これらは、以下のようなアルゴリズムを用いていた。
【０００４】
ある周波数でサンプリングされた連続的な画像データがあり、その画像データを他のある周波数サンプリング間隔で線形補間していく時には、補間画素の前後にある原サンプリング画素データと、補間画素との時間的な相対位置データｋが必要となる。
【０００５】
これを連続的に求めていく方法としては、Ｕ．Ｓ．Ｐａｔ．４，７７４，５８１に示されるような累算器を用いたメモリ読み出し手段を用いるとよい。これを、ビデオカメラに応用した例として、特開平５−３２８１８４号公報等がある。これは、線形補間のアルゴリズムを用いている。
【０００６】
図１０は、この線形補間のアルゴリズムの説明図で、メモリ上に蓄積された画像の一部を示したものである。Ｓn 、Ｓn-1 は、蓄積されている画素データ、Ｓ′は補間される画素データを示している。
【０００７】
この時、Ｓn 、Ｓn-1 、Ｓ′の関係は、Ｓ′＝Ｓn ・ｋ＋Ｓn-1 ・（１−ｋ）で表される。これをディジタル回路で実現するためには、この式をそのまま加算器、減算器、乗算器に当てはめるか、あるいは乗算器の削減のためにこの式を変形して、Ｓ′＝（Ｓn −Ｓn-1 ）・ｋ＋Ｓn-1 としてあてはめていた。
【０００８】
図１１は、これら従来の線形補間方式の撮像装置の補間部分の例である。補間画素Ｓ′の直前にある原サンプリング画素データＳn 、補間画素の直後に有る原サンプリング画素データＳn-1、補間画素Ｓ′との相対位置データｋに基づいて上述の線形補間式に基づいて、Ｓ′＝（Ｓn −Ｓn-1 ）・ｋ＋Ｓn-1 の計算を減算器６１、乗算器６２、加算器６３によって行い、補間画素データＳ′を出力する。
【０００９】
【発明が解決しようとする課題】
しかしながら、これらの従来の方式には以下のような欠点があった。上記従来例の線形補間では、回路構成は簡単になるものの、周波数特性が図１２のように高周波成分が大きく減衰してしまう特性のため、解像感のない画像として拡大・縮小されてしまうという欠点があった。
【００１０】
これを解決するために、特開平５−８３６１２号公報では垂直アパーチャ信号に係数をかけた後補正する方式を提案しているが、この方式は、垂直方向には効果が有るものの、もともと図１２に有るように高周波成分の減衰が大きいため、大きな改善効果は得られない。また、水平方向の劣化については補正が行われないため、水平解像度の劣化は著しい。
【００１１】
また、ソフトウエア処理により、高画質な画像の拡大、縮小を行う方式も提案されているが、処理に時間がかかり、また、ソフトウエアを実行するために高性能なＣＰＵや大容量のメモリなどが必要になる欠点が有った。
【００１２】
本発明の目的は、これら従来例の欠点を除き、簡単な回路構成で、解像度の高い高画質な画像の拡大・縮小が可能な撮像装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記の問題を解決するために本発明では、撮像素子と、撮像素子の出力信号の画像を水平あるいは垂直の少なくとも１方向に拡大、あるいは縮小する事が可能な画像処理部とを有する撮像装置であって、水平方向または垂直方向に隣接する４つの画素のデータをＳ ｎ 、Ｓ ｎ−１ 、Ｓ ｎ−２ 、Ｓ ｎ−３ とし、Ｓ ｎ−１ とＳ ｎ−２ の間に補間するべき位置が有り、その位置とＳ ｎ−１ との距離をＳ ｎ−１ 、Ｓ ｎ−２ の距離で割った値をＫとした時に行う補間処理のための前記画像処理部は、Ｐ ｎ ＝ＫＳ ｎ ＋（１−Ｋ）Ｓ ｎ−３ で表される平均値Ｐ ｎ を演算する第１演算回路と、Ｐ ｎ−１ ＝ＫＳ ｎ−１ ＋（１−Ｋ）Ｓ ｎ−２ で表される平均値Ｐ ｎ−１ を演算する第２演算回路と、Ｋの値に基づき新たな係数Ｋ’を演算する係数演算回路と、Ｐ ｎ 、Ｐ ｎ−１ 、及びＫ’の値に基づき前記補完するべき位置における画像データ値Ｓ’を演算する第３演算回路と、を含むことを特徴とする。
【００１４】
【発明の実施の形態】
図１は本発明の第１の実施例である。
【００１５】
１はカラー撮像素子であるＣＣＤ、２は入力された垂直転送制御信号ＳＴＶに応じてＣＣＤ１の駆動タイミングパルスを発生するタイミングパルス発生、３はＣＣＤ１の出力信号をサンプルアンドホールドして連続信号とするサンプルアンドホールド、４は入力信号をディジタル信号に変換するＡＤコンバータ、５、６は与えられた書き込み制御信号ＷＣに応じて入力信号を１水平期間遅延させるかあるいは、現在のデータを保持する１Ｈ遅延、７は入力信号から色信号Ｒ、Ｇ、Ｂを分離する色分離、８はローパスフィルタ、９は入力されたＲＧＢ信号に対し、クランプ、ホワイトバランス、ガンマ補正、ホワイト、ダーククリップ、色差マトリクスを行い色信号Ｃを形成する色信号処理、１０は入力された信号に対し、クランプガンマ補正、ホワイト、ダーククリップ、輪郭強調を行って輝度信号Ｙを形成する輝度信号処理、１１、１２は与えられた読みだし制御信号ＲＣに応じて入力信号を１水平期間遅延させた出力をそのまま出力するか、読み出しを停止するかの動作を行う１Ｈ遅延、１３、１４は与えられた補間係数ＳＣＨに応じて入力信号を水平４点補間する水平補間、１５、１６は入力信号を１水平期間、２水平期間、３水平期間それぞれ遅延させた出力を得る３Ｈ遅延、１７、１８は与えられた補間係数ＳＣＶに応じて入力信号の垂直補間を行う垂直補間、１９は色信号Ｃの出力、２０は輝度信号２０の出力、２１は、ズーム比率ＺＯＯＭの入力端子、２２は入力されたズーム比率ＺＯＯＭに応じて垂直転送制御信号ＳＴＶ、１Ｈ遅延５、６の書き込み制御信号ＷＣおよび垂直補間１７、１８の補間係数ＳＣＶを発生する垂直係数発生器、２３は入力されたズーム比率ＺＯＯＭに応じて１Ｈ遅延１１、１２の読み出し制御信号ＲＣ、水平補間１３、１４の補間係数ＳＣＨを発生する水平係数発生器である。
【００１６】
不図示の被写体像は、不図示の撮像光学系により、ＣＣＤ１上の撮像面に結像され、光電変換される。この光電変換された電荷は、タイミングパルス２により発生される駆動タイミングパルスに応じて垂直および水平方向に転送される。この際、垂直転送制御ＳＴＶが発生されると、ＣＣＤ１内の垂直方向の転送を行うパルスがタイミングパルス発生２から発生されず、ＣＣＤ１内の垂直方向の転送が行われない。例えば２倍の倍率で拡大を行う時は１水平期間光電変換された電荷を読み出した後、次の水平期間では垂直転送が行われず、電荷は読み出されない。この動作を繰り返し行う。ＣＣＤ１では上述のように転送された電荷が出力部で電荷電圧変換され、撮像信号として出力される。
【００１７】
この撮像信号はサンプルアンドホールド３で連続化され、ＡＤコンバータ４でディジタル信号に変換された後、１Ｈ遅延５に入力される。
【００１８】
１Ｈ遅延５で１水平期間遅延された出力は色分離７、ローパスフィルタ８に入力されると同時に１Ｈ遅延６に入力され、さらに１水平期間の遅延が行われる。
【００１９】
また、１Ｈ遅延５、および６では前述のようにＣＣＤ１の垂直転送が停止された時は、垂直係数発生器２２から書き込み制御信号ＷＣが発生され、書き込みが行われず、同じ信号が次の水平期間においても読み出される。
【００２０】
色分離７には、前述の１Ｈ遅延５および６の出力が入力される。色分離７の構成はＣＣＤ１の撮像面上のモザイク色フィルタの構成によって異なってくるが、例えば、多く用いられている黄、シアン、緑、マゼンタの繰り返しにより構成されるフィルタでインターレース読み出しの場合、２水平期間の信号を演算する事により、Ｒ、Ｇ、Ｂの信号が得られる。このＲ、Ｇ、Ｂの信号は、色信号処理９において上述のプロセス処理を行い、色信号Ｃが形成される。この色信号は、後段のディジタル処理に適した形式たとえば、Ｃｒ、Ｃｂの時分割多重形式などで出力される。
【００２１】
また、ローパスフィルタ８は、ＣＣＤ１の上述のモザイク色フィルタによって生ずる色キャリアを取り除き輝度信号を取り出す特性に設定される。このローパスフィルタの出力は輝度信号処理１０において前述のプロセス処理が行われ、輝度信号Ｙが形成される。
【００２２】
上述のように形成されたＣ及びＹは、まず１Ｈ遅延１１、１２に入力される。この１Ｈ遅延１１、１２では書き込まれた入力信号が、１水平期間遅延されると同時に、水平係数発生器２３により発生される読み出し制御信号ＲＣに応じて読み出しが行われる。この１Ｈ遅延１１、１２の出力は、水平補間１３、１４にそれぞれ入力される。水平補間１３、１４では、水平係数発生器２３により発生された補間係数ＳＣＨに応じて水平方向の４点補間が行われる。
【００２３】
水平補間１３、１４の出力は、３Ｈ遅延１５、１６にそれぞれ入力される。３Ｈ遅延１５、１６ではそれぞれ入力信号を１Ｈ、２Ｈ、３Ｈ遅延した出力を生成し、遅延されていない信号と共に垂直補間１７、１８にそれぞれ入力される。
【００２４】
垂直補間１７、１８では垂直係数発生器２２より発生された補間係数ＳＣＶに応じて入力された４つの信号から、４点補間を行い、補間された信号をそれぞれ出力し、色信号出力端子１９、輝度信号出力端子２０から不図示のＶＴＲあるいはテレビモニタなどの外部の機器に出力される。
【００２５】
ズームボリュームや、ズームスイッチなどの設定手段により設定されたズーム比率ＺＯＯＭは入力端子２１から入力され、垂直係数発生器２２および水平係数発生器２３に入力される。垂直係数発生器２２では、入力されたＺＯＯＭ信号に応じて、タイミングパルス発生２の垂直転送制御信号ＳＴＶ、１Ｈ遅延５、６の書き込み制御信号ＷＣ、垂直補間１７、１８の補間係数ＳＣＶを発生し、垂直方向に所定の倍率で拡大あるいは縮小された画像信号を形成するように動作する。
【００２６】
また、水平係数発生器２３では、入力されたＺＯＯＭ信号に応じて、１Ｈ遅延１１、１２の読み出し制御信号、水平補間１３、１４の補間係数ＳＣＨを発生して、水平方向に所定の倍率で拡大あるいは縮小された画像信号を形成するように動作する。
【００２７】
図２は本発明の実施例中、垂直補間１８の詳細例を示す。１０１、１０２、１０３、１０４、１０５は入力端子、１０６、１０９、１１２、１１５は減算器、１０７、１１０、１１３、１１６は乗算器、１０８、１１１、１１４は加算器、１１７は出力端子である。入力端子１０１は図１中水平補間１４の出力信号Ｓnを入力する。入力端子１０２は３Ｈ遅延１６の出力のうち１Ｈ遅延された信号Ｓn-1を入力する。入力端子１０３は３Ｈ遅延１６の出力のうち２Ｈ遅延された信号Ｓn-2を入力する。入力端子１０４は３Ｈ遅延１６の出力のうち３Ｈ遅延された信号Ｓn-3を入力する。入力端子１０５は垂直係数発生器２２の出力のうち補間係数ＳＣＶを入力する。
【００２８】
ＳnとＳn-3はまず減算器１０６で減算された後乗算器１０７でＳＣＶと乗算される。その出力は加算器１０８でＳn-3と加算され、信号Ｐnとなる。
【００２９】
ＳＣＶの値をＫとすると、この信号Ｐnは、ＳnとＳn-3をＫ及び（１−Ｋ）を重みとして加算平均した平均値になる。
【００３０】
また、Ｓn-1とＳn-2はまず減算器１０９で減算された後、乗算器１１０でＳＣＶと乗算され、加算器１１１でＳn-2と加算され、信号Ｐn-1となる。
【００３１】
この信号Ｐn-1は、Ｓn-1とＳn-2をＫ及び（１−Ｋ）を重みとして加算平均した平均値になる。ＰnとＰn-1は減算器１１２で減算された後、乗算器１１３で後述するＳＣＶ2と乗算され、加算器１１４でＰn-1と加算され、垂直補間された輝度信号Ｓｖとなり前述の輝度信号出力端子１１７より出力される。
【００３２】
入力されたＳＣＶはまた、乗算器１１６でＳＣＶ自身と乗算された後、ＳＣＶ自身と減算され、ＳＣＶ2となる。このＳＣＶ2は前述のように乗算器１１３に入力される。
【００３３】
なお、垂直補間１７も、図２と同一の構成で実現可能である。
【００３４】
図３は本発明の実施例中の水平係数発生器２３の詳細例である。
【００３５】
１２１はズーム係数入力端子２１から入力されたズーム係数の入力端子、１２２は加算器、１２３はレジスタ、１２４は読み出し制御ＲＣの出力端子、１２５は補間係数ＳＣＨの出力端子である。
【００３６】
入力端子１２１から入力されたズーム係数は、加算器１２２において、レジスタ１２３の出力のうち最上位ビットを除いた信号と加算され、その出力はレジスタ１２３に保持される。レジスタ１２３は１クロック毎にデータが更新される。レジスタ１２３の出力は、前述のように最上位ビットを除いた信号を加算器１２２に入力すると共に、最上位ビットを読み出し制御ＲＣとして出力端子１２４から出力し、最上位ビットを除いた値を補間係数ＳＣＨとして出力端子１２５から出力する。この動作としては、例えばＳＣＨが８ビット、ＲＣが１ビットとすると、レジスタ１２３は９ビットになる。ズーム係数は９ビットで、１倍である時は、２５６であるとする。この時、加算器１２２では常に２５６が加算されるため、下位の８ビットは常に０になる。また、最上位のビットは常に１になる。レジスタ１２３にはこの値が保持され、ＲＣは常に１、ＳＣＨは常に０となり、前述の１Ｈ遅延からは常にデータが読み出され、水平補間においては補間が行われず、全体として水平方向には拡大されず、拡大率は１倍になる。
【００３７】
またズーム比約２倍の時は、ＺＯＯＭの値は１２８になり、レジスタ１２３の値は０ １２８ ２５６ １２８ ２５６と変化する。この時最上位ビットは００ １ ０ １となり、はじめを除いては、２画素期間に１画素ずつ読み出しが行われ、係数は０ ０．５ ０ ０．５ ０と変化する事がわかる。
【００３８】
垂直係数発生器２２の動作も、垂直方向に１画素は１水平期間のずれになることを考慮すれば、上述と同等の構成で実現できる。
【００３９】
図４は、図２の垂直補間１８の特性図である。
【００４０】
前述の構成によって与えられた特性を周波数変換して、周波数レスポンスを得て、これを正規化周波数に対応して表した図である。従来の線形補間の図１２と比較して高周波域の減衰量が大幅に少なくなっている。
【００４１】
図５は本発明の実施例中１４の水平補間の詳細例を示す。
【００４２】
２０１、２０２は入力端子、２０３、２０４、２０５は１画素分の遅延を行う１クロック遅延、２０６、２０９、２１２、２１５は減算器、２０７、２１０、２１３、２１６は乗算器、２０８、２１１、２１４は加算器、２０１は出力端子である。
【００４３】
入力端子２０１から図１中１Ｈ遅延１２からの出力がＳnとして入力される。また、入力端子２０２から、水平係数発生器２３からの補間係数出力がＳchとして入力される。入力されたＳnはまず、１クロック遅延２０３、２０４、２０５によりそれぞれ１画素分ずつ遅延される。それぞれの出力をＳn-1、Ｓn-2、Ｓn-3とする。
【００４４】
ＳnとＳn-3はまず減算器２０６で減算された後乗算器２０７でＳchと乗算される。その出力は加算器２０８でＳn-3と加算され、信号Ｐnとなる。
【００４５】
また、Ｓn-1とＳn-2はまず減算器２０９で減算された後、乗算器２１０でＳＣＶと乗算され、加算器２１１でＳn-2と加算され、信号Ｐn-1となる。
【００４６】
ＰnとＰn-1は減算器２１２で減算された後、乗算器２１３で後述するＳch2と乗算され、加算器１１４でＰn-1と加算され、水平補間された輝度信号Ｓhとなり前述の輝度信号出力端子２０７より出力される。
【００４７】
入力されたＳchはまた、乗算器２１６でＳch自身と乗算された後、Ｓch自身と減算され、Ｓch2となる。このＳch2は前述のように乗算器２１３に入力される。
【００４８】
水平補間１３の構成は概ね図５と同一になるが、色信号がＣｒ、Ｃｂの点順次であるため、１クロック遅延が２クロック遅延になる点と、画素間の距離が２倍になるため係数が１／２になる点が図４と異なる。
【００４９】
図６は本発明の実施例の説明図である。
【００５０】
図６Ａは水平補間１４による水平方向の補間の動作を表している。原画素Ｓn、Ｓn-1、Ｓn-2、Ｓn-3に対してＳn-1とＳn-2の間の補間画素Ｓ′の値を求める。
【００５１】
まず、Ｓn-1、Ｓn-2からの距離の比率を（１−ｋ）：ｋとして求める（０＜＝Ｋ＜１）。
【００５２】
次に、このｋに応じて、水平方向の周囲の画素Ｓｎ、Ｓｎ−１、Ｓｎ−２、Ｓｎ−３の値に重み付けを行い、加算する事により、補間画素Ｓ′の値を求める。この時用いる係数を得るための構成が前述の図５の構成である。この構成は、補間の際の周波数レスポンスにおける高周波域の減衰量を大幅に少なくする。
【００５３】
図６Ｂは垂直補間１８による垂直方向の補間の動作を表している。図６Ａと同様に、原画素Ｓn、Ｓn-1、Ｓn-2、Ｓn-3に対してＳn-1とＳn-2の間の補間画素Ｓ′の値を求める。
【００５４】
この時用いる係数を得るための構成が前述の図２の構成である。
【００５５】
図７は本発明の第２の実施例である。
【００５６】
前出の図と同一もしくは同等部は同一符号を付している。
【００５７】
３０１、３０２はフィールドメモリ、３０３は読み出しアドレス発生である。
【００５８】
不図示の被写体像は、不図示の撮像光学系により、ＣＣＤ１上の撮像面に結像され、光電変換される。この光電変換された電荷は、タイミングパルス２により発生される駆動タイミングパルスに応じて垂直および水平方向に転送される。ＣＣＤ１では転送された電荷が出力部で電荷電圧変換され、撮像信号として出力される。
【００５９】
この撮像信号はサンプルアンドホールド３で連続化され、ＡＤコンバータ４でディジタル信号に変換された後、１Ｈ遅延５に入力される。
【００６０】
１Ｈ遅延５で１水平期間遅延された出力は色分離７、ローパスフィルタ８に入力されると同時に１Ｈ遅延６に入力され、さらに１水平期間の遅延が行われる。
【００６１】
色分離７には、前述の１Ｈ遅延５および６の出力が入力される。色分離７の構成はＣＣＤ１の撮像面上のモザイク色フィルタの構成によって異なってくるが、例えば、多く用いられている黄、シアン、緑、マゼンタの繰り返しにより構成されるフィルタでインターレス読み出しの場合、２水平期間の信号を演算する事により、Ｒ、Ｇ、Ｂの信号が得られる。このＲ、Ｇ、Ｂの信号は、色信号処理９において上述のプロセス処理を行い、色信号Ｃが形成される。この色信号は、後段のディジタル処理に適した形式たとえば、Ｃｒ、Ｃｂの時分割多重形式などで出力される。
【００６２】
また、ローパスフィルタ８は、ＣＣＤ１の上述のモザイク色フィルタによって生ずる色キャリアを取り除き輝度信号を取り出す特性に設定される。このローパスフィルタ８の出力は輝度信号処理１０において前述のプロセス処理が行われ、輝度信号Ｙが形成される。
【００６３】
上述のように形成されたＣ及びＹは、フィールドメモリ３０１、３０２に入力される。このフィールドメモリ３０１、３０２では書き込まれた入力信号が、１フィールド期間遅延され、読み出しアドレス発生３０３により発生される読み出しアドレスＲＡＣ、ＲＡＹにそれぞれ応じて読み出しが行われる。この読み出しアドレスＲＡＣ、ＲＡＹは、垂直係数発生器２２により発生される垂直読み出し制御ＲＣＶおよび水平係数発生器により発生される水平読み出し制御ＲＣＨによりそれぞれ制御され、ズーム係数入力端子２１から入力された値に応じて読み出しアドレスを発生する。たとえば、ズーム係数が２倍の拡大を表す値である時は、水平方向、垂直方向ともに２画素分の期間に１画素が読み出されるように制御される。
【００６４】
このフィールドメモリ３０１、３０２の出力は、水平期間１３、１４にそれぞれ入力される。水平補間１３、１４では、水平係数発生器２３により発生された補間係数ＳＣＨに応じて水平方向の４点補間が行われる。
【００６５】
水平補間１３、１４の出力は、３Ｈ遅延１５、１６にそれぞれ入力される。３Ｈ遅延１５、１６ではそれぞれ入力信号を１Ｈ、２Ｈ、３Ｈ遅延した出力を生成し、遅延されていない信号と共に垂直補間１７、１８にそれぞれ入力される。
【００６６】
垂直補間１７、１８では垂直係数発生器２２より発生された補間係数ＳＣＶに応じて入力された４つの信号から、４点補間を行い、補間された信号をそれぞれ出力し、色信号出力端子１９、輝度信号出力端子２０から不図示のＶＴＲあるいはテレビモニタなどの外部機器に出力される。
【００６７】
ズームボリュームや、ズームスイッチなどの設定手段により設定されたズーム比率ＺＯＯＭは入力端子２１から入力され、垂直係数発生器２２および水平係数発生器２３に入力される。
【００６８】
垂直係数発生器２２では、前述のように、入力されたＺＯＯＭ信号に応じて、読み出しアドレス発生３０３および３Ｈ遅延１５を制御するの垂直読み出し制御信号ＲＣＶ、垂直補間１７、１８の補間係数ＳＣＶを発生し、垂直方向に所定の倍率で拡大あるいは縮小された画像信号を形成するように動作する。
【００６９】
また、水平係数発生器２３では、入力されたＺＯＯＭ信号に応じて読み出しアドレス発生３０３の水平読み出し制御信号ＲＣＨ、水平補間１３、１４の補間係数ＳＣＨを発生して、水平方向に所定の倍率で拡大あるいは縮小された画像信号を形成するように動作する。
【００７０】
図８は本発明の第３の実施例を示す図である。
【００７１】
３１０はタイミングパルス発生と異なる周波数のクロックを発生するクロック発生、３１１、３１２は入力信号は書き込みクロックに同期して連続で書き込み、出力信号は読み出しクロックと読み出しアドレスに応じて読み出す方式のデュアルポートタイプなどと呼ばれる１水平期間分の１Ｈメモリである。
【００７２】
ＣＣＤ１から色信号処理９、輝度信号処理１０の出力までの信号の流れは前出の実施例と同一である。
【００７３】
色信号処理９の出力Ｃおよび輝度信号処理１０の出力Ｙは１Ｈメモリ３１１、３１２に入力される。
【００７４】
１Ｈメモリ３１１、３１２では書き込みはタイミングパルス発生２より発生されるＣＣＤ１の水平転送クロックと同期したクロックＣＫ１に同期して連続で行われる。
【００７５】
読み出しは、クロック発生３１０から発生された前述のようにＣＫ１とは異なる周波数のＣＫ２と、水平係数発生器２３から発生される水平読み出し制御ＲＣＨに応じて読み出しアドレス発生で発生された読み出しアドレスＲＡＣおよびＲＡＹに応じて行われる。
【００７６】
この動作は、以下のように行われる。なお、説明の簡略化のため輝度信号のみについて説明する。
【００７７】
ＣＫ１の周波数ＦＣＫ１とＣＫ２の周波数ＦＣＫ２の比率ＦＣＫ２／ＦＣＫ１がＫである時、１Ｈメモリ３１２の出力は、読み出しクロックの周波数はＦＣＫ２であって、読み出しのデータレートはＦＣＫ１と同じになるように読み出しアドレスＲＡＹが発生される。水平補間１４では１Ｈメモリ３１２から読み出された、上述のようにＣＫ２に同期し、データレートがＦＣＫ１である信号を入力して、これを水平方向にＫ倍に補間し、その補間された信号を出力する。これにより出力端子２０から出力される輝度信号のデータレートはＦＣＫ２になる。
【００７８】
例えばＫが５／４であるとすると、１Ｈメモリ３１２からの出力はＦＣＫ２の周波数に同期して出力されるが、その出力は５クロック毎に４個のデータが出力される。つまり、５クロックに１度は同じデータが２度出力される。水平補間１４ではこのデータをもとに前述のような４点補間を行い、５つの補間されたデータを生成して出力する。したがって、水平補間１４の出力においては、クロック周波数、データレートともにＦＣＫ２になる。
【００７９】
図９は本発明の第４の実施例を示す図である。
【００８０】
３２０、３２１は書き込みは書き込みアドレスに応じて行い、読み出しは順次走査により行う方式のフィールドメモリ、３２２はフィールドメモリの書き込みアドレスを発生する書き込みアドレス発生である。
【００８１】
ＣＣＤ１から色信号処理９、輝度信号処理１０の出力までの信号の流れは前出の実施例と同一である。
【００８２】
色信号処理９の出力Ｃおよび輝度信号処理１０の出力Ｙは３Ｈ遅延１５、１６に入力される。
【００８３】
３Ｈ遅延１５、１６では１水平期間、２水平期間、３水平期間遅延した信号をそれぞれ出力し、その入力信号と共に垂直補間１７、１８にそれぞれ入力させる。
【００８４】
垂直補間１７、１８では水平係数発生器２２から発生された補間係数ＳＣＶに応じて、前述の４点補間の方式により垂直方向に画素を補間する。それらの出力は、それぞれ水平補間１３、１４に入力される。水平補間１３、１４では、入力された信号を、水平係数発生器２３から発生される補間係数ＳＣＨに応じて前述の４点補間の方式により水平方向に画素を補間する。それらの出力は、フィールドメモリ３２０、３２１に入力される。
【００８５】
フィールドメモリ３２１では、入力信号が書き込みアドレス発生３２２により発生される書き込みアドレスＷＡＹに応じて書き込まれる。この時、ズーム比入力端子２１に入力されたズーム比率に応じて、フィールドメモリ上に、縮小された画像が書き込まれるようにアドレスＷＡＹが発生される。
【００８６】
例えば、ズーム比率が１／２の縮小を表す場合、アドレスは、水平方向２画素期間に１ずつ、垂直方向にも２ライン期間同じアドレスが発生され、フィールドメモリ上の画像が１／２に縮小された画像になるように動作する。
【００８７】
またズーム比率が１と１／２の間である時は、垂直補間１８、水平補間１４により、垂直、水平方向に補間された後、ズーム比率に応じてアドレスの増加を制御して書き込み、フィールドメモリ上の画像がズーム比率の値に縮小された画像となるように動作する。
【００８８】
フィールドメモリ、３２０の動作も上述とほぼ同じであるが、色信号は時分割多重されているため、２画素分のデータを１つのまとまりとして扱う。
【００８９】
フィールドメモリ３２０、３２１では、上述の動作により書き込まれた画像を順次読み出す事により、縮小された画像の色信号及び輝度信号が読み出され、出力端子１９、２０からそれぞれ出力される。
【００９０】
【発明の効果】
以上説明したように、本発明によれば、撮像素子の出力信号の画像を水平あるいは垂直の少なくとも１方向に拡大、あるいは縮小する際に、水平、あるいは垂直方向に隣接する、４点の画像データをもとにそれらの画素の間のある位置の補間された画像データを得る事により、周波数特性の優れた画像劣化の非常に少ない拡大、縮小画像を得る事が可能になる。
【００９１】
また、さらに、本発明の４点の画像データをもとに補間データを生成する際、隣接する４つの画素のデータをＤ０、Ｄ１、Ｄ２、Ｄ３とし、Ｄ１とＤ２の間に補間するべき位置が有り、その位置とＤ１との距離をＤ１、Ｄ２の距離で割った値をＫとした時に、まず、Ｄ０とＤ３、Ｄ１とＤ２の２つの組み合わせにおいて、それぞれの組のデータを前者に対してＫ、後者に対して（１−Ｋ）を重みとして加算平均した平均値を求め、それら２つの平均値をもとに前述の補完するべき位置における画像データを得る事により、整数演算のみで画像データの演算が出来るため、ハードウエアによる実現が非常に容易に行なえる。
【図面の簡単な説明】
【図１】本発明の第１実施例図。
【図２】垂直補間回路の例を示す図。
【図３】水平係数発生器の例を示す図。
【図４】図２の垂直補間の特性図。
【図５】水平補間の詳細例を示す図。
【図６】Ａは水平補間動作の説明図。Ｂは垂直補間動作の説明図。
【図７】本発明の第２実施例図。
【図８】本発明の第３実施例図。
【図９】本発明の第４実施例図。
【図１０】従来の線形補間の説明図。
【図１１】従来の補間回路例を示す図。
【図１２】従来の周波数特性図。
Claims (2)
- 撮像素子と、撮像素子の出力信号の画像を水平あるいは垂直の少なくとも１方向に拡大、あるいは縮小する事が可能な画像処理部とを有する撮像装置であって、
水平方向または垂直方向に隣接する４つの画素のデータをＳ ｎ 、Ｓ ｎ−１ 、Ｓ ｎ−２ 、Ｓ ｎ−３ とし、Ｓ ｎ−１ とＳ ｎ−２ の間に補間するべき位置が有り、その位置とＳ ｎ−１ との距離をＳ ｎ−１ 、Ｓ ｎ−２ の距離で割った値をＫとした時に行う補間処理のための前記画像処理部は、
Ｐ ｎ ＝ＫＳ ｎ ＋（１−Ｋ）Ｓ ｎ−３ で表される平均値Ｐ ｎ を演算する第１演算回路と、
Ｐ ｎ−１ ＝ＫＳ ｎ−１ ＋（１−Ｋ）Ｓ ｎ−２ で表される平均値Ｐ ｎ−１ を演算する第２演算回路と、
Ｋの値に基づき新たな係数Ｋ’を演算する係数演算回路と、
Ｐ ｎ 、Ｐ ｎ−１ 、及びＫ’の値に基づき前記補完するべき位置における画像データ値Ｓ’を演算する第３演算回路と、を含むことを特徴とする撮像装置。 - 前記係数演算回路は、Ｋ’＝Ｋ−Ｋ ２ で表される係数Ｋ’を演算し、前記第３演算回路は、Ｓ’＝−Ｋ’Ｐ ｎ ＋（Ｋ’＋１）Ｐ ｎ−１ で表される前記補完するべき位置における画像データ値Ｓ’を演算することを特徴とする請求項１に記載の撮像装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20609997A JP3754803B2 (ja) | 1997-07-31 | 1997-07-31 | 撮像装置 |
| US09/124,225 US6631216B2 (en) | 1997-07-31 | 1998-07-29 | Image interpolation apparatus |
| DE69836453T DE69836453T2 (de) | 1997-07-31 | 1998-07-30 | Vorrichtung und Verfahren zum Vergrössern oder Verkleinern von Bildern |
| EP98306086A EP0895412B1 (en) | 1997-07-31 | 1998-07-30 | Apparatus and method for enlarging or reducing of pictures |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20609997A JP3754803B2 (ja) | 1997-07-31 | 1997-07-31 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1153531A JPH1153531A (ja) | 1999-02-26 |
| JP3754803B2 true JP3754803B2 (ja) | 2006-03-15 |
Family
ID=16517796
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20609997A Expired - Fee Related JP3754803B2 (ja) | 1997-07-31 | 1997-07-31 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3754803B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4774736B2 (ja) | 2004-12-27 | 2011-09-14 | カシオ計算機株式会社 | 画像拡大装置および撮像装置 |
| JP5430379B2 (ja) | 2009-02-03 | 2014-02-26 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
| KR101199986B1 (ko) * | 2012-03-21 | 2012-11-12 | (주)한국원자력 엔지니어링 | 카메라 촬영방법 |
-
1997
- 1997-07-31 JP JP20609997A patent/JP3754803B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1153531A (ja) | 1999-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5459520A (en) | Electronic camera with over-sampling filter and method for over-sampling and interpolating electronic camera image data | |
| JP4378804B2 (ja) | 撮像装置 | |
| JP4131052B2 (ja) | 撮像装置 | |
| KR0125108B1 (ko) | 정지화상기록 디지탈 카메라 | |
| EP0469836B1 (en) | Image signal processing apparatus | |
| JP4253881B2 (ja) | 撮像装置 | |
| EP0895412B1 (en) | Apparatus and method for enlarging or reducing of pictures | |
| JP3754803B2 (ja) | 撮像装置 | |
| JP3415215B2 (ja) | ディジタルズーミングシステム | |
| JPH08317295A (ja) | デジタル画像記録装置およびデジタル画像再生装置 | |
| US5481304A (en) | Apparatus for zooming a digital video signal of a predetermined color order which is derived from a charge-coupled device | |
| JP3288776B2 (ja) | 撮像装置 | |
| JPH1153530A (ja) | 画像補間装置 | |
| JP3761971B2 (ja) | 撮像装置 | |
| JP4035542B2 (ja) | 撮像装置 | |
| JP3018297B2 (ja) | カラー撮像装置 | |
| JPH07177531A (ja) | 撮像装置 | |
| JP3374431B2 (ja) | 補間機能付き撮像装置 | |
| JP3281454B2 (ja) | 撮像記録装置 | |
| JP2728135B2 (ja) | 撮像装置 | |
| JP3463695B2 (ja) | 撮影装置 | |
| JP3191586B2 (ja) | 画像動き補正装置 | |
| JPH09116912A (ja) | 映像信号処理装置 | |
| KR0137232B1 (ko) | 정지화상기록 디지탈 카메라 | |
| JPH0774996A (ja) | 補間機能付き映像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050405 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050412 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050610 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050726 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050913 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051219 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121222 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131222 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |