JP3152258B2 - 画像処理装置及びその方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像を電気的に拡大す
る電子ズーム機能を有する画像処理装置及びその方法に
関する。

【０００２】

【従来の技術】光学像を電気信号に変換する撮像手段を
具備する撮像装置、例えば、ビデオ・カメラ、電子スチ
ル・ビデオ・カメラ、テレビ・カメラなどでは、撮影画
像を記憶する画像メモリを設け、スナップ、ソラリゼー
ション、手振れ補正及び電子ズームなどの映像効果を施
す回路構成が提案されている。ビデオ・テープ・レコー
ダやカメラ一体型ビデオ・テープ・レコーダで実用化さ
れている。特に、カメラ一体型ビデオ・テープ・レコー
ダでは、電子的な手振れ補正機能と兼用できることか
ら、電子ズーム機能が注目されている。

【０００３】撮影画像を一時記憶する画像メモリは通
常、少なくとも１画面（フィールド又はフレーム）分の
記憶容量を必要とする。例えば、１フィールド分の輝度
及び色差信号を共に８ビットで記憶するとして、そのま
までは３Ｍｂｉｔ必要になり、回路が大型化するだけで
なく、高価になる。そこで、画像メモリの入力側に圧縮
符号化回路を設けると共に、当該画像メモリの出力側に
伸長復号化回路を設けて、画像メモリの記憶容量を少な
くて済むようにした構成が提案された。例えば、撮影画
像を１／２乃至１／４に圧縮して画像メモリに記憶す
る。

【０００４】

【発明が解決しようとする課題】このように画像メモリ
の記憶前後で圧縮伸長処理を行なう回路構成で、電子ズ
ーム機能を組み込む場合に、次のような弊害がある。即
ち、電子ズームでは、画像の一部を標準の画角に拡大
し、不足する画素値を近隣の画素値により補間する。電
子ズームの倍率が大きい程、補間処理による画質劣化が
目立つようになる。他方、画像メモリに画像信号を格納
する前の圧縮方式としては、圧縮率を稼ぐために、通
常、有雑音圧縮が採用される。その場合、圧縮伸長処理
により画質が少なからず劣化する。このように劣化した
画像を電子ズームすると、劣化した画像を基に補間処理
を行なうので、更に画質が劣化する。

【０００５】本発明は、このような不都合を解消する画
像処理装置及びその方法を提示することを目的とする。

【０００６】

【課題を解決するための手段】本発明に係る画像処理装
置は、画像データを入力する入力手段と、前記入力手段
によって入力された画像データを圧縮する圧縮手段と、
前記圧縮手段によって処理された画像データを記憶する
記憶手段と、前記記憶手段に記憶された画像データを前
記圧縮手段の圧縮処理に対応させて伸長する伸長手段
と、前記伸長手段によって伸長された画像データを電気
的に拡大する電子ズーム手段と、前記電子ズーム手段の
ズーム倍率に応じて前記圧縮手段及び前記伸長手段の処
理動作の実行と非実行とを制御する制御手段とを有する
ことを特徴とする。また、本発明に係る画像処理方法
は、画像データを入力する入力工程と、前記入力された
画像データを圧縮する圧縮工程と、前記圧縮工程で処理
された画像データを記憶媒体に記憶する記憶工程と、前
記記憶媒体に記憶された画像データを前記圧縮工程の圧
縮処理に対応させて伸長する伸長工程と、前記伸長工程
で伸長された画像データを電気的に拡大する電子ズーム
工程と、前記電子ズーム工程でのズーム倍率に応じて前
記圧縮工程及び前記伸長工程の処理動作の実行と非実行
とを制御する制御工程とを有することを特徴とする。 ま
た、本発明に係る画像処理装置は、画像データを入力す
る入力手段と、前記入力手段によって入力された画像デ
ータを１／ｎに圧縮する圧縮手段と、前記入力手段によ
り入力された画像データ及び前記圧縮手段により圧縮処
理された画像データを選択すると共に、前記入力手段に
より入力された画像データを選択するときに指定範囲の
部分画像を取り出す第１の選択手段と、前記第１の選択
手段により選択された画像データを記憶するメモリと、
前記圧縮手段に対応する伸長手段と、電子ズーム手段
と、前記メモリから読み出されたデータを前記伸長手段
及び前記電子ズーム手段の一方に選択的に供給する第２
の選択手段とを有し、前記電子ズーム手段の倍率がｎ倍
未満のときには、前記圧縮手段及び前記伸長手段により
処理された画像データを前記電子ズーム手段で電子ズー
ムし、前記電子ズーム手段の倍率がｎ倍以上のときに
は、前記圧縮手段及び伸長手段により処理されていない
画像データを前記電子ズーム手段で電子ズームすること
を特徴とする。 また、本発明に係る画像処理方法は、画
像データを入力する入力工程と、前記 入力工程で入力さ
れた画像データを１／ｎに圧縮する圧縮工程と、前記入
力工程で入力された画像データ及び前記圧縮工程で圧縮
処理された画像データを選択すると共に、前記入力工程
で入力された画像データを選択するときに指定範囲の部
分画像を取り出す第１の選択工程と、前記第１の選択工
程で選択された画像データをメモリに記憶する記憶工程
と、前記メモリに記憶された画像データを伸長する伸長
工程と、電子ズーム工程と、前記メモリから読み出され
たデータを前記伸長工程及び前記電子ズーム工程の一方
に選択的に供給する第２の選択工程とを有し、前記電子
ズーム工程でのズーム倍率がｎ倍未満のときには、前記
圧縮工程及び前記伸長工程で処理された画像データを前
記電子ズーム工程で電子ズームし、前記電子ズーム工程
でのズーム倍率がｎ倍以上のときには、前記圧縮工程及
び伸長工程で処理されていない画像データを前記電子ズ
ーム工程で電子ズームすることを特徴とする。

【０００７】

【０００８】

【０００９】

【実施例】以下、図面を参照して本発明の実施例を説明
する。

【００１０】図１は、本発明の一実施例の概略構成ブロ
ック図を示す。１０は撮影レンズ、１２は光学像を電気
信号に変換する撮像素子、１４は撮像素子１２のアナロ
グ出力をディジタル信号に変換するＡ／Ｄ変換器、１６
はディジタル信号処理回路（ＤＳＰ）である。ＤＳＰ１
６はγ補正及び色バランス調整などの周知のカメラ信号
処理を行ない、それぞれ８ビットの輝度信号及び色差信
号の形態で画像信号を出力する。但し、説明を容易にす
るため、主として輝度信号に関して説明する。

【００１１】１８はＤＳＰ１６の出力データを１／４に
圧縮する圧縮回路、２０はＤＳＰ１８の出力又は圧縮回
路１８の出力を選択するセレクタ、２２は圧縮状態の１
画面分の画像データを記憶できる画像メモリ、２４は圧
縮回路１８に対応する伸長回路、２６は画像メモリ２２
の出力を伸長回路２４又は伸長回路２４の出力側に供給
するセレクタである。

【００１２】２８は伸長回路２４又はセレクタ２６から
の信号を電子ズームする電子ズーム回路、３０は電子ズ
ーム回路２８のディジタル出力をアナログ信号に変換す
るＤ／Ａ変換器、３２は、Ｄ／Ａ変換器３０の出力信号
を外部に出力する出力端子である。

【００１３】なお、詳細は後述するが、セレクタ２０は
２入力を選択する機能の他に、８ビット・データを２つ
の４ビット・データに変換する機能、及び画面内の水平
及び垂直の指定範囲の画像データを通すゲート機能を具
備する。他方、セレクタ２６は２出力を選択する機能の
他に、２つの４ビット・データを１つの８ビット・デー
タに変換する機能を具備する。

【００１４】３４は全体、特に電子ズーム回路２８のズ
ーム比に連動してセレクタ２０，２２を制御するシステ
ム制御回路、３６はシステム制御回路３４に各種の指示
（例えば、電子ズーム回路２８のズーム比等）を入力す
る操作装置である。

【００１５】圧縮回路１８の回路構成を図２に示す。入
力端子４０にはＤＳＰ１６から出力される８ビット・デ
ータが入力する。プレフィルタ４２は、サブサンプリン
グの前処理として、入力端子４０からの輝度データから
斜め成分を除去する。サブサンプリング回路４４はプリ
フィルタ４２の出力を水平方向で１／２に間引き、ＤＰ
ＣＭ回路４６が、サブサンプリング回路４４から出力さ
れる８ビット・データを差分予測符号化により４ビット
に圧縮する。ＤＰＣＭ回路４６の出力が圧縮回路１８の
出力として、出力端子４８からセレクタ２０のａ接点に
印加される。

【００１６】輝度信号の場合について、圧縮の様子を具
体的に説明する。原画像の輝度データが図３（ａ）に示
すように水平６４０画素、２４０ライン、８ビットで、
約１．２３Ｍｂｉｔのフィールド画であるとする。これ
をサブサンプリング回路４４でサブサンプリングする
と、図３（ｂ）に示すように、水平方向の画素数が半分
の３２０になり、１フィールドで約０．６１Ｍｂｉｔと
なる。これを更にＤＰＣＭ回路４６で８ビットから４ビ
ットに圧縮すると、図３（ｃ）に示すように深さ方向が
半分になり、約０．３Ｍｂｉｔとなる。

【００１７】図４は伸長回路２４の内部回路を示す。入
力端子５０にはセレクタ２６のａ接点からの４ビット・
データが入力する。ＤＰＣＭ復号化回路５２は、入力端
子５０からの４ビット・データをＤＰＣＭ復号化し、８
ビット・データを出力する。補間回路５４はサブサンプ
リング回路４４で間引いた画素を補間する。例えば、ゼ
ロ値を挿入する。両側又は近隣の画素値の平均値でもよ
い。補間回路５４の出力はポスト・フィルタ５６で平滑
化されて出力端子５８から電子ズーム回路２８に供給さ
れる。

【００１８】即ち、この伸長回路２４では、ＤＰＣＭ復
号化回路５２が、深さ方向を４ビットから８ビットに、
２倍に伸長し、補間回路５４が水平方向の画素数を２倍
にする。これにより、出力端子５８から出力される画像
データは６４０×２４０×８ビットになっている。

【００１９】圧縮回路１８及び伸長回路２４内には、図
２及び図４に示すような回路が、輝度用と色差用の２つ
設けられていることはいうまでもない。

【００２０】セレクタ２０の内部回路を図５に、セレク
タ２６の内部回路を図６に示す。セレクタ２０はＤＳＰ
１６から出力される８ビット・データを、上位４ビット
と下位４ビットに分けて２つの４ビット・データにする
変換機能を具備し、また、水平ウインドウ信号Ｈ＿ＷＩ
ＮＤＯＷ及び垂直ウインドウ信号Ｖ＿ＷＩＮＤＯＷによ
り、画面内の任意の水平及び垂直領域の画像データを通
すゲート機能を具備する。セレクタ２６はこれとは逆
に、２つの４ビット・データを８ビットの上位４ビット
と下位４ビットに割り付ける変換機能を具備する。詳細
は後述する。

【００２１】本実施例では、圧縮回路１８の圧縮率が１
／４であるので、電子ズーム回路２８のズーム倍率が４
倍以上のとき、本実施例特有の効果を得ることができ
る。

【００２２】先ず、電子ズーム回路２８の電子ズーム倍
率が４未満の場合の動作を説明する。このとき、システ
ム制御回路３４はセレクタ２０，２６をそれぞれａ接点
に接続する。撮像素子１２は撮影レンズ１０による光学
像を電気信号に変換し、Ａ／Ｄ変換器１４は撮像素子１
２の出力をディジタル信号に変換する。Ａ／Ｄ変換器１
４の出力はＤＳＰ１６で処理された後、圧縮回路１８に
印加される。圧縮回路１８は、８ビットの画像データを
上述のように１／４に圧縮する。圧縮回路１８の出力は
４ビット・データであり、セレクタ２０を介してそのま
ま画像メモリ２２に一時記憶される。

【００２３】画像メモリ２２に記憶された圧縮画像デー
タは読み出され、セレクタ２６を介して伸長回路２４に
印加される。伸長回路２４は入力する圧縮画像データを
上述のように伸長し、電子ズーム回路２８に印加する。
電子ズーム回路２８は、システム制御回路３４により指
示される倍率で入力画像を電子的に拡大する。即ち、入
力画像に、必要な画素値を補間する。例えば、２倍ズー
ムの場合には、入力画像から水平４５３画素×垂直１７
０ラインを切り出して補間し、６４０画素×２４０ライ
ンの画像にして出力する。

【００２４】次に、電子ズーム倍率が４倍の場合の動作
を説明する。４倍の場合、図８に示すように、元の画像
の中央の水平３２０画素×１２０ライン内の画像データ
のみを画像メモリ２２に記憶すればよい。即ち、撮像素
子１２による撮影画像の１／４のデータ量でよく、量的
には撮影画像の全体を圧縮回路１８で１／４に圧縮した
ものと同じである。そこで、本実施例では、撮影画像の
必要な中央部分のデータを圧縮せずに画像メモリ２２に
記憶する。

【００２５】即ち、システム制御回路３４はセレクタ２
０，２６をそれぞれｂ接点に接続する。撮像素子１２に
よる撮影画像信号は、Ａ／Ｄ変換器１４及びＤＳＰ１６
で処理されてセレクタ２０のｂ接点に印加される。

【００２６】セレクタ２０の動作タイミング図を図９に
示す。Ｈ＿ＷＩＮＤＯＷ信号及びＶ＿ＷＩＮＤＯＷ信号
により、ＤＳＰ１６の８ビット出力（非圧縮データ）の
内、水平ラインの１６１番目の画素から４８０番目の画
素まで、及び６１番目のラインから１８０番目のライン
までの中に含まれる画像データが選択される。選択され
た８ビット・データはＳＥＴ＿ＨＩ信号により下位４ビ
ットと上位４ビットに振り分けて４段のラッチ回路に取
り込まれ、４下位４ビット及び上位４ビットの順で、４
ビット・データとして画像メモリ２２に順次出力され
る。

【００２７】このようにして、画像メモリ２２には、電
子ズームに必要な中央部分の画像データが、非圧縮状態
で格納される。

【００２８】画像メモリ２２に格納された非圧縮データ
は読み出され、セレクタ２６に印加される。セレクタ２
６の動作タイミング図を図１０に示す。ＳＥＬにより、
４ビット・データを８段のラッチ回路の上位４ビット及
び下位４ビットに取り込んで、８ビット・データに変換
する。８ビットが揃うと、電子ズーム回路２８に出力す
る。電子ズーム回路２８には、撮影画像の中央の３２０
画素×１２０ラインの画像データが供給される。電子ズ
ーム回路２８はこれに補間処理を行ない、６４０画素×
２４０ラインの画像データを出力する。

【００２９】上記実施例の圧縮回路１８では、サブサン
プリングとＤＰＣＭで１／４に圧縮したが、ＤＰＣＭの
みでもよい。その場合、画像メモリ２２に必要なメモリ
容量は増すが、サブサンプリング及び補間に伴うプリフ
ィルタ４２及びポストフィルタ５６が不要になり、処理
系が簡単になる。

【００３０】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、所定以上の電子ズームを行なう場
合にも画質の劣化が少なくなり、実質的に電子ズームの
性能を向上できる。

【図面の簡単な説明】

【図１】 本発明の一実施例の構成ブロック図である。

【図２】 圧縮回路１８の内部回路図である。

【図３】 圧縮回路１８の圧縮の説明図である。

【図４】 伸長回路２４の内部回路図である。

【図５】 セレクタ２０の内部回路図である。

【図６】 セレクタ２６の内部回路図である。

【図７】 ２倍の電子ズームの説明図である。

【図８】 ４倍の電子ズームの説明図である。

【図９】 ４倍の電子ズームの時の、セレクタ２０のタ
イミング図である。

【図１０】 ４倍の電子ズームの時の、セレクタ２６の
タイミング図である。

【符号の説明】 １０：撮影レンズ １２：撮像素子 １４：Ａ／Ｄ変換
器 １６：ディジタル信号処理回路（ＤＳＰ） １８：
圧縮回路 ２０：セレクタ ２２：画像メモリ ２４：伸長回路 ２６：セレクタ ２８：電子ズーム回
路 ３０：Ｄ／Ａ変換器 ３２：出力端子 ４０：入力端子 ４２：プレフィルタ
４４：サブサンプリング回路 ４６：ＤＰＣＭ回路
４８：出力端子 ５０：入力端子 ５２：ＤＰＣＭ復号
化回路 ５４：補間回路 ５６：ポストフィルタ ５
８：出力端子

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 画像データを入力する入力手段と、 前記入力手段によって入力された画像データを圧縮する
   圧縮手段と、前記圧縮手段によって処理された画像データを記憶する
   記憶手段と、 前記記憶手段に記憶された画像データを前記圧縮手段の
   圧縮処理に対応させて伸長する伸長手段と、 前記伸長手段によって伸長 された画像データを電気的に
   拡大する電子ズーム手段と、 前記電子ズーム手段のズーム倍率に応じて前記圧縮手段
   及び前記伸長手段の処理動作の実行と非実行とを制御す
   る制御手段とを有することを特徴とする画像処理装置。
2. 【請求項２】 画像データを入力する入力工程と、 前記入力された画像データを圧縮する圧縮工程と、 前記圧縮工程で処理された画像データを記憶媒体に記憶
   する記憶工程と、 前記記憶媒体に記憶された画像データを前記圧縮工程の
   圧縮処理に対応させて伸長する伸長工程と、 前記伸長工程で伸長された画像データを電気的に拡大す
   る電子ズーム工程と、 前記電子ズーム工程でのズーム倍率に応じて前記圧縮工
   程及び前記伸長工程の処理動作の実行と非実行とを制御
   する制御工程とを有することを特徴とする画像処理方
   法。
3. 【請求項３】 画像データを入力する入力手段と、 前記入力手段によって入力された画像データを１／ｎに
   圧縮する圧縮手段と、 前記入力手段により入力された画像データ及び前記圧縮
   手段により圧縮処理された画像データを選択すると共
   に、前記入力手段により入力された画像データを選択す
   るときに指定範囲の部分画像を取り出す第１の選択手段
   と、 前記第１の選択手段により選択された画像データを記憶
   するメモリと、 前記圧縮手段に対応する伸長手段と、 電子ズーム手段と、 前記メモリから読み出されたデータを前記伸長手段及び
   前記電子ズーム手段の 一方に選択的に供給する第２の選
   択手段とを有し、前記電子ズーム手段の倍率がｎ倍未満
   のときには、前記圧縮手段及び前記伸長手段により処理
   された画像データを前記電子ズーム手段で電子ズーム
   し、前記電子ズーム手段の倍率がｎ倍以上のときには、
   前記圧縮手段及び伸長手段により処理されていない画像
   データを前記電子ズーム手段で電子ズームすることを特
   徴とする画像処理装置。
4. 【請求項４】 画像データを入力する入力工程と、 前記入力工程で入力された画像データを１／ｎに圧縮す
   る圧縮工程と、 前記入力工程で入力された画像データ及び前記圧縮工程
   で圧縮処理された画像データを選択すると共に、前記入
   力工程で入力された画像データを選択するときに指定範
   囲の部分画像を取り出す第１の選択工程と、 前記第１の選択工程で選択された画像データをメモリに
   記憶する記憶工程と、 前記メモリに記憶された画像データを伸長する伸長工程
   と、 電子ズーム工程と、 前記メモリから読み出されたデータを前記伸長工程及び
   前記電子ズーム工程の一方に選択的に供給する第２の選
   択工程とを有し、前記電子ズーム工程でのズーム倍率が
   ｎ倍未満のときには、前記圧縮工程及び前記伸長工程で
   処理された画像データを前記電子ズーム工程で電子ズー
   ムし、前記電子ズーム工程でのズーム倍率がｎ倍以上の
   ときには、前記圧縮工程及び伸長工程で処理されていな
   い画像データを前記電子ズーム工程で電子ズームするこ
   とを特徴とする画像処理方法。