JP4794987B2

JP4794987B2 - 映像信号処理装置

Info

Publication number: JP4794987B2
Application number: JP2005324784A
Authority: JP
Inventors: 芳季石井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-11-09
Filing date: 2005-11-09
Publication date: 2011-10-19
Anticipated expiration: 2025-11-09
Also published as: US8229004B2; US20120262598A1; CN101305617B; WO2007055389A3; WO2007055389A2; EP1949705B1; JP2007134880A; US20090096883A1; CN101305617A; WO2007055389B1; EP1949705A2

Description

本発明は、撮影した映像信号を処理するための映像信号処理装置に関し、特にはフレーム内およびフレーム間予測を用いた圧縮方式を用いる場合にカメラゲインアップによって生ずるフリッカの抑圧処理に関するものである。

近年、ハードディスクやＤＶＤ等に動画データを記録するレコーダが登場し、従来のＶＴＲに替わってテレビ番組の録画に用いられるようになってきた。これらのレコーダは、本来膨大なデータ量となる動画データを、ＭＰＥＧ２などの高能率符号化を行って圧縮することによって、一枚のディスクメディアに記録することを可能としている。

ＭＰＥＧ２に代表される動画像の高能率符号化においては、フレーム内およびフレーム間予測を含む複数の異なるピクチャタイプを用いて圧縮符号化を行うことが一般的である。すなわち、所定間隔のフレームのみフレーム内符号化のピクチャタイプを用い、その間のフレームは、フレーム間に画像データの相関があることを利用したフレーム間予測を用いたピクチャタイプを用いることによって、動画データの圧縮効率を高めている。

図１７は従来の映像信号処理装置を示す図である。１７０２はカメラ部であり、１７０１はレンズ光学系及びＣＣＤ等の光電変換部からなるカメラユニットである。カメラユニット１７０１で撮像されたアナログ動画信号は、撮像信号処理回路１７０３によってＡ／Ｄ変換、画素補間、色変換、γ変換等の処理を受ける。１７２５はカメラ制御回路であり、例えば撮影画像の明るさによってカメラユニット１７０１の露出制御などの処理を行う。カメラ部１７０２による動画撮影時において、撮影画像が暗く所定の値より遅いシャッタースピードになる場合には、残像防止のためカメラ制御回路１７２５からの制御により撮像信号処理回路１７０３のアンプゲインを上げ、シャッタースピードが遅くならないよう制御する。

撮像信号処理回路１７０３の出力は、符号化すべき画像データとして画面並べ替え回路１７０９に供給され、符号化すべき順序に並べ替えられる。この並べ替えとは、例えばＭＰＥＧ２符号化においては、双方向予測フレームであるＢピクチャは前後のフレームが符号化された後に符号化する画像であるため順序を後方へ並べ替えるといったように、符号化に適した順序に並べ替える処理を行う。

差分回路１７１０では、スイッチ１７２３の選択により、Ｉピクチャについては画像データそのものが、Ｐピクチャ及びＢピクチャについては予測画像との差分値が計算され、ＤＣＴ回路１７１１に供給される。ＤＣＴ回路１７１１でＤＣＴ係数に変換された画像データは量子化回路１７１２において所定の量子化スケールＱによって量子化される。このＱ値を変化させることによって量子化後の係数値は大きく変化し、これによって発生符号量が変化する。

可変長符号化回路１７１３は、量子化回路１７１２から出力された量子化係数を例えばエントロピー符号化し、符号化データとして出力する。バッファ１７１４は符号化レート制御のために発生した符号化データを一時保存する。バッファ１７１４に貯められた符号化データは、所定のレートで読み出され、圧縮符号化データとして端子１７１５から出力される。

一方、量子化回路１７１２で量子化された係数データは、予測画像データを得るために逆量子化回路１７１７で逆量子化され、逆ＤＣＴ回路１７１８で逆ＤＣＴ変換される。そして加算回路１７１９ではスイッチ１７２２の選択によって、Ｉピクチャについては逆ＤＣＴ変換後のデータがそのまま、またＰピクチャもしくはＢピクチャについては、予測画像と加算されて局部復号画像データとなったものがビデオメモリ１７２０に保存される。動き補償予測回路１７２１では、ビデオメモリ１７２０に蓄えられた局部復号画像データと入力画像データを比較することにより、Ｐピクチャについては順方向の、Ｂピクチャについては双方向の動き補償を行った予測画像データを生成し、前述の差分回路１７１０に供給するとともに、次の局部復号のための予測画像として加算回路１７１９にも供給する。

レート制御回路１７２７は、バッファ１７１４から得られる、過去の発生符号量やバッファ充填率などの情報を用いて、目標とする符号化レートに対してこれから符号化すべきピクチャについての符号量割り当て制御を行う。この際、各ピクチャタイプについて割り当てた符号量に基づいた量子化スケールＱを決定し、量子化回路１７１２を制御する。量子化後の発生符号量はＩ，Ｐ，Ｂの各ピクチャタイプによって異なるため、量子化スケールＱはピクチャタイプに応じて変更されることが一般的である。例えば、ＭＰＥＧ２―ＴＭ（ＴｅｓｔＭｏｄｅｌ）５として知られる符号化方式では、各ピクチャタイプに応じた量子化スケールの設定を行っている。

ところで、従来のビデオカメラは、前述したカメラ部１７０２のように、撮影画像の明るさに応じてカメラユニット１７０１の露出制御を行っている。一般的にビデオカメラは、通常の明るさの範囲では、主に絞り値とシャッタースピードの組み合わせによって適正露出となるように制御を行うが、絞りが開放となるような暗い場面になると、ゲインアップを行っている。一般にゲインアップして撮影された画像のＳ／Ｎは低下する。この場合に、前述のＭＰＥＧ２のような複数の異なるピクチャタイプを用いた符号化を行うと、ピクチャタイプによって符号化後のノイズ成分由来の輝度ピークが変動し、動画として再生した場合に輝度フリッカとして観測され、視覚的な妨害となることが知られている。

この状況を鑑みて、ゲインアップに連動してフィルタ回路の特性をアップさせることによって、ゲインアップに由来するランダムノイズを除去しようとする特許提案がなされている（例えば、特許文献１参照。）。
ＷＯ９７／０５７４５

図１６は前述した従来の構成において、カメラのゲインアップによって再生時に輝度フリッカが発生する原因を説明するための図である。図１６（Ａ）はＩピクチャからの再生信号であり、フラットな映像信号に重畳するノイズ成分のピーク輝度は、フレーム内符号化によりある程度保存されている。これは一般にＩピクチャの符号量割り当てが、他のピクチャタイプに比べて多いことにも由来する。

図１６（Ｂ）はＰ、Ｂピクチャからの再生信号である。ゲインアップ時の撮影画像は、ランダムなノイズ成分によってフレーム間の相関が低くなる。このため通常の符号化ではＰ、Ｂピクチャのフレーム間差分情報量の増加によって符号化による映像信号の劣化が生じ、ノイズピークがつぶれて、（Ａ）のＩピクチャに比べピーク輝度差が生じている。これにより図１６（Ｃ）に示すように、動画再生時にノイズ由来の輝度フリッカが発生する。

このようなゲインアップに由来するランダムノイズを除去するための従来技術として、特許文献１のようなフィルタ特性を変える方法は、一般的な低Ｓ／Ｎ時の符号化歪低減手法のひとつであり効果の一部は期待できる。しかしながら、フィルタのみによって前述したような輝度フリッカを完全に除去するには、フィルタ強度を十分に上げなければならず、そうなると解像度低下が甚だしくなり、残像の発生など本来の映像に対する弊害が大きい。また、テレビプログラムの撮影などでは、映像効果のために意図的にノイズを混入させ、ノイズの粒状感を利用したフィルムライクな撮影を行う場合がある。このような状況を鑑みると、フィルタで一様にノイズを除去するわけにはいかず、ノイズ成分そのものの除去は最低限にとどめる必要がある。すなわち、画質を維持させつつ前述した輝度フリッカを効果的に低減させるには、特許文献１の発明だけでは不十分である。

本発明はこのような従来技術における未解決の課題を解決し、ゲインアップした撮影でＳ／Ｎが低い場合でも、平滑化による解像度低下や残像などの弊害を最小限にとどめたまま、効果的にノイズによる輝度フリッカを低減させることを目的とする。さらに、撮影効果として意図的にノイズを混入させた撮影を行いたい場合でも、ノイズの効果を最大限に生かしたまま、輝度フリッカを低減させることを更なる目的とする。

上記課題を解決するために、本発明の映像信号処理装置は、映像信号を、フレーム内符号化ピクチャおよびフレーム間予測符号化ピクチャを含む複数の異なるピクチャタイプを用いて圧縮符号化する映像信号処理装置であって、前記映像信号に対してゲイン調整が施されたときのゲイン設定値を取得する取得手段と、前記映像信号を平滑化処理するための平滑化手段と、前記平滑化手段より後段に設けられた前記映像信号を圧縮符号化するための圧縮符号化手段と、前記圧縮符号化手段に対してピクチャタイプ毎に割り当てる符号量を設定可能な設定手段と、前記取得手段で取得したゲイン設定値に応じて、前記平滑化手段が行う平滑化処理の強度と、前記設定手段がピクチャタイプ毎に割り当てる符号量の比率とを変更するよう制御する制御手段とを備え、前記ゲイン設定値が所定の値を超えた場合に、前記制御手段は、前記平滑化手段が行う平滑化処理の強度を高めるとともに、前記フレーム内符号化ピクチャに割り当てる符号量に対する前記フレーム間予測符号化ピクチャに割り当てる符号量の比率を増加させることを特徴とする。

また、本発明の映像信号処理装置の他の特徴とするところは、映像信号を、フレーム内符号化ピクチャおよびフレーム間予測符号化ピクチャを含む複数の異なるピクチャタイプを用いて圧縮符号化する映像信号処理装置であって、前記映像信号に対して施されたゲイン調整に係るゲイン設定値とシャープネス調整に係るシャープネス設定値を取得する取得手段と、前記映像信号を平滑化処理するための平滑化手段と、前記平滑化手段より後段に設けられた前記映像信号を圧縮符号化するための圧縮符号化手段と、前記圧縮符号化手段に対してピクチャタイプ毎に割り当てる符号量を設定可能な設定手段と、前記取得手段で取得したゲイン設定値及びシャープネス設定値に応じて、前記平滑化手段が行う平滑化処理の強度と、前記設定手段がピクチャタイプ毎に割り当てる符号量の比率とを変更するよう制御する制御手段とを備えたことを特徴とする。

また、本発明の映像信号処理装置の他の特徴とするところは、映像信号を、フレーム内符号化ピクチャおよびフレーム間予測符号化ピクチャを含む複数の異なるピクチャタイプを用いて圧縮符号化する映像信号処理装置であって、前記映像信号に対してゲイン調整が施されたときのゲイン設定値を取得する取得手段と、前記映像信号を平滑化処理するための平滑化手段と、前記平滑化手段より後段に設けられた前記映像信号を圧縮符号化するための圧縮符号化手段と、前記圧縮符号化手段に対してピクチャタイプ毎に割り当てる符号量を設定可能な設定手段と、前記圧縮符号化手段に対して圧縮符号化の目標ビットレートを指定する指定手段と、前記取得手段で取得したゲイン設定値及び前記指定手段で指定された目標ビットレートに応じて、前記平滑化手段が行う平滑化処理の強度と、前記設定手段がピクチャタイプ毎に割り当てる符号量の比率とを変更するよう制御する制御手段とを備え、前記ゲイン設定値が所定の値を超えた場合に、前記制御手段は、前記平滑化手段が行う平滑化処理の強度を高めるとともに、前記フレーム内符号化ピクチャに割り当てる符号量に対する前記フレーム間予測符号化ピクチャに割り当てる符号量の比率を増加させ、かつ、前記目標ビットレートに応じて前記フレーム間予測符号化ピクチャに割り当てる符号量の増加の度合いを変化させることを特徴とする。
また、本発明の映像信号処理装置の他の特徴とするところは、映像信号を、フレーム内符号化ピクチャおよびフレーム間予測符号化ピクチャを含む複数の異なるピクチャタイプを用いて圧縮符号化する映像信号処理装置であって、前記映像信号に対して施されたゲイン調整に係るゲイン設定値を取得する取得手段と、前記映像信号を圧縮符号化するための圧縮符号化手段と、前記圧縮符号化手段に対してピクチャタイプ毎に割り当てる符号量を設定可能な設定手段と、前記設定手段がピクチャタイプ毎に割り当てる符号量の比率を、前記取得手段で取得したゲイン設定値に応じて変更するよう制御する制御手段とを備え、前記ゲイン設定値が所定の値を超えた場合に、前記制御手段は、前記フレーム内符号化ピクチャに割り当てる符号量に対する前記フレーム間予測符号化ピクチャに割り当てる符号量の比率を増加させることを特徴とする。

本発明によれば、ピクチャタイプごとの割り当て符号量比率と映像信号の平滑化強度を、カメラゲインに応じて統合的に制御することにより、ゲインアップした撮影でＳ／Ｎが低い場合でも、平滑化による解像度低下や残像などの弊害を最小限にとどめたまま、効果的にノイズによる輝度フリッカを低減することができる。さらに、撮影効果として意図的にノイズを混入させた撮影を行いたい場合でも、ノイズの効果を最大限に生かしたまま、輝度フリッカを低減させることができる。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

本発明の映像信号処理装置の実施形態として、カメラで撮影して得た映像信号をフレーム内およびフレーム間予測を用いた圧縮方式を用いて符号化して、その符号化データを出力可能とするディジタルビデオカメラを例にして説明する。

図１は第１の実施例として、本発明の映像信号処理装置の実施形態となるディジタルビデオカメラを示す図である。１０２はカメラ部であり、１０１はレンズ光学系及びＣＣＤ等の光電変換部からなるカメラユニットである。カメラユニット１０１で撮像されたアナログ動画信号は、撮像信号処理回路１０３によってＡ／Ｄ変換、画素補間、色変換、γ変換等の処理を受ける。

１２５はカメラ制御回路であり、例えば撮影画像の明るさによってカメラユニット１０１の露出制御などの処理を行う。前述のようにカメラ部１０２による動画撮影時において、撮影画像が暗く所定の値より遅いシャッタースピードになる場合には、残像防止のためカメラ制御回路１２５からの制御により撮像信号処理回路１０３のアンプゲインを上げ、シャッタースピードが遅くならないよう制御する。また業務用カメラ装置においては、カメラゲインをユーザーが任意に切り替える機能を持つものが一般的である。この機能をカメラ部１０２が備える場合は、カメラ制御回路１２５は不図示の操作部から入力されたユーザー設定値に応じた固定のアンプゲインとなるよう撮像信号処理回路１０３のアンプゲインを制御する。

撮像信号処理回路１０３の出力は、カメラ部１０２からの映像信号として平滑化回路１２４に入力される。平滑化回路１２４は映像信号の空間的な帯域制限を行う可変帯域空間フィルタもしくは、画素ごとの時間的な平滑化を行う可変テンポラルフィルタ、またはその組み合わせから構成される。平滑化回路１２４の詳細については後述する。

平滑化回路１２４の出力は、符号化すべき画像データとして画面並べ替え回路１０９に供給され、符号化すべき順序に並べ替えられる。この並べ替えとは、例えばＭＰＥＧ２符号化においては、双方向予測フレームであるＢピクチャは前後のフレームが符号化された後に符号化する画像であるため順序を後方へ並べ替えるといったように、符号化に適した順序に並べ替える処理を行う。

差分回路１１０では、スイッチ１２３の選択により、Ｉピクチャについては画像データそのものが、Ｐピクチャ及びＢピクチャについては予測画像との差分値が計算され、ＤＣＴ回路１１１に供給される。ＤＣＴ回路１１１でＤＣＴ係数に変換された画像データは量子化回路１１２において所定の量子化スケールＱによって量子化される。このＱ値を変化させることによって量子化後の係数値は大きく変化し、これによって発生符号量が変化する。

可変長符号化回路１１３は、量子化回路１１２から出力された量子化係数を例えばエントロピー符号化し、符号化データとして出力する。バッファ１１４は符号化レート制御のために発生した符号化データを一時保存する。バッファ１１４に貯められた符号化データは、所定のレートで読み出され、圧縮符号化データとして端子１１５から出力される。出力された圧縮符号化データは、テープ、ディスク、半導体メモリなどの記録メディアに効率的に記録すること、或いはネットワークや通信路を用いて効率的に伝送することが可能である。

一方、量子化回路１１２で量子化された係数データは、予測画像データを得るために逆量子化回路１１７で逆量子化され、逆ＤＣＴ回路１１８で逆ＤＣＴ変換される。そして、加算回路１１９ではスイッチ１２２の選択に応じて、Ｉピクチャについては逆ＤＣＴ変換後のデータがそのまま、またＰピクチャもしくはＢピクチャについては、予測画像と加算されて局部復号画像データとなったものがビデオメモリ１２０に保存される。動き補償予測回路１２１では、ビデオメモリ１２０に蓄えられた局部復号画像データと入力画像データを比較することにより、Ｐピクチャについては順方向の、Ｂピクチャについては双方向の動き補償を行った予測画像データを生成し、前述の差分回路１１０に供給するとともに、次の局部復号のための予測画像として加算回路１１９にも供給する。

レート制御回路１２７は、バッファ１１４から得られる過去の発生符号量やバッファ充填率などの情報と、後述する符号量比率設定回路１２６の設定値に応じて、目標とする符号化レートに対してこれから符号化すべきピクチャについての符号量割り当て制御を行う。この際、各ピクチャタイプについて割り当てた符号量に基づいた量子化スケールＱを決定し、量子化回路１１２を制御する。量子化後の発生符号量はＩ，Ｐ，Ｂの各ピクチャタイプによって異なるため、量子化スケールＱはピクチャタイプに応じて変更する。例えば、符号量割り当ての計算においてＩピクチャのＱに対するＰ，ＢピクチャのＱの比率を設定することにより、各ピクチャタイプに応じた量子化スケールＱの設定を行っている。

本実施例において特徴となるフリッカ抑圧制御回路１１６は、カメラ制御回路１２５から供給されるカメラゲイン設定値に応じて、平滑化回路１２４の平滑化処理の制御と、符号量比率設定回路１２６を制御する。フリッカ抑圧制御回路１１６によって符号量比率設定回路１２６を制御することで、各ピクチャタイプに割り当てる符号量比率を変化させて、ゲインアップ時の輝度フリッカ発生を抑圧する。

図２にカメラゲインによる割り当て符号量比率制御のグラフを示す。図２（Ａ）は割り当て符号量比率制御のための量子化スケール比率制御を示すグラフである。前述のようにレート制御回路１２７での符号量割り当て制御において、Ｉピクチャの量子化スケールＱに対するＰ，Ｂピクチャの量子化スケール比率を設定することにより、各ピクチャタイプに割り当てる符号量比率を制御できる。Ｌ２０１はカメラゲインに応じたＢピクチャの量子化スケール比率変化を示す。カメラゲインが＋６ｄＢを越えるとＢピクチャの量子化スケール比率は小さくなり、結果としてＢピクチャの発生符号量比率は増加する。同様にＬ２０２はカメラゲインに応じたＰピクチャの量子化スケール比率変化を示す。カメラゲインが＋６ｄＢを越えるとＰピクチャの量子化スケール比率は小さくなり、結果としてＰピクチャの発生符号量比率は増加する。

図２（Ｂ）は、図２（Ａ）のカメラゲインに応じた量子化スケール比率制御によって割り当てられる符号量比率が変化する様子を示すグラフである。Ｌ２０３はＢピクチャの割り当て符号量比率であり、カメラゲインが＋６ｄＢを越えると図２（Ａ）のＬ２０１の量子化スケール比率変化に応じて割り当て符号量比率が増加する。同様にＬ２０４はＰピクチャの割り当て符号量比率であり、カメラゲインが＋６ｄＢを越えると図２（Ａ）のＬ２０２の量子化スケール比率変化に応じて割り当て符号量比率が増加する。

図２はカメラゲインに対し所定の閾値を設け、２段階の量子化スケール比率を制御する例であったが、カメラゲインに比例させて量子化スケール比率を変化させることも可能である。図３はカメラゲインに比例した割り当て符号量比率制御の例である。図３（Ａ）は割り当て符号量比率制御のための量子化スケール比率制御を示すグラフである。Ｌ３０１はカメラゲインに応じたＢピクチャの量子化スケール比率変化を示す。カメラゲインが＋６ｄＢを越えるとＢピクチャの量子化スケール比率はカメラゲインに応じて小さくなり、結果としてＢピクチャの発生符号量比率は増加する。同様にＬ３０２はカメラゲインに応じたＰピクチャの量子化スケール比率変化を示す。カメラゲインが＋６ｄＢを越えるとＰピクチャの量子化スケール比率はカメラゲインに応じて小さくなり、結果としてＰピクチャの発生符号量比率は増加する。

図３（Ｂ）は、図３（Ａ）のカメラゲインに応じた量子化スケール比率制御によって割り当てられる符号量比率が変化する様子を示すグラフである。Ｌ３０３はＢピクチャの割り当て符号量比率であり、カメラゲインが＋６ｄＢを越えると図３（Ａ）のＬ３０１の量子化スケール比率変化に応じて割り当て符号量比率が増加する。同様にＬ３０４はＰピクチャの割り当て符号量比率であり、カメラゲインが＋６ｄＢを越えると図３（Ａ）のＬ３０２の量子化スケール比率変化に応じて割り当て符号量比率が増加する。

このように本実施例では、カメラゲイン増加に応じてＰ、Ｂピクチャへの符号量割り当て比率を増加させているので、ゲインアップによるノイズ成分のピークがＰ、Ｂピクチャの符号化によって失われることを低減させることができる。この構成によって、符号化された映像データを再生するときに輝度フリッカが発生することを低減できる。

さらに本実施例では、フリッカ抑圧制御回路１１６によって、前述の平滑化回路１２４における空間的ないしは時間的な平滑化を制御している。このような平滑化処理を制御する構成を、前述した符号量割り当てを制御する構成と組み合わせることによって、相乗的な効果が期待できる。

平滑化制御の具体的な構成は、カメラゲインに応じた強度で平滑化回路１２４における平滑化を実行させることであり、ノイズ成分自身のピークを抑圧し、Ｉピクチャのノイズ成分に由来する輝度ピークを下げる。これによって、Ｐ、Ｂピクチャの符号化によるノイズ輝度ピーク低下との差を縮めることができ、その結果ピクチャ間での輝度フリッカの発生を抑圧できる。また、この平滑化処理はＰ、Ｂピクチャに入力されるノイズ成分も抑圧するため、符号量割り当て比率増加による符号化依存のノイズ輝度ピーク低下を、さらに抑圧する効果もある。

図６（Ａ）は平滑化回路１２４の具体例であり、空間的な帯域制限を行う可変帯域空間フィルタによる平滑化処理回路の実現例である。端子６０１に供給された映像信号は一次元または二次元の空間フィルタ（ＳＰＦ）回路６０２で空間的に平滑化される。空間フィルタにおける平滑化強度とは空間フィルタの通過帯域特性を意味する。図６（Ａ）の可変帯域の空間フィルタでは係数設定回路６０４によって、所定の通過帯域特性となるようにフィルタの参照画素への重み付け係数を設定することにより、通過帯域特性、すなわち平滑化強度を変化させる。端子６０３は、このための平滑化強度制御入力端子である。端子６０５からは平滑化処理後の映像信号が出力される。

図４（Ａ）はカメラゲインに応じた平滑化強度制御の例である。カメラゲインが＋６ｄＢを越えると平滑化処理が行われる。図４（Ｂ）は、図４（Ａ）による平滑化強度変化に対応した、空間フィルタの帯域特性を示す図である。Ｌ４０１は平滑化処理を行わない場合の帯域特性であり、図４（Ａ）の＋６ｄＢ未満の領域に対応する。Ｌ４０２は平滑化処理を行った場合の帯域特性であり、図４（Ａ）の＋６ｄＢ以上の領域に対応する。このように空間的な平滑化処理では通過帯域の高域側を制限することによって平滑化が行われ、帯域が狭くなるとともに平滑化の強度も増加する。

図４はカメラゲインに対し所定の閾値を設け、２段階の平滑化特性（一方は全通過）を切り替える例であったが、カメラゲインに比例させて平滑化強度を変化させることも可能である。図５（Ａ）はカメラゲインに比例した平滑化強度制御の例である。カメラゲインが＋６ｄＢを越えると平滑化強度はカメラゲインに応じて増加し、所定の上限まで上昇する。図５（Ｂ）は、図５（Ａ）による平滑化強度変化に対応した、空間フィルタの帯域特性を示す図である。カメラゲインが＋６ｄＢから＋１２ｄＢの間は、カメラゲインに応じて空間フィルタの通過帯域が段階的に狭くなる。

本実施例における平滑化処理には、画素ごとの時間的な平滑化を行う可変テンポラルフィルタを独立して適用する、あるいは前述の空間フィルタと併用することも可能である。

また、図６（Ｂ）は平滑化回路１２４の具体例であり、画素ごとの時間的な平滑化を行う可変テンポラルフィルタによる平滑化処理回路の実現例である。本回路は巡回型フィルタとして知られるもので、端子６０６に供給された映像信号は減算回路６０７で前フレームの同一画素との差分が計算される。差分値には係数乗算回路６１０で所定の係数が乗算され、加算回路６１１で前フレームの画素と加算される。係数が１の場合は出力端子６２３の出力は入力と同じになり、平滑化強度は０である。係数が１より小さい場合は前フレームとの間でＩＩＲフィルタによる平滑化が行われ、係数によって平滑化強度が変化する。端子６０８はこのための平滑化強度制御入力端子であり、入力された平滑化強度に応じた係数が係数設定回路６０９によって設定される。フレームメモリ６１２は処理後の映像信号を保持し、次フレームの処理に用いる。

図１５は本実施例において生成された符号化データを再生した場合の、カメラゲインアップ時の輝度フリッカ低減効果を示す図である。図１５（Ａ）はＩピクチャからの再生信号であり、フラットな映像信号に重畳するノイズ成分のピーク輝度は、平滑化回路によって抑えられ、図１６（Ａ）に比べて低くなっている。図１５（Ｂ）はＰ、Ｂピクチャからの再生信号であり、平滑化によってノイズピークが抑えられた上、割り当て符号量比率の増加によってノイズの輝度ピークが符号化によってなまることなく再生され、図１５（Ａ）−（Ｂ）間でのノイズ由来の輝度ピーク差が低減されている。これにより動画再生時においても、図１５（Ｃ）に示すようにノイズ由来の輝度ピークフリッカが低減されていることがわかる。

このように、本実施例ではピクチャタイプごとの割り当て符号量比率と映像信号の平滑化強度を、カメラゲインに応じて統合的に制御しているため、平滑化による解像度低下や残像などの弊害を最小限にとどめたまま、効果的にノイズフリッカを低減することが可能である。また業務用カメラ装置のように撮影効果としてノイズを含んだ撮影を行いたい場合でも、ノイズの効果を最大限に生かしたままフリッカを低減した撮影が可能である。

図７は第２の実施例として、本発明の映像信号処理装置の実施形態となるディジタルビデオカメラを示す図である。７０２はカメラ部であり、７０１はレンズ光学系及びＣＣＤ等の光電変換部からなるカメラユニットである。カメラユニット７０１で撮像されたアナログ動画信号は、撮像信号処理回路７０３によってＡ／Ｄ変換、画素補間、色変換、γ変換等の処理が行われる。また、撮像信号処理回路７０３では、映像信号の高域成分から生成したアパーチャ補正信号を、元の映像信号に加えることによって解像感をコントロールするシャープネスコントロール処理も行われる。

７２５はカメラ制御回路であり、例えば撮影画像の明るさによってカメラユニット７０１の露出制御などの処理を行い、第１の実施例と同様に必要に応じて撮像信号処理回路７０３のアンプゲインを制御する。また、カメラ制御回路７２５は撮像信号処理回路７０３のシャープネスコントロール処理を制御し、映像信号の解像感を調整する。シャープネス設定については、ユーザーが所定範囲内で設定可能とした構成でもよく、カメラ制御回路７２５が撮影状況に応じて自動で制御する構成としてもよい。

撮像信号処理回路７０３の出力はカメラ部７０２からの映像信号として平滑化回路７２４に入力される。平滑化回路７２４は映像信号の空間的な帯域制限を行う可変帯域空間フィルタもしくは、画素ごとの時間的な平滑化を行う可変テンポラルフィルタ、またはその組み合わせから構成される。平滑化回路７２４の詳細については第１の実施例内において既に説明した内容と重複するため、省略する。

平滑化回路７２４の出力は、符号化すべき画像データとして画面並べ替え回路７０９に供給され、符号化すべき順序に並べ替えられる。

差分回路７１０では、スイッチ７２３の選択により、Ｉピクチャについては画像データそのものが、Ｐピクチャ及びＢピクチャについては予測画像との差分値が計算され、ＤＣＴ回路７１１に供給される。ＤＣＴ回路７１１でＤＣＴ係数に変換された画像データは量子化回路７１２において所定の量子化スケールＱによって量子化される。

可変長符号化回路７１３は、量子化回路７１２から出力された量子化係数を例えばエントロピー符号化し、符号化データとして出力する。バッファ７１４は符号化レート制御のために発生した符号化データを一時保存する。バッファ７１４に貯められた符号化データは、所定のレートで読み出され、圧縮符号化データとして端子７１５から出力される。出力された圧縮符号化データは、テープ、ディスク、半導体メモリなどの記録メディアに効率的に記録すること、或いはネットワークや通信路を用いて効率的に伝送することが可能である。

一方、量子化回路７１２で量子化された係数データは、予測画像データを得るために逆量子化回路７１７で逆量子化され、逆ＤＣＴ回路７１８で逆ＤＣＴ変換される。そして、加算回路７１９ではスイッチ７２２の選択に応じて、Ｉピクチャについては逆ＤＣＴ変換後のデータがそのまま、またＰピクチャもしくはＢピクチャについては、予測画像と加算されて局部復号画像データとなったものがビデオメモリ７２０に保存される。動き補償予測回路７２１では、ビデオメモリ７２０に蓄えられた局部復号画像データと入力画像データを比較することにより、Ｐピクチャについては順方向の、Ｂピクチャについては双方向の動き補償を行った予測画像データを生成し、前述の差分回路７１０に供給するとともに、次の局部復号のための予測画像として加算回路７１９にも供給する。

レート制御回路７２７はバッファ７１４から得られる過去の発生符号量やバッファ充填率などの情報と、後述する符号量比率設定回路７２６の設定値に応じて、目標とする符号化レートに対してこれから符号化すべきピクチャについての符号量割り当て制御を行う。この際、各ピクチャタイプについて割り当てた符号量に基づいた量子化スケールＱを決定し、量子化回路７１２を制御する。量子化後の発生符号量はＩ，Ｐ，Ｂの各ピクチャタイプによって異なるため、量子化スケールＱはピクチャタイプに応じて変更する。

本実施例において特徴となるフリッカ抑圧制御回路７１６は、カメラ制御回路７２５から供給されるカメラゲイン設定値とシャープネス設定値に応じて、平滑化回路７２４の平滑化処理の制御と、符号量比率設定回路７２６を制御する。フリッカ抑圧制御回路７１６によって符号量比率設定回路７２６を制御することで、各ピクチャタイプに割り当てる符号量比率を変化させて、ゲインアップ時の輝度フリッカ発生を抑圧する。

図８にカメラゲインとシャープネス設定による割り当て符号量比率制御のグラフを示す。図８（Ａ）は割り当て符号量比率制御のための量子化スケール比率制御を示すグラフである。図は見やすくするためＢピクチャの制御特性のみ図示している。ａ、ｂ、ｃは各々シャープネス設定の強度（大、中、小）に対応して、カメラゲインに応じたＢピクチャの量子化スケール比率変化を示している。ａ、ｂ、ｃでは量子化スケール変化の閾値が異なり、各々カメラゲインが＋３、＋６、＋９ｄＢを越えるとＢピクチャの量子化スケール比率は小さくなるよう制御され、結果としてＢピクチャの発生符号量比率は増加する。一般にシャープネス設定が強い場合はノイズ成分のピークも高域成分として強調され、ノイズ由来の輝度ピークが上昇する。このため、本実施例ではシャープネス強度に応じてカメラゲインに対する量子化スケール比率変更の閾値を変えて、シャープネスが強い場合には低いカメラゲインから量子化スケール比率が小さくなるように制御している。

図８（Ｂ）は、図８（Ａ）のカメラゲインとシャープネス設定に応じた量子化スケール比率制御によって割り当てられる符号量比率が変化する様子を示すグラフである。図８（Ａ）と同様、ａ、ｂ、ｃは各々シャープネス設定の強度（大、中、小）に対応して、カメラゲインに応じたＢピクチャの割り当て符号量比率変化を示している。

図８はカメラゲインに対し所定の閾値を設け、２段階の量子化スケール比率を制御する例であったが、カメラゲインに比例させて量子化スケール比率を変化させることも可能である。

図９はシャープネス設定に応じて、カメラゲインに比例した割り当て符号量比率制御を行う例である。図９（Ａ）は割り当て符号量比率制御のための量子化スケール比率制御を示すグラフである。図は見やすくするためＢピクチャの制御特性のみ図示している。ａ、ｂ、ｃは各々シャープネス設定の強度（大、中、小）に対応して、カメラゲインに応じたＢピクチャの量子化スケール比率変化を示している。ａ、ｂ、ｃでは量子化スケール変化の閾値が異なり、各々カメラゲインが＋３、＋６、＋９ｄＢを越えるとＢピクチャの量子化スケール比率はカメラゲインに応じて小さくなるよう制御され、結果としてＢピクチャの発生符号量比率は増加する。またａ、ｂ、ｃでは量子化スケール変化の傾きが異なり、シャープネスが強いほど、ゲインアップに対し急速に量子化スケール比率が減少するよう制御される。本実施例ではシャープネス強度に応じてカメラゲインに対する量子化スケール比率変更の閾値を変え、かつシャープネス強度に応じて量子化スケール比率の減少率も変化させることにより、シャープネスが強い場合には低いカメラゲインから量子化スケール比率が小さくなるように制御している。

図９（Ｂ）は、図９（Ａ）のシャープネス設定に応じて、カメラゲインに比例した量子化スケール比率制御によって割り当てられる符号量比率が変化する様子を示すグラフである。図９（Ａ）と同様、ａ、ｂ、ｃは各々シャープネス設定の強度（大、中、小）に対応して、カメラゲインに応じたＢピクチャの割り当て符号量比率変化を示している。

さらに本実施例では、フリッカ抑圧制御回路７１６によって、前述の平滑化回路７２４における空間的ないしは時間的な平滑化を制御している。このような平滑化処理を制御する構成を、前述した符号量割り当てを制御する構成と組み合わせることによって、相乗的な効果が期待できる。

平滑化制御の具体的な構成は、カメラゲインとシャープネス設定に応じた強度で平滑化回路７２４における平滑化を実行させることであり、ノイズ成分自身のピークを抑圧し、Ｉピクチャのノイズ成分に由来する輝度ピークを下げる。これによって、Ｐ、Ｂピクチャの符号化によるノイズ輝度ピーク低下との差を縮めることができ、その結果ピクチャ間での輝度フリッカの発生を抑圧できる。また、この平滑化処理はＰ、Ｂピクチャに入力されるノイズ成分も抑圧するため、符号量割り当て比率増加による符号化依存のノイズ輝度ピーク低下を、さらに抑圧する効果もある。

図１０（Ａ）はカメラゲインとシャープネス設定に応じた平滑化強度制御の例である。ａ、ｂ、ｃは各々シャープネス設定の強度（大、中、小）に対応して、カメラゲインに応じた平滑化強度を示している。ａ、ｂ、ｃでは平滑化強度変化の閾値が異なり、各々カメラゲインが＋３、＋６、＋９ｄＢを越えると平滑化処理が行われる。

図１０（Ｂ）は、図１０（Ａ）による平滑化強度変化に対応した、空間フィルタの帯域特性を示す図である。Ｌ１００１は平滑化処理を行わない場合の帯域特性であり、図１０（Ａ）の平滑化処理無し（平滑化強度０）の領域に対応する。Ｌ１００２は平滑化処理を行った場合の帯域特性であり、図１０（Ａ）の平滑化処理有効の領域に対応する。

図１０はカメラゲインに対し所定の閾値を設け、２段階の平滑化特性（一方は全通過）を切り替える例であったが、カメラゲインに比例させて平滑化強度を変化させることも可能である。図１１（Ａ）はシャープネス設定に応じて、カメラゲインに比例した平滑化強度制御を示す図である。ａ、ｂ、ｃは各々シャープネス設定の強度（大、中、小）に対応して、カメラゲインに応じた平滑化強度を示している。ａ、ｂ、ｃでは平滑化強度変化の閾値が異なり、各々カメラゲインが＋３、＋６、＋９ｄＢを越えると平滑化強度はカメラゲインに応じて増加し、所定の上限まで上昇する。この増加の傾きもシャープネス設定によって異なり、シャープネス設定が強い場合はより低いカメラゲインでも平滑化強度が高くなるよう制御されている。図１１（Ｂ）は、図１１（Ａ）による平滑化強度変化に対応した、空間フィルタの帯域特性を示す図である。カメラゲインが＋６ｄＢから＋１２ｄＢの間は、カメラゲインに応じて空間フィルタの通過帯域が段階的に狭くなる。

このように、本実施例ではピクチャタイプごとの割り当て符号量比率と映像信号の平滑化強度を、カメラゲインとシャープネス設定に応じて統合的に制御しているため、平滑化による解像度低下や残像などの弊害を最小限にとどめたまま、効果的にノイズフリッカを低減することが可能である。また業務用カメラ装置のように撮影効果としてノイズを含んだ撮影を行いたい場合でも、ノイズの効果を最大限に生かしたままフリッカを低減した撮影が可能である。

図１２は第３の実施例として、本発明の映像信号処理装置の実施形態となるディジタルビデオカメラを示す図である。１２０２はカメラ部であり、１２０１はレンズ光学系及びＣＣＤ等の光電変換部からなるカメラユニットである。カメラユニット１２０１で撮像されたアナログ動画信号は、撮像信号処理回路１２０３によってＡ／Ｄ変換、画素補間、色変換、γ変換等の処理を受ける。

１２２５はカメラ制御回路であり、例えば撮影画像の明るさによってカメラユニット１２０１の露出制御などの処理を行い、第１の実施例と同様に必要に応じて撮像信号処理回路１２０３のアンプゲインを制御する。

撮像信号処理回路１２０３の出力はカメラ部１２０２からの映像信号として平滑化回路１２２４に入力される。平滑化回路１２２４は映像信号の空間的な帯域制限を行う可変帯域空間フィルタもしくは、画素ごとの時間的な平滑化を行う可変テンポラルフィルタ、またはその組み合わせから構成される。平滑化回路１２２４の詳細については第１の実施例内において既に説明した内容と重複するため、省略する。

平滑化回路１２２４の出力は、符号化すべき画像データとして画面並べ替え回路１２０９に供給され、符号化すべき順序に並べ替えられる。

差分回路１２１０では、スイッチ１２２３の選択により、Ｉピクチャについては画像データそのものが、Ｐピクチャ及びＢピクチャについては予測画像との差分値が計算され、ＤＣＴ回路１２１１に供給される。ＤＣＴ回路１２１１でＤＣＴ係数に変換された画像データは量子化回路１２１２において所定の量子化スケールＱによって量子化される。

可変長符号化回路１２１３は、量子化回路１２１２から出力された量子化係数を例えばエントロピー符号化し、符号化データとして出力する。バッファ１２１４は符号化レート制御のために発生した符号化データを一時保存する。バッファ１２１４に貯められた符号化データは、所定のレートで読み出され、圧縮符号化データとして端子１２１５から出力される。出力された圧縮符号化データは、テープ、ディスク、半導体メモリなどの記録メディアに効率的に記録すること、或いはネットワークや通信路を用いて効率的に伝送することが可能である。

一方、量子化回路１２１２で量子化された係数データは、予測画像データを得るために逆量子化回路１２１７で逆量子化され、逆ＤＣＴ回路１２１８で逆ＤＣＴ変換される。そして、加算回路１２１９ではスイッチ１２２２の選択に応じて、Ｉピクチャについては逆ＤＣＴ変換後のデータがそのまま、またＰピクチャもしくはＢピクチャについては、予測画像と加算され局部復号画像データとなったものがビデオメモリ１２２０に保存される。動き補償予測回路１２２１では、ビデオメモリ１２２０に蓄えられた局部復号画像データと入力画像データを比較することにより、Ｐピクチャについては順方向の、Ｂピクチャについては双方向の動き補償を行った予測画像データを生成し、前述の差分回路１２１０に供給するとともに、次の局部復号のための予測画像として加算回路１２１９にも供給する。

目標ビットレート設定回路１２２８は、ユーザーによる符号化モード選択指示などに応じて目標ビットレートを計算し、レート制御回路１２２７およびフリッカ抑圧制御回路１２１６にその情報を供給する。

レート制御回路１２２７はバッファ１２１４から得られる過去の発生符号量やバッファ充填率などの情報と、前述した目標ビットレート設定回路１２２８からの情報及び後述する符号量比率設定回路１２２６の設定値に応じて、目標とする符号化レートに対してこれから符号化すべきピクチャについての符号量割り当てを行う。この際、各ピクチャタイプについて割り当てた符号量に基づいた量子化スケールＱを決定し、量子化回路１２１２を制御する。量子化後の発生符号量はＩ，Ｐ，Ｂの各ピクチャタイプによって異なるため、量子化スケールＱはピクチャタイプに応じて変更する。

本実施例において特徴となるフリッカ抑圧制御回路１２１６は、カメラ制御回路１２２５から供給されるカメラゲイン設定値と、前述した目標ビットレート設定回路１２２８から供給される目標ビットレート値に応じて、平滑化回路１２２４の平滑化処理の制御と、符号量比率設定回路１２２６を制御する。フリッカ抑圧制御回路１２１６によって符号量比率設定回路１２２６を制御することで、各ピクチャタイプに割り当てる符号量比率を変化させて、ゲインアップ時の輝度フリッカ発生を抑圧する。

図１３にカメラゲインと目標ビットレート値による割り当て符号量比率制御のグラフを示す。図１３（Ａ）は割り当て符号量比率制御のための量子化スケール比率制御を示すグラフである。図は見やすくするためＢピクチャの制御特性のみ図示している。ａ、ｂ、ｃは各々目標ビットレート（小、中、大）に対応して、カメラゲインに応じたＢピクチャの量子化スケール比率変化を示している。ａ、ｂ、ｃでは量子化スケール変化の閾値が異なり、各々カメラゲインが＋３、＋６、＋９ｄＢを越えるとＢピクチャの量子化スケール比率は小さくなるよう制御され、結果としてＢピクチャの発生符号量比率は増加する。一般に目標ビットレートが低いほど、ノイズ成分由来の輝度ピークの、Ｐ、Ｂピクチャでの符号化による落ち込みは激しく、輝度フリッカとして目立ちやすくなる。このため、本実施例では目標ビットレートに応じてカメラゲインに対する量子化スケール比率変更の閾値を変えて、目標ビットレートが低い場合には低いカメラゲインから量子化スケール比率が小さくなるように制御している。

図１３（Ｂ）は、図１３（Ａ）のカメラゲインと目標ビットレート値に応じた量子化スケール比率制御によって割り当てられる符号量比率が変化する様子を示すグラフである。図１３（Ａ）と同様、ａ、ｂ、ｃは各々目標ビットレート（小、中、大）に対応して、カメラゲインに応じたＢピクチャの割り当て符号量比率変化を示している。

図１３はカメラゲインに対し所定の閾値を設け、２段階の量子化スケール比率を制御する例であったが、カメラゲインに比例させて量子化スケール比率を変化させることも可能である。

図１４は目標ビットレート値に応じて、カメラゲインに比例した割り当て符号量比率制御を行う例である。図１４（Ａ）は割り当て符号量比率制御のための量子化スケール比率制御を示すグラフである。図は見やすくするためＢピクチャの制御特性のみ図示している。ａ、ｂ、ｃは各々目標ビットレート（小、中、大）に対応して、カメラゲインに応じたＢピクチャの量子化スケール比率変化を示している。ａ、ｂ、ｃでは量子化スケール変化の閾値が異なり、各々カメラゲインが＋３、＋６、＋９ｄＢを越えるとＢピクチャの量子化スケール比率はカメラゲインに応じて小さくなるよう制御され、結果としてＢピクチャの発生符号量比率は増加する。またａ、ｂ、ｃでは量子化スケール変化の傾きが異なり、目標ビットレートが低いほど、ゲインアップに対し急速に量子化スケール比率が減少するよう制御される。本実施例では目標ビットレートに応じてカメラゲインに対する量子化スケール比率変更の閾値を変え、かつ目標ビットレートに応じて量子化スケール比率の減少率も変化させることにより、目標ビットレートが低い場合には低いカメラゲインから量子化スケール比率が小さくなるように制御している。

図１４（Ｂ）は、図１４（Ａ）の目標ビットレート値に応じて、カメラゲインに比例した量子化スケール比率制御によって割り当てられる符号量比率が変化する様子を示すグラフである。図１４（Ａ）と同様、ａ、ｂ、ｃは各々目標ビットレート（小、中、大）に対応して、カメラゲインに応じたＢピクチャの割り当て符号量比率変化を示す。

さらに本実施例では、フリッカ抑圧制御回路１２１６によって、前述の平滑化回路１２２４における空間的ないしは時間的な平滑化を制御している。このような平滑化処理を制御する構成を、前述した符号量割り当てを制御する構成と組み合わせることによって、相乗的な効果が期待できる。

平滑化制御の具体的な構成は、カメラゲインと目標ビットレート値に応じた強度で平滑化回路１２２４における平滑化を実行させることであり、ノイズ成分自身のピークを抑圧し、Ｉピクチャのノイズ成分に由来する輝度ピークを下げる。これによって、Ｐ、Ｂピクチャでの符号化によるノイズ輝度ピーク低下との差を縮めることができ、その結果ピクチャ間での輝度フリッカの発生を抑圧できる。また、この平滑化処理はＰ、Ｂピクチャに入力されるノイズ成分も抑圧するため、符号量割り当て比率増加による符号化依存のノイズ輝度ピーク低下を、さらに抑圧する効果もある。

なお、カメラゲインと目標ビットレート値に応じた平滑化強度制御の説明は、前述した第２の実施例内における、図１０及び図１１を用いて説明したカメラゲインとシャープネス設定に応じた平滑化制御の内容と同様のものであるため、省略する。

このように、本実施例ではピクチャタイプごとの割り当て符号量比率と映像信号の平滑化強度を、カメラゲインと目標ビットレート値に応じて統合的に制御しているため、平滑化による解像度低下や残像などの弊害を最小限にとどめたまま、効果的にノイズフリッカを低減することが可能である。また業務用カメラ装置のように撮影効果としてノイズを含んだ撮影を行いたい場合でも、ノイズの効果を最大限に生かしたままフリッカを低減した撮影が可能である。

（その他の実施形態）
尚、上述した各実施例における、カメラ制御回路、フリッカ抑圧制御回路、符号量比率設定回路及びレート制御回路等の各処理は、各処理の機能を実現する為のプログラムをメモリから読み出してコンピュータのＣＰＵ（中央演算装置）が実行することによりその機能を実現させるものであってもよい。

また、ＣＰＵがアクセスする上記メモリとしては、ＨＤＤ、光ディスク、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリ、あるいはこれらの組み合わせによるコンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。

また、上述した各実施例における、カメラ制御回路、フリッカ抑圧制御回路、符号量比率設定回路及びレート制御回路等における各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記録媒体」とは、ＣＤ−ＲＯＭやＤＶＤ等の光ディスクや半導体メモリカードといった可搬媒体、或いはコンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

第１の実施例におけるディジタルビデオカメラの構成図である。第１の実施例における割り当て符号量制御の例を示す図である。第１の実施例における別の割り当て符号量制御の例を示す図である。第１の実施例における平滑化強度制御の例を示す図である。第１の実施例における別の平滑化強度制御の例を示す図である。平滑化回路の構成例を示す図である。第２の実施例におけるディジタルビデオカメラの構成図である。第２の実施例における割り当て符号量制御の例を示す図である。第２の実施例における別の割り当て符号量制御の例を示す図である。第２の実施例における平滑化強度制御の例を示す図である。第２の実施例における別の平滑化強度制御の例を示す図である。第３の実施例におけるディジタルビデオカメラの構成図である。第３の実施例における割り当て符号量制御の例を示す図である。第３の実施例における別の割り当て符号量制御の例を示す図である。本発明による輝度フリッカ低減効果を説明するための図である。輝度フリッカが発生する原因を説明するための図である。従来の映像信号処理装置の構成を示す図である。

Claims

映像信号を、フレーム内符号化ピクチャおよびフレーム間予測符号化ピクチャを含む複数の異なるピクチャタイプを用いて圧縮符号化する映像信号処理装置であって、
前記映像信号に対してゲイン調整が施されたときのゲイン設定値を取得する取得手段と、
前記映像信号を平滑化処理するための平滑化手段と、
前記平滑化手段より後段に設けられた前記映像信号を圧縮符号化するための圧縮符号化手段と、
前記圧縮符号化手段に対してピクチャタイプ毎に割り当てる符号量を設定可能な設定手段と、
前記取得手段で取得したゲイン設定値に応じて、前記平滑化手段が行う平滑化処理の強度と、前記設定手段がピクチャタイプ毎に割り当てる符号量の比率とを変更するよう制御する制御手段とを備え、
前記ゲイン設定値が所定の値を超えた場合に、前記制御手段は、前記平滑化手段が行う平滑化処理の強度を高めるとともに、前記フレーム内符号化ピクチャに割り当てる符号量に対する前記フレーム間予測符号化ピクチャに割り当てる符号量の比率を増加させることを特徴とする映像信号処理装置。
前記ピクチャタイプ毎に割り当てる符号量の比率の変更は、前記フレーム内符号化ピクチャに対する量子化スケールと前記フレーム間予測符号化ピクチャに対する量子化スケールとの比率を変えることによって行うことを特徴とする請求項１に記載の映像信号処理装置。
前記平滑化手段は、空間的な平滑化処理と時間的な平滑化処理の一方又は両方の平滑化処理を行うことを特徴とする請求項１又は２に記載の映像信号処理装置。
撮像によって前記映像信号を生成するカメラ手段をさらに備え、前記カメラ手段は生成した映像信号に対してゲイン調整を実行するとともにゲイン設定値を出力する構成を有し、前記取得手段は前記カメラ手段から出力されたゲイン設定値を取得することを特徴とする請求項１に記載の映像信号処理装置。
映像信号を、フレーム内符号化ピクチャおよびフレーム間予測符号化ピクチャを含む複数の異なるピクチャタイプを用いて圧縮符号化する映像信号処理装置であって、
前記映像信号に対して施されたゲイン調整に係るゲイン設定値とシャープネス調整に係るシャープネス設定値を取得する取得手段と、
前記映像信号を平滑化処理するための平滑化手段と、
前記平滑化手段より後段に設けられた前記映像信号を圧縮符号化するための圧縮符号化手段と、
前記圧縮符号化手段に対してピクチャタイプ毎に割り当てる符号量を設定可能な設定手段と、
前記取得手段で取得したゲイン設定値及びシャープネス設定値に応じて、前記平滑化手段が行う平滑化処理の強度と、前記設定手段がピクチャタイプ毎に割り当てる符号量の比率とを変更するよう制御する制御手段と
を備えたことを特徴とする映像信号処理装置。
前記制御手段は、前記ゲイン設定値が前記シャープネス設定値によって定まる所定の値より大きい場合に、前記フレーム間予測符号化ピクチャに割り当てる符号量の比率を増加させることを特徴とする請求項５に記載の映像信号処理装置。
前記制御手段は、前記ゲイン設定値に比例して、前記フレーム内符号化ピクチャに割り当てる符号量と、前記フレーム間予測符号化ピクチャに割り当てる符号量との比率を、前記シャープネス設定値によって定まる割合で変化させることを特徴とする請求項５又は６に記載の映像信号処理装置。
前記制御手段は、前記ゲイン設定値が前記シャープネス設定値によって定まる所定の値より大きい場合に、前記平滑化手段に前記映像信号に対する平滑化処理を行わせることを特徴とする請求項５に記載の映像信号処理装置。
前記制御手段は、前記ゲイン設定値に比例して前記平滑化処理の強度を前記シャープネス設定値によって定まる割合で変化させることを特徴とする請求項５に記載の映像信号処理装置。
撮像によって前記映像信号を生成するカメラ手段をさらに備え、前記カメラ手段は生成した映像信号に対してゲイン調整及びシャープネス調整を実行するとともにゲイン設定値及びシャープネス設定値を出力する構成を有し、前記取得手段は前記カメラ手段から出力されたゲイン設定値及びシャープネス設定値を取得することを特徴とする請求項５に記載の映像信号処理装置。
映像信号を、フレーム内符号化ピクチャおよびフレーム間予測符号化ピクチャを含む複数の異なるピクチャタイプを用いて圧縮符号化する映像信号処理装置であって、
前記映像信号に対してゲイン調整が施されたときのゲイン設定値を取得する取得手段と、
前記映像信号を平滑化処理するための平滑化手段と、
前記平滑化手段より後段に設けられた前記映像信号を圧縮符号化するための圧縮符号化手段と、
前記圧縮符号化手段に対してピクチャタイプ毎に割り当てる符号量を設定可能な設定手段と、
前記圧縮符号化手段に対して圧縮符号化の目標ビットレートを指定する指定手段と、
前記取得手段で取得したゲイン設定値及び前記指定手段で指定された目標ビットレートに応じて、前記平滑化手段が行う平滑化処理の強度と、前記設定手段がピクチャタイプ毎に割り当てる符号量の比率とを変更するよう制御する制御手段とを備え、
前記ゲイン設定値が所定の値を超えた場合に、前記制御手段は、前記平滑化手段が行う平滑化処理の強度を高めるとともに、前記フレーム内符号化ピクチャに割り当てる符号量に対する前記フレーム間予測符号化ピクチャに割り当てる符号量の比率を増加させ、かつ、前記目標ビットレートに応じて前記フレーム間予測符号化ピクチャに割り当てる符号量の増加の度合いを変化させることを特徴とする映像信号処理装置。
映像信号を、フレーム内符号化ピクチャおよびフレーム間予測符号化ピクチャを含む複数の異なるピクチャタイプを用いて圧縮符号化する映像信号処理装置であって、
前記映像信号に対して施されたゲイン調整に係るゲイン設定値を取得する取得手段と、
前記映像信号を圧縮符号化するための圧縮符号化手段と、
前記圧縮符号化手段に対してピクチャタイプ毎に割り当てる符号量を設定可能な設定手段と、
前記設定手段がピクチャタイプ毎に割り当てる符号量の比率を、前記取得手段で取得したゲイン設定値に応じて変更するよう制御する制御手段とを備え、
前記ゲイン設定値が所定の値を超えた場合に、前記制御手段は、前記フレーム内符号化ピクチャに割り当てる符号量に対する前記フレーム間予測符号化ピクチャに割り当てる符号量の比率を増加させることを特徴とする映像信号処理装置。