JPH10290391A

JPH10290391A - 画像処理装置および画像処理方法、並びに記録媒体

Info

Publication number: JPH10290391A
Application number: JP9599197A
Authority: JP
Inventors: Satoshi Mihashi; 聡三橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-04-14
Filing date: 1997-04-14
Publication date: 1998-10-27
Also published as: US20020113898A1

Abstract

(57)【要約】【課題】画像に、簡単に特殊効果をかけることができ
るようにする。【解決手段】量子化器６１は、８×８のブロックのＤ
ＣＴ係数のうち、そのＤＣ成分だけを、通常どおり量子
化し、残りのＤＣＴ係数については０を出力する。この
ように、ＤＣＴ係数のＤＣ成分だけを、通常どおり量子
化し、残りについては０を出力した場合においては、画
像が、１６×１６画素のマクロブロックごとに、ある１
色で塗りつぶされ、その結果、画像は、いわゆるモザイ
クがかけられた状態となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びに記録媒体に関し、特に、例え
ば、ＭＰＥＧ（Moving Picture Experts Group）などの
規格に準拠して画像を符号化する際や符号化した後に、
その画像に、簡単に特殊効果をかけることができるよう
にする画像処理装置および画像処理方法、並びに記録媒
体に関する。

【０００２】

【従来の技術】従来、例えば、画像にモザイクをかけた
り、また、シーンチェンジ時に、そのシーンチェンジ前
の画像からシーンチェンジ後の画像に徐々に変化させる
ような特殊効果（エフェクト）をかけるには、それ専用
の装置（特殊効果装置）（エフェクタ）が必要であっ
た。

【０００３】

【発明が解決しようとする課題】しかしながら、特殊効
果装置は高価であり、また、その処理も複雑であるた
め、廉価な装置で、簡単に特殊効果をかけることができ
れば便利である。

【０００４】また、最近では、コンピュータをベースと
した、いわゆるノンリニア編集装置が実現されており、
ノンリニア編集装置では、画像をすべて読み込み、ハー
ドディスクなどに記憶させてから編集が行われる。画像
は、そのままではデータ量が莫大であるため、通常は、
画像の記憶は、その画像を圧縮符号化してから行われ
る。従って、このように圧縮符号化された画像に特殊効
果をかけるには、その圧縮符号化されたデータを復号
し、ラスタイメージのピクセルデータとする必要があっ
た。

【０００５】しかしながら、復号の結果得られる画像の
データ量は莫大なものとなるため、そのような画像に特
殊効果をかけるには、多大なメモリと処理時間を要す
る。さらに、特殊効果をかけた画像は、再度圧縮符号化
しなければならず、処理が繁雑になる。

【０００６】本発明は、このような状況に鑑みてなされ
たものであり、画像に、簡単に特殊効果をかけることが
できるようにするものである。

【０００７】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、符号化手段を、画像に特殊効果をかけるよう
に制御する制御手段を備えることを特徴とする。

【０００８】請求項８に記載の画像処理方法は、画像を
符号化して符号化データとする符号化手段を、画像に特
殊効果をかけるように制御することを特徴とする。

【０００９】請求項９に記載の記録媒体は、請求項８に
記載の画像処理方法による特殊効果処理をコンピュータ
に行わせるためのプログラムが記録されていることを特
徴とする。

【００１０】請求項１０に記載の画像処理装置は、画像
を符号化した符号化データに含まれる所定のパラメータ
を、画像に特殊効果をかけるように操作する操作手段を
備えることを特徴とする。

【００１１】請求項１５に記載の画像処理方法は、画像
を符号化した符号化データに含まれる所定のパラメータ
を、画像に特殊効果をかけるように操作することを特徴
とする。

【００１２】請求項１６に記載の記録媒体は、請求項１
５に記載の画像処理方法による特殊効果処理をコンピュ
ータに行わせるためのプログラムが記録されていること
を特徴とする。

【００１３】請求項１に記載の画像処理装置において
は、制御手段が、符号化手段を、画像に特殊効果をかけ
るように制御するようになされている。

【００１４】請求項８に記載の画像処理方法において
は、画像を符号化して符号化データとする符号化手段
を、画像に特殊効果をかけるように制御するようになさ
れている。

【００１５】請求項９に記載の記録媒体には、請求項８
に記載の画像処理方法による特殊効果処理をコンピュー
タに行わせるためのプログラムが記録されている。

【００１６】請求項１０に記載の画像処理装置において
は、操作手段が、画像を符号化した符号化データに含ま
れる所定のパラメータを、画像に特殊効果をかけるよう
に操作するようになされている。

【００１７】請求項１５に記載の画像処理方法において
は、画像を符号化した符号化データに含まれる所定のパ
ラメータを、画像に特殊効果をかけるように操作するよ
うになされている。

【００１８】請求項１６に記載の記録媒体には、請求項
１５に記載の画像処理方法による特殊効果処理をコンピ
ュータに行わせるためのプログラムが記録されている。

【００１９】

【発明の実施の形態】図１は、本発明を適用したノンリ
ニア編集装置の一実施の形態の構成例を示している。

【００２０】このノンリニア編集装置は、例えば、コン
ピュータをベースとして構成されている。即ち、マイク
ロプロセッサ１（制御手段）（操作手段）は、ハードデ
ィスク１２に記録されたオペレーティングシステムの制
御の下、同じくハードディスク１２に記録されたアプリ
ケーションプログラムを実行することで、画像や音声の
編集処理や、また、画像に特殊効果をかける特殊効果処
理などの所定の処理を行う。メインメモリ２は、マイク
ロプロセッサ１が実行するプログラムや、マイクロプロ
セッサ１の動作上必要なデータを記憶する。フレームバ
ッファ３は、例えば、ＤＲＡＭ（Dynamic Random Acces
s Memory）などで構成され、マイクロプロセッサ１が生
成した画像などを記憶する。バスブリッジ４は、内部バ
スと、例えばＰＣＩ（Peripheral Component Interconn
ect）ローカルバスなどの拡張バスとの間でのデータの
やりとりを制御する。

【００２１】以上のマイクロプロセッサ１、メインメモ
リ２、フレームバッファ３、およびバスブリッジ４は、
相互に、内部バスを介して接続されており、残りのブロ
ックは、拡張バスを介して相互に接続されている。な
お、バスブリッジ４は、内部バスと拡張バスとの両方に
接続されている。

【００２２】チューナ５は、例えば、地上波や衛星回
線、ＣＡＴＶ網を利用して放送されているテレビジョン
放送信号を受信する。ここで、チューナ５において受信
した画像なども編集処理や特殊効果処理の対象とするこ
とができる。モデム６は、電話回線を介しての通信を制
御する。ここで、モデム６において、例えば、インター
ネットなどから受信した画像なども編集処理や特殊効果
処理の対象とすることができるし、また、編集した画
像、あるいは特殊効果をかけた画像などを、外部に送信
することもできる。

【００２３】Ｉ／Ｏ（Input/Output）インターフェイス
７は、キーボード８やマウス９の操作に対応した操作信
号を出力する。キーボード８は、所定のデータやコマン
ドを入力するときに、マウス９は、ディスプレイ（コン
ピュータディスプレイ）１７に表示されるカーソルを移
動させたり、また、位置を指示したりするときなどに、
それぞれ操作される。

【００２４】補助記憶インターフェイス１０は、ＣＤ−
Ｒ（Compact Disc Recordable）１１やハードディスク
（ＨＤ（Hard Disk））１２などに対するデータの読み
書きを制御する。ＣＤ−Ｒ１１には、例えば、編集後あ
るいは特殊効果をかけた後の画像などが記録される。ハ
ードディスク１２には、オペレーティングシステムや、
ノンリニア編集処理、特殊効果処理その他処理をマイク
ロプロセッサ１に実行させるためのアプリケーションプ
ログラムなどが記憶されている。さらに、ハードディス
ク１２には、編集処理や特殊効果処理対象の画像や、そ
れらの処理が施された後の画像なども記録される。

【００２５】圧縮部１３（符号化手段）は、そこに入力
される画像や音声を、例えば、ＭＰＥＧの規格に準拠し
て圧縮符号化する。なお、圧縮部１３では、拡張バスを
介して供給されるデータや、伸張部１５を介して供給さ
れるデータ、さらには、外部の装置である、例えば、ビ
デオカメラ１４から供給されるデータなども圧縮するこ
とができるようになされている。

【００２６】ビデオカメラ１４では、例えば、編集対象
とする画像や音声が記録される。圧縮部１３は、ビデオ
カメラ１４とのインターフェイスを有しており、これに
より、ビデオカメラ１４で記録された画像や音声を圧縮
部１３に入力することができるようになされている。

【００２７】伸張部１５は、圧縮部１３で符号化（圧
縮）されたデータを復号化（伸張）して出力する。な
お、伸張部１５は、必要に応じて、フレームバッファ３
に記憶された画像に、復号化した画像をオーバレイして
出力する。ここで、フレームバッファ３から伸張部１５
への画像データの供給は、図１の実施の形態では、それ
らの間で直接行われるようになされているが、その他、
内部バス、バスブリッジ４、および拡張バスを介して行
うことも可能である。但し、フレームバッファ３から伸
張部１５への画像データの供給を、内部バス、バスブリ
ッジ４、および拡張バスを介して行う場合には、内部バ
スや拡張バスの能力が低いと、データが渋滞するおそれ
がある。

【００２８】ＶＴＲ（Video Tape Recorder）１６は、
伸張部１５が出力する画像や音声を、必要に応じて記録
し、また記録した画像や音声を再生する。ディスプレイ
１７は、伸張部１５が出力する画像を、必要に応じて表
示する。なお、伸張部１５が出力する画像の表示は、コ
ンピュータ用のディスプレイであるディスプレイ１７の
他、ＴＶ（TeleVision）モニタなどによっても行うこと
ができるようになされている。

【００２９】図２は、図１の圧縮部１３のハードウェア
の構成例を示している。

【００３０】図２の実施の形態では、圧縮部１３は、画
像を、例えば、ＭＰＥＧ（Moving Picture Experts Gro
up）の規格に準拠して符号化するようになされている。

【００３１】即ち、例えば、チューナ５やモデム６で受
信された画像や、ビデオカメラ１４で撮影された画像、
あるいはＶＴＲ１６で再生された画像は、符号化すべき
画像（動画像）データとして、フレームメモリ２１に供
給される。フレームメモリ２１は、数フレーム（または
フィールド）の画像データを記憶することができるよう
になされており、入力された画像データのフレームの並
びを、必要に応じて並び替えて記憶する。即ち、各フレ
ームの画像データは、Ｉピクチャ、Ｐピクチャ、または
Ｂピクチャのうちのいずれかとして処理されるが、例え
ば、Ｂピクチャの処理に、それより時間的に後のＩピク
チャやＰピクチャが必要な場合があり、このようなＩピ
クチャやＰピクチャは、Ｂピクチャより先に処理する必
要がある。そこで、フレームメモリ２１では、時間的に
後のフレームを先に処理することができるように、フレ
ームの並びを替えるようになされている。

【００３２】なお、シーケンシャルに入力される各フレ
ームの画像を、Ｉ，Ｐ，Ｂピクチャのいずれのピクチャ
として処理するかは、予め定められている。

【００３３】フレームメモリ２１において並び替えられ
た画像データは、その後段のフレームメモリ２２に出力
される。フレームメモリ２２では、フレームメモリ２１
からの画像データが、例えば数１０フレーム（例えば、
６０フレームなど）に相当する時間だけ遅延され、マク
ロブロック単位で出力される。フレームメモリ２２が出
力するマクロブロックは、演算器２３に供給されるとと
もに、ＭＢ（マクロブロック）選択器（ＩＮＴＥＲ／Ｔ
ＮＴＲＡＭＢ選択器）２４にも供給される。

【００３４】一方、動き検出器３６は、フレームメモリ
２１に記憶された画像の動きベクトルを、マクロブロッ
ク単位で検出する。

【００３５】即ち、動き検出器３６は、フレームメモリ
２１に記憶された、予め定められた所定の参照フレーム
を参照し、その参照フレームと、フレームメモリ２１か
らフレームメモリ２２に供給されるフレームのマクロブ
ロックとをパターンマッチング（ブロックマッチング）
することにより、そのマクロブロックの動きベクトルを
検出する。

【００３６】ここで、ＭＰＥＧにおいては、画像の予測
モードには、イントラ符号化（フレーム内符号化）、前
方予測符号化、後方予測符号化、両方向予測符号化の４
種類があり、Ｉピクチャはイントラ符号化され、Ｐピク
チャはイントラ符号化または前方予測符号化され、Ｂピ
クチャはイントラ符号化、前方予測符号化、後方予測符
号化、または両方法予測符号化される。

【００３７】動き検出器３６は、Ｉピクチャについて
は、動きベクトルの検出を行わず、その画像情報のみを
抽出する。即ち、動き検出器３６は、動きベクトルを検
出する他、画像を評価するための画像情報を抽出する画
像情報抽出器としても動作するようになされており、Ｉ
ピクチャについては、マクロブロック単位で、例えば分
散を求め、それを、画像情報として、画像情報評価装置
３８に出力する。

【００３８】また、動き検出器３６は、Ｐピクチャにつ
いては、前方予測を行い、その動きベクトルを検出す
る。さらに、動き検出器３６は、前方予測を行うことに
より生じる予測誤差（符号化対象のマクロブロックと、
そのマクロブロックと最もマッチングする参照フレーム
の部分との、対応する画素どうしの差分の絶対値和や自
乗和など）と、符号化対象のマクロブロック（ここで
は、Ｐピクチャのマクロブロック）の分散とを、画像情
報として求め、画像情報評価装置３８に出力する。ま
た、動き検出器３６は、検出した動きベクトルを、ディ
レイバッファ３７を介して、ＶＬＣ（可変長符号化）回
路２９および動き補償器３５に出力する。ここで、ディ
レイバッファ３７は、動き検出器３６が出力する動きベ
クトルを、フレームメモリ２２における遅延時間と同一
の時間だけ遅延して出力するようになされている。

【００３９】さらに、動き検出器３６は、Ｂピクチャに
ついては、前方予測、後方予測、および両方向予測を行
い、それぞれの動きベクトルを検出する。そして、動き
検出器３６は、前方予測、後方予測、または両方向予測
それぞれについての予測誤差と、符号化対象のマクロブ
ロック（ここでは、Ｂピクチャのマクロブロック）の分
散とを、画像情報として求め、画像情報評価装置３８に
出力する。また、動き検出器３６は、検出した動きベク
トルを、ディレイバッファ３７を介して、ＶＬＣ回路２
９および動き補償器３５に出力する。

【００４０】動き補償器３５は、動きベクトルを受信す
ると、その動きベクトルにしたがって、フレームメモリ
３４に記憶されている、符号化され、既に局所復号化さ
れた画像データを読み出し、これを、予測画像として、
演算器２３およびＭＢ選択器２４に供給する。

【００４１】演算器２３は、フレームメモリ２２からの
マクロブロックと、動き補償器３５からの予測画像との
差分（以下、適宜、予測残差という）を演算する。この
差分値は、ＭＢ選択器２４に供給される。

【００４２】ＭＢ選択器２４は、スイッチ２５および２
６を有しており、スイッチ２５の端子２５Ａまたは２５
Ｂには、フレームメモリ２２が出力するマクロブロック
または演算器２３が出力する予測残差が、それぞれ供給
されるようになされている。また、スイッチ２６の端子
２６Ａまたは２６Ｂには、値が０のマクロブロック（０
ｄａｔａＭＢ）または動き補償器３５が出力する予
測画像が、それぞれ供給されるようになされている。

【００４３】スイッチ２５は、圧縮方法選択装置４０に
制御され、予測モードがイントラ符号化モードまたはイ
ンター符号化モード（前方予測符号化モード、後方予測
符号化モード、若しくは両方向予測符号化モードのうち
のいずれか）とされたとき、端子２５Ａまたは２５Ｂを
それぞれ選択する。スイッチ２６も、圧縮方法選択装置
４０に制御され、予測モードがイントラ符号化モードま
たはインター符号化モードとされたとき、端子２６Ａま
たは２６Ｂをそれぞれ選択する。スイッチ２５または２
６の出力は、ＤＣＴ（離散コサイン変換）回路２７また
は演算器３３にそれぞれ供給される。なお、ＭＢ選択器
２４は、圧縮方法選択装置４０が選択した予測モードに
したがって、マクロブロックの処理方法を表すマクロブ
ロックタイプ（ＭＢ＿ｍｏｄｅ）を、ＶＬＣ回路２９に
出力するようにもなされている。

【００４４】ＤＣＴ回路２７では、スイッチ２５の出力
に対して、ＤＣＴ処理が施され、その結果得られるＤＣ
Ｔ係数が、量子化器２８に供給される。量子化器２８で
は、量子化ステップ制御器４１の制御の下、量子化ステ
ップ（量子化スケール）が設定され、その量子化ステッ
プに量子化マトリクスの係数をかけたもので、ＤＣＴ回
路２７からのＤＣＴ係数が量子化される。この量子化さ
れたＤＣＴ係数（以下、適宜、量子化値という）は、Ｖ
ＬＣ回路２９に供給される。

【００４５】ＶＬＣ回路２９では、ＭＢ選択器２４が出
力するマクロブロックタイプ、量子化器２８が出力する
量子化値、およびディレイバッファ３７が出力する、必
要な動きベクトルが、例えばハフマン符号などの可変長
符号に変換され、出力バッファ３０に出力される。な
お、ＶＬＣ回路２９においては、ＭＢ選択器２４からの
マクロブロックタイプに基づいて、ディレイバッファ３
７が出力する動きベクトルのうちの必要なものが選択さ
れ、それがＶＬＣ処理されるようになされている。

【００４６】出力バッファ３０は、ＶＬＣ回路２９から
の符号化データを一時蓄積し、そのデータ量を平滑化し
て出力する。この符号化データは、モデム６を介して送
信され、あるいは、補助記憶インターフェイス１０を介
してＣＤ−Ｒ１１またはハードディスク１２に供給され
て記憶（記録）される。なお、出力バッファ３０におけ
るデータ蓄積量は、発生符号量として、量子化ステップ
制御器４１に供給（フィードバック）されるようになさ
れている。

【００４７】一方、量子化器２８が出力する量子化値
は、ＶＬＣ回路２９だけでなく、逆量子化器３１にも供
給されるようになされている。逆量子化器３１では、量
子化器２８からの量子化値が、量子化器２８で用いられ
た量子化ステップにしたがって逆量子化され、これによ
りＤＣＴ係数に変換される。このＤＣＴ係数は、逆ＤＣ
Ｔ回路３２に供給される。逆ＤＣＴ回路３２では、ＤＣ
Ｔ係数が逆ＤＣＴ処理され、演算器３３に供給される。

【００４８】演算器３３には、逆ＤＣＴ回路３２の出力
の他、上述したように、スイッチ２６の出力も供給され
ており、演算器３３は、これらの出力どうしを加算する
ことで、元の画像を、局所復号する（但し、予測モード
がイントラ符号化である場合には、上述したように、ス
イッチ２６は、端子２６Ａを選択し、その結果、演算器
３３には、値が０のマクロブロックが供給されるから、
演算器３３では、実質的には、処理は行われず、逆ＤＣ
Ｔ回路３２の出力が、そのまま出力される）。なお、演
算器３３において得られる局所復号画像は、デコーダ側
において得られる復号画像と同一のものである。

【００４９】演算器３３において得られた局所復号画像
は、フレームメモリ３４に供給されて記憶され、その
後、インター符号化（前方予測符号化、後方予測符号
化、両方向予測符号化）される画像に対する予測画像
を、動き補償器３５において生成するための参照画像
（参照フレーム）として用いられる。

【００５０】一方、画像情報評価装置３８では、動き検
出器３６からの画像情報が評価され、これにより、各フ
レームの画像の複雑さが求められる。この画像の複雑さ
は、必要に応じて、シーンチェンジ検出装置３９、圧縮
方法選択装置４０、および量子化ステップ制御器４１に
供給される。さらに、画像情報評価装置３８では、Ｐピ
クチャのマクロブロックについて、画像情報としての、
その分散と、前方予測を行うことにより生じる予測誤差
とが比較され、その比較結果も、必要に応じて、シーン
チェンジ検出装置３９、圧縮方法選択装置４０、および
量子化ステップ制御器４１に供給される。また、画像情
報評価装置３８では、Ｂピクチャのマクロブロックにつ
いて、前方予測、後方予測、および両方向予測について
の予測誤差の中の最小のもの（以下、適宜、最小予測誤
差という）が検出され、その最小予測誤差と、符号化対
象のマクロブロック（Ｂピクチャのマクロブロック）の
分散とが比較される。この比較結果も、必要に応じて、
シーンチェンジ検出装置３９、圧縮方法選択装置４０、
および量子化ステップ制御器４１に供給される。

【００５１】シーンチェンジ検出装置３９では、画像情
報評価装置３８からの情報に基づき、シーンチェンジが
あったかどうかが検出され、その検出結果が圧縮方法選
択装置４０に供給される。圧縮方法選択装置４０では、
画像情報評価装置３８からの情報、さらには必要に応じ
て、シーンチェンジ検出装置３９の出力を用いて、画像
の圧縮方法が選択される。

【００５２】即ち、圧縮方法選択装置４０は、例えば、
Ｉピクチャのマクロブロックについては、イントラ符号
化モードを選択し、その選択結果にしたがって、ＭＢ選
択器２４（スイッチ２５および２６）を制御する。

【００５３】また、圧縮方法選択装置４０は、例えば、
Ｐピクチャのマクロブロックについて、画像情報評価装
置３８からの、前方予測を行うことにより生じる予測誤
差と、符号化対象のマクロブロックの分散との比較結果
に基づいて、予測モードを設定する。具体的には、マク
ロブロックの分散の方が予測誤差より小さい場合、イン
トラ符号化モードが選択され、前方予測を行うことによ
り生じる予測誤差の方が小さい場合、インター符号化モ
ードのうちの前方予測符号化モードが選択される。そし
て、圧縮方法選択装置４０は、その選択結果にしたがっ
て、ＭＢ選択器２４を制御する。

【００５４】さらに、圧縮方法選択装置４０は、例え
ば、Ｂピクチャのマクロブロックについて、画像情報評
価装置３８からの、最小予測誤差（前方予測、後方予
測、または両方向予測それぞれについての予測誤差の中
の最小のもの）と、符号化対象のマクロブロックの分散
との比較結果に基づいて、予測モードを設定する。具体
的には、マクロブロックの分散の方が最小予測誤差より
小さい場合、イントラ符号化モードが選択され、最小予
測誤差の方が小さい場合、インター符号化モードのうち
の、その最小予測誤差が得られた予測モードが選択され
る。そして、圧縮方法選択装置４０は、その選択結果に
したがって、ＭＢ選択器２４を制御する。

【００５５】なお、圧縮方法選択装置４０において選択
された予測モードは、量子化ステップ制御器４１に供給
されるようになされている。また、動き補償器３５で
は、圧縮方法選択装置４０で選択された予測モードに対
応する予測画像が、動き補償を行うことにより生成され
るようになされている。

【００５６】ここで、圧縮方法選択装置４０において
は、ＰピクチャおよびＢピクチャについては、基本的
に、インター符号化モードが選択されるが、例えば、シ
ーンチェンジなどによりフレーム間の相関が低い画像が
生じた場合に、その画像を、インター符号化モードで予
測符号化すると、発生符号量が増加し、また、復号画像
の画質が劣化することがある。

【００５７】そこで、圧縮方法選択装置４０には、上述
したように、シーンチェンジ検出装置３９から、シーン
チェンジの検出結果が供給されるようになされており、
圧縮方法選択装置４０は、シーンチェンジがあった旨を
受信すると、そのシーンチェンジ後のピクチャについて
の予測モードを、いわば強制的に、イントラ符号化モー
ドとするようになされている。

【００５８】量子化ステップ制御器４１には、上述した
ように、画像情報評価装置３８からの情報と、出力バッ
ファ３０からの発生符号量が供給されるようになされて
いる。そして、量子化ステップ制御器４１では、これら
の情報に基づいて、量子化器２８で用いられる量子化ス
テップが制御される。

【００５９】即ち、量子化ステップ制御器４１は、出力
バッファ３０からの発生符号量から、出力バッファ３０
のデータ蓄積量を認識し、そのデータ蓄積量に基づい
て、出力バッファ３０についてオーバーフローおよびア
ンダーフローのいずれも生じないように、量子化ステッ
プを制御する。具体的には、量子化ステップ制御器４１
は、出力バッファ３０のデータ蓄積量がその容量に近く
なり、オーバーフローしそうなときは、量子化ステップ
を大きくし、これにより発生符号量を減少させる。ま
た、量子化ステップ制御器４１は、出力バッファ３０の
データ蓄積量が０に近くなり、アンダーフローしそうな
ときは、量子化ステップを小さくし、これにより発生符
号量を増加させる。

【００６０】さらに、量子化ステップ制御器４１は、画
像情報評価装置３８が出力する情報から、符号化対象の
画像の複雑さを認識し、その複雑さにも基づいて、量子
化ステップを制御する。即ち、復号画像の画質の観点か
らは、複雑な画像については、小さな量子化ステップで
量子化を行い、平坦な画像については、大きな量子化ス
テップで量子化を行うのが好ましく、量子化ステップ制
御器４１では、画像の複雑さに基づき、そのような量子
化ステップの制御が行われる。

【００６１】ここで、画像に対する割当ビット量は、復
号画像の画質を向上させる観点からは、その画像の複雑
さにより決定するのが望ましいが、ビットレートの問題
があるため、画像の複雑さだけでなく、発生符号量も考
慮する必要がある。このため、上述したように、量子化
ステップ制御器４１では、画像情報評価装置３８からの
情報と、出力バッファ３０からの発生符号量との両方に
基づいて、量子化器２８で用いられる量子化ステップが
制御されるようになされている。

【００６２】しかしながら、画像の複雑さとして、符号
化対象の画像の複雑さだけを考慮した場合においては、
例えば、平坦な画像が連続した後、突然、複雑な画像が
生じたときには、画質向上のために、その複雑な画像に
対する割当ビット量を大きくする必要があるが、この場
合、出力バッファ３０に、その容量に近い符号化データ
が蓄積されているときには、出力バッファ３０がオーバ
ーフローしてしまうのを防止するため、複雑な画像に対
する割当ビット量を大きくすることができない。従っ
て、復号画像の画質が劣化することになる。

【００６３】逆に、複雑な画像が連続した後、突然、平
坦な画像が生じた場合には、画質向上のために、その平
坦な画像に対する割当ビット量を小さくする必要がある
が、この場合、出力バッファ３０に、ほとんど符号化デ
ータが蓄積されていないときには、出力バッファ３０が
アンダーフローしてしまうのを防止するため、平坦な画
像に対する割当ビット量を小さくすることができない。
従って、やはり、復号画像の画質が劣化することにな
る。

【００６４】そこで、図２の実施の形態では、フレーム
メモリ２２において、画像データが、かなりの時間遅延
されてから符号化されるようになされており、これによ
り、画像情報評価装置３８において、そのような遅延時
間に相当する、連続するフレームについての画像情報、
ひいては複雑さが得られるようになされている。即ち、
符号化対象の画像だけでなく、その後に符号化される数
フレーム乃至数１０フレームの画像についての複雑さも
得ることができるようになされている。従って、この場
合、将来符号化される画像の複雑さを考慮することで、
各画像に対して、画質の向上、並びに出力バッファ３０
のアンダーフローおよびオーバーフローの防止の両方の
観点から、適切なビット割当を行うことが可能となる。

【００６５】なお、画像の複雑さは、その画像の発生符
号量を反映し、従って、将来符号化される画像の複雑さ
を認識することは、それらの画像の発生符号量を、あら
かじめ予測することに相当する。出力バッファ３０が出
力する実際の発生符号量の戻りが、フィードバックとい
えるのに対して、上述のような発生符号量の予測は、フ
ィードフォワードということができる。その意味で、図
２の圧縮部１３は、フィードフォワード型のＭＰＥＧビ
デオエンコーダということができる。

【００６６】図１のノンリニア編集装置では、例えば、
チューナ５やモデム６で受信された画像や、ビデオカメ
ラ１４で撮影された画像、あるいはＶＴＲ１６で再生さ
れた画像を、圧縮部１３で符号化し、その結果得られる
符号化データを、ハードディスク１２などに記憶して、
ノンリニア編集を行うことができるようになされている
が、さらに、圧縮部１３で符号化を行う際に、マイクロ
プロセッサ１において、圧縮部１３を制御することで、
画像に、簡単に特殊効果をかけることもできるようにな
されている。

【００６７】即ち、図３は、画像に特殊効果をかける圧
縮部１３の第１の機能的構成例を示している。なお、図
中、図２における場合と対応する部分については、同一
の符号を付してあり、以下では、その説明は、適宜省略
する。

【００６８】図３の実施の形態においては、圧縮部１３
は、フレームメモリ２１の前段に、画像順入れ替え制御
装置５１が新たに設けられている他は、図２における場
合と同様に構成されている。画像順入れ替え制御装置５
１は、例えば、特殊効果のためのアプリケーションプロ
グラムをマイクロプロセッサ１が実行することにより実
現されるもの（ソフトウェアで実現されるもの）で、圧
縮部１３に入力されるフレームのシーケンスを操作する
ようになされている。

【００６９】以上のように構成される圧縮部１３では、
符号化対象の画像が入力されると、その画像は、画像順
入れ替え制御装置５１に供給される。画像順入れ替え制
御装置５１は、通常は、そこに供給される画像を、その
まま、後段のフレームメモリ２１に出力しているが、例
えば、画像に付されているタイムコード（timecode）
が、あらかじめ設定されたタイムコード（以下、適宜、
設定タイムコードという）と一致すると、やはり、あら
かじめ設定された時間（以下、適宜、設定時間とい
う）、そこに供給されるフレームのシーケンスを操作し
て出力する。

【００７０】即ち、ユーザは、フレームのシーケンスを
操作する特殊効果をかける場合、シーケンスの操作方
法、並びにそのようなシーケンスの操作を開始するフレ
ームのタイムコード（設定タイムコード）およびその操
作を行う時間（設定時間）を、例えば、キーボード８や
マウス９を操作することによりあらかじめ設定してお
く。このような設定をしておいた場合、画像順入れ替え
制御装置５１では、そこに供給される画像に付されてい
るタイムコードが、設定タイムコードに一致すると、そ
の後、設定時間だけ、そこに供給されるフレームのシー
ケンスが、所定操作される。

【００７１】具体的には、例えば、フレームの並びが、
時間的に逆行するように並び替えられる。また、例え
ば、フレームが、所定枚数に１枚（あるいは数枚）間引
かれ、その間引かれたフレームの位置に、その直前のフ
レームがコピーされる（従って、全体としてのフレーム
数は変化しない）。

【００７２】この場合、画像が逆再生されたり、また間
引かれたような特殊効果をかけることができる。

【００７３】なお、上述の場合においては、画像順入れ
替え制御装置５１を、フレームメモリ２１の前段に設け
るようにしたが、画像順入れ替え制御装置５１は、その
他、例えば、フレームメモリ２１の後段（フレームメモ
リ２２の前段）や、フレームメモリ２２の後段などに設
けることも可能である。

【００７４】また、画像順入れ替え制御装置５１は、例
えば、フレームメモリ２２に記憶されたフレームのシー
ケンスを操作することによっても実現可能である。

【００７５】次に、図４は、画像に特殊効果をかける圧
縮部１３の第２の機能的構成例を示している。なお、図
中、図２における場合と対応する部分については、同一
の符号を付してあり、以下では、その説明は、適宜省略
する。

【００７６】図４の実施の形態においては、圧縮部１３
は、量子化器２８に代えて量子化器（係数変更回路付き
量子化器）６１が設けられている他は、図２における場
合と同様に構成されている。量子化器６１は、基本的に
は、図２の量子化器２８と同様に動作するが、さらに、
例えば、特殊効果のためのアプリケーションプログラム
をマイクロプロセッサ１が実行することにより制御さ
れ、ＤＣＴ回路２７からのＤＣＴ係数を操作（変更）す
るようにもなされている。

【００７７】以上のように構成される圧縮部１３では、
量子化器６１は、通常は、そこに供給されるＤＣＴ係数
を、図２における量子化器２８における場合と同様に量
子化して出力しているが、例えば、画像に付されている
タイムコードが設定タイムコードに一致すると、それか
ら設定時間が経過するまでの間、そこに供給されるＤＣ
Ｔ係数を操作して出力する。

【００７８】即ち、量子化器６１には、例えば、図５に
示すように、８×８画素のブロック単位で、ＤＣＴ係数
が供給されるが、量子化器６１は、例えば、この８×８
のＤＣＴ係数のうち、そのＤＣ成分（直流成分）（最も
左上のＤＣＴ係数）だけを、通常どおり量子化し、残り
のＤＣＴ係数については０を出力する。また、量子化器
６１は、例えば、イントラ符号化の場合のみ、そのよう
な量子化を行い、インター符号化の場合には、ＤＣ成分
も０にして出力する。さらに、量子化器６１は、すべて
のＤＣＴ係数を、通常どおり量子化し、その量子化結果
を、いわゆるジグザグスキャンまたはオールタネートス
キャンなどして出力する際に、最初の所定数個や、中間
の所定数個、あるいは、最後の所定数個については、そ
のまま出力し、他のＤＣＴ係数については０を出力す
る。

【００７９】その他、量子化器６１においては、例え
ば、量子化マトリクスの係数のうち０や負の数をセット
した位置に対応するＤＣＴ係数については０を出力する
とともに、他のＤＣＴ係数については通常の量子化結果
を出力したり、ＤＣＴ係数を制限するための値の大きな
量子化マトリクスを、通常の量子化で使用される量子化
マトリクスとは別に用意しておき、その値の大きな量子
化マトリクスで量子化したときに０となるＤＣＴ係数に
ついては０を出力するとともに、他のＤＣＴ係数につい
ては通常の量子化結果を出力したりするようにすること
などが可能である。

【００８０】例えば、ＤＣＴ係数のうちのＤＣ成分だけ
を、通常どおり量子化し、残りについては０を出力した
場合においては、８×８画素のブロックが、ある１色で
塗りつぶされるので、この場合、画像に、いわゆるモザ
イクをかけることができる。なお、その他、例えば、イ
ントラ符号化の場合のみ、ＤＣ成分だけを通常どおり量
子化し、インター符号化の場合には、ＤＣ成分も０にし
て出力したりすることなどによっても、モザイクをかけ
ることができる。また、インター符号化の場合は、さら
に、マクロブロックタイプを操作して、いわゆるノンＭ
Ｃ（動き補償なし）（Ｐピクチャの場合）としたり、動
きベクトルを操作して、その大きさを０としたりする
（従って、動きベクトルを（０，０）とする）（Ｂピク
チャの場合）ことで、モザイクのバリエーションを増や
すことができる。

【００８１】また、例えば、８×８の量子化結果のうち
の最初の所定数個だけを、そのまま出力する場合におい
ては、画像にローパスフィルタをかけたような特殊効果
をかけることができる。さらに、例えば、８×８の量子
化結果のうちの最後の所定数個だけを、そのまま出力す
る場合においては、画像にハイパスフィルタをかけたよ
うな特殊効果をかけることができる。また、例えば、こ
のようなＤＣＴ係数の操作を、インター符号化の場合の
み行い、イントラ符号化の場合には行わないようにする
ことにより、さらに複雑な特殊効果をかけることができ
る。

【００８２】なお、ＤＣＴ係数を操作することによる特
殊効果は、フレーム全体にかけることも可能であるし、
また、その一部にかけることも可能である。

【００８３】次に、図６は、画像に特殊効果をかける圧
縮部１３の第３の機能的構成例を示している。なお、図
中、図２における場合と対応する部分については、同一
の符号を付してあり、以下では、その説明は、適宜省略
する。

【００８４】図６の実施の形態においては、モザイクフ
ェード装置７０が新たに設けられている。モザイクフェ
ード装置７０は、例えば、特殊効果のためのアプリケー
ションプログラムをマイクロプロセッサ１が実行するこ
とにより実現されるもので、フェード制御装置７２から
構成されている。フェード制御装置７２は、スイッチ７
３および７４で構成されており、スイッチ７３は端子７
３Ａ若しくは７３Ｂのうちのいずれか一方に供給されて
いる信号を選択してスイッチ２５の端子２５Ｂに、スイ
ッチ７４は、端子７４Ａ若しくは７４Ｂのうちのいずれ
か一方に供給されている信号を選択してＶＬＣ回路２９
に、それぞれ出力するようになされている。端子７３Ａ
には、演算器２３の出力が、端子７３Ｂには、値が０の
マクロブロック（以下、適宜、０マクロブロックとい
う）が、それぞれ供給されるようになされている。ま
た、端子７４Ａには、動き検出器３６がディレイバッフ
ァ３７を介して出力する動きベクトルが、端子７４Ｂに
は、大きさが０の動きベクトル（以下、適宜、０ベクト
ルという）が、それぞれ供給されるようになされてい
る。

【００８５】なお、図６の実施の形態では、ＭＢ選択器
２４は、圧縮方法選択装置４０の他、マイクロプロセッ
サ１の制御にもしたがって動作するようになされてい
る。

【００８６】以上のように構成される圧縮部１３では、
ＭＢ選択器２４におけるデータの選択や、ＤＣＴ回路２
７に入力すべき画像データ、動きベクトルなどが、画像
に特殊効果をかけるように操作される。これらの操作に
より、例えば、シーンチェンジ時において、シーンチェ
ンジ前の画面から、シーンチェンジ後の画面へ、例え
ば、マクロブロック単位でモザイクをかけるように徐々
に変化していくような特殊効果（以下、適宜、モザイク
フェードという）をかけることなどができる。

【００８７】即ち、いま、例えば、図７に示すように、
符号化対象の画像について、１５フレーム単位で、ＧＯ
Ｐ（Group Of Picture）が構成されているとする。な
お、図７では、各ピクチャのピクチャタイプ、即ち、そ
のピクチャがＩピクチャ、Ｐピクチャ、またはＢピクチ
ャのうちのいずれであるかを、その頭文字のアルファベ
ット（Ｉ，Ｐ、またはＢ）で示してあり、さらに、各Ｇ
ＯＰを構成するピクチャの表示順序を、０からのシーケ
ンシャルな数字で示してある。ここで、以下、適宜、Ｇ
ＯＰを構成する、その先頭からｎ番目の画像を、そのピ
クチャタイプに、ｎ−１を付して表す。従って、図７に
おいて、例えば、ＧＯＰの先頭から４番目のフレーム
は、Ｂ３となる。

【００８８】図７に示したようにＧＯＰが構成される場
合において、例えば、そのＧＯＰ＃１のＩ２とＢ３との
間でシーンチェンジが生じたとする。この場合、シーン
チェンジ直後のフレームＢ３のタイムコードを設定タイ
ムコードとして、特殊効果をかけるフレーム数Ｎに相当
する時間を設定時間として、それぞれ設定しておくと、
圧縮部１３では、シーンチェンジ直前のフレームＩ２上
に、シーンチェンジ後のフレームＢ３，Ｂ４，Ｐ５，Ｂ
６，Ｂ７，・・・が、マクロブロック単位で徐々に多く
現れ、Ｂ３からＮフレーム後の画像において、その画像
全体がＩ２に代えて表示されるように、画像が符号化さ
れる。

【００８９】ここで、上述のような、画像Ｉ２のモザイ
クフェードを、Ｂ３が表示されるタイミングで開始し、
そのＮフレーム後に完了させるには、例えば、画像Ｉ２
をフリーズし、そのＩ２上に、各フレームの画像を表示
する量を、１／Ｎフレームずつ増加させれば良い。即
ち、Ｂ３に関しては、１／Ｎフレームについて、通常ど
おりの符号化を行い、残りの（Ｎ−１）／Ｎフレームに
ついて、Ｉ２が復号されるような符号化を行う。さら
に、Ｂ４に関しては、２／Ｎフレームについて、通常ど
おりの符号化を行い、残りの（Ｎ−２）／Ｎフレームに
ついて、Ｉ２が復号されるような符号化を行う。また、
Ｐ５に関しては、３／Ｎフレームについて、通常どおり
の符号化を行い、残りの（Ｎ−３）／Ｎフレームについ
て、Ｉ２が復号されるような符号化を行う。以下、同様
の符号化を行うことで、Ｎフレーム後に完了するモザイ
クフェードをかけることができる。

【００９０】そこで、圧縮部１３では、Ｉ２の符号化
後、Ｂ０，Ｂ１を符号化して、Ｐ５の符号化を行う場合
に（図７に示したようにＧＯＰが構成される場合、その
符号化は、Ｉ２，Ｂ０，Ｂ１，Ｐ５，Ｂ３，Ｂ４，Ｐ
８，Ｂ６，・・・の順で行われる）、そのＰ５のうちの
３／Ｎフレームについては、通常どおりの符号化が行わ
れる。即ち、フェード制御装置７２では、スイッチ７３
または７４において端子７３Ａまたは７４Ａがそれぞれ
選択される。また、ＭＢ選択器２４では、図２で説明し
た場合と同様の処理が行われる。この結果、Ｐ５のうち
の３／Ｎフレームについては、通常どおりの符号化が行
われる。なお、この場合、Ｐ５は、Ｉ２を参照画像とし
て符号化されるが、Ｉ２またはＰ５は、それぞれ、シー
ンチェンジ前または後の画像であり、従って、Ｐ５のう
ちの３／Ｎフレームは、基本的には、イントラ符号化さ
れると予想される。

【００９１】また、圧縮部１３では、Ｐ５のうちの、残
りの（Ｎ−３）／Ｎフレームについては、Ｉ２が復号さ
れるような符号化が行われる。即ち、フェード制御装置
７２では、スイッチ７３または７４において端子７３Ｂ
または７４Ｂがそれぞれ選択される。また、ＭＢ選択器
２４では、スイッチ２５または２６において、端子２５
Ｂまたは２６Ｂがそれぞれ選択される。さらに、ＭＢ選
択器２４では、マクロブロックタイプが、符号化不要
（予測残差が０であるため、ＤＣＴ係数を符号化する必
要がないこと）とされる。この場合、スイッチ７３から
は、０マクロブロックが出力され、この０マクロブロッ
クは、ＭＢ選択器２４を介して、ＤＣＴ回路２７に供給
される。また、スイッチ７４からは０ベクトルが出力さ
れ、この０ベクトルはＶＬＣ回路２９に供給される。さ
らに、符号化不要とされたマクロブロックタイプがＶＬ
Ｃ回路２９に供給される。従って、Ｐ５のうちの（Ｎ−
３）／Ｎフレームについては、予測残差および動きベク
トルの両方を０として、インター符号化されるから、デ
コーダでは、その（Ｎ−３）／Ｎフレームについて、そ
の参照画像、即ち、ここでは、Ｉ２が復号されることに
なる。

【００９２】Ｐ５の符号化後は、Ｂ３，Ｂ４，Ｐ８，Ｂ
５，・・・について、上述のような割合で、一部が通常
どおり符号化され、残りの部分が、Ｉ２が復号されるよ
うに符号化されていく。

【００９３】なお、通常どおりの符号化を行う部分（マ
クロブロック）を、例えば、ラスタースキャン順に増加
していった場合には、ラスタスキャン順に、シーンチェ
ンジ後のマクロブロックが徐々に多く現れるようなモザ
イクフェードとなる。また、通常どおりの符号化を行う
部分を、例えば、ランダムに増加していった場合には、
例えば、図８に示すように、ランダムに、シーンチェン
ジ後のマクロブロック（同図において斜線を付して示す
部分）が徐々に多く現れるようなモザイクフェード（ラ
ンダムフェード）となる。

【００９４】また、スイッチ２５および２６、並びに７
３および７４の切り換え方法は、上述したものに限定さ
れるものではなく、他の切り換え方法を採用すること
で、より複雑な特殊効果をかけることが可能となる。

【００９５】次に、図９は、画像に特殊効果をかける圧
縮部１３の第４の機能的構成例を示している。なお、図
中、図６における場合と対応する部分については、同一
の符号を付してあり、以下では、その説明は、適宜省略
する。

【００９６】図９の実施の形態においては、モザイクフ
ェード装置７０に、ベクトル変更装置７１が新たに設け
られている。ベクトル変更装置７１は、例えば、特殊効
果のためのアプリケーションプログラムをマイクロプロ
セッサ１が実行することにより実現されるもので、動き
検出器３６がディレイバッファ３７を介して出力する動
きベクトルの大きさや方向を変更するようになされてい
る。

【００９７】以上のように構成される圧縮部１３では、
ベクトル変更装置７１において、動きベクトルが、例え
ば、全体的に、所定の方向（例えば、上、下、左、若し
くは右方向、またはフレームの中心方向など）に向くよ
うに、あるいは、その大きさが所定の割合だけ変更され
る。従って、例えば、画像全体が所定の方向に流れてい
くような特殊効果や、その動きが遅くまたは速くなった
ような特殊効果をかけることが可能となる。

【００９８】以上のように、圧縮部１３を、画像に特殊
効果をかけるように制御するようにしたので、圧縮部１
３に特にハードウェアを追加することなく、マイクロプ
ロセッサ１に実行させるプログラム（例えば、圧縮部１
３がＩＣ（Integrated Circuit）化されており、その制
御がマイクロプロセッサ１によって行われる場合には、
その制御プログラム）を追加、変更するだけで、簡単
に、特殊効果をかけることが可能となる。また、特殊効
果をかけるための処理も、符号化する画像のシーケンス
の変更や、ＭＰＥＧ符号化の結果得られる符号化データ
に含まれる、例えば、ＤＣＴ係数や、マクロブロックタ
イプ、動きベクトルなどのパラメータ（ＭＰＥＧパラメ
ータ）の操作（変更）などを行うだけなので、短時間
で、かつ負荷の軽い処理で、特殊効果をかけることがで
きる。

【００９９】なお、図２で説明したようなフォードフォ
ワード型のＭＰＥＧビデオデコーダとしての圧縮部１３
においては、フレームメモリ２２において、画像が、か
なりの時間（例えば、１秒や０．５秒など）遅延され
る。従って、そのフレームメモリ２２より後段における
ブロックを制御することによりかける特殊効果について
は、ユーザが、圧縮部１３に入力された画像を見て、特
殊効果をかけるように指示することも可能である。即
ち、上述の場合においては、あらかじめ特殊効果をかけ
る開始点としてのフレームのタイムコードを設定してお
くようにしたが、その他、例えば、圧縮部１３に画像を
入力しながら、その画像を、ディスプレイ１７に表示す
るようにし、ユーザに、その表示を見て、特殊効果をか
ける開始点としてのフレームを指示してもらっても、そ
のフレームは、まだフレームメモリ２２に記憶されてい
るので、そのフレームから、特殊効果をかけることを開
始することが可能となる（これに対して、フレームメモ
リ２２がない場合においては、ユーザが特殊効果をかけ
る開始点としてのフレームを指示したときには、そのフ
レームは既に符号化されてしまっているから、上述のよ
うな、いわばリアルタイムで特殊効果をかけるのは困難
となる）。

【０１００】また、上述した画像順入れ替え制御装置５
１、量子化器６１、およびモザイクフェード制御装置７
０は、個別に設ける他、そのうちの２以上を設けるよう
にすることも可能である。

【０１０１】次に、以上においては、圧縮部１３におい
て画像を符号化するときに、画像に特殊効果をかけるよ
うにしたが、その他、圧縮部１３で符号化した後の符号
化データに含まれるパラメータ（ＭＰＥＧパラメータ）
を操作して、画像に特殊効果をかけることも可能であ
る。

【０１０２】即ち、例えば、いま、ユーザによってキー
ボード８やマウス９が操作されることにより、設定タイ
ムコード、設定時間、画像に対してかける特殊効果の種
類が設定され、その設定された種類の特殊効果をかける
ように指示されたとする。また、その特殊効果をかける
対象の画像を符号化した符号化データが、例えば、ハー
ドディスク１２に既に記憶されているとする。

【０１０３】この場合、マイクロプロセッサ１において
は、例えば、図１０のフローチャートにしたがった処理
が行われる。

【０１０４】即ち、まず最初に、ステップＳ１におい
て、符号化データが、例えば１フレーム分だけ読み出さ
れ、ステップＳ２に進み、ステップＳ１で読み出された
符号化データに対応する画像のタイムコードが設定タイ
ムコードに一致するかどうかが判定され、一致しないと
判定された場合、ステップＳ１に戻り、次のフレームに
対応する符号化データが読み出される。

【０１０５】ここで、ＭＰＥＧ符号化された符号化デー
タには、タイムコードは、ＧＯＰ単位でしか記述されて
いないが、各フレーム（ピクチャ）のタイムコードは、
例えば、そのＧＯＰ単位に記述されているタイムコード
と、テンポラルリファレンスとから推定されるようにな
されている。

【０１０６】一方、ステップＳ２において、ステップＳ
１で読み出された符号化データに対応する画像のタイム
コードが設定タイムコードに一致すると判定された場
合、ステップＳ３に進み、その符号化データに含まれ
る、例えばＤＣＴ係数や、マクロブロックタイプ、動き
ベクトルなどのパラメータのうち、設定された特殊効果
をかけるために必要なものが操作される。

【０１０７】即ち、例えば、上述したように、ＤＣＴ係
数のうちのＤＣ成分以外が０とされたり、動きベクトル
が０とされたりする。

【０１０８】その後、ステップＳ４に進み、パラメータ
の操作された符号化データが、元の符号化データが書き
込まれていた位置に書き込まれる（上書きされる）。

【０１０９】ここで、上述したようなパラメータを操作
することによる特殊効果は、基本的に、いずれも符号化
データのデータ量を減少させるので（データ量を増加さ
せることはないので）、パラメータの操作された符号化
データを、元の符号化データが書き込まれていた位置に
書き込むような、いわば、符号化データの一部を入れ替
えるようなことをすることができる。なお、符号化デー
タ量は、パラメータの操作前後で一致している必要があ
るから、データ量が不足する分については、例えば、い
わゆるスタフィング（stuffing）ビットが書き込まれ
る。

【０１１０】符号化データの書き込み後は、ステップＳ
５に進み、タイムコードが設定タイムコードに一致して
から設定時間が経過したかどうかが判定される。ステッ
プＳ５において、設定時間が経過していないと判定され
た場合、ステップＳ６に進み、次のフレームに対応する
符号化データが読み出され、ステップ３に戻る。従っ
て、この場合、次のフレームについての符号化データの
パラメータが操作される。

【０１１１】一方、ステップＳ５において、設定時間が
経過したと判定された場合、処理を終了する。

【０１１２】以上のように、符号化データをラスタイメ
ージのピクセルデータにまで復号しなくても、その符号
化データのパラメータを操作するだけで、例えば、モザ
イクや、モザイクフェード、その他の特殊効果を、簡単
にかけることができる。

【０１１３】なお、本実施の形態においては、ＭＰＥＧ
符号化を行うブロック（図２）をハードウェアで構成
し、特殊効果をかけるブロックをソフトウェアで構成す
るようにしたが、その逆に、ＭＰＥＧ符号化を行うブロ
ックをソフトウェアで構成し、特殊効果をかけるブロッ
クをハードウェアで構成することも可能であるし、ま
た、ＭＰＥＧ符号化を行うブロックおよび特殊効果をか
けるブロックの両方とも、ハードウェアまたはソフトウ
ェアのいずれか一方で構成することなども可能である。

【０１１４】さらに、本実施の形態では、画像をＭＰＥ
Ｇ符号化するようにしたが、画像の符号化方式は、ＭＰ
ＥＧに限定されるものではない。

【０１１５】

【発明の効果】請求項１に記載の画像処理装置および請
求項８に記載の画像処理方法によれば、画像を符号化し
て符号化データとする符号化手段が、画像に特殊効果を
かけるように制御される。また、請求項９に記載の記録
媒体には、請求項８に記載の画像処理方法による特殊効
果処理をコンピュータに行わせるためのプログラムが記
録されている。従って、画像に対して、簡単に特殊効果
をかけることが可能となる。

【０１１６】請求項１０に記載の画像処理装置および請
求項１５に記載の画像処理方法によれば、画像を符号化
した符号化データに含まれる所定のパラメータが、画像
に特殊効果をかけるように操作される。また、請求項１
６に記載の記録媒体には、請求項１５に記載の画像処理
方法による特殊効果処理をコンピュータに行わせるため
のプログラムが記録されている。従って、符号化データ
を画像にデコードしなくても、その画像に対して特殊効
果をかけることが可能となる。

【図面の簡単な説明】

【図１】本発明を適用したノンリニア編集装置の一実施
の形態の構成例を示すブロック図である。

【図２】図１の圧縮部１３のハードウェアの構成例を示
すブロック図である。

【図３】図１の圧縮部１３の第１の機能的構成例を示す
ブロック図である。

【図４】図１の圧縮部１３の第２の機能的構成例を示す
ブロック図である。

【図５】ＤＣＴ係数を示す図である。

【図６】図１の圧縮部１３の第３の機能的構成例を示す
ブロック図である。

【図７】ＧＯＰの構成例を示す図である。

【図８】ランダムなモザイクフェードを示す図である。

【図９】図１の圧縮部１３の第４の機能的構成例を示す
ブロック図である。

【図１０】符号化データを対象として特殊効果をかける
場合の処理を説明するフローチャートである。

【符号の説明】

１マイクロプロセッサ（制御手段）（操作手段），
２メインメモリ，３フレームバッファ，４バス
ブリッジ，５チューナ，６モデム，７Ｉ／Ｏ
インターフェイス，８キーボード，９マウス，
１０補助記憶インターフェイス，１１ＣＤ−
Ｒ，１２ハードディスク，１３圧縮部（符号化手
段），１４ビデオカメラ，１５伸張部，１６
ＶＴＲ，１７コンピュータディスプレイ，２
１，２２フレームメモリ，２３演算器，２４Ｍ
Ｂ選択器，２５，２６スイッチ，２７ＤＣＴ回
路，２８量子化器，２９ＶＬＣ回路，３０
出力バッファ，３１逆量子化器，３２逆ＤＣＴ回
路，３３演算器，３４フレームメモリ，３５
動き補償器，３６動き検出器，３７ディレイ
バッファ，３８画像情報評価装置，３９シーンチ
ェンジ検出装置，４０圧縮方法選択装置，４１
量子化ステップ制御器，５１画像順入れ替え制御装
置，６１量子化器，７０モザイクフェード装置，
７１ベクトル変更装置，７２フェード制御装
置，７３，７４スイッチ

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１０年３月２５日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００３３

【補正方法】変更

【補正内容】

【００３３】フレームメモリ２１において並び替えられ
た画像データは、その後段のフレームメモリ２２に出力
される。フレームメモリ２２では、フレームメモリ２１
からの画像データが、例えば数１０フレーム（例えば、
６０フレームなど）に相当する時間だけ遅延され、マク
ロブロック単位で出力される。フレームメモリ２２が出
力するマクロブロックは、演算器２３に供給されるとと
もに、ＭＢ（マクロブロック）選択器（ＩＮＴＥＲ／Ｉ
ＮＴＲＡＭＢ選択器）２４にも供給される。

【手続補正２】

【補正対象書類名】図面

【補正対象項目名】図２

【補正方法】変更

【補正内容】

【図２】

【手続補正３】

【補正対象書類名】図面

【補正対象項目名】図３

【補正方法】変更

【補正内容】

【図３】

【手続補正４】

【補正対象書類名】図面

【補正対象項目名】図４

【補正方法】変更

【補正内容】

【図４】

【手続補正５】

【補正対象書類名】図面

【補正対象項目名】図６

【補正方法】変更

【補正内容】

【図６】

【手続補正６】

【補正対象書類名】図面

【補正対象項目名】図９

【補正方法】変更

【補正内容】

【図９】

Claims

【特許請求の範囲】

【請求項１】画像に特殊効果処理を施す画像処理装置
であって、前記画像を符号化して符号化データとする符号化手段
と、前記符号化手段を、前記画像に特殊効果をかけるように
制御する制御手段とを備えることを特徴とする画像処理
装置。
【請求項２】前記制御手段は、前記符号化手段が符号
化する前記画像のシーケンスを操作することを特徴とす
る請求項１に記載の画像処理装置。
【請求項３】前記符号化手段が、前記画像を直交変換
して直交変換係数とする場合において、前記制御手段は、前記直交変換係数を操作することを特
徴とする請求項１に記載の画像処理装置。
【請求項４】前記符号化手段が、前記画像、または前
記画像とその予測画像との差分のうちのいずれか一方の
データを選択して符号化する場合において、前記制御手段は、前記符号化手段による前記データの選
択を操作することを特徴とする請求項１に記載の画像処
理装置。
【請求項５】前記符号化手段が、前記画像、または前
記画像とその予測画像との差分のうちのいずれか一方の
データを選択して符号化する場合において、前記制御手段は、前記画像とその予測画像との差分を０
とすることを特徴とする請求項１に記載の画像処理装
置。
【請求項６】前記符号化手段が、前記画像を、その動
きベクトルを検出して符号化する場合において、前記制御手段は、前記動きベクトルを操作することを特
徴とする請求項１に記載の画像処理装置
【請求項７】前記制御手段は、前記動きベクトルの大
きさを０とすることを特徴とする請求項６に記載の画像
処理装置。
【請求項８】画像に特殊効果処理を施す画像処理方法
であって、前記画像を符号化して符号化データとする符号化手段
を、前記画像に特殊効果をかけるように制御することを
特徴とする画像処理方法。
【請求項９】請求項８に記載の画像処理方法による特
殊効果処理をコンピュータに行わせるためのプログラム
が記録されていることを特徴とする記録媒体。
【請求項１０】画像に特殊効果処理を施す画像処理装
置であって、前記画像を符号化した符号化データに含まれる所定のパ
ラメータを、前記画像に特殊効果をかけるように操作す
る操作手段を備えることを特徴とする画像処理装置。
【請求項１１】前記符号化データが、前記画像を直交
変換して直交変換係数とすることにより得られたもので
ある場合において、前記操作手段は、前記直交変換係数を操作することを特
徴とする請求項１０に記載の画像処理装置。
【請求項１２】前記符号化データが、前記画像、また
は前記画像とその予測画像との差分のうちのいずれか一
方のデータを選択して符号化することにより得られたも
のである場合において、前記操作手段は、前記画像とその予測画像との差分を０
とすることを特徴とする請求項１０に記載の画像処理装
置。
【請求項１３】前記符号化データが、前記画像を、そ
の動きベクトルを検出して符号化することにより得られ
たものである場合において、前記操作手段は、前記動きベクトルを操作することを特
徴とする請求項１０に記載の画像処理装置
【請求項１４】前記操作手段は、前記動きベクトルの
大きさを０とすることを特徴とする請求項１３に記載の
画像処理装置。
【請求項１５】画像に特殊効果処理を施す画像処理方
法であって、前記画像を符号化した符号化データに含まれる所定のパ
ラメータを、前記画像に特殊効果をかけるように操作す
ることを特徴とする画像処理方法。
【請求項１６】請求項１５に記載の画像処理方法によ
る特殊効果処理をコンピュータに行わせるためのプログ
ラムが記録されていることを特徴とする記録媒体。