JP4708680B2 - 圧縮動画像データの画像挿入装置 - Google Patents
圧縮動画像データの画像挿入装置 Download PDFInfo
- Publication number
- JP4708680B2 JP4708680B2 JP2003091243A JP2003091243A JP4708680B2 JP 4708680 B2 JP4708680 B2 JP 4708680B2 JP 2003091243 A JP2003091243 A JP 2003091243A JP 2003091243 A JP2003091243 A JP 2003091243A JP 4708680 B2 JP4708680 B2 JP 4708680B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- compressed moving
- moving image
- image data
- image insertion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003780 insertion Methods 0.000 title claims description 138
- 230000037431 insertion Effects 0.000 title claims description 138
- 238000013139 quantization Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 11
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 12
- 238000007796 conventional method Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012966 insertion method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は圧縮動画像データの画像挿入装置に関し、特に動画像データ中にロゴ画像を高速かつ高効率で挿入する圧縮動画像データの画像挿入装置に関する。
【０００２】
【従来の技術】
圧縮動画像データ中に画像を挿入する従来方式の一つとして、例えば、図１１に示されているようなベースバンドでの画像挿入方式がある。該従来方式の動作を説明すると、復号器１０１は、一旦、入力信号であるＭＰＥＧ圧縮データを１フレーム分全て復号する。次いで、合成器１０２で挿入されるべき画像１０３を前記復号画像に挿入し、符号化器１０４で再圧縮する。この際、復号器１０１で復号された入力データの符号化情報ｐ、たとえば動き情報ＭＶや符号化タイプ等の情報が符号化器１０４に送られ、該符号化器１０４においてそのまま利用される。符号化器１０４からは、画像挿入後のＭＰＥＧデータが出力される。
【０００３】
上記の従来方式によれば、画質劣化を殆ど生ずることなくロゴ画像などの画像１０３を入力画像に挿入することができるが、符号化器１０４で再度符号化するため、入力データの符号化情報ｐを使用しても、全体の処理量が大きく、処理コストが非常に大きいという問題があった。
【０００４】
画像挿入の他の従来方式として、例えば特開２００１−２６８５７２号公報に記されているような、ロゴ画像を圧縮データ上で挿入する方式がある。この方式は、符号化されたビットストリームを受信するステップと、該ビットストリームを部分的に復号化するステップと、該部分的に復号化されたビットストリーム中にビジュアル要素を挿入するステップと、該ビジュアル要素が挿入されたビットストリームを再符号化するステップと、該再符号化されたビットストリームを出力するステップとからなるものである。
【０００５】
この方式によれば、符号化されたビットストリームを部分的に復号化するだけであるので、全体の処理量を削減できる。
【０００６】
【発明が解決しようとする課題】
しかしながら、前記ロゴ画像を圧縮データ上で挿入する従来方式では、ロゴ挿入フレームが双方向予測フレーム（Ｂフレーム）で開始する場合、該開始フレームのロゴ領域と非ロゴ領域とを同様にフレーム間予測で再符号化するため、フレーム間符号化効率が低いロゴ領域もフレーム間符号化されることになり、符号化効率が劣化する可能性がある。なお、該開始フレームのフレーム間符号化効率が低い理由は、該開始フレーム以前のフレームにはロゴが入っていないので、ロゴ領域のフレーム間相関が非常に小さいためである。
【０００７】
また、ロゴ画像と元の画像の合成割合によらず符号化するため、ロゴ画像の合成比率が高い場合（例えば、濃いロゴ画像を合成する場合）、元の画像のようにフレーム間予測による符号化を用いると符号化効率が劣化する可能性がある。
【０００８】
なお、前記の問題を解消するために、前記ロゴ開始フレームである双方向予測フレーム（Ｂフレーム）に代えてイントラフレームを用いると、双方向予測フレームに対するビット配分が少ないにも拘わらず、ビット量が大きいイントラ符号化が用いられることになり、イントラ符号化に必要なビット量が不足し、画質が劣化するという問題が発生する。
【０００９】
本発明の目的は、前記した従来技術の課題を解決し、画像例えばロゴ画像を高速かつ高効率で挿入できる圧縮動画像データの画像挿入装置を提供することにある。他の目的は、ロゴ挿入を双方向予測フレームから開始しなければならなくなった場合においても、画質劣化を起こすことなく再符号化できる圧縮動画像データの画像挿入装置を提供することにある。
【００１０】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、入力動画像データを部分復号する部分復号手段と、該部分復号手段により部分復号されたデータの一部に画像を挿入する画像挿入手段と、該画像挿入手段により挿入された画像挿入領域を部分圧縮する部分符号化手段と、該部分符号化手段で再圧縮されたデータのビット量を目的のビット量に制御するレート制御手段とを具備し、前記画像挿入手段は、任意の合成比率により画像を挿入し、前記部分符号化手段は、前記画像の挿入を開始する画像挿入開始フレームにおける画像挿入領域の符号化モードを、該画像挿入開始フレームのピクチャタイプにより決定し、該画像挿入開始フレームがイントラ符号化フレーム又は前予測インター符号化フレームの場合は、前記画像挿入領域をイントラ符号化し、該画像挿入開始フレームが双方向予測符号化フレームの場合は、前記画像挿入開始フレームにおける画像挿入領域はインターフレーム符号化を行い、該画像挿入開始フレームが参照可能なフレームにおいて該画像挿入領域をイントラ符号化するようにした点に第１の特徴がある。この特徴によれば、元画像の一部分に、高速かつ高効率で画像、例えばロゴ画像を挿入することができるようになる。
【００１１】
また、本発明は、画像挿入開始フレーム全体の符号化モードが双方向予測符号化フレームである時には、画像挿入領域はインターフレーム符号化を行い、該画像挿入開始フレームが参照可能なフレームにおいて該画像挿入領域をイントラ符号化するようにした点に第２の特徴がある。この特徴によれば、画像挿入開始フレーム全体の符号化モードが双方向予測符号化フレームであっても、ビット量の不足を招くことなく、画像挿入部分を高速かつ高効率で再圧縮することができる。このため、画質劣化を生じることなく画像挿入部分を高速かつ高効率で再圧縮することができる。
【００１２】
また、本発明は、前記部分符号化手段において行われる量子化は、インターフレーム符号化された変換係数を部分的に復号して動き補償予測し、該動き補償予測後に変換した変換係数を量子化して用いるようにした点に第３の特徴がある。この特徴によれば、画像挿入部分に生ずる画像歪みを極力低減することができるようになる。
【００１３】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の全体構成を概略的に示すブロック図である。
【００１４】
入力データであるＭＰＥＧ圧縮データは、部分復号部１とロゴ挿入制御部８に入力する。部分復号部１は、例えば、図２に示されているように、可変長復号部（ＶＬＤ）１０と逆量子化部１１から構成され、ブロックＤＣＴ係数ａを出力すると共に、動きベクトルＭＶ，符号化タイプ、量子化パラメータＱＰなどの符号化情報ｂを分離して出力する。
【００１５】
一方、前記ロゴ挿入制御部８は、後述のロゴ挿入領域分離部２、ロゴ情報挿入部３、ロゴ情報供給部４、ロゴ領域部分符号化部５、および非ロゴ領域部分符号化部６の動作を制御する。なお、該ロゴ領域部分符号化部５および非ロゴ領域部分符号化部６の制御動作の詳細については、図５を参照して後述する。レート制御部７は画面の複雑度に応じたレート制御を行い、前記ロゴ領域部分符号化部５と非ロゴ領域部分符号化部６で部分再圧縮されたデータのビット量を目的のビット量に制御する。
【００１６】
レート制御部７では画面の複雑度に応じたレート制御を行うことが可能であるが、画面の複雑度として画面内の偏差などの複雑度計算を行う代わりに部分復号部１から得られる量子化情報を用いて複雑度情報として利用することが可能である。例えば、量子化ステップが高い程複雑度が高いと判定してレート制御に利用することができる。
【００１７】
次に、前記部分復号部１から出力されたブロックＤＣＴ係数ａはロゴ挿入領域分離部２で、ロゴ挿入領域ＤＣＴ係数ｃと非ロゴ挿入領域ＤＣＴ係数ｄとに分けられる。ロゴ挿入領域ＤＣＴ係数ｃはロゴ情報挿入部３に送られ、非ロゴ挿入領域ＤＣＴ係数ｄは非ロゴ領域部分符号化部６に送られる。
【００１８】
挿入されるロゴ情報は、ロゴ情報供給部４から供給される。該ロゴ情報供給部４は、図３に示されているように、例えばロゴデータ３１をＤＣＴ変換するＤＣＴ部３２と、該ＤＣＴ変換されたロゴのＤＣＴ係数を記憶するメモリ３３とから構成されている。したがって、該メモリ３３からは、ロゴ挿入制御部８からの指示に従って、ロゴ画像のＤＣＴ係数ｅが出力される。
【００１９】
図１のロゴ情報挿入部３は、図４に示されているように、例えば合成部４１から構成されており、該合成部４１は、ロゴ挿入領域ＤＣＴ係数ｃとロゴ画像ＤＣＴ係数ｅとを合成する。このとき、ロゴ挿入制御部８から指示される重み係数（または、合成比率）α（０≦α≦１）を考慮に入れて合成する。
【００２０】
この場合、ロゴ領域ＤＣＴ係数ＬＡ(u,v）とロゴＤＣＴ係数ＬＧ(u,v）が合成され、ロゴ挿入ＤＣＴ係数ＬＩ(u,v)は次のようになる。
【００２１】
ＬＩ(u,v)＝α×ＬＧ(u,v）＋（１−α）×ＬＡ(u,v）
【００２２】
例えば、元画像のロゴ挿入領域を１００％ロゴ画像ＤＣＴ係数ｅに置き換えるのであればα＝１、半分の濃さに置き換えるのであればα＝０．５とされる。該ロゴ情報挿入部３は、ロゴ挿入ＤＣＴ係数ｆを出力する。なお、合成部４１で合成するＤＣＴ係数は、直流成分のみ、あるいは直流成分＋低周波成分のみであってもよい。
【００２３】
次に、ロゴ領域部分符号化部５には、該ロゴ挿入ＤＣＴ係数ｆと符号化情報ｂが入力し、前記ロゴ挿入制御部８からの制御に従ってロゴ挿入領域を符号化する。一方、非ロゴ領域部分符号化部６には非ロゴ挿入領域ＤＣＴ係数ｄと符号化情報ｂが入力し、非ロゴ領域と非ロゴ挿入フレームとを符号化する。
【００２４】
以下に、前記ロゴ挿入制御部８の前記ロゴ領域部分符号化部５と非ロゴ領域部分符号化部６とに対する制御動作を、図５のフローチャートを参照して説明する。
【００２５】
ステップＳ１では、入力してきたＭＰＥＧ圧縮データがロゴ挿入フレームであるか否かの判断がなされ、肯定であればステップＳ２に進む。ステップＳ２では、ロゴ挿入領域か否かの判断がなされる。この判断が肯定の場合にはステップＳ３に進むが、前記ステップＳ１およびＳ２のいずれかが否定の時にはステップＳ１２に進む。ステップＳ１２では、図１０で後述する再量子化がなされる。
【００２６】
ステップＳ３では、該ロゴ挿入フレームがロゴ画像挿入の開始フレームであるか否かの判断がなされる。この判断が肯定の時にはステップＳ４に進んで、該開始フレームはＩまたはＰピクチャであるか否かの判断がなされる。この判断が肯定の時にはステップＳ５に進んで、ロゴ挿入領域をイントラ符号化する指示が出力される。一方、否定の時、すなわちＢピクチャの時にはステップＳ６に進んで、後続の参照フレームのロゴ挿入領域をイントラ符号化する指示が出される。ステップＳ７では、該後続の参照フレームを用いて、現フレームのロゴ挿入領域をインター符号化する指示が出力される。
【００２７】
前記ステップＳ３の判断が否定の時、すなわちロゴ挿入フレームがロゴ挿入開始フレームでない時にはステップＳ８に進んで、前記重み係数αが予め定められている閾値Ｔｈより大きいか否かの判断がなされる。この判断が肯定の場合、すなわちロゴ画像の重みが大きい場合には、ステップＳ９に進んで動きベクトルＭＶを０にして、ロゴ挿入領域をインターフレーム符号化する指示が出力される。これは、ロゴ画像は一般に動きのない静止画像であるので、ロゴ画像の重みが大きいということはロゴ挿入領域の画像の動きが小さいまたは零と考えられるからである。
【００２８】
一方、ステップＳ８の判断が否定の時には、合成される元の動画像の割合が大きいので、ロゴ挿入領域の画像の動きが大きいと考えられる。このため、ステップＳ１０において、入力ＭＰＥＧデータの動きベクトルＭＶ、すなわち前記符号化情報ｂ中の動きベクトルＭＶを再利用して、ロゴ挿入領域をインターフレーム符号化を行う。これにより、処理量を低減して処理の高速化を図ることができるようになる。前記ステップＳ５、Ｓ７、Ｓ９およびＳ１０の符号化の後は、ステップＳ１１に進み再量子化が行われる。この再量子化は、図７または図８で後述する方式で行われる。
【００２９】
図６は、前記ステップＳ４〜Ｓ７の動作を示したものである。同図(a)および(c)に示されているように、ロゴ挿入の開始フレーム、つまりロゴ挿入の第１フレームがＩまたはＰピクチャの時には、該第１フレームのロゴ挿入領域ｃはイントラ符号化される。一方、同図(b)に示されているように、前記第１フレームがＢピクチャの時には、後続の参照フレームであるＰピクチャのロゴ挿入領域ｃ’がイントラ符号化され、前記第１フレームであるＢピクチャのロゴ挿入領域ｃは該Ｐピクチャのロゴ挿入領域ｃ’を用いてインター符号化される。
【００３０】
図７は、前記ロゴ領域部分符号化部５の１実施例を示す機能ブロック図である。スイッチング部７０ａ、７０ｂは前記ロゴ挿入制御部８からの制御情報により制御される。すなわち、制御情報ｚ１がイントラ符号化の時にはスイッチング部７０ａは端子Ｘ１を選択し、インターフレーム符号化の時には端子Ｘ２を選択する。一方、制御情報ｚ２が図５のステップＳ９の時すなわちＭＶ＝０の時にはスイッチング部７０ｂは端子Ｙ１を、ステップＳ９以外の時すなわち入力ＭＰＥＧデータのＭＶを再利用する時には端子Ｙ２を選択する。
【００３１】
上記の動作により、イントラ符号化の時にはロゴ挿入ＤＣＴ係数ｆは再量子化部７２で再量子化され、可変長符号化部７３で符号化されてＭＰＥＧ符号化データとして出力される。
【００３２】
一方、インターフレーム符号化の時には、減算部７１にロゴ挿入ＤＣＴ係数ｆが入力し、減算部７１はロゴ挿入ＤＣＴ係数ｆからＤＣＴ係数８０を減算する。減算部７１から出力されるＤＣＴ予測誤差係数は再量子化部７２でレート制御部７（図１参照）からのレート制御情報に従って再量子化され、可変長符号化部７３で符号化されてＭＰＥＧ符号化データとして出力される。
【００３３】
一方、前記再量子化部７２で再量子化されたデータは逆量子化部７４にも入力し、逆量子化される。次いで、減算部７５は、該逆量子化されたＤＣＴ係数から前記ＤＣＴ予測誤差係数を減算する。この減算により、該ＤＣＴ予測誤差係数の量子化誤差が得られる。該量子化誤差は逆ＤＣＴ部７６で逆ＤＣＴ化され、加算部７７で、動き補償部７８で補償された画像データと加算される。前記動き補償部７８は、前記スイッチング部７０ｂから供給される符号化情報に基づいて動き補償する。ロゴ合成比率がある閾値よりも大きい場合はロゴ画像の強度が高くなり、またロゴ画像は静止しているため、動き補償予測は動き量ＭＶ＝０として符号化を行う。これに対して、α値が小さい場合は、元の画像の割合が高いと考えられるため、元のＭＰＥＧデータ中の動き補償予測をそのまま用いる。この場合、前記重み係数α＞ＴｈであればＭＶ＝０が、α≦Ｔｈであれば部分復号部１からの符号化情報ｂが、動き補償部７８に供給される。メモリ７９は該動き補償部７８の動作に使用されるものである。該動き補償部７８で動き補償された後に変換されたＤＣＴ係数８０は前記減算部７１に供給される。
【００３４】
この再量子化によれば、前記減算部７１で再量子化の歪み成分が低減されるので、ロゴ挿入領域の再量子化ノイズをより低減して、ロゴ挿入領域の再量子化を行えるようになる。
【００３５】
また、図７からも分かるように、符号化情報ｂから得られる動き情報を用いて動き補償を行っているため、動画像符号化処理で処理負荷の高い動き探索処理が不要になるため、高速な符号化処理を実現することができる。
【００３６】
図７で、再量子化部７２はレート制御情報を用いて再量子化を行うことができる。この場合、レート制御情報から得られる配分ビット量を基に量子化ステップを決定して再量子化を行うことができる。また、配分ビット量を決定する際に、画面の複雑度を用いることができるが、先に述べたように、画面の複雑度として入力圧縮動画像を部分復号して得られる量子化情報から局所的、画面全体の複雑度を予測して利用することも可能で、これにより、画面の偏差測定などの処理を削減することが可能となる。
【００３７】
ただし、例えば、元の画像のコントラストが高く、ロゴ画像のコントラストが低い場合はロゴ合成比率が高くても元の画像の影響が高くなるため、前述の動き量ＭＶ＝０にするよりも元のＭＰＥＧデータ中の動き補償予測をそのまま用いた方が符号化効率を高めることができる。逆にロゴ画像のコントラストが高く、元の画像のコントラストが低い場合は、ロゴ合成比率が低くてもロゴ画像の強度が高くなるため、動き量ＭＶ＝０として符号化を行った方が符号化効率を高められる可能性がある。したがって、このような場合は、挿入後の画像の符号化量が小さくなるように適応的に動き補償予測を行うことが望ましい。
【００３８】
このためには、これら２つの方法を比較して符号量の小さくなる予測方法を選択することができる。この場合、ロゴ挿入後の画像の動き補償予測誤差量を比較する。比較の方法としては、図８に示すような図５の変形例を用いることができる。この場合、動き補償予測誤差のＤＣＴ係数量を動き補償予測誤差量として用いる。一例としてＭＶ＝０とした時のＤＣＴ係数量をＮＤＯ、元の動き補償予測を用いた場合のＤＣＴ係数量をＮＤＭとしてＮＤＯがＮＤＭより小さい場合にＭＶ＝０として符号化し、逆の場合には元の動き補償予測を用いる。ＤＣＴ係数量としては、ブロック内の０でないＤＣＴ係数の個数やＤＣＴ係数の絶対値和を用いることができる。
【００３９】
ここに、図８は、図５の変形例の要部のフローチャートを示し、図９は該図８の動作を実現するための前記ロゴ領域部分符号化部５の機能ブロック図を示す。なお、図８において、図５と同一ステップは図示を省略されている。また、図９において、図７と同一または同等物には同じ符号が付されている。
【００４０】
図８が図５と違うところは、ステップＳ８’のみであり、他の処理は同一である。すなわち、ステップＳ８’では、図９の係数カウンタ８１のカウント値（ＤＣＴ係数量）ＮＤＯが前記ＮＤＭより小さいか否かの判断がなされる。そして、この判断が肯定の時にはステップＳ９に進んで動きベクトルＭＶを０としてインターフレーム符号化を行う。一方、否定の時にはステップＳ１０に進んで入力ＭＰＥＧデータの動きベクトルＭＶを再利用してインターフレーム化を行う。
【００４１】
ここに、前記計数カウンタ８１は予測誤差情報量であるＤＣＴ係数８０をカウントするものであり、ステップＳ８’のＮＤＯ＜ＮＤＭが成立するということは予測誤差情報量のＤＣＴ係数が小さい、つまり画像の動きが小さいということであるから、動きベクトルＭＶを強制的に０にして処理量を軽減する。逆に、ＮＤＯ＜ＮＤＭが不成立であるということは、予測誤差情報量のＤＣＴ係数が大きい、つまり画像の動きが大きいということであるから、動きベクトルＭＶとして入力ＭＰＥＧデータの動きベクトルＭＶを再利用する。なお、図９のロゴ領域部分符号化部５においても、前記図５の制御を使用できることは明らかである。
【００４２】
次に、図１０は、図１の非ロゴ領域部分符号化部６または前記ステップＳ１２（図５参照）の再符号化を示すものである。該非ロゴ領域部分符号化部６は、前記符号化情報ｂの量子化パラメータＱＰを再利用したり、レート制御部７からのレート制御情報を再利用したりして、ブロックＤＣＴ係数ｄを再量子化する再量子化部１０１と、可変長符号化部（ＶＬＣ）１０２からなる。該再量子化部１０１は、ロゴ挿入フレームでない場合は、前記符号化情報ｂの量子化パラメータＱＰを再利用し、ロゴ挿入フレームであるがロゴ挿入領域でない画像には前記レート制御情報に従って再量子化するのが好適である。これは、ロゴの挿入により、符号化におけるビット配分が変動するためである。
【００４３】
なお、変形例として、上記量子化はロゴ領域にも同様に利用することができる。ただし、インター符号化の場合、量子化に伴う誤差雑音が累積する可能性がある。
【００４４】
前記した実施形態では、入力データがＭＰＥＧ圧縮データである場合、またロゴ画像を例にして説明したが、本発明はこれに限定されず他の圧縮方式で圧縮されたデータである場合あるいはロゴ画像以外の画像にも適用することができる。
【００４５】
また、前記の実施形態ではＭＰＥＧ方式について説明したが、これに限るものではない。ベクトル量子化やウェーブレット変換などの量子化符号化や変換符号化方式においても利用できる。
【００４６】
【発明の効果】
以上の説明から明らかなように、本発明によれば、小さな処理量で、元画像の一部分に、画像例えばロゴ画像を挿入することができるようになる。
【００４７】
また、本発明によれば、画像挿入開始フレーム全体の符号化モードが双方向予測符号化フレームであっても、ビット量の不足を招くことなく、また画質の劣化を招くことなく、画像挿入部分を高速かつ高効率で再圧縮することができるようになる。
【００４８】
また、本発明によれば、画像挿入部分の画質劣化を招くことなく、画像挿入部分を再圧縮することができるようになる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の概略の構成を示すブロック図である。
【図２】 図１の部分復号部の一具体例を示すブロック図である。
【図３】 図１のロゴ情報供給部の一具体例を示すブロック図である。
【図４】 図１のロゴ情報挿入部の一具体例を示すブロック図である。
【図５】 本実施形態の要部の動作を説明するフローチャートである。
【図６】 図５のステップＳ４〜Ｓ７の処理の説明図である。
【図７】 図１のロゴ領域部分符号化部の一具体例を示すブロック図である。
【図８】 図５の変形例の変形部分のみを示すフローチャートである。
【図９】 図１のロゴ領域部分符号化部の他の具体例を示すブロック図である。
【図１０】 図１の非ロゴ領域部分符号化部の一具体例を示すブロック図である。
【図１１】 従来装置の一例の構成を示すブロック図である。
【符号の説明】
１・・・部分復号部、２・・・ロゴ挿入領域分離部、３・・・ロゴ情報挿入部、４・・・ロゴ情報供給部、５・・・ロゴ領域部分符号化部、６・・・非ロゴ領域部分符号化部、７・・・レート制御部、８・・・ロゴ挿入制御部。
【発明の属する技術分野】
この発明は圧縮動画像データの画像挿入装置に関し、特に動画像データ中にロゴ画像を高速かつ高効率で挿入する圧縮動画像データの画像挿入装置に関する。
【０００２】
【従来の技術】
圧縮動画像データ中に画像を挿入する従来方式の一つとして、例えば、図１１に示されているようなベースバンドでの画像挿入方式がある。該従来方式の動作を説明すると、復号器１０１は、一旦、入力信号であるＭＰＥＧ圧縮データを１フレーム分全て復号する。次いで、合成器１０２で挿入されるべき画像１０３を前記復号画像に挿入し、符号化器１０４で再圧縮する。この際、復号器１０１で復号された入力データの符号化情報ｐ、たとえば動き情報ＭＶや符号化タイプ等の情報が符号化器１０４に送られ、該符号化器１０４においてそのまま利用される。符号化器１０４からは、画像挿入後のＭＰＥＧデータが出力される。
【０００３】
上記の従来方式によれば、画質劣化を殆ど生ずることなくロゴ画像などの画像１０３を入力画像に挿入することができるが、符号化器１０４で再度符号化するため、入力データの符号化情報ｐを使用しても、全体の処理量が大きく、処理コストが非常に大きいという問題があった。
【０００４】
画像挿入の他の従来方式として、例えば特開２００１−２６８５７２号公報に記されているような、ロゴ画像を圧縮データ上で挿入する方式がある。この方式は、符号化されたビットストリームを受信するステップと、該ビットストリームを部分的に復号化するステップと、該部分的に復号化されたビットストリーム中にビジュアル要素を挿入するステップと、該ビジュアル要素が挿入されたビットストリームを再符号化するステップと、該再符号化されたビットストリームを出力するステップとからなるものである。
【０００５】
この方式によれば、符号化されたビットストリームを部分的に復号化するだけであるので、全体の処理量を削減できる。
【０００６】
【発明が解決しようとする課題】
しかしながら、前記ロゴ画像を圧縮データ上で挿入する従来方式では、ロゴ挿入フレームが双方向予測フレーム（Ｂフレーム）で開始する場合、該開始フレームのロゴ領域と非ロゴ領域とを同様にフレーム間予測で再符号化するため、フレーム間符号化効率が低いロゴ領域もフレーム間符号化されることになり、符号化効率が劣化する可能性がある。なお、該開始フレームのフレーム間符号化効率が低い理由は、該開始フレーム以前のフレームにはロゴが入っていないので、ロゴ領域のフレーム間相関が非常に小さいためである。
【０００７】
また、ロゴ画像と元の画像の合成割合によらず符号化するため、ロゴ画像の合成比率が高い場合（例えば、濃いロゴ画像を合成する場合）、元の画像のようにフレーム間予測による符号化を用いると符号化効率が劣化する可能性がある。
【０００８】
なお、前記の問題を解消するために、前記ロゴ開始フレームである双方向予測フレーム（Ｂフレーム）に代えてイントラフレームを用いると、双方向予測フレームに対するビット配分が少ないにも拘わらず、ビット量が大きいイントラ符号化が用いられることになり、イントラ符号化に必要なビット量が不足し、画質が劣化するという問題が発生する。
【０００９】
本発明の目的は、前記した従来技術の課題を解決し、画像例えばロゴ画像を高速かつ高効率で挿入できる圧縮動画像データの画像挿入装置を提供することにある。他の目的は、ロゴ挿入を双方向予測フレームから開始しなければならなくなった場合においても、画質劣化を起こすことなく再符号化できる圧縮動画像データの画像挿入装置を提供することにある。
【００１０】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、入力動画像データを部分復号する部分復号手段と、該部分復号手段により部分復号されたデータの一部に画像を挿入する画像挿入手段と、該画像挿入手段により挿入された画像挿入領域を部分圧縮する部分符号化手段と、該部分符号化手段で再圧縮されたデータのビット量を目的のビット量に制御するレート制御手段とを具備し、前記画像挿入手段は、任意の合成比率により画像を挿入し、前記部分符号化手段は、前記画像の挿入を開始する画像挿入開始フレームにおける画像挿入領域の符号化モードを、該画像挿入開始フレームのピクチャタイプにより決定し、該画像挿入開始フレームがイントラ符号化フレーム又は前予測インター符号化フレームの場合は、前記画像挿入領域をイントラ符号化し、該画像挿入開始フレームが双方向予測符号化フレームの場合は、前記画像挿入開始フレームにおける画像挿入領域はインターフレーム符号化を行い、該画像挿入開始フレームが参照可能なフレームにおいて該画像挿入領域をイントラ符号化するようにした点に第１の特徴がある。この特徴によれば、元画像の一部分に、高速かつ高効率で画像、例えばロゴ画像を挿入することができるようになる。
【００１１】
また、本発明は、画像挿入開始フレーム全体の符号化モードが双方向予測符号化フレームである時には、画像挿入領域はインターフレーム符号化を行い、該画像挿入開始フレームが参照可能なフレームにおいて該画像挿入領域をイントラ符号化するようにした点に第２の特徴がある。この特徴によれば、画像挿入開始フレーム全体の符号化モードが双方向予測符号化フレームであっても、ビット量の不足を招くことなく、画像挿入部分を高速かつ高効率で再圧縮することができる。このため、画質劣化を生じることなく画像挿入部分を高速かつ高効率で再圧縮することができる。
【００１２】
また、本発明は、前記部分符号化手段において行われる量子化は、インターフレーム符号化された変換係数を部分的に復号して動き補償予測し、該動き補償予測後に変換した変換係数を量子化して用いるようにした点に第３の特徴がある。この特徴によれば、画像挿入部分に生ずる画像歪みを極力低減することができるようになる。
【００１３】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の全体構成を概略的に示すブロック図である。
【００１４】
入力データであるＭＰＥＧ圧縮データは、部分復号部１とロゴ挿入制御部８に入力する。部分復号部１は、例えば、図２に示されているように、可変長復号部（ＶＬＤ）１０と逆量子化部１１から構成され、ブロックＤＣＴ係数ａを出力すると共に、動きベクトルＭＶ，符号化タイプ、量子化パラメータＱＰなどの符号化情報ｂを分離して出力する。
【００１５】
一方、前記ロゴ挿入制御部８は、後述のロゴ挿入領域分離部２、ロゴ情報挿入部３、ロゴ情報供給部４、ロゴ領域部分符号化部５、および非ロゴ領域部分符号化部６の動作を制御する。なお、該ロゴ領域部分符号化部５および非ロゴ領域部分符号化部６の制御動作の詳細については、図５を参照して後述する。レート制御部７は画面の複雑度に応じたレート制御を行い、前記ロゴ領域部分符号化部５と非ロゴ領域部分符号化部６で部分再圧縮されたデータのビット量を目的のビット量に制御する。
【００１６】
レート制御部７では画面の複雑度に応じたレート制御を行うことが可能であるが、画面の複雑度として画面内の偏差などの複雑度計算を行う代わりに部分復号部１から得られる量子化情報を用いて複雑度情報として利用することが可能である。例えば、量子化ステップが高い程複雑度が高いと判定してレート制御に利用することができる。
【００１７】
次に、前記部分復号部１から出力されたブロックＤＣＴ係数ａはロゴ挿入領域分離部２で、ロゴ挿入領域ＤＣＴ係数ｃと非ロゴ挿入領域ＤＣＴ係数ｄとに分けられる。ロゴ挿入領域ＤＣＴ係数ｃはロゴ情報挿入部３に送られ、非ロゴ挿入領域ＤＣＴ係数ｄは非ロゴ領域部分符号化部６に送られる。
【００１８】
挿入されるロゴ情報は、ロゴ情報供給部４から供給される。該ロゴ情報供給部４は、図３に示されているように、例えばロゴデータ３１をＤＣＴ変換するＤＣＴ部３２と、該ＤＣＴ変換されたロゴのＤＣＴ係数を記憶するメモリ３３とから構成されている。したがって、該メモリ３３からは、ロゴ挿入制御部８からの指示に従って、ロゴ画像のＤＣＴ係数ｅが出力される。
【００１９】
図１のロゴ情報挿入部３は、図４に示されているように、例えば合成部４１から構成されており、該合成部４１は、ロゴ挿入領域ＤＣＴ係数ｃとロゴ画像ＤＣＴ係数ｅとを合成する。このとき、ロゴ挿入制御部８から指示される重み係数（または、合成比率）α（０≦α≦１）を考慮に入れて合成する。
【００２０】
この場合、ロゴ領域ＤＣＴ係数ＬＡ(u,v）とロゴＤＣＴ係数ＬＧ(u,v）が合成され、ロゴ挿入ＤＣＴ係数ＬＩ(u,v)は次のようになる。
【００２１】
ＬＩ(u,v)＝α×ＬＧ(u,v）＋（１−α）×ＬＡ(u,v）
【００２２】
例えば、元画像のロゴ挿入領域を１００％ロゴ画像ＤＣＴ係数ｅに置き換えるのであればα＝１、半分の濃さに置き換えるのであればα＝０．５とされる。該ロゴ情報挿入部３は、ロゴ挿入ＤＣＴ係数ｆを出力する。なお、合成部４１で合成するＤＣＴ係数は、直流成分のみ、あるいは直流成分＋低周波成分のみであってもよい。
【００２３】
次に、ロゴ領域部分符号化部５には、該ロゴ挿入ＤＣＴ係数ｆと符号化情報ｂが入力し、前記ロゴ挿入制御部８からの制御に従ってロゴ挿入領域を符号化する。一方、非ロゴ領域部分符号化部６には非ロゴ挿入領域ＤＣＴ係数ｄと符号化情報ｂが入力し、非ロゴ領域と非ロゴ挿入フレームとを符号化する。
【００２４】
以下に、前記ロゴ挿入制御部８の前記ロゴ領域部分符号化部５と非ロゴ領域部分符号化部６とに対する制御動作を、図５のフローチャートを参照して説明する。
【００２５】
ステップＳ１では、入力してきたＭＰＥＧ圧縮データがロゴ挿入フレームであるか否かの判断がなされ、肯定であればステップＳ２に進む。ステップＳ２では、ロゴ挿入領域か否かの判断がなされる。この判断が肯定の場合にはステップＳ３に進むが、前記ステップＳ１およびＳ２のいずれかが否定の時にはステップＳ１２に進む。ステップＳ１２では、図１０で後述する再量子化がなされる。
【００２６】
ステップＳ３では、該ロゴ挿入フレームがロゴ画像挿入の開始フレームであるか否かの判断がなされる。この判断が肯定の時にはステップＳ４に進んで、該開始フレームはＩまたはＰピクチャであるか否かの判断がなされる。この判断が肯定の時にはステップＳ５に進んで、ロゴ挿入領域をイントラ符号化する指示が出力される。一方、否定の時、すなわちＢピクチャの時にはステップＳ６に進んで、後続の参照フレームのロゴ挿入領域をイントラ符号化する指示が出される。ステップＳ７では、該後続の参照フレームを用いて、現フレームのロゴ挿入領域をインター符号化する指示が出力される。
【００２７】
前記ステップＳ３の判断が否定の時、すなわちロゴ挿入フレームがロゴ挿入開始フレームでない時にはステップＳ８に進んで、前記重み係数αが予め定められている閾値Ｔｈより大きいか否かの判断がなされる。この判断が肯定の場合、すなわちロゴ画像の重みが大きい場合には、ステップＳ９に進んで動きベクトルＭＶを０にして、ロゴ挿入領域をインターフレーム符号化する指示が出力される。これは、ロゴ画像は一般に動きのない静止画像であるので、ロゴ画像の重みが大きいということはロゴ挿入領域の画像の動きが小さいまたは零と考えられるからである。
【００２８】
一方、ステップＳ８の判断が否定の時には、合成される元の動画像の割合が大きいので、ロゴ挿入領域の画像の動きが大きいと考えられる。このため、ステップＳ１０において、入力ＭＰＥＧデータの動きベクトルＭＶ、すなわち前記符号化情報ｂ中の動きベクトルＭＶを再利用して、ロゴ挿入領域をインターフレーム符号化を行う。これにより、処理量を低減して処理の高速化を図ることができるようになる。前記ステップＳ５、Ｓ７、Ｓ９およびＳ１０の符号化の後は、ステップＳ１１に進み再量子化が行われる。この再量子化は、図７または図８で後述する方式で行われる。
【００２９】
図６は、前記ステップＳ４〜Ｓ７の動作を示したものである。同図(a)および(c)に示されているように、ロゴ挿入の開始フレーム、つまりロゴ挿入の第１フレームがＩまたはＰピクチャの時には、該第１フレームのロゴ挿入領域ｃはイントラ符号化される。一方、同図(b)に示されているように、前記第１フレームがＢピクチャの時には、後続の参照フレームであるＰピクチャのロゴ挿入領域ｃ’がイントラ符号化され、前記第１フレームであるＢピクチャのロゴ挿入領域ｃは該Ｐピクチャのロゴ挿入領域ｃ’を用いてインター符号化される。
【００３０】
図７は、前記ロゴ領域部分符号化部５の１実施例を示す機能ブロック図である。スイッチング部７０ａ、７０ｂは前記ロゴ挿入制御部８からの制御情報により制御される。すなわち、制御情報ｚ１がイントラ符号化の時にはスイッチング部７０ａは端子Ｘ１を選択し、インターフレーム符号化の時には端子Ｘ２を選択する。一方、制御情報ｚ２が図５のステップＳ９の時すなわちＭＶ＝０の時にはスイッチング部７０ｂは端子Ｙ１を、ステップＳ９以外の時すなわち入力ＭＰＥＧデータのＭＶを再利用する時には端子Ｙ２を選択する。
【００３１】
上記の動作により、イントラ符号化の時にはロゴ挿入ＤＣＴ係数ｆは再量子化部７２で再量子化され、可変長符号化部７３で符号化されてＭＰＥＧ符号化データとして出力される。
【００３２】
一方、インターフレーム符号化の時には、減算部７１にロゴ挿入ＤＣＴ係数ｆが入力し、減算部７１はロゴ挿入ＤＣＴ係数ｆからＤＣＴ係数８０を減算する。減算部７１から出力されるＤＣＴ予測誤差係数は再量子化部７２でレート制御部７（図１参照）からのレート制御情報に従って再量子化され、可変長符号化部７３で符号化されてＭＰＥＧ符号化データとして出力される。
【００３３】
一方、前記再量子化部７２で再量子化されたデータは逆量子化部７４にも入力し、逆量子化される。次いで、減算部７５は、該逆量子化されたＤＣＴ係数から前記ＤＣＴ予測誤差係数を減算する。この減算により、該ＤＣＴ予測誤差係数の量子化誤差が得られる。該量子化誤差は逆ＤＣＴ部７６で逆ＤＣＴ化され、加算部７７で、動き補償部７８で補償された画像データと加算される。前記動き補償部７８は、前記スイッチング部７０ｂから供給される符号化情報に基づいて動き補償する。ロゴ合成比率がある閾値よりも大きい場合はロゴ画像の強度が高くなり、またロゴ画像は静止しているため、動き補償予測は動き量ＭＶ＝０として符号化を行う。これに対して、α値が小さい場合は、元の画像の割合が高いと考えられるため、元のＭＰＥＧデータ中の動き補償予測をそのまま用いる。この場合、前記重み係数α＞ＴｈであればＭＶ＝０が、α≦Ｔｈであれば部分復号部１からの符号化情報ｂが、動き補償部７８に供給される。メモリ７９は該動き補償部７８の動作に使用されるものである。該動き補償部７８で動き補償された後に変換されたＤＣＴ係数８０は前記減算部７１に供給される。
【００３４】
この再量子化によれば、前記減算部７１で再量子化の歪み成分が低減されるので、ロゴ挿入領域の再量子化ノイズをより低減して、ロゴ挿入領域の再量子化を行えるようになる。
【００３５】
また、図７からも分かるように、符号化情報ｂから得られる動き情報を用いて動き補償を行っているため、動画像符号化処理で処理負荷の高い動き探索処理が不要になるため、高速な符号化処理を実現することができる。
【００３６】
図７で、再量子化部７２はレート制御情報を用いて再量子化を行うことができる。この場合、レート制御情報から得られる配分ビット量を基に量子化ステップを決定して再量子化を行うことができる。また、配分ビット量を決定する際に、画面の複雑度を用いることができるが、先に述べたように、画面の複雑度として入力圧縮動画像を部分復号して得られる量子化情報から局所的、画面全体の複雑度を予測して利用することも可能で、これにより、画面の偏差測定などの処理を削減することが可能となる。
【００３７】
ただし、例えば、元の画像のコントラストが高く、ロゴ画像のコントラストが低い場合はロゴ合成比率が高くても元の画像の影響が高くなるため、前述の動き量ＭＶ＝０にするよりも元のＭＰＥＧデータ中の動き補償予測をそのまま用いた方が符号化効率を高めることができる。逆にロゴ画像のコントラストが高く、元の画像のコントラストが低い場合は、ロゴ合成比率が低くてもロゴ画像の強度が高くなるため、動き量ＭＶ＝０として符号化を行った方が符号化効率を高められる可能性がある。したがって、このような場合は、挿入後の画像の符号化量が小さくなるように適応的に動き補償予測を行うことが望ましい。
【００３８】
このためには、これら２つの方法を比較して符号量の小さくなる予測方法を選択することができる。この場合、ロゴ挿入後の画像の動き補償予測誤差量を比較する。比較の方法としては、図８に示すような図５の変形例を用いることができる。この場合、動き補償予測誤差のＤＣＴ係数量を動き補償予測誤差量として用いる。一例としてＭＶ＝０とした時のＤＣＴ係数量をＮＤＯ、元の動き補償予測を用いた場合のＤＣＴ係数量をＮＤＭとしてＮＤＯがＮＤＭより小さい場合にＭＶ＝０として符号化し、逆の場合には元の動き補償予測を用いる。ＤＣＴ係数量としては、ブロック内の０でないＤＣＴ係数の個数やＤＣＴ係数の絶対値和を用いることができる。
【００３９】
ここに、図８は、図５の変形例の要部のフローチャートを示し、図９は該図８の動作を実現するための前記ロゴ領域部分符号化部５の機能ブロック図を示す。なお、図８において、図５と同一ステップは図示を省略されている。また、図９において、図７と同一または同等物には同じ符号が付されている。
【００４０】
図８が図５と違うところは、ステップＳ８’のみであり、他の処理は同一である。すなわち、ステップＳ８’では、図９の係数カウンタ８１のカウント値（ＤＣＴ係数量）ＮＤＯが前記ＮＤＭより小さいか否かの判断がなされる。そして、この判断が肯定の時にはステップＳ９に進んで動きベクトルＭＶを０としてインターフレーム符号化を行う。一方、否定の時にはステップＳ１０に進んで入力ＭＰＥＧデータの動きベクトルＭＶを再利用してインターフレーム化を行う。
【００４１】
ここに、前記計数カウンタ８１は予測誤差情報量であるＤＣＴ係数８０をカウントするものであり、ステップＳ８’のＮＤＯ＜ＮＤＭが成立するということは予測誤差情報量のＤＣＴ係数が小さい、つまり画像の動きが小さいということであるから、動きベクトルＭＶを強制的に０にして処理量を軽減する。逆に、ＮＤＯ＜ＮＤＭが不成立であるということは、予測誤差情報量のＤＣＴ係数が大きい、つまり画像の動きが大きいということであるから、動きベクトルＭＶとして入力ＭＰＥＧデータの動きベクトルＭＶを再利用する。なお、図９のロゴ領域部分符号化部５においても、前記図５の制御を使用できることは明らかである。
【００４２】
次に、図１０は、図１の非ロゴ領域部分符号化部６または前記ステップＳ１２（図５参照）の再符号化を示すものである。該非ロゴ領域部分符号化部６は、前記符号化情報ｂの量子化パラメータＱＰを再利用したり、レート制御部７からのレート制御情報を再利用したりして、ブロックＤＣＴ係数ｄを再量子化する再量子化部１０１と、可変長符号化部（ＶＬＣ）１０２からなる。該再量子化部１０１は、ロゴ挿入フレームでない場合は、前記符号化情報ｂの量子化パラメータＱＰを再利用し、ロゴ挿入フレームであるがロゴ挿入領域でない画像には前記レート制御情報に従って再量子化するのが好適である。これは、ロゴの挿入により、符号化におけるビット配分が変動するためである。
【００４３】
なお、変形例として、上記量子化はロゴ領域にも同様に利用することができる。ただし、インター符号化の場合、量子化に伴う誤差雑音が累積する可能性がある。
【００４４】
前記した実施形態では、入力データがＭＰＥＧ圧縮データである場合、またロゴ画像を例にして説明したが、本発明はこれに限定されず他の圧縮方式で圧縮されたデータである場合あるいはロゴ画像以外の画像にも適用することができる。
【００４５】
また、前記の実施形態ではＭＰＥＧ方式について説明したが、これに限るものではない。ベクトル量子化やウェーブレット変換などの量子化符号化や変換符号化方式においても利用できる。
【００４６】
【発明の効果】
以上の説明から明らかなように、本発明によれば、小さな処理量で、元画像の一部分に、画像例えばロゴ画像を挿入することができるようになる。
【００４７】
また、本発明によれば、画像挿入開始フレーム全体の符号化モードが双方向予測符号化フレームであっても、ビット量の不足を招くことなく、また画質の劣化を招くことなく、画像挿入部分を高速かつ高効率で再圧縮することができるようになる。
【００４８】
また、本発明によれば、画像挿入部分の画質劣化を招くことなく、画像挿入部分を再圧縮することができるようになる。
【図面の簡単な説明】
【図１】 本発明の一実施形態の概略の構成を示すブロック図である。
【図２】 図１の部分復号部の一具体例を示すブロック図である。
【図３】 図１のロゴ情報供給部の一具体例を示すブロック図である。
【図４】 図１のロゴ情報挿入部の一具体例を示すブロック図である。
【図５】 本実施形態の要部の動作を説明するフローチャートである。
【図６】 図５のステップＳ４〜Ｓ７の処理の説明図である。
【図７】 図１のロゴ領域部分符号化部の一具体例を示すブロック図である。
【図８】 図５の変形例の変形部分のみを示すフローチャートである。
【図９】 図１のロゴ領域部分符号化部の他の具体例を示すブロック図である。
【図１０】 図１の非ロゴ領域部分符号化部の一具体例を示すブロック図である。
【図１１】 従来装置の一例の構成を示すブロック図である。
【符号の説明】
１・・・部分復号部、２・・・ロゴ挿入領域分離部、３・・・ロゴ情報挿入部、４・・・ロゴ情報供給部、５・・・ロゴ領域部分符号化部、６・・・非ロゴ領域部分符号化部、７・・・レート制御部、８・・・ロゴ挿入制御部。
Claims (15)
- 入力動画像データを部分復号する部分復号手段と、
該部分復号手段により部分復号されたデータの一部に画像を挿入する画像挿入手段と、
該画像挿入手段により挿入された画像挿入領域を部分圧縮する部分符号化手段と、
該部分符号化手段で再圧縮されたデータのビット量を目的のビット量に制御するレート制御手段とを具備し、
前記画像挿入手段は、任意の合成比率により画像を挿入し、
前記部分符号化手段は、前記画像の挿入を開始する画像挿入開始フレームにおける画像挿入領域の符号化モードを、該画像挿入開始フレームのピクチャタイプにより決定し、該画像挿入開始フレームがイントラ符号化フレーム又は前予測インター符号化フレームの場合は、前記画像挿入領域をイントラ符号化し、該画像挿入開始フレームが双方向予測符号化フレームの場合は、前記画像挿入開始フレームにおける画像挿入領域はインターフレーム符号化を行い、該画像挿入開始フレームが参照可能なフレームにおいて該画像挿入領域をイントラ符号化することを特徴とする圧縮動画像データの画像挿入装置。 - 請求項１に記載の圧縮動画像データの画像挿入装置において、
前記部分符号化手段は、前記画像挿入領域と画像非挿入領域に応じて、動き補償予測方法を変えることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項１または２に記載の圧縮動画像データの画像挿入装置において、
前記部分符号化手段において行われる量子化は、前記入力圧縮動画像データの量子化情報と、レート制御手段からのビット量制御情報を用いて量子化制御を行われることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項１に記載の圧縮動画像データの画像挿入装置において、
前記入力圧縮動画像データの動き情報を用いることにより、動き探索処理を削減することを特徴とする圧縮動画像データの画像挿入装置。 - 請求項１に記載の圧縮動画像データの画像挿入装置において、
前記画像挿入領域においてインターフレーム符号化を用いた場合動き量を０とし、画像非挿入領域では前記入力圧縮動画像データ中の動き情報をそのまま用いて符号化することを特徴とする圧縮動画像データの画像挿入装置。 - 請求項１に記載の圧縮動画像データの画像挿入装置において、
前記画像挿入領域においてインターフレーム符号化を用いた場合動き量を０または前記入力圧縮動画像データ中の動き情報をそのまま用い、画像非挿入領域では前記入力圧縮動画像データ中の動き情報をそのまま用いて符号化することを特徴とする圧縮動画像データの画像挿入装置。 - 請求項１ないし６のいずれかに記載の圧縮動画像データの画像挿入装置において、
前記部分符号化手段は、挿入画像の前記合成比率に応じて、動き補償予測方法を変更することを特徴とする圧縮動画像データの画像挿入装置。 - 請求項７に記載の圧縮動画像データの画像挿入装置において、
前記挿入画像の合成比率が予め定められた閾値より大きい場合は動き量を０とし、該合成比率が該閾値以下の場合は前記入力圧縮動画像データ中の動き量をそのまま用いて符号化することを特徴とする圧縮動画像データの画像挿入装置。 - 請求項８に記載の圧縮動画像データの画像挿入装置において、
前記合成比率として、重み付け値αを用いることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項１ないし６のいずれかに記載の圧縮動画像データの画像挿入装置において、
前記部分符号化手段は、動き量を０とした場合の予測誤差情報量と、元の動き補償予測を用いた場合の予測誤差情報量とを比較し、前者の予測誤差情報量が後者の予測誤差情報量より小さい場合に動き量を０として符号化し、大きい場合には前記元の動き補償予測を用いることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項１０に記載の圧縮動画像データの画像挿入装置において、
前記予測誤差情報量は、非零ＤＣＴ係数の個数や絶対和であることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項１ないし１１のいずれかに記載の圧縮動画像データの画像挿入装置において、
前記部分符号化手段において行われる量子化は、イントラ符号化またはインターフレーム符号化された変換係数を直接量子化して用いることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項１ないし１１のいずれかに記載の圧縮動画像データの画像挿入装置において、
前記部分符号化手段において行われる量子化は、画像挿入変換係数を入力とし、インター符号化された変換係数を部分的に復号して動き補償予測し、該動き補償予測後に変換した変換係数を用いて前記画像挿入変換係数の予測誤差係数を得、該予測誤差係数を量子化して用いることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項１２または１３に記載の圧縮動画像データの画像挿入装置において、
前記量子化の制御は、画面の画像の複雑度に応じた制御を行い、該複雑度として前記入力圧縮動画像データの量子化情報を用いることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項１ないし１４のいずれかに記載の圧縮動画像データの画像挿入装置において、
前記部分復号手段は、前記入力圧縮動画像データから逆量子化された変換符号化係数までを復号する処理をすることを特徴とする圧縮動画像データの画像挿入装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003091243A JP4708680B2 (ja) | 2003-03-28 | 2003-03-28 | 圧縮動画像データの画像挿入装置 |
| US10/805,328 US8774264B2 (en) | 2003-03-28 | 2004-03-22 | Image insertion device for compressed video data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003091243A JP4708680B2 (ja) | 2003-03-28 | 2003-03-28 | 圧縮動画像データの画像挿入装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004304231A JP2004304231A (ja) | 2004-10-28 |
| JP4708680B2 true JP4708680B2 (ja) | 2011-06-22 |
Family
ID=32985310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003091243A Expired - Fee Related JP4708680B2 (ja) | 2003-03-28 | 2003-03-28 | 圧縮動画像データの画像挿入装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8774264B2 (ja) |
| JP (1) | JP4708680B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7962932B2 (en) * | 2006-09-27 | 2011-06-14 | Scenera Technologies, Llc | Methods, systems, and computer program products for presenting a message on a display based on a display based on video frame types presented on the display |
| CN102244779B (zh) * | 2010-05-11 | 2014-07-30 | 联想(北京)有限公司 | 数据的发送和接收方法及设备、数据传输*** |
| US9542611B1 (en) * | 2011-08-11 | 2017-01-10 | Harmonic, Inc. | Logo detection for macroblock-based video processing |
| JP5627617B2 (ja) * | 2012-02-22 | 2014-11-19 | 株式会社東芝 | 画像処理装置及び画像表示システム |
| WO2013189543A1 (en) * | 2012-06-21 | 2013-12-27 | Telefonaktiebolaget L M Ericsson (Publ) | Apparatus and method for coding a video signal |
| CN105474642B (zh) * | 2014-05-22 | 2018-10-26 | 微软技术许可有限责任公司 | 使用频域差对图像集合重新编码的方法、***以及介质 |
| EP3029942B1 (en) | 2014-12-04 | 2017-08-23 | Axis AB | Method and device for inserting a graphical overlay in a video stream |
| US11256528B2 (en) | 2018-10-26 | 2022-02-22 | Nvidia Corporation | Individual application window streaming suitable for remote desktop applications |
| EP3672248B1 (en) | 2018-12-21 | 2021-01-27 | Axis AB | A method and system for adding image content that contains one or more graphical objects to an image frame using an encoder |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5317397A (en) * | 1991-05-31 | 1994-05-31 | Kabushiki Kaisha Toshiba | Predictive coding using spatial-temporal filtering and plural motion vectors |
| US5805228A (en) * | 1996-08-09 | 1998-09-08 | U.S. Robotics Access Corp. | Video encoder/decoder system |
| US6750919B1 (en) * | 1998-01-23 | 2004-06-15 | Princeton Video Image, Inc. | Event linked insertion of indicia into video |
| US6895048B2 (en) * | 1998-03-20 | 2005-05-17 | International Business Machines Corporation | Adaptive encoding of a sequence of still frames or partially still frames within motion video |
| US6226041B1 (en) * | 1998-07-28 | 2001-05-01 | Sarnoff Corporation | Logo insertion using only disposable frames |
| US6373530B1 (en) * | 1998-07-31 | 2002-04-16 | Sarnoff Corporation | Logo insertion based on constrained encoding |
| JP3789048B2 (ja) | 1999-02-22 | 2006-06-21 | 株式会社東芝 | 動画像再符号化装置 |
| GB2356507A (en) * | 1999-11-05 | 2001-05-23 | Snell & Wilcox Ltd | Method of encoding a video signal to enable logo insertion |
| KR20020001767A (ko) * | 2000-01-14 | 2002-01-09 | 요트.게.아. 롤페즈 | 엔코딩된 신호에 간단한 로고 삽입 |
| US6621866B1 (en) * | 2000-01-28 | 2003-09-16 | Thomson Licensing S.A. | Method for inserting a visual element into an MPEG bit stream |
-
2003
- 2003-03-28 JP JP2003091243A patent/JP4708680B2/ja not_active Expired - Fee Related
-
2004
- 2004-03-22 US US10/805,328 patent/US8774264B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004304231A (ja) | 2004-10-28 |
| US8774264B2 (en) | 2014-07-08 |
| US20040190611A1 (en) | 2004-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3132456B2 (ja) | 階層的画像符号化方式、及び階層的画像復号方式 | |
| KR101138393B1 (ko) | 부호화 모드에 따른 컬러 성분간 예측을 이용한 컬러 영상및 비디오 부호화/복호화 방법 및 장치 | |
| US20060209952A1 (en) | Image encoding/decoding method and apparatus therefor | |
| JP4196726B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| JPH06233137A (ja) | ディジタル信号の符号化装置及び復号装置 | |
| KR20050074286A (ko) | 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화프로그램 | |
| US20090296809A1 (en) | Encoding/decoding device, encoding/decoding method and storage medium | |
| JP4708680B2 (ja) | 圧縮動画像データの画像挿入装置 | |
| JPH0818976A (ja) | 動画像符号化／復号化装置 | |
| KR20080108538A (ko) | 비디오 코딩 방법 | |
| JP2003304538A (ja) | 画像符号化装置、画像復号化装置及びそれらの方法 | |
| JP4224778B2 (ja) | ストリーム変換装置および方法、符号化装置および方法、記録媒体、並びに、プログラム | |
| JP2003504986A (ja) | ドリフトの影響を受けない変換符号化器及び関連する方法 | |
| US7428339B2 (en) | Pseudo-frames for MPEG-2 encoding | |
| JP4826533B2 (ja) | 画像処理装置および画像処理方法、プログラム、並びに、記録媒体 | |
| JP4120934B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| JP4511649B2 (ja) | 画像符号化方式および画像符号化装置 | |
| US20060181650A1 (en) | Encoding method and device | |
| JP4539028B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
| JP4000581B2 (ja) | 画像符号化装置および方法 | |
| JP3770466B2 (ja) | 画像符号化レート変換装置及び画像符号化レート変換方法 | |
| JP4798652B2 (ja) | 動画像のレート変換装置 | |
| JP4390009B2 (ja) | 符号化装置及び方法、画像処理システム | |
| JPH11234675A (ja) | 動画像符号化装置及び方法、動画像復号装置及び方法並びに記録媒体 | |
| JP2005101914A (ja) | 映像信号復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040922 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070411 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070611 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081001 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081128 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081208 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110317 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4708680 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |