JP4708680B2 - 圧縮動画像データの画像挿入装置 - Google Patents
圧縮動画像データの画像挿入装置 Download PDFInfo
- Publication number
- JP4708680B2 JP4708680B2 JP2003091243A JP2003091243A JP4708680B2 JP 4708680 B2 JP4708680 B2 JP 4708680B2 JP 2003091243 A JP2003091243 A JP 2003091243A JP 2003091243 A JP2003091243 A JP 2003091243A JP 4708680 B2 JP4708680 B2 JP 4708680B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- compressed moving
- moving image
- image data
- image insertion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003780 insertion Methods 0.000 title claims description 138
- 230000037431 insertion Effects 0.000 title claims description 138
- 238000013139 quantization Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 11
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 8
- 239000002131 composite material Substances 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 12
- 238000007796 conventional method Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012966 insertion method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Studio Circuits (AREA)
Description
【発明の属する技術分野】
この発明は圧縮動画像データの画像挿入装置に関し、特に動画像データ中にロゴ画像を高速かつ高効率で挿入する圧縮動画像データの画像挿入装置に関する。
【0002】
【従来の技術】
圧縮動画像データ中に画像を挿入する従来方式の一つとして、例えば、図11に示されているようなベースバンドでの画像挿入方式がある。該従来方式の動作を説明すると、復号器101は、一旦、入力信号であるMPEG圧縮データを1フレーム分全て復号する。次いで、合成器102で挿入されるべき画像103を前記復号画像に挿入し、符号化器104で再圧縮する。この際、復号器101で復号された入力データの符号化情報p、たとえば動き情報MVや符号化タイプ等の情報が符号化器104に送られ、該符号化器104においてそのまま利用される。符号化器104からは、画像挿入後のMPEGデータが出力される。
【0003】
上記の従来方式によれば、画質劣化を殆ど生ずることなくロゴ画像などの画像103を入力画像に挿入することができるが、符号化器104で再度符号化するため、入力データの符号化情報pを使用しても、全体の処理量が大きく、処理コストが非常に大きいという問題があった。
【0004】
画像挿入の他の従来方式として、例えば特開2001−268572号公報に記されているような、ロゴ画像を圧縮データ上で挿入する方式がある。この方式は、符号化されたビットストリームを受信するステップと、該ビットストリームを部分的に復号化するステップと、該部分的に復号化されたビットストリーム中にビジュアル要素を挿入するステップと、該ビジュアル要素が挿入されたビットストリームを再符号化するステップと、該再符号化されたビットストリームを出力するステップとからなるものである。
【0005】
この方式によれば、符号化されたビットストリームを部分的に復号化するだけであるので、全体の処理量を削減できる。
【0006】
【発明が解決しようとする課題】
しかしながら、前記ロゴ画像を圧縮データ上で挿入する従来方式では、ロゴ挿入フレームが双方向予測フレーム(Bフレーム)で開始する場合、該開始フレームのロゴ領域と非ロゴ領域とを同様にフレーム間予測で再符号化するため、フレーム間符号化効率が低いロゴ領域もフレーム間符号化されることになり、符号化効率が劣化する可能性がある。なお、該開始フレームのフレーム間符号化効率が低い理由は、該開始フレーム以前のフレームにはロゴが入っていないので、ロゴ領域のフレーム間相関が非常に小さいためである。
【0007】
また、ロゴ画像と元の画像の合成割合によらず符号化するため、ロゴ画像の合成比率が高い場合(例えば、濃いロゴ画像を合成する場合)、元の画像のようにフレーム間予測による符号化を用いると符号化効率が劣化する可能性がある。
【0008】
なお、前記の問題を解消するために、前記ロゴ開始フレームである双方向予測フレーム(Bフレーム)に代えてイントラフレームを用いると、双方向予測フレームに対するビット配分が少ないにも拘わらず、ビット量が大きいイントラ符号化が用いられることになり、イントラ符号化に必要なビット量が不足し、画質が劣化するという問題が発生する。
【0009】
本発明の目的は、前記した従来技術の課題を解決し、画像例えばロゴ画像を高速かつ高効率で挿入できる圧縮動画像データの画像挿入装置を提供することにある。他の目的は、ロゴ挿入を双方向予測フレームから開始しなければならなくなった場合においても、画質劣化を起こすことなく再符号化できる圧縮動画像データの画像挿入装置を提供することにある。
【0010】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、入力動画像データを部分復号する部分復号手段と、該部分復号手段により部分復号されたデータの一部に画像を挿入する画像挿入手段と、該画像挿入手段により挿入された画像挿入領域を部分圧縮する部分符号化手段と、該部分符号化手段で再圧縮されたデータのビット量を目的のビット量に制御するレート制御手段とを具備し、前記画像挿入手段は、任意の合成比率により画像を挿入し、前記部分符号化手段は、前記画像の挿入を開始する画像挿入開始フレームにおける画像挿入領域の符号化モードを、該画像挿入開始フレームのピクチャタイプにより決定し、該画像挿入開始フレームがイントラ符号化フレーム又は前予測インター符号化フレームの場合は、前記画像挿入領域をイントラ符号化し、該画像挿入開始フレームが双方向予測符号化フレームの場合は、前記画像挿入開始フレームにおける画像挿入領域はインターフレーム符号化を行い、該画像挿入開始フレームが参照可能なフレームにおいて該画像挿入領域をイントラ符号化するようにした点に第1の特徴がある。この特徴によれば、元画像の一部分に、高速かつ高効率で画像、例えばロゴ画像を挿入することができるようになる。
【0011】
また、本発明は、画像挿入開始フレーム全体の符号化モードが双方向予測符号化フレームである時には、画像挿入領域はインターフレーム符号化を行い、該画像挿入開始フレームが参照可能なフレームにおいて該画像挿入領域をイントラ符号化するようにした点に第2の特徴がある。この特徴によれば、画像挿入開始フレーム全体の符号化モードが双方向予測符号化フレームであっても、ビット量の不足を招くことなく、画像挿入部分を高速かつ高効率で再圧縮することができる。このため、画質劣化を生じることなく画像挿入部分を高速かつ高効率で再圧縮することができる。
【0012】
また、本発明は、前記部分符号化手段において行われる量子化は、インターフレーム符号化された変換係数を部分的に復号して動き補償予測し、該動き補償予測後に変換した変換係数を量子化して用いるようにした点に第3の特徴がある。この特徴によれば、画像挿入部分に生ずる画像歪みを極力低減することができるようになる。
【0013】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図1は、本発明の一実施形態の全体構成を概略的に示すブロック図である。
【0014】
入力データであるMPEG圧縮データは、部分復号部1とロゴ挿入制御部8に入力する。部分復号部1は、例えば、図2に示されているように、可変長復号部(VLD)10と逆量子化部11から構成され、ブロックDCT係数aを出力すると共に、動きベクトルMV,符号化タイプ、量子化パラメータQPなどの符号化情報bを分離して出力する。
【0015】
一方、前記ロゴ挿入制御部8は、後述のロゴ挿入領域分離部2、ロゴ情報挿入部3、ロゴ情報供給部4、ロゴ領域部分符号化部5、および非ロゴ領域部分符号化部6の動作を制御する。なお、該ロゴ領域部分符号化部5および非ロゴ領域部分符号化部6の制御動作の詳細については、図5を参照して後述する。レート制御部7は画面の複雑度に応じたレート制御を行い、前記ロゴ領域部分符号化部5と非ロゴ領域部分符号化部6で部分再圧縮されたデータのビット量を目的のビット量に制御する。
【0016】
レート制御部7では画面の複雑度に応じたレート制御を行うことが可能であるが、画面の複雑度として画面内の偏差などの複雑度計算を行う代わりに部分復号部1から得られる量子化情報を用いて複雑度情報として利用することが可能である。例えば、量子化ステップが高い程複雑度が高いと判定してレート制御に利用することができる。
【0017】
次に、前記部分復号部1から出力されたブロックDCT係数aはロゴ挿入領域分離部2で、ロゴ挿入領域DCT係数cと非ロゴ挿入領域DCT係数dとに分けられる。ロゴ挿入領域DCT係数cはロゴ情報挿入部3に送られ、非ロゴ挿入領域DCT係数dは非ロゴ領域部分符号化部6に送られる。
【0018】
挿入されるロゴ情報は、ロゴ情報供給部4から供給される。該ロゴ情報供給部4は、図3に示されているように、例えばロゴデータ31をDCT変換するDCT部32と、該DCT変換されたロゴのDCT係数を記憶するメモリ33とから構成されている。したがって、該メモリ33からは、ロゴ挿入制御部8からの指示に従って、ロゴ画像のDCT係数eが出力される。
【0019】
図1のロゴ情報挿入部3は、図4に示されているように、例えば合成部41から構成されており、該合成部41は、ロゴ挿入領域DCT係数cとロゴ画像DCT係数eとを合成する。このとき、ロゴ挿入制御部8から指示される重み係数(または、合成比率)α(0≦α≦1)を考慮に入れて合成する。
【0020】
この場合、ロゴ領域DCT係数LA(u,v)とロゴDCT係数LG(u,v)が合成され、ロゴ挿入DCT係数LI(u,v)は次のようになる。
【0021】
LI(u,v)=α×LG(u,v)+(1−α)×LA(u,v)
【0022】
例えば、元画像のロゴ挿入領域を100%ロゴ画像DCT係数eに置き換えるのであればα=1、半分の濃さに置き換えるのであればα=0.5とされる。該ロゴ情報挿入部3は、ロゴ挿入DCT係数fを出力する。なお、合成部41で合成するDCT係数は、直流成分のみ、あるいは直流成分+低周波成分のみであってもよい。
【0023】
次に、ロゴ領域部分符号化部5には、該ロゴ挿入DCT係数fと符号化情報bが入力し、前記ロゴ挿入制御部8からの制御に従ってロゴ挿入領域を符号化する。一方、非ロゴ領域部分符号化部6には非ロゴ挿入領域DCT係数dと符号化情報bが入力し、非ロゴ領域と非ロゴ挿入フレームとを符号化する。
【0024】
以下に、前記ロゴ挿入制御部8の前記ロゴ領域部分符号化部5と非ロゴ領域部分符号化部6とに対する制御動作を、図5のフローチャートを参照して説明する。
【0025】
ステップS1では、入力してきたMPEG圧縮データがロゴ挿入フレームであるか否かの判断がなされ、肯定であればステップS2に進む。ステップS2では、ロゴ挿入領域か否かの判断がなされる。この判断が肯定の場合にはステップS3に進むが、前記ステップS1およびS2のいずれかが否定の時にはステップS12に進む。ステップS12では、図10で後述する再量子化がなされる。
【0026】
ステップS3では、該ロゴ挿入フレームがロゴ画像挿入の開始フレームであるか否かの判断がなされる。この判断が肯定の時にはステップS4に進んで、該開始フレームはIまたはPピクチャであるか否かの判断がなされる。この判断が肯定の時にはステップS5に進んで、ロゴ挿入領域をイントラ符号化する指示が出力される。一方、否定の時、すなわちBピクチャの時にはステップS6に進んで、後続の参照フレームのロゴ挿入領域をイントラ符号化する指示が出される。ステップS7では、該後続の参照フレームを用いて、現フレームのロゴ挿入領域をインター符号化する指示が出力される。
【0027】
前記ステップS3の判断が否定の時、すなわちロゴ挿入フレームがロゴ挿入開始フレームでない時にはステップS8に進んで、前記重み係数αが予め定められている閾値Thより大きいか否かの判断がなされる。この判断が肯定の場合、すなわちロゴ画像の重みが大きい場合には、ステップS9に進んで動きベクトルMVを0にして、ロゴ挿入領域をインターフレーム符号化する指示が出力される。これは、ロゴ画像は一般に動きのない静止画像であるので、ロゴ画像の重みが大きいということはロゴ挿入領域の画像の動きが小さいまたは零と考えられるからである。
【0028】
一方、ステップS8の判断が否定の時には、合成される元の動画像の割合が大きいので、ロゴ挿入領域の画像の動きが大きいと考えられる。このため、ステップS10において、入力MPEGデータの動きベクトルMV、すなわち前記符号化情報b中の動きベクトルMVを再利用して、ロゴ挿入領域をインターフレーム符号化を行う。これにより、処理量を低減して処理の高速化を図ることができるようになる。前記ステップS5、S7、S9およびS10の符号化の後は、ステップS11に進み再量子化が行われる。この再量子化は、図7または図8で後述する方式で行われる。
【0029】
図6は、前記ステップS4〜S7の動作を示したものである。同図(a)および(c)に示されているように、ロゴ挿入の開始フレーム、つまりロゴ挿入の第1フレームがIまたはPピクチャの時には、該第1フレームのロゴ挿入領域cはイントラ符号化される。一方、同図(b)に示されているように、前記第1フレームがBピクチャの時には、後続の参照フレームであるPピクチャのロゴ挿入領域c’がイントラ符号化され、前記第1フレームであるBピクチャのロゴ挿入領域cは該Pピクチャのロゴ挿入領域c’を用いてインター符号化される。
【0030】
図7は、前記ロゴ領域部分符号化部5の1実施例を示す機能ブロック図である。スイッチング部70a、70bは前記ロゴ挿入制御部8からの制御情報により制御される。すなわち、制御情報z1がイントラ符号化の時にはスイッチング部70aは端子X1を選択し、インターフレーム符号化の時には端子X2を選択する。一方、制御情報z2が図5のステップS9の時すなわちMV=0の時にはスイッチング部70bは端子Y1を、ステップS9以外の時すなわち入力MPEGデータのMVを再利用する時には端子Y2を選択する。
【0031】
上記の動作により、イントラ符号化の時にはロゴ挿入DCT係数fは再量子化部72で再量子化され、可変長符号化部73で符号化されてMPEG符号化データとして出力される。
【0032】
一方、インターフレーム符号化の時には、減算部71にロゴ挿入DCT係数fが入力し、減算部71はロゴ挿入DCT係数fからDCT係数80を減算する。減算部71から出力されるDCT予測誤差係数は再量子化部72でレート制御部7(図1参照)からのレート制御情報に従って再量子化され、可変長符号化部73で符号化されてMPEG符号化データとして出力される。
【0033】
一方、前記再量子化部72で再量子化されたデータは逆量子化部74にも入力し、逆量子化される。次いで、減算部75は、該逆量子化されたDCT係数から前記DCT予測誤差係数を減算する。この減算により、該DCT予測誤差係数の量子化誤差が得られる。該量子化誤差は逆DCT部76で逆DCT化され、加算部77で、動き補償部78で補償された画像データと加算される。前記動き補償部78は、前記スイッチング部70bから供給される符号化情報に基づいて動き補償する。ロゴ合成比率がある閾値よりも大きい場合はロゴ画像の強度が高くなり、またロゴ画像は静止しているため、動き補償予測は動き量MV=0として符号化を行う。これに対して、α値が小さい場合は、元の画像の割合が高いと考えられるため、元のMPEGデータ中の動き補償予測をそのまま用いる。この場合、前記重み係数α>ThであればMV=0が、α≦Thであれば部分復号部1からの符号化情報bが、動き補償部78に供給される。メモリ79は該動き補償部78の動作に使用されるものである。該動き補償部78で動き補償された後に変換されたDCT係数80は前記減算部71に供給される。
【0034】
この再量子化によれば、前記減算部71で再量子化の歪み成分が低減されるので、ロゴ挿入領域の再量子化ノイズをより低減して、ロゴ挿入領域の再量子化を行えるようになる。
【0035】
また、図7からも分かるように、符号化情報bから得られる動き情報を用いて動き補償を行っているため、動画像符号化処理で処理負荷の高い動き探索処理が不要になるため、高速な符号化処理を実現することができる。
【0036】
図7で、再量子化部72はレート制御情報を用いて再量子化を行うことができる。この場合、レート制御情報から得られる配分ビット量を基に量子化ステップを決定して再量子化を行うことができる。また、配分ビット量を決定する際に、画面の複雑度を用いることができるが、先に述べたように、画面の複雑度として入力圧縮動画像を部分復号して得られる量子化情報から局所的、画面全体の複雑度を予測して利用することも可能で、これにより、画面の偏差測定などの処理を削減することが可能となる。
【0037】
ただし、例えば、元の画像のコントラストが高く、ロゴ画像のコントラストが低い場合はロゴ合成比率が高くても元の画像の影響が高くなるため、前述の動き量MV=0にするよりも元のMPEGデータ中の動き補償予測をそのまま用いた方が符号化効率を高めることができる。逆にロゴ画像のコントラストが高く、元の画像のコントラストが低い場合は、ロゴ合成比率が低くてもロゴ画像の強度が高くなるため、動き量MV=0として符号化を行った方が符号化効率を高められる可能性がある。したがって、このような場合は、挿入後の画像の符号化量が小さくなるように適応的に動き補償予測を行うことが望ましい。
【0038】
このためには、これら2つの方法を比較して符号量の小さくなる予測方法を選択することができる。この場合、ロゴ挿入後の画像の動き補償予測誤差量を比較する。比較の方法としては、図8に示すような図5の変形例を用いることができる。この場合、動き補償予測誤差のDCT係数量を動き補償予測誤差量として用いる。一例としてMV=0とした時のDCT係数量をNDO、元の動き補償予測を用いた場合のDCT係数量をNDMとしてNDOがNDMより小さい場合にMV=0として符号化し、逆の場合には元の動き補償予測を用いる。DCT係数量としては、ブロック内の0でないDCT係数の個数やDCT係数の絶対値和を用いることができる。
【0039】
ここに、図8は、図5の変形例の要部のフローチャートを示し、図9は該図8の動作を実現するための前記ロゴ領域部分符号化部5の機能ブロック図を示す。なお、図8において、図5と同一ステップは図示を省略されている。また、図9において、図7と同一または同等物には同じ符号が付されている。
【0040】
図8が図5と違うところは、ステップS8’のみであり、他の処理は同一である。すなわち、ステップS8’では、図9の係数カウンタ81のカウント値(DCT係数量)NDOが前記NDMより小さいか否かの判断がなされる。そして、この判断が肯定の時にはステップS9に進んで動きベクトルMVを0としてインターフレーム符号化を行う。一方、否定の時にはステップS10に進んで入力MPEGデータの動きベクトルMVを再利用してインターフレーム化を行う。
【0041】
ここに、前記計数カウンタ81は予測誤差情報量であるDCT係数80をカウントするものであり、ステップS8’のNDO<NDMが成立するということは予測誤差情報量のDCT係数が小さい、つまり画像の動きが小さいということであるから、動きベクトルMVを強制的に0にして処理量を軽減する。逆に、NDO<NDMが不成立であるということは、予測誤差情報量のDCT係数が大きい、つまり画像の動きが大きいということであるから、動きベクトルMVとして入力MPEGデータの動きベクトルMVを再利用する。なお、図9のロゴ領域部分符号化部5においても、前記図5の制御を使用できることは明らかである。
【0042】
次に、図10は、図1の非ロゴ領域部分符号化部6または前記ステップS12(図5参照)の再符号化を示すものである。該非ロゴ領域部分符号化部6は、前記符号化情報bの量子化パラメータQPを再利用したり、レート制御部7からのレート制御情報を再利用したりして、ブロックDCT係数dを再量子化する再量子化部101と、可変長符号化部(VLC)102からなる。該再量子化部101は、ロゴ挿入フレームでない場合は、前記符号化情報bの量子化パラメータQPを再利用し、ロゴ挿入フレームであるがロゴ挿入領域でない画像には前記レート制御情報に従って再量子化するのが好適である。これは、ロゴの挿入により、符号化におけるビット配分が変動するためである。
【0043】
なお、変形例として、上記量子化はロゴ領域にも同様に利用することができる。ただし、インター符号化の場合、量子化に伴う誤差雑音が累積する可能性がある。
【0044】
前記した実施形態では、入力データがMPEG圧縮データである場合、またロゴ画像を例にして説明したが、本発明はこれに限定されず他の圧縮方式で圧縮されたデータである場合あるいはロゴ画像以外の画像にも適用することができる。
【0045】
また、前記の実施形態ではMPEG方式について説明したが、これに限るものではない。ベクトル量子化やウェーブレット変換などの量子化符号化や変換符号化方式においても利用できる。
【0046】
【発明の効果】
以上の説明から明らかなように、本発明によれば、小さな処理量で、元画像の一部分に、画像例えばロゴ画像を挿入することができるようになる。
【0047】
また、本発明によれば、画像挿入開始フレーム全体の符号化モードが双方向予測符号化フレームであっても、ビット量の不足を招くことなく、また画質の劣化を招くことなく、画像挿入部分を高速かつ高効率で再圧縮することができるようになる。
【0048】
また、本発明によれば、画像挿入部分の画質劣化を招くことなく、画像挿入部分を再圧縮することができるようになる。
【図面の簡単な説明】
【図1】 本発明の一実施形態の概略の構成を示すブロック図である。
【図2】 図1の部分復号部の一具体例を示すブロック図である。
【図3】 図1のロゴ情報供給部の一具体例を示すブロック図である。
【図4】 図1のロゴ情報挿入部の一具体例を示すブロック図である。
【図5】 本実施形態の要部の動作を説明するフローチャートである。
【図6】 図5のステップS4〜S7の処理の説明図である。
【図7】 図1のロゴ領域部分符号化部の一具体例を示すブロック図である。
【図8】 図5の変形例の変形部分のみを示すフローチャートである。
【図9】 図1のロゴ領域部分符号化部の他の具体例を示すブロック図である。
【図10】 図1の非ロゴ領域部分符号化部の一具体例を示すブロック図である。
【図11】 従来装置の一例の構成を示すブロック図である。
【符号の説明】
1・・・部分復号部、2・・・ロゴ挿入領域分離部、3・・・ロゴ情報挿入部、4・・・ロゴ情報供給部、5・・・ロゴ領域部分符号化部、6・・・非ロゴ領域部分符号化部、7・・・レート制御部、8・・・ロゴ挿入制御部。
Claims (15)
- 入力動画像データを部分復号する部分復号手段と、
該部分復号手段により部分復号されたデータの一部に画像を挿入する画像挿入手段と、
該画像挿入手段により挿入された画像挿入領域を部分圧縮する部分符号化手段と、
該部分符号化手段で再圧縮されたデータのビット量を目的のビット量に制御するレート制御手段とを具備し、
前記画像挿入手段は、任意の合成比率により画像を挿入し、
前記部分符号化手段は、前記画像の挿入を開始する画像挿入開始フレームにおける画像挿入領域の符号化モードを、該画像挿入開始フレームのピクチャタイプにより決定し、該画像挿入開始フレームがイントラ符号化フレーム又は前予測インター符号化フレームの場合は、前記画像挿入領域をイントラ符号化し、該画像挿入開始フレームが双方向予測符号化フレームの場合は、前記画像挿入開始フレームにおける画像挿入領域はインターフレーム符号化を行い、該画像挿入開始フレームが参照可能なフレームにおいて該画像挿入領域をイントラ符号化することを特徴とする圧縮動画像データの画像挿入装置。 - 請求項1に記載の圧縮動画像データの画像挿入装置において、
前記部分符号化手段は、前記画像挿入領域と画像非挿入領域に応じて、動き補償予測方法を変えることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項1または2に記載の圧縮動画像データの画像挿入装置において、
前記部分符号化手段において行われる量子化は、前記入力圧縮動画像データの量子化情報と、レート制御手段からのビット量制御情報を用いて量子化制御を行われることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項1に記載の圧縮動画像データの画像挿入装置において、
前記入力圧縮動画像データの動き情報を用いることにより、動き探索処理を削減することを特徴とする圧縮動画像データの画像挿入装置。 - 請求項1に記載の圧縮動画像データの画像挿入装置において、
前記画像挿入領域においてインターフレーム符号化を用いた場合動き量を0とし、画像非挿入領域では前記入力圧縮動画像データ中の動き情報をそのまま用いて符号化することを特徴とする圧縮動画像データの画像挿入装置。 - 請求項1に記載の圧縮動画像データの画像挿入装置において、
前記画像挿入領域においてインターフレーム符号化を用いた場合動き量を0または前記入力圧縮動画像データ中の動き情報をそのまま用い、画像非挿入領域では前記入力圧縮動画像データ中の動き情報をそのまま用いて符号化することを特徴とする圧縮動画像データの画像挿入装置。 - 請求項1ないし6のいずれかに記載の圧縮動画像データの画像挿入装置において、
前記部分符号化手段は、挿入画像の前記合成比率に応じて、動き補償予測方法を変更することを特徴とする圧縮動画像データの画像挿入装置。 - 請求項7に記載の圧縮動画像データの画像挿入装置において、
前記挿入画像の合成比率が予め定められた閾値より大きい場合は動き量を0とし、該合成比率が該閾値以下の場合は前記入力圧縮動画像データ中の動き量をそのまま用いて符号化することを特徴とする圧縮動画像データの画像挿入装置。 - 請求項8に記載の圧縮動画像データの画像挿入装置において、
前記合成比率として、重み付け値αを用いることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項1ないし6のいずれかに記載の圧縮動画像データの画像挿入装置において、
前記部分符号化手段は、動き量を0とした場合の予測誤差情報量と、元の動き補償予測を用いた場合の予測誤差情報量とを比較し、前者の予測誤差情報量が後者の予測誤差情報量より小さい場合に動き量を0として符号化し、大きい場合には前記元の動き補償予測を用いることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項10に記載の圧縮動画像データの画像挿入装置において、
前記予測誤差情報量は、非零DCT係数の個数や絶対和であることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項1ないし11のいずれかに記載の圧縮動画像データの画像挿入装置において、
前記部分符号化手段において行われる量子化は、イントラ符号化またはインターフレーム符号化された変換係数を直接量子化して用いることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項1ないし11のいずれかに記載の圧縮動画像データの画像挿入装置において、
前記部分符号化手段において行われる量子化は、画像挿入変換係数を入力とし、インター符号化された変換係数を部分的に復号して動き補償予測し、該動き補償予測後に変換した変換係数を用いて前記画像挿入変換係数の予測誤差係数を得、該予測誤差係数を量子化して用いることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項12または13に記載の圧縮動画像データの画像挿入装置において、
前記量子化の制御は、画面の画像の複雑度に応じた制御を行い、該複雑度として前記入力圧縮動画像データの量子化情報を用いることを特徴とする圧縮動画像データの画像挿入装置。 - 請求項1ないし14のいずれかに記載の圧縮動画像データの画像挿入装置において、
前記部分復号手段は、前記入力圧縮動画像データから逆量子化された変換符号化係数までを復号する処理をすることを特徴とする圧縮動画像データの画像挿入装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003091243A JP4708680B2 (ja) | 2003-03-28 | 2003-03-28 | 圧縮動画像データの画像挿入装置 |
US10/805,328 US8774264B2 (en) | 2003-03-28 | 2004-03-22 | Image insertion device for compressed video data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003091243A JP4708680B2 (ja) | 2003-03-28 | 2003-03-28 | 圧縮動画像データの画像挿入装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004304231A JP2004304231A (ja) | 2004-10-28 |
JP4708680B2 true JP4708680B2 (ja) | 2011-06-22 |
Family
ID=32985310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003091243A Expired - Fee Related JP4708680B2 (ja) | 2003-03-28 | 2003-03-28 | 圧縮動画像データの画像挿入装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8774264B2 (ja) |
JP (1) | JP4708680B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7962932B2 (en) * | 2006-09-27 | 2011-06-14 | Scenera Technologies, Llc | Methods, systems, and computer program products for presenting a message on a display based on a display based on video frame types presented on the display |
CN102244779B (zh) * | 2010-05-11 | 2014-07-30 | 联想(北京)有限公司 | 数据的发送和接收方法及设备、数据传输*** |
US9542611B1 (en) * | 2011-08-11 | 2017-01-10 | Harmonic, Inc. | Logo detection for macroblock-based video processing |
JP5627617B2 (ja) * | 2012-02-22 | 2014-11-19 | 株式会社東芝 | 画像処理装置及び画像表示システム |
WO2013189543A1 (en) * | 2012-06-21 | 2013-12-27 | Telefonaktiebolaget L M Ericsson (Publ) | Apparatus and method for coding a video signal |
CN105474642B (zh) * | 2014-05-22 | 2018-10-26 | 微软技术许可有限责任公司 | 使用频域差对图像集合重新编码的方法、***以及介质 |
EP3029942B1 (en) | 2014-12-04 | 2017-08-23 | Axis AB | Method and device for inserting a graphical overlay in a video stream |
US11256528B2 (en) | 2018-10-26 | 2022-02-22 | Nvidia Corporation | Individual application window streaming suitable for remote desktop applications |
EP3672248B1 (en) | 2018-12-21 | 2021-01-27 | Axis AB | A method and system for adding image content that contains one or more graphical objects to an image frame using an encoder |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5317397A (en) * | 1991-05-31 | 1994-05-31 | Kabushiki Kaisha Toshiba | Predictive coding using spatial-temporal filtering and plural motion vectors |
US5805228A (en) * | 1996-08-09 | 1998-09-08 | U.S. Robotics Access Corp. | Video encoder/decoder system |
US6750919B1 (en) * | 1998-01-23 | 2004-06-15 | Princeton Video Image, Inc. | Event linked insertion of indicia into video |
US6895048B2 (en) * | 1998-03-20 | 2005-05-17 | International Business Machines Corporation | Adaptive encoding of a sequence of still frames or partially still frames within motion video |
US6226041B1 (en) * | 1998-07-28 | 2001-05-01 | Sarnoff Corporation | Logo insertion using only disposable frames |
US6373530B1 (en) * | 1998-07-31 | 2002-04-16 | Sarnoff Corporation | Logo insertion based on constrained encoding |
JP3789048B2 (ja) | 1999-02-22 | 2006-06-21 | 株式会社東芝 | 動画像再符号化装置 |
GB2356507A (en) * | 1999-11-05 | 2001-05-23 | Snell & Wilcox Ltd | Method of encoding a video signal to enable logo insertion |
KR20020001767A (ko) * | 2000-01-14 | 2002-01-09 | 요트.게.아. 롤페즈 | 엔코딩된 신호에 간단한 로고 삽입 |
US6621866B1 (en) * | 2000-01-28 | 2003-09-16 | Thomson Licensing S.A. | Method for inserting a visual element into an MPEG bit stream |
-
2003
- 2003-03-28 JP JP2003091243A patent/JP4708680B2/ja not_active Expired - Fee Related
-
2004
- 2004-03-22 US US10/805,328 patent/US8774264B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004304231A (ja) | 2004-10-28 |
US8774264B2 (en) | 2014-07-08 |
US20040190611A1 (en) | 2004-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3132456B2 (ja) | 階層的画像符号化方式、及び階層的画像復号方式 | |
KR101138393B1 (ko) | 부호화 모드에 따른 컬러 성분간 예측을 이용한 컬러 영상및 비디오 부호화/복호화 방법 및 장치 | |
US20060209952A1 (en) | Image encoding/decoding method and apparatus therefor | |
JP4196726B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
JPH06233137A (ja) | ディジタル信号の符号化装置及び復号装置 | |
KR20050074286A (ko) | 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화프로그램 | |
US20090296809A1 (en) | Encoding/decoding device, encoding/decoding method and storage medium | |
JP4708680B2 (ja) | 圧縮動画像データの画像挿入装置 | |
JPH0818976A (ja) | 動画像符号化/復号化装置 | |
KR20080108538A (ko) | 비디오 코딩 방법 | |
JP2003304538A (ja) | 画像符号化装置、画像復号化装置及びそれらの方法 | |
JP4224778B2 (ja) | ストリーム変換装置および方法、符号化装置および方法、記録媒体、並びに、プログラム | |
JP2003504986A (ja) | ドリフトの影響を受けない変換符号化器及び関連する方法 | |
US7428339B2 (en) | Pseudo-frames for MPEG-2 encoding | |
JP4826533B2 (ja) | 画像処理装置および画像処理方法、プログラム、並びに、記録媒体 | |
JP4120934B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
JP4511649B2 (ja) | 画像符号化方式および画像符号化装置 | |
US20060181650A1 (en) | Encoding method and device | |
JP4539028B2 (ja) | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム | |
JP4000581B2 (ja) | 画像符号化装置および方法 | |
JP3770466B2 (ja) | 画像符号化レート変換装置及び画像符号化レート変換方法 | |
JP4798652B2 (ja) | 動画像のレート変換装置 | |
JP4390009B2 (ja) | 符号化装置及び方法、画像処理システム | |
JPH11234675A (ja) | 動画像符号化装置及び方法、動画像復号装置及び方法並びに記録媒体 | |
JP2005101914A (ja) | 映像信号復号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070611 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081128 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20081208 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110317 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4708680 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |