JPH11261966A - Video coder and video coding method - Google Patents
Video coder and video coding methodInfo
- Publication number
- JPH11261966A JPH11261966A JP6136698A JP6136698A JPH11261966A JP H11261966 A JPH11261966 A JP H11261966A JP 6136698 A JP6136698 A JP 6136698A JP 6136698 A JP6136698 A JP 6136698A JP H11261966 A JPH11261966 A JP H11261966A
- Authority
- JP
- Japan
- Prior art keywords
- video
- area
- stream
- replacement
- replaceable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明はＭＰＥＧ２ビデオス
トリームを用いた映像放送に有用な映像符号化装置およ
び映像符号化方法に関する。The present invention relates to a video encoding device and a video encoding method useful for video broadcasting using an MPEG2 video stream.
【０００２】[0002]
【従来の技術】近年、放送、通信、蓄積メディアなどへ
の応用が期待されている技術にＭＰＥＧ２（ＩＳＯ／Ｉ
ＥＣ１３８１８）に代表されるディジタル動画像符号化
技術がある。2. Description of the Related Art In recent years, MPEG2 (ISO / I / I) is expected to be applied to broadcasting, communication, and storage media.
There is a digital video coding technology represented by EC13818).
【０００３】周知の通り、ＭＥＰＧ２による動画像符号
化においては、動き補償と呼ばれる方式により符号化を
行うフレームまたはフィールドを、過去や未来のフレー
ムまたはフイールドの類似する部分から予測し、その残
差を符号化することにより高能率な符号化を実現してい
る。従って、復号化するにはその逆の手順を実施する必
要がある。[0003] As is well known, in moving picture coding by MPEG2, a frame or field to be coded by a method called motion compensation is predicted from similar parts of past or future frames or fields, and the residual is predicted. The encoding realizes highly efficient encoding. Therefore, the reverse procedure must be performed for decoding.
【０００４】ところで、ビデオオンデマンドなどのよう
な映像放送等を考えた場合、ユーザに番組内容を安価な
料金で、あるいは無料で提供したりすることが考えられ
るが、そのためにはコマーシャル（ＣＭ）を画像の一部
に挿入して提供すると云った途が考えられる。この場
合、商業テレビ放送で行っているような番組の途中にＣ
Ｍのみの放送時間帯を組み入れると云う方式は、ビデオ
オンデマンドの場合、スキップ操作を適宜行うことでＣ
Ｍ視聴を避けて鑑賞される懸念があるため、ＣＭ提供者
の利益を考えると、画面の一部の領域を利用してそこに
ＣＭを挿入しておくという対策が考えられる。[0004] By the way, in consideration of video broadcasting such as video-on-demand, it is conceivable to provide program contents to users at low rates or free of charge. May be inserted into a part of the image and provided. In this case, C may appear in the middle of a program like a commercial TV broadcast.
The method of incorporating the broadcast time zone of only M is a method for performing video skipping by appropriately performing a skip operation in the case of video on demand.
Since there is a concern that the user may watch the program while avoiding M viewing, there is a measure to insert a CM into a part of the screen using the area in consideration of the profit of the CM provider.
【０００５】そして、これにより、ＣＭをカットして番
組を視聴されてしまうと云う問題を回避できるようにな
る。[0005] Thus, it is possible to avoid the problem that the CM is cut and the program is viewed.
【０００６】しかしながら、その一方で次のような問題
が残る。すなわち、画像は、ディジタル録画する場合、
容量が膨大なものとなるため、通常は、映像符号化装置
で動画像符号化して収録する。そして、標準的な動画像
符号化にはＭＰＥＧ２を使用する。従って、符号化済み
の収録画像中にＣＭやロゴなどを挿入するためには、収
録後の画像にＣＭ挿入やロゴ挿入のための編集を施す必
要がある。However, on the other hand, the following problem remains. That is, if the image is digitally recorded,
Since the capacity is enormous, moving images are usually encoded by a video encoding device and recorded. MPEG2 is used for standard moving picture coding. Therefore, in order to insert a CM or a logo into an encoded recorded image, it is necessary to edit the recorded image to insert a CM or a logo.
【０００７】しかし、ＭＰＥＧ２用の従来の映像符号化
装置での符号化済み画像のデータであるＭＰＥＧ２ビデ
オストリームにおいて、そのストリームで得られる画面
上の一部の領域をＣＭやロゴなどの他の映像で置換しよ
うとする場合、従来の映像符号編集装置ではＭＰＥＧ２
ビデオストリームを復号し、得られた画像の所定部分を
置換し、映像符号化装置で再符号化する必要があった。However, in an MPEG2 video stream which is data of an encoded image in a conventional video encoding apparatus for MPEG2, a partial area on a screen obtained by the stream is used for another image such as a CM or a logo. In the conventional video code editing apparatus, the MPEG2
It was necessary to decode the video stream, replace a predetermined part of the obtained image, and re-encode it with a video encoding device.
【０００８】[0008]
【発明が解決しようとする課題】ＭＰＥＧ２ビデオスト
リームにて得られる画面上の一部領域をＣＭなどの他の
映像で置換する場合、または放送局のロゴなどを上書き
した映像で置換する場合、従来の映像符号化装置ではＭ
ＰＥＧ２ビデオストリームを復号し、得られた画像の所
定部分を置換又は上書きし、営巣符号化装置で再符号化
する必要がある。When replacing a partial area on the screen obtained by an MPEG2 video stream with another image such as a CM, or replacing an image in which a logo of a broadcasting station or the like is overwritten, a conventional method is used. In the video encoding device of
It is necessary to decode the PEG2 video stream, replace or overwrite a predetermined part of the obtained image, and re-encode it with a nesting encoder.
【０００９】しかし、一度復号化してから再符号化する
ためには映像符号編集装置内に復号化装置と符号化装置
が必要となるため装置が大きくなる。しかも復号化、再
符号化を行うことにより画質が劣化する。また、ビデオ
オンデマンドなどの場合、例えば、契約視聴者を正規料
金会員とエコノミー会員や無料会員等に分けていずれの
会員かにより、ＣＭなし番組視聴や、ＣＭ付番組視聴な
どをしたり、また、ＣＭを入れるにしても、地域別ある
いは年齢別、趣味別などといった具合に、契約内容に応
じて種々、対応を変えるようにしたいといった多様化、
差別化をする要求もある。しかし、これに応えるため
に、ＣＭなしの番組をＭＰＥＧ２ビデオストリームとし
て用意して、これを必要に応じＣＭ付とする場合、ま
ず、番組を復号化し、この復号化したディジタル信号の
画像における画面内の一部にＣＭを付加すべく編集処理
してから符号化して番組を伝送することになる。[0009] However, in order to perform decoding once and then re-encode, a decoding apparatus and an encoding apparatus are required in the video code editing apparatus, so that the apparatus becomes large. Moreover, image quality is degraded by performing decoding and re-encoding. In the case of video-on-demand, for example, a contract viewer is divided into a regular fee member, an economy member, a free member, and the like. , Diversification such as wanting to change various responses according to the contract content, such as by region, age, hobby, etc.
There are also demands for differentiation. However, in order to respond to this, when a program without CM is prepared as an MPEG2 video stream, and this is added with CM if necessary, first, the program is decoded and the decoded digital signal is displayed on the screen in the image of the image. Is edited to add a CM to a part of it, then encoded and transmitted.
【００１０】この場合、復号化と再符号化処理が加わる
ために、その分、遅延が生じ、高速処理が可能なシステ
ムにしないと実用に供するには不向きとなる。In this case, since the decoding and the re-encoding process are added, a delay is generated by that amount, and the system is not suitable for practical use unless a system capable of high-speed processing is used.
【００１１】そこで、この発明の目的とするところは、
ＭＰＥＧ２ビデオストリームの画面の一部領域を他の映
像で置換える場合に、画像の劣化を生じることなく、ま
た、遅延を最小限に抑えることができて、十分に実用に
供することができるようにした符号化画像編集装置を提
供することにある。Therefore, the object of the present invention is to:
In the case where a partial area of the screen of the MPEG2 video stream is replaced with another image, the image is not degraded, the delay can be minimized, and the image can be sufficiently put to practical use. To provide a coded image editing device.
【００１２】[0012]
【課題を解決するための手段】上記目的を達成するた
め、本発明は次のような装置を用いる。In order to achieve the above object, the present invention uses the following apparatus.
【００１３】画面上の一部の領域を例えばＣＭなどで完
全に置き換える場合には、第一の発明の映像符号化装置
を用いて符号化する。この映像符号化装置では、映像を
ＭＰＥＧ２ビデオストリームに映像符号化する際に画面
領域を置換可能領域、置換不能領域の２つの領域に分割
し、置換不能領域の予測符号化の参照画面には置換不能
領域のみを用いる。この際２つの領域はスライス単位で
分割する。When a partial area on the screen is completely replaced with, for example, a CM, encoding is performed using the video encoding apparatus of the first invention. In this video encoding apparatus, when a video is video-encoded into an MPEG2 video stream, a screen area is divided into two areas, a replaceable area and a non-replaceable area, and the reference screen for predictive coding of the non-replaceable area is replaced with a reference screen. Only the impossible area is used. At this time, the two regions are divided in slice units.
【００１４】画面上の一部の領域に例えば放送局のロゴ
などを上書きした映像で置き換える場合には、第二の映
像符号化装置を用いて符号化する。この映像符号化装置
では、映像をＭＰＥＧ２ビデオストリームに映像符号化
するの際に画面領域を置換可能領域、置換不能領域の２
つの領域に分割し、置換不能領域の予測符号化の参照画
面には置換不能領域のみを用いた上に、置換可能領域は
ピクチャータイプに関わらずイントラ符号化する。この
際２つの領域はマクロブロック単位で分割する。In the case where a partial area on the screen is replaced with a video in which, for example, a logo of a broadcasting station is overwritten, the video is coded using a second video coding device. In this video encoding apparatus, when a video is video-encoded into an MPEG2 video stream, the screen area is replaced with a replaceable area and a non-replaceable area.
In this case, only the non-replaceable area is used as a reference screen for predictive coding of the non-replaceable area, and the replaceable area is intra-coded regardless of the picture type. At this time, the two regions are divided on a macroblock basis.
【００１５】二つの発明とも置換可能領域に関する情報
（置換可能領域が存在すること、置換可能領域の種類、
領域の画面上の位置、大きさ）を記述したユーザーデー
タをストリームに多重する。In both of the inventions, information on the replaceable area (the existence of the replaceable area, the type of the replaceable area,
User data describing the position and size of the area on the screen is multiplexed into the stream.
【００１６】こうして作られたＭＰＥＧ２ビデオストリ
ームに対して、映像符号編集装置は置換可能領域の映像
を加工する。The video code editing apparatus processes the video in the replaceable area for the MPEG2 video stream thus created.
【００１７】第一の映像符号化装置で作られたストリー
ムの置換可能領域をＣＭなどで置換する場合、置換可能
領域のスライスを置換用のスライスで置き換える。When replacing a replaceable area of a stream created by the first video encoding device with a CM or the like, a slice of the replaceable area is replaced with a replacement slice.
【００１８】第二の映像符号化装置で作られたストリー
ムの置換可能領域にロゴなどを上書きした映像で置換す
る場合、ＭＰＥＧ２ビデオストリームの置換可能領域の
みを一旦、デコードする。そして、その再生画像にロゴ
などを上書きし、再びイントラ符号化する。こうして得
られたストリームで置換可能領域を置き換える。When replacing a replaceable area of a stream created by the second video encoding device with a video in which a logo or the like is overwritten, only the replaceable area of the MPEG2 video stream is once decoded. Then, a logo or the like is overwritten on the reproduced image and intra-encoded again. The replaceable area is replaced with the stream thus obtained.
【００１９】いずれの映像符号編集装置の場合も、置換
後必要に応じて上書き可能領域に関する情報を記述した
ユーザーデータを消去する。In any of the video code editing apparatuses, the user data describing information on the overwritable area is deleted as needed after replacement.
【００２０】本発明を用いることにより、第一の発明で
はＭＰＥＧ２ビデオストリームを復号することなく一部
分を別の映像（例えばＣＭ）で置換したストリームを作
ることが出来るようになるもので、ＭＰＥＧ２における
ビデオストリームを復号化、再符号化することなく画面
の一部分を別の映像（例えばＣＭ（コマーシャルメディ
ア）で置換したストリームを作ることが出来る。また、
第二の発明ではストリームの一部を復号、映像編集、再
符号化するだけで映像に例えば放送局のロゴを上書きす
ることが出来る。By using the present invention, the first invention makes it possible to create a stream in which a part is replaced with another video (for example, CM) without decoding the MPEG2 video stream. A stream in which a part of the screen is replaced with another video (for example, CM (Commercial Media) can be created without decoding and re-encoding the stream.
In the second invention, it is possible to overwrite a video with, for example, a logo of a broadcasting station, by simply decoding, editing, and re-encoding a part of the stream.
【００２１】[0021]
【発明の実施の形態】以下、本発明の実施例について、
図面を参照して説明する。BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described.
This will be described with reference to the drawings.
【００２２】（実施例１）図１に映像符号化装置の全体
の構成図を示す。図において、入力された動画像信号２
３は、動き検出部１１によりマクロブロック単位の動き
検出を行い、フレーム内符号化を行う場合は入力画像
を、動き補償予測フレーム間符号化を行う場合は、フレ
ームメモリ１８に記録されたローカルデコード画像との
動き補償誤差を、それぞれＤＣＴ（離散コサイン変換）
部１３，４３、量子化部１４、可変長符号化部２０によ
りにより符号化し、動きベクトル、予測モード情報等と
ともにビットストリーム２４として出力する。(Embodiment 1) FIG. 1 shows an overall configuration diagram of a video encoding apparatus. In the figure, an input moving image signal 2
Reference numeral 3 denotes a case where the motion detection unit 11 performs motion detection in units of macroblocks, and performs input decoding when performing intra-frame coding and local decoding recorded in the frame memory 18 when performing motion compensated prediction inter-frame coding. DCT (Discrete Cosine Transform)
The encoding is performed by the units 13 and 43, the quantization unit 14, and the variable-length encoding unit 20, and is output as a bit stream 24 together with a motion vector, prediction mode information, and the like.
【００２３】量子化後の信号は、逆量子化部１５、逆Ｄ
ＣＴ部１６及び予測画面との加算により復号を行い、参
照画面としてフレームメモリ１８に記録する。全体制御
部は、可変長符号化部２０から得られる発生符号量情報
に基づいて、全体制御部２１により所定の符号化所定の
符号化ビットレートになるように、フィードバック制御
によって量子化部１４における量子化スケール値を決定
する他に、各ブロックのパラメータ設定なども行う。映
像符号化装置全体に対する外部から指示はパラメータ入
力部２２を介して行う。The signal after quantization is supplied to an inverse quantization unit 15 and an inverse D
Decoding is performed by addition to the CT unit 16 and the prediction screen, and recorded in the frame memory 18 as a reference screen. The overall control unit performs feedback control based on the generated code amount information obtained from the variable length encoding unit 20 so that the overall control unit 21 performs predetermined encoding and a predetermined encoding bit rate. In addition to determining the quantization scale value, parameters for each block are also set. Instructions from the outside to the entire video encoding device are performed via the parameter input unit 22.
【００２４】本システムでは、画面の一部に必要に応じ
て、後からＣＭなどの画像を挿入したりすることが出来
るようにするために、映像を符号化する際に、画面を他
の画像と自由に置き換えることができる置換可能領域Ａ
１と、他の画像と置き換えができない置換不能領域Ａ２
に分けるようにする。In the present system, when a picture is encoded, the picture is changed to another image so that a picture such as a CM can be inserted later into a part of the picture if necessary. Replaceable area A that can be freely replaced with
1 and a non-replaceable area A2 that cannot be replaced with another image
To be divided into
【００２５】例えば、図２の如きである。ラスタスキャ
ンのライン１６本分を１スライスとすると、この図２の
例では、画面の上から９６ライン（６スライス分）を置
換可能領域Ａ１、その他の部分を置換不能領域Ａ２とし
ていることを示している。For example, as shown in FIG. Assuming that 16 lines of the raster scan are 1 slice, in the example of FIG. 2, 96 lines (for 6 slices) from the top of the screen are set as the replaceable area A1, and the other parts are set as the non-replaceable area A2. ing.
【００２６】本発明システムにおいては、映像符号化装
置を構成する要素の一つである動き検出部１１において
動き検出をする際に、置換不能領域Ａ２の画素を参照画
面として動き検出する場合には、置換不能領域Ａ２の画
素のみを参照画面として用いる。In the system of the present invention, when motion detection is performed by the motion detection unit 11, which is one of the elements constituting the video encoding apparatus, when motion detection is performed using pixels in the non-replaceable area A2 as a reference screen, Only the pixels in the non-replaceable area A2 are used as the reference screen.
【００２７】符号化に際して置換可能領域Ａ１はＧＯＰ
単位に設定することが出来る。この際、イントラ符号化
用量子化マトリックス“intra_quantiser_matrix”，ノ
ンイントラ符号化用量子化マトリックス“non_intra_qu
antiser_matrix”は置換可能領域が設定されているスト
リームを通して一定とする。またＭＰＥＧ２の画像には
ピクチャタイプとして、Ｉピクチャ，Ｐピクチャ，Ｂピ
クチャがあるが、これらそれぞれに対してピクチャタイ
プ毎に置換可能領域Ａ１の占めるスライス（この例の場
合、６スライス分）の合計符号量の最低量を設定し、符
号化する際にはピクチャタイプ毎に置換可能領域Ａ１の
スライスの合計符号量が最低量以上になるように符号量
制御を行ってもよい。これらの制御パラメータはパラメ
ータ入力部１６より入力する。In the encoding, the replaceable area A1 is a GOP
Can be set in units. At this time, the quantization matrix for intra coding “intra_quantiser_matrix” and the quantization matrix for non-intra coding “non_intra_qu
“antiser_matrix” is constant throughout the stream in which the replaceable area is set. In addition, MPEG2 images include I picture, P picture, and B picture as picture types, and these can be replaced for each picture type. The minimum amount of the total code amount of the slice (six slices in this example) occupied by the area A1 is set, and when encoding, the total code amount of the slices of the replaceable area A1 is equal to or more than the minimum amount for each picture type. The code amount control may be performed such that the following control parameters are input from the parameter input unit 16.
【００２８】上記制限を付けた符号化を行つた場合に
は、ストリームのsequence_header()に続くシーケンス
拡張部“sequence_extention()”部分におけるユーザに
解放されたユーザデータ“user_data() ”部分に上記符
号化に関するデータを記述する。この記述内容として
は、 ・「参照画面の制限を行ったこと」 ・「置換可能領域のスライスの番号」 ・「ストリーム中に現れるＩ，Ｐ，Ｂピクチャの周期は
一定か否か」 ・「周期が一定の場合のＩピクチャの周期とＩ又はＰピ
クチャの周期」 ・「置換可能領域のスライスの符号量制御を行ったか否
か」 ・「符号量制御を行った場合のＩ，Ｐ，Ｂピクチャに割
り当てられた符号量」 などがあげられる。When the encoding with the above restriction is performed, the code is added to the user data "user_data ()" released to the user in the sequence extension "sequence_extention ()" following the sequence_header () of the stream. Describe the data related to conversion. The description contents include: "The reference screen has been restricted". "Slice number of the replaceable area". "Whether the period of I, P, and B pictures appearing in the stream is constant.""The period of the I picture and the period of the I or P picture when is constant""Whether or not the code amount control of the slice in the replaceable area has been performed" ・ "I, P and B pictures when the code amount control has been performed The amount of code assigned to the
【００２９】図３、図４、図５に“user_data() ”の記
述例を示す。これらのうち、図３はストリーム中に現れ
るＩ，Ｐ，Ｂピクチャの周期は一定で、置換可能領域Ａ
１のスライスの符号量制御を行った場合の記述例を示
し、また、図４はストリーム中に現れるＩ，Ｐ，Ｂピク
チャの周期は一定で、置換可能領域Ａ１のスライスの符
号量制御を行わなかった場合の記述例を示しており、そ
して、図５はストリーム中に現れるＩ，Ｐ，Ｂピクチャ
の周期は不定で置換不能領域のスライスの符号量制御を
行わなかった場合の記述例を示している。また、置換可
能領域が設定されているGOP には必ずこの“user_dat
a() ”を含む“sequence_extention()”を持つsequence
_header() がなければならない。FIGS. 3, 4 and 5 show examples of description of "user_data ()". Among these, FIG. 3 shows that the periods of the I, P, and B pictures appearing in the stream are constant, and the replaceable area A
FIG. 4 shows a description example in which the code amount of one slice is controlled, and FIG. 4 shows that the cycle of the I, P, and B pictures appearing in the stream is constant, and the code amount of the slice in the replaceable area A1 is controlled. FIG. 5 shows a description example in a case where the period of the I, P, and B pictures appearing in the stream is indefinite and the code amount control of the slice in the non-replaceable area is performed. ing. In addition, a GOP in which a replaceable area is set must always have this “user_dat
sequence with "sequence_extention ()" containing "a ()"
There must be a _header ().
【００３０】［映像符号編集装置］次に、映像符号編集
装置について説明する。実施例１における映像符号編集
装置の構成は図６に示す如きであり、ストリーム解析部
６１、ストリーム置換部６２、置換用ストリームライブ
ラリ６３とからなる。[Video Code Editing Apparatus] Next, the video code editing apparatus will be described. The configuration of the video code editing apparatus according to the first embodiment is as shown in FIG. 6, and includes a stream analysis unit 61, a stream replacement unit 62, and a replacement stream library 63.
【００３１】ここでストリーム解析部６１は、図１の構
成の映像符号化装置の最終段の出力段より出力される当
該映像符号化装置で作られたストリームを解析するため
のものであって、置換可能領域Ａ１のストリームである
か、置換不可能領域のストリームであるのかの解析を行
うためのものである。また、置換用ストリームライブラ
リ６３は置換する各種画像のストリームをライブラリと
して蓄えたものであり、自己の蓄えているライブラリ中
から、前記ストリーム解析部６１の解析結果に応じて所
定の置換用ストリームを選択してストリーム置換部６２
に与える機能を有するものである。また、ストリーム置
換部６２は前記ストリーム解析部６１の解析結果に応じ
て置換用ストリームライブラリ６３が出力するストリー
ムを置換可能領域Ａ１に置換して出力するものである。Here, the stream analyzing section 61 is for analyzing the stream generated by the video encoding device output from the final output stage of the video encoding device having the configuration of FIG. This is for analyzing whether it is a stream of the replaceable area A1 or a stream of the non-replaceable area. The replacement stream library 63 stores streams of various images to be replaced as a library, and selects a predetermined replacement stream from the library stored therein according to the analysis result of the stream analysis unit 61. And the stream replacement unit 62
Which has the function of giving The stream replacement unit 62 replaces the stream output by the replacement stream library 63 with the replaceable area A1 according to the analysis result of the stream analysis unit 61, and outputs the stream.
【００３２】次にこの映像符号編集装置の作用を説明す
る。ここでは上記図１の構成の映像符号化装置で作られ
たストリームを“元ストリーム”、置換する映像をＭＰ
ＥＧ２ビデオのスライスに符号化したものを“置換スラ
イス”と呼ぶ。また、元ストリームの置換可能領域のス
ライスを“元スライス”と呼ぶ。Next, the operation of the video code editing apparatus will be described. Here, the stream created by the video encoding apparatus having the configuration shown in FIG.
The coded EG2 video slice is referred to as a “replaced slice”. Also, a slice of the replaceable area of the original stream is called an “original slice”.
【００３３】置換スライスとして、以下の条件のものを
用意する。すなわち、 ・「置換スライスは、元ストリームと同じ“intra_quan
tiser_matrix”，“non_intra_quantiser_matrix”を使
っていること」 ・「置換スライスは、元ストリームの置換可能領域と同
じ表示サイズのスライスであること」 などである。また、置換スライスは以下に示す“ｔｙｐ
ｅ１”と“ｙｐｅ２”の２種類のストリームがあり、両
者で処理が異なる。A replacement slice having the following conditions is prepared. In other words: "The replacement slice is the same as the original stream," intra_quan
"tiser_matrix", "non_intra_quantiser_matrix" must be used "-" The replacement slice must be the same display size as the replaceable area of the original stream. " The replacement slice is “type” shown below.
There are two types of streams, “e1” and “ype2”, and the processing differs between the two.
【００３４】［ｔｙｐｅ１］これは置換スライスが通常
のＭＰＥＧ２ビデオストリームから得られる場合であ
る。そして、この場合、Ｉ，Ｐ，Ｂピクチャそれぞれの
ピクチャタイプごとの符号量は一定値以下に制限されて
いる必要がある。また、Ｉ，Ｐ，Ｂピクチャの順序は一
定である必要がある。[Type 1] This is the case when the replacement slice is obtained from a normal MPEG2 video stream. In this case, the code amount for each picture type of I, P, and B pictures needs to be limited to a certain value or less. Also, the order of the I, P, and B pictures needs to be constant.
【００３５】［ｔｙｐｅ２］これは置換スライスが静止
画の場合であり、この場合には以下のスライスの構成に
する。[Type2] This is a case where the replacement slice is a still image. In this case, the following slice configuration is adopted.
【００３６】・表示する静止画の内容で構成される“in
tra_macroblock”で構成されたスライスを用意する。こ
の際、“macroblock_type ”は“Ppicture”のものを用
いる。元ストリームのＰピクチャの置換に用いる。"In" composed of the contents of the still image to be displayed
Prepare a slice composed of “tra_macroblock.” At this time, use “macroblock_type” of “Ppicture”, which is used to replace the P picture of the original stream.
【００３７】・スライスの最初と最後は前方の画面をそ
のまま用い、両者の間はスキップドマクロブロックで構
成されたスライスを用意する。この際、“macroblock_t
ype”は“Ppicture”のものを用いる。元ストリームの
Ｐピクチャの置換に用いる。At the beginning and end of the slice, the front screen is used as it is, and a slice composed of skipped macro blocks is prepared between the two. At this time, “macroblock_t
“ype” uses “Ppicture”, which is used to replace the P picture of the original stream.
【００３８】・スライスの最初と最後は後方の画面をそ
のまま用い、両者の間はスキップドマクロブロックで構
成されたスライスを用意する。この際、“macroblock_t
ype”は“Bpicture”のものを用いる。元ストリームの
Ｂピクチャの置換に用いる。At the beginning and end of the slice, the rear screen is used as it is, and a slice composed of skipped macro blocks is prepared between the two. At this time, “macroblock_t
“ype” uses “Bpicture”, which is used to replace the B picture of the original stream.
【００３９】ｔｙｐｅ１は元ストリームと同じＩ，Ｐ，
Ｂピクチャの順序の置換スライスである必要があるがｔ
ｙｐｅ２の場合は元ストリームのピクチャタイプに対応
したスライスを挿入するので、ピクチャタイプの順序だ
けスライスを用意する必要がない。Type1 is the same I, P,
It must be a replacement slice in the order of B pictures, but t
In the case of type 2, since a slice corresponding to the picture type of the original stream is inserted, it is not necessary to prepare slices in the order of the picture type.
【００４０】次に置換スライスで置換する手順を説明す
る。はめに、ｔｙｐｅ１の置換スライスで置換する場合
の手順を示す。Next, the procedure for replacing with a replacement slice will be described. First, the procedure for replacing with a type 1 replacement slice will be described.
【００４１】［ｔｙｐｅ１の置換スライスで置換する場
合の手順］ｔｙｐｅ１の置換スライスで置換する場合に
は図７、図８の手順に従う。[Procedure for Replacement with Type 1 Replacement Slice] When replacing with a type 1 replacement slice, the procedure shown in FIGS. 7 and 8 is followed.
【００４２】はじめに、置換開始前の処理（図７参照）
を行う。この処理は、Ｓ１からＳ４の手順に沿った処理
である。すなわち、 ［Ｓ１］ 図３〜図５に示した置換可能領域に関する
“user_data() ”を探す。見つかればＳ２に移り、見つ
からなければ置換を中止する。 ［Ｓ２］ “intra_quantiser_matrix”, “non_intra_
quantiser_matrix”をロードする。そして、Ｓ３に移
る。 ［Ｓ３］ 元ストリームの各ピクチャの置換可能領域の
符号量がピクチャタイプごとに下限値以上になってい
て、かつＩ，Ｐ，Ｂピクチャの順序は固定のものの場合
のみ置換可能であるので、その条件に合うものを探す。
条件に合えばＳ４に移り、合わなければ置換中止にす
る。 ［Ｓ４］ 置換可能領域のサイズ、“intra_quantiser_
matrix”, “non_intra_quantiser_matrix”、各ピクチ
ャのスライスの符号量がピクチャタイプ毎の下限値以
下、Ｉ，Ｐ，Ｂピクチャの順序が原ストリームと同じも
のを選ぶ。そして、その条件を満たすストリームがあれ
ばそれを置換開始する。条件を満たすものがなければ、
置換を中止する。First, processing before the start of replacement (see FIG. 7)
I do. This process is a process along the procedure from S1 to S4. That is, [S1] "user_data ()" for the replaceable area shown in FIGS. 3 to 5 is searched for. If found, the process moves to S2, and if not found, the replacement is stopped. [S2] “intra_quantiser_matrix”, “non_intra_
quantiser_matrix ”. Then, the process proceeds to S3. [S3] The code amount of the replaceable area of each picture of the original stream is equal to or larger than the lower limit for each picture type, and the order of I, P, and B pictures is Since it is possible to replace only fixed ones, search for one that meets the conditions.
If the condition is satisfied, the process proceeds to S4, and if not, the replacement is stopped. [S4] Size of replaceable area, “intra_quantiser_
matrix "," non_intra_quantiser_matrix ", the code amount of the slice of each picture is equal to or less than the lower limit for each picture type, and the order of I, P, B pictures is the same as the original stream. Start replacing it. If none of the conditions are met,
Abort replacement.
【００４３】［Ｓ５］置換可能領域に関する“user_dat
a() ”を消去するか否かを判定する。[S5] “user_dat related to replaceable area”
a () "is determined.
【００４４】［Ｓ６］消去する場合は、上記置換可能領
域に関する“user_data() ”を“0”で置換する。[S6] When erasing, "user_data ()" relating to the replaceable area is replaced with "0".
【００４５】実際の置換は次のようにする。 ［置換処理］置換処理は図８の如きであり、Ｓ２１から
Ｓ２５の手順を踏む。 ［Ｓ２１］ 元ストリームのＧＯＰ（Group of Picture
s ；ランダムアクセスを可能にするために、画面内だけ
で閉じた情報による符号化画面（フレーム内符号化画
面）を定期的に挿入し、このフレーム内符号化画面が少
なくとも一枚入った画面群構造を持つ。このような画面
群構造がＧＯＰである。）の先頭を探す。ＧＯＰの先頭
が見つかったならばＳ２２の処理に移る。 ［Ｓ２２］ 置換終了の条件（元ストリーム終了、置換
スライス終了、その他の置換終了条件）を満たしていな
いことを確認する。そして、満たしてないことが確認さ
れたならばＳ２３の処理に移り、満たしてないことが確
認されなければ置換終了する。 ［Ｓ２３］ ピクチャ毎に元スライスを置換スライスで
置き換えていく。そして、それを終えたならば、Ｓ２４
の処理に移る。The actual replacement is as follows. [Replacement Process] The replacement process is as shown in FIG. 8, and the procedure from S21 to S25 is performed. [S21] GOP (Group of Picture) of original stream
s: A screen group including at least one intra-frame coded screen that periodically inserts a coded screen (intra-frame coded screen) using information closed only within the screen to enable random access. With structure. Such a screen group structure is a GOP. Find the beginning of). If the head of the GOP is found, the process proceeds to S22. [S22] It is confirmed that the conditions for ending the replacement (the end of the original stream, the end of the replacement slice, and other replacement ending conditions) are not satisfied. If it is determined that the condition is not satisfied, the process proceeds to S23. If it is not determined that the condition is not satisfied, the replacement is terminated. [S23] The original slice is replaced with the replacement slice for each picture. And when it is completed, S24
Move on to processing.
【００４６】［Ｓ２４］ 置換スライスの符号量の方が
元スライスより多いか少ないかを判定する。元スライス
の方が少なければＳ２２に戻って以上の処理を繰り返
し、元スライスの方が多ければＳ２５の処理に移る。 ［Ｓ２５］ ここでは、置換スライスの符号量が不足す
る分、ストリームにスタッフィング（符号発生量が予定
より少ないとき、アンダーフローを防止するために挿入
するダミービット）を挿入する。こうして、置換スライ
スの符号量の方が元スライスより少ない場合は不足分だ
けスタッフィングを挿入する。以上が、ｔｙｐｅ１の置
換スライスで置換する場合の手順の例である。[S24] It is determined whether the code amount of the replacement slice is larger or smaller than that of the original slice. If the number of original slices is smaller, the process returns to S22 and the above processing is repeated. If the number of original slices is larger, the process proceeds to S25. [S25] Here, stuffing (dummy bits to be inserted to prevent underflow when the code generation amount is smaller than expected) is inserted into the stream to the extent that the code amount of the replacement slice is insufficient. In this manner, when the code amount of the replacement slice is smaller than that of the original slice, the stuffing is inserted by the shortage. The above is an example of the procedure in the case of performing replacement with the replacement slice of type 1.
【００４７】次にｔｙｐｅ２の置換スライスで置換する
場合の手順の一例を説明する。 ［ｔｙｐｅ２の置換スライスで置換する場合の手順］ｔ
ｙｐｅ２の置換スライスの置換の手順は図９，図１０の
如きである。 ［置換開始前の処理］まずはじめに、図９に示す置換開
始前の処理を実施する。Next, an example of a procedure in the case of replacing with a type 2 replacement slice will be described. [Procedure for Replacement with Replacement Slice of Type 2] t
The procedure for replacing the replacement slice of type 2 is as shown in FIGS. [Process Before Starting Replacement] First, the process before starting the replacement shown in FIG. 9 is performed.
【００４８】置換処理は図９の如きであり、Ｓ３１から
Ｓ３３の手順を踏む。 ［Ｓ３１］ まず、図３〜図５に示した置換可能領域に
関する“user_data()”を探す。見つかればＳ３２の処
理に移り、見つからなければ置換を中止する。The replacement process is as shown in FIG. 9 and follows the steps from S31 to S33. [S31] First, “user_data ()” for the replaceable area shown in FIGS. 3 to 5 is searched. If found, the process proceeds to S32, and if not found, the replacement is stopped.
【００４９】［Ｓ３２］ 次に、ビデオストリーム中の
イントラ（フレーム内予測符号化）量子化マトリックス
“intra_quantiser_matrix”の情報をロードする。そし
て、Ｓ３３の処理に移る。 ［Ｓ３３］置換スライスの中から置換可能領域のサイ
ズ、“intra_quantiser_matrix ”が元ストリームと同
じものを選ぶ。[S32] Next, information of an intra (intra-frame predictive coding) quantization matrix "intra_quantiser_matrix" in the video stream is loaded. Then, the process proceeds to S33. [S33] A slice having the same size as the original stream, that is, the size of the replaceable area, "intra_quantiser_matrix", is selected from the replacement slices.
【００５０】［Ｓ３４］置換可能領域に関する“user_d
ata() ”を消去するか否かを判定する。[S34] “user_d related to replaceable area
ata () "is determined.
【００５１】［Ｓ３５］消去する場合は、上記置換可能
領域に関する“user_data() ”を“0 ”で置換する。[S35] When erasing, "user_data ()" relating to the replaceable area is replaced with "0".
【００５２】実際の置換は次のようにする。 ［置換処理］置換処理は図１０の如きであり、Ｓ４１か
らＳ５０までの手順を踏む。 ［Ｓ４１］ まず、元ストリームのＧＯＰの先頭を探
す。そして、Ｓ４２の処理に移る。The actual replacement is as follows. [Replacement Processing] The replacement processing is as shown in FIG. 10 and follows the procedure from S41 to S50. [S41] First, the head of the GOP of the original stream is searched. Then, the process proceeds to S42.
【００５３】［Ｓ４２］ 置換終了の条件（元ストリー
ム終了、その他の置換終了条件）を満たしていないこと
を確認する。そして、満たしていないことが確認できた
ならば、Ｓ４３の処理に移る。もしも置換終了の条件を
満たしていたならば置換終了する。 ［Ｓ４３］ 元ストリームのピクチャのタイプをチェッ
クする。そして、ピクチャタイプに応じてＳ４４からＳ
４６までのいずれかの処理に移る。例えば、Ｉピクチャ
の場合は、Ｓ４４の処理に移り、Ｐピクチャの場合は、
Ｓ４５の処理に移り、Ｂピクチャの場合は、Ｓ４６の処
理に移る。 ［Ｓ４４］ Ｉピクチャの場合は、Ｉピクチャ用置換ス
ライスを採用する。そして、Ｓ４７の処理に移る。[S42] It is confirmed that the conditions for ending the replacement (the end of the original stream and other conditions for ending the replacement) are not satisfied. If it is confirmed that the condition is not satisfied, the process proceeds to S43. If the replacement completion condition is satisfied, the replacement is completed. [S43] The picture type of the original stream is checked. Then, depending on the picture type, S44 to S44
The process proceeds to one of the processes up to 46. For example, in the case of an I picture, the process proceeds to S44, and in the case of a P picture,
The process proceeds to S45, and in the case of a B picture, the process proceeds to S46. [S44] In the case of an I picture, a replacement slice for I picture is adopted. Then, the process proceeds to S47.
【００５４】［Ｓ４７］ 採用したＩピクチャ用置換ス
ライスの符号量が元スライスの符号量より小さいか大き
いかを確認する。その結果、小さければ、Ｓ４８の処理
に移って採用したＩピクチャ用置換スライスで置換す
る。そして、処理をＳ４９に移す。また、Ｓ４７での確
認の結果、大きければＳ４１に戻って上述の処理を繰り
返す。つまり、採用したＩピクチャ用置換スライスの符
号量が元スライスの符号量より大きい場合は置換を行わ
ずに元ストリームのＧＯＰの先頭を探す処理へ戻り、小
さい場合には置換を行う。 ［Ｓ４５］ Ｓ４３での判断の結果、Ｐピクチャであっ
た場合はＰピクチャ用スライスを採用し、Ｓ４８に移っ
て、当該採用したＰピクチャ用置換スライスで置換す
る。そして、処理をＳ４９に移す。 ［Ｓ４６］ Ｓ４３での判断の結果、Ｂピクチャであっ
た場合には、Ｓ４８に移ってＢピクチャ用置換スライス
で置換する。そして、処理をＳ４９に移す。[S47] It is checked whether the code amount of the adopted replacement slice for I picture is smaller or larger than the code amount of the original slice. As a result, if the size is smaller, the process proceeds to S48 and the I-picture replacement slice is used for replacement. Then, the process proceeds to S49. If the result of the check in S47 is greater, the process returns to S41 and repeats the above processing. That is, if the code amount of the adopted replacement slice for I-picture is larger than the code amount of the original slice, the process returns to the process of searching for the head of the GOP of the original stream without performing the replacement. [S45] If the result of determination in S43 is that the picture is a P-picture, a slice for a P-picture is adopted, and the flow proceeds to S48 to replace the slice with the adopted slice for a P-picture. Then, the process proceeds to S49. [S46] If the result of determination in S43 is that the picture is a B picture, the flow moves to S48 to replace with a B picture replacement slice. Then, the process proceeds to S49.
【００５５】［Ｓ４９］ 元ストリームのスライスをピ
クチャの種類に合わせてその該当種類のピクチャ用置換
スライスで置換した場合は、置換スライスの符号量の方
が元スライスより多いか少ないかを判断する。その結
果、多い場合はＳ４２の処理に戻り、上述の処理を繰り
返し、また、置換スライスの符号量の方が元スライスよ
り少ない場合はＳ５０の処理に移り、ここで不足分だけ
スタッフィングを挿入してからＳ４２の処理に戻り、上
述の処理を繰り返す。[S49] When the slice of the original stream is replaced with a picture replacement slice of the corresponding type according to the picture type, it is determined whether the code amount of the replacement slice is larger or smaller than that of the original slice. As a result, when there is more, the process returns to S42 and the above process is repeated. When the code amount of the replacement slice is smaller than that of the original slice, the process shifts to S50. Then, the process returns to S42, and the above process is repeated.
【００５６】つまり、Ｉピクチャの場合は、Ｉピクチャ
用置換スライスの符号量が元スライスの符号量より小さ
いことを確認して置換する。そして、大きい場合は置換
を行わずに元ストリームのＧＯＰの先頭を探す処理へ戻
る。That is, in the case of an I picture, the replacement is performed after confirming that the code amount of the replacement slice for the I picture is smaller than the code amount of the original slice. If it is larger, the process returns to the process of searching for the head of the GOP of the original stream without performing replacement.
【００５７】Ｐ，Ｂピクチャの場合はそれぞれＰピクチ
ャ用、Ｂピクチャ用置換スライスで置換する。置換した
場合は、置換スライスの符号量の方が元スライスより少
ない場合は不足分だけスタッフィングを挿入する。In the case of P and B pictures, replacement is performed with replacement slices for P and B pictures, respectively. When the replacement is performed, if the code amount of the replacement slice is smaller than that of the original slice, the stuffing is inserted in an insufficient amount.
【００５８】これらの処理のために、元ストリームの置
換可能領域のサイズ、“intra_quantiser_matrix”，の
組み合わせが何種類か考えられる場合は、置換用ストリ
ームライブラリにその種類だけ置換スライスを準備す
る。If several combinations of the size of the replaceable area of the original stream and "intra_quantiser_matrix" are conceivable for these processes, replacement slices are prepared in the replacement stream library for that type.
【００５９】ｔｙｐｅ２のスライスを置換する場合に
は、以下に示すようにＩピクチャに置換する置換スライ
スのみ元ストリームの置換可能領域のサイズトパラメー
タに合わせて符号化し、Ｐ，Ｂピクチャに関しては置換
可能領域のサイズに合わせてスライスを作成して置換す
る方法も可能である。この場合の映像符号編集装置に構
成を図１１に示す。次いで置換の手順を図１２，図１３
に示す。When the slice of type 2 is replaced, only the replacement slice to be replaced with an I picture is coded in accordance with the size parameter of the replaceable area of the original stream as shown below, and replacement of P and B pictures is possible. A method of creating and replacing slices according to the size of the area is also possible. FIG. 11 shows the configuration of the video code editing apparatus in this case. Next, the replacement procedure is shown in FIGS.
Shown in
【００６０】＜映像符号編集装置の構成例２＞図１１に
示す構成例２の映像符号編集装置は、ストリーム解析部
６１，ストリーム置換部６２、バッファ７１、置換用映
像符号化装置７２からなり、置換用映像符号化装置７２
には原画像７３が取り込まれる。<Configuration Example 2 of Video Code Editing Apparatus> The video code editing apparatus of Configuration Example 2 shown in FIG. 11 includes a stream analysis section 61, a stream replacement section 62, a buffer 71, and a replacement video coding apparatus 72. Replacement video encoding device 72
Captures the original image 73.
【００６１】ここでストリーム解析部６１は、図１の構
成の映像符号化装置の最終段の出力段より出力される当
該映像符号化装置で作られたストリームを解析するため
のものであって、置換可能領域Ａ１のストリームである
か、置換不可能領域のストリームであるのかの解析を行
って出力するためのものである。また、バッファ７１は
この出力を一時保持するためのものであり、置換用映像
符号化装置７２は図６の構成例での置換用ストリームラ
イブラリ６３の代わりのもので、原画像７３を元に置換
用スライスを作製するものであって、Ｉピクチャに置換
する置換スライスのみ元ストリームの置換可能領域のサ
イズトパラメータに合わせて符号化し、Ｐ，Ｂピクチャ
に関しては置換可能領域のサイズに合わせてスライスを
作成してストリーム置換部６２に与える機能を有するも
のである。また、ストリーム置換部６２は前記ストリー
ム解析部６１の解析結果に応じて置換用映像符号化装置
７２が出力するストリームを置換可能領域Ａ１に置換し
て出力するものである。Here, the stream analysis unit 61 is for analyzing the stream generated by the video encoding device output from the final output stage of the video encoding device having the configuration shown in FIG. This is for analyzing and outputting whether the stream is a replaceable area A1 stream or a non-replaceable area stream. A buffer 71 temporarily stores the output, and a replacement video encoding device 72 replaces the replacement stream library 63 in the configuration example of FIG. In this method, only a replacement slice to be replaced with an I picture is encoded according to the size parameter of the replaceable area of the original stream, and for P and B pictures, the slice is adjusted according to the size of the replaceable area. It has a function of creating and giving it to the stream replacement unit 62. The stream replacement unit 62 replaces the stream output from the replacement video encoding device 72 with a replaceable area A1 according to the analysis result of the stream analysis unit 61, and outputs the stream.
【００６２】次にこの映像符号編集装置の作用を説明す
る。 ［ｔｙｐｅ２の置換スライスで置換する場合の手順］ｔ
ｙｐｅ２の置換スライスの置換の手順は図１２，図１３
の如きである。 ［置換開始前の処理］まずはじめに、図１２に示す置換
開始前の処理を実施する。Next, the operation of the video code editing apparatus will be described. [Procedure for Replacement with Replacement Slice of Type 2] t
FIGS. 12 and 13 show the procedure for replacing the replacement slice of yp2.
It is like. [Process before Replacement Start] First, the process before the start of replacement shown in FIG. 12 is performed.
【００６３】置換処理は図１２の如きであり、Ｓ５１か
らＳ５３の手順を踏む。 ［Ｓ５１］ ここでは、まず図３〜図５に示した“user
_data() ”を探す。見つかればＳ５２の処理に移り、見
つからなければ置換を中止する。 ［Ｓ５２］ 置換可能領域のサイズを調べる。The replacement process is as shown in FIG. 12, and follows the steps from S51 to S53. [S51] Here, first, the “user” shown in FIGS.
_data () ". If found, the process proceeds to S52. If not found, the replacement is stopped. [S52] The size of the replaceable area is checked.
【００６４】［Ｓ５３］ そして、同じサイズのＰ，Ｂ
ピクチャ用置換スライスを準備する。[S53] Then, P, B of the same size
Prepare a replacement slice for a picture.
【００６５】［Ｓ５４］置換可能領域に関する“user_d
ata() ”を消去するか否かを判定する。[S54] “user_d related to replaceable area
ata () "is determined.
【００６６】［Ｓ５５］消去する場合は、上記置換可能
領域に関する“user_data() ”を“0 ”で置換する。[S55] When erasing, "user_data ()" relating to the replaceable area is replaced with "0".
【００６７】そして、置換処理に移る。Then, the process proceeds to the replacing process.
【００６８】実際の置換は次のようにする。 ［置換処理］置換処理は図１３の如きであり、Ｓ６１か
らＳ７１までの手順を踏む。 ［Ｓ６１］ まず、元ストリームのＧＯＰの先頭を探
す。そして、Ｓ６２の処理に移る。 ［Ｓ６２］ 置換終了の条件（元ストリーム終了、その
他の置換終了条件）を満たすか、否かを調べる。満たし
ていれば、置換を終了し、満たしていなければＳ６３の
処理に移る。 ［Ｓ６３］ このようにしてＳ６２において、置換終了
の条件（元ストリーム終了、その他の置換終了条件）を
満たしていないことを確認したならば、Ｓ６３におい
て、元ストリームの“intra_quantiser_matrix”をロー
ドする。元ストリームで使われている“intra_quantise
r_matrix”が変化した場合は新しいものにアップデート
する。ここでの処理が終わると次にＳ６４の処理に移
る。 ［Ｓ６４］ ここでは、元ストリームのピクチャのタイ
プをチェックする。そして、ピクチャタイプに応じてＳ
４５からＳ６７までのいずれかの処理に移る。例えば、
Ｉピクチャの場合は、Ｓ６５の処理に移り、Ｐピクチャ
の場合は、Ｓ６６の処理に移り、Ｂピクチャの場合は、
Ｓ６７の処理に移る。 ［Ｓ６５］ Ｉピクチャの場合は、置換スライスの符号
量を調べる。そして、Ｓ６８の処理に移る。The actual replacement is as follows. [Replacement Process] The replacement process is as shown in FIG. 13 and follows the procedure from S61 to S71. [S61] First, the head of the GOP of the original stream is searched. Then, the process proceeds to S62. [S62] It is determined whether or not the conditions for ending the replacement (the end of the original stream and other replacement ending conditions) are satisfied. If it satisfies the condition, the replacement is terminated. If it does not satisfy the condition, the process proceeds to S63. [S63] If it is confirmed in S62 that the conditions for ending the replacement (the end of the original stream and other conditions for ending the replacement) are not satisfied, then in step S63, the “intra_quantiser_matrix” of the original stream is loaded. “Intra_quantise” used in the original stream
If “r_matrix” has changed, update to a new one. When this process ends, the process advances to S64. [S64] Here, the type of the picture in the original stream is checked, and according to the picture type. S
The process proceeds to one of the processes from 45 to S67. For example,
In the case of an I picture, the process proceeds to S65, in the case of a P picture, the process proceeds to S66, and in the case of a B picture,
The process moves to S67. [S65] In the case of an I picture, the code amount of the replacement slice is checked. Then, the process proceeds to S68.
【００６９】［Ｓ６８］ 元ストリームで使用されてい
る“intra_quantiser_matrix”を用いて置換画像を元ス
ライス符号量のスライスに符号化する。そして、Ｓ６９
の処理に移り、ここで、元ストリームのピクチャの種類
に合わせて置換スライスに置換する。スライス垂直位置
“slice_vertical_position ”の値は元スライスのもの
を使用する。そして、処理をＳ７０に移す。 ［Ｓ６６］ Ｓ６４での判断の結果、Ｐピクチャであっ
た場合はＰピクチャ用スライスを採用し、Ｓ６９に移っ
て、元ストリームのピクチャの種類に合わせて置換スラ
イスに置換する。スライス垂直位置“slice_vertical_p
osition ”の値は元スライスのものを使用する。そし
て、処理をＳ７０に移す。 ［Ｓ６７］ Ｓ６４での判断の結果、Ｂピクチャであっ
た場合には、Ｂピクチャ用置換スライスを採用する。そ
して、Ｓ６９に移って、元ストリームのピクチャの種類
に合わせて置換スライスに置換する。“slice_vertical
_position ”の値は元スライスのものを使用する。そし
て、処理をＳ７０に移す。 ［Ｓ７０］ ここでは置換スライスの符号量の方が元ス
ライスより多いか少ないかを判断する。その結果、多い
場合はＳ６２の処理に戻り、上述の処理を繰り返し、ま
た、置換スライスの符号量の方が元スライスより少ない
場合はＳ７１の処理に移り、ここで不足分だけスタッフ
ィングを挿入してからＳ６２の処理に戻り、上述の処理
を繰り返す。[S68] The replacement image is encoded into slices of the original slice code amount by using “intra_quantiser_matrix” used in the original stream. And S69
In this case, the slice is replaced with a replacement slice according to the type of the picture of the original stream. The value of the slice vertical position “slice_vertical_position” uses the value of the original slice. Then, the process proceeds to S70. [S66] If the result of determination in S64 is that the picture is a P-picture, a slice for a P-picture is adopted, and the flow moves to S69 to replace with a replacement slice according to the type of picture in the original stream. Slice vertical position “slice_vertical_p
The value of "osition" uses the value of the original slice. Then, the process proceeds to S70. [S67] If the result of determination in S64 is that the picture is a B picture, a replacement slice for B picture is adopted. , S69, and replace with the replacement slice according to the type of picture of the original stream.
The value of _position "is that of the original slice. Then, the process proceeds to S70. [S70] Here, it is determined whether the code amount of the replacement slice is larger or smaller than that of the original slice. Returns to the processing of S62, and repeats the above processing. If the code amount of the replacement slice is smaller than that of the original slice, the processing shifts to the processing of S71. Return and repeat the above process.
【００７０】このように、Ｉピクチャの場合は、元スラ
イスの置換可能領域の符号量を調べ、現在使われている
“intra_quantiser_matrix”を用いて置換用の原画像を
上記符号量以下のスライスに符号化する。また、Ｐ，Ｂ
ピクチャの場合は用意したＰピクチャ用、Ｂピクチャ用
置換スライスで置換する。As described above, in the case of an I picture, the code amount of the replaceable area of the original slice is checked, and the original image for replacement is converted into a slice having the code amount or less using the currently used “intra_quantiser_matrix”. Become Also, P, B
In the case of a picture, replacement is performed with prepared replacement slices for P and B pictures.
【００７１】そして、置換した場合は、置換スライスの
符号量の方が元スライスより少ない場合は不足分だけス
タッフィングを挿入する。Then, when the replacement is performed, if the code amount of the replacement slice is smaller than that of the original slice, stuffing is inserted by the shortage.
【００７２】この方法を用いれば元ストリームのパラメ
ータによらずに画像を置換することが出来る。By using this method, an image can be replaced regardless of the parameters of the original stream.
【００７３】以上、実施例１は、画面領域を置換可能領
域、置換不能領域の２つの領域に分割し、置換可能領域
の予測符号化を行う際に置換不能領域を予測の参照画面
に用いずにＭＰＥＧ２ビデオス卜リームを作成する映像
符号化装置と、前記符号化装置で作成されたストリーム
の置換可能領域を他の映像のスライスに置換する映像符
号編集装置とから構成した。As described above, in the first embodiment, the screen area is divided into two areas, a replaceable area and a non-replaceable area, and the non-replaceable area is not used as a prediction reference screen when predictive coding of the replaceable area is performed. And a video code editing device that replaces a replaceable area of the stream generated by the coding device with a slice of another video.
【００７４】従来の映像符号化装置で符号化されたＭＰ
ＥＧ２ビデオストリームの画面上の一部の領域を他の映
像で置換する場合、ストリームを復号化して映像を置換
して再符号化するので映像符号編集装置内に復号化装置
と符号化装置が必要となり装置が大きくなる。しかも復
号化、再符号化を行うことにより画質が劣化する。ま
た、復号化、再符号化の際に遅延が生ずる。The MP encoded by the conventional video encoding device
When replacing a partial area on the screen of the EG2 video stream with another image, the stream is decoded, the image is replaced and re-encoded, so a decoding device and an encoding device are required in the video code editing device. And the device becomes larger. Moreover, image quality is degraded by performing decoding and re-encoding. In addition, a delay occurs during decoding and re-encoding.
【００７５】そこで、実施例１に示した本発明では、映
像を映像符号化装置でＭＰＥＧ２ビデオストリームに符
号化する際、画面領域を置換可能領域、置換不能領域の
２つの領域に分割し、置換不能領域は置換可能領域を予
測の参照画面に用いない条件で符号化するようにし、こ
の符号化装置で作成されたストリームの置換可能領域の
スライスを、置換したい対象の映像のスライスで置換す
るようにした。Therefore, according to the present invention shown in the first embodiment, when a video is encoded into an MPEG2 video stream by the video encoding device, the screen area is divided into two areas, a replaceable area and a non-replaceable area. The impossible area is coded under the condition that the replaceable area is not used for the reference screen for prediction, and the slice of the replaceable area of the stream created by this encoding device is replaced with the slice of the video to be replaced. I made it.
【００７６】故に、本発明を用いることにより、ストリ
ームを復号することなく一部分を別の映像（例えばＣ
Ｍ）で置換したストリームを作ることが出来るようにな
るもので、実施例１の本発明を用いることにより、動画
像符号化の標準的な手法の一つであるＭＰＥＧ２におけ
るビデオストリームを復号化、再符号化することなく画
面の一部分を別の映像（例えばＣＭ（コマーシャルメデ
ィア））で置換したストリームを作ることが出来、これ
により映像符号編集装置でＭＰＥＧ２ビデオストリーム
を復号化、再符号化する必要がないので映像符号編集装
置を小型にでき、画像の劣化を防いで、しかも、復号
化、再符号化による遅延がなくなる利点が得られるよう
になる。Therefore, by using the present invention, a part of another stream (for example, C
M), it is possible to create a stream that has been replaced with a video stream in MPEG2, which is one of the standard moving picture coding methods, by using the present invention of the first embodiment. It is possible to create a stream in which a part of the screen is replaced with another video (for example, CM (commercial media)) without re-encoding, so that the MPEG-2 video stream needs to be decoded and re-encoded by the video code editing device. As a result, the video code editing apparatus can be reduced in size, the deterioration of the image can be prevented, and the advantage of eliminating the delay due to decoding and re-encoding can be obtained.
【００７７】以上は、画面を上下に所望に分けて置換可
能領域と不可能領域に分け、置換可能領域について、画
像を書き換えるようにしたものであったが、ロゴ等を対
象とする場合、これでは領域が多き過ぎる。そこで、ロ
ゴなどに最適な実施例を次に実施例２として説明する。In the above description, the screen is vertically divided into a replaceable area and an unreplaceable area as desired, and the replaceable area is rewritten with an image. Then there are too many areas. Therefore, an embodiment most suitable for a logo or the like will be described as a second embodiment.
【００７８】（実施例２）従来の映像符号化装置で符号
化したＭＰＥＧ２ビデオストリームの画面上に例えばロ
ゴを上書きした映像で置換する場合、従来の映像符号編
集装置ではＭＰＥＧ２ビデオストリームを復号し、得ら
れた画像にロゴを上書きし、映像符号化装置で再符号化
する必要があった。しかし、一度復号化してから再符号
化するためには映像符号編集装置内に復号化装置と符号
化装置が必要となるため装置が大きくなる。しかも復号
化、符号化を行うことにより画質が劣化が生ずる。ま
た、復号化、再符号化の際に遅延が生ずる。(Embodiment 2) In the case of replacing a picture of a MPEG2 video stream encoded by a conventional video encoding apparatus with, for example, a video in which a logo is overwritten, the conventional video encoding apparatus decodes the MPEG2 video stream. It was necessary to overwrite the obtained image with a logo and re-encode it with a video encoding device. However, in order to perform decoding once and then re-encode, a decoding device and an encoding device are required in the video code editing device, so that the device becomes large. In addition, image quality is deteriorated by performing decoding and encoding. In addition, a delay occurs during decoding and re-encoding.
【００７９】実施例２に示す本発明は、映像符号化装置
で映像符号化を行う際に画面領域を置換可能領域と置換
不能領域に分割する。符号化に際して置換可能領域はピ
クチャタイプに関わらずイントラ符号化を行う。置換不
能領域は動き検出を行う際の参照画面に上書き不能領域
のみを用いて符号化を行う。そして上書き可能領域に関
する情報（上書き可能領域が存在すること、領域の画面
上の位置、大きさ）を記述したユーザーデータをストリ
ームに多重する。According to the second embodiment of the present invention, when performing video coding by a video coding apparatus, a screen area is divided into a replaceable area and a non-replaceable area. At the time of encoding, the replaceable area performs intra encoding regardless of the picture type. The non-replaceable area is coded using only the non-overwritable area on the reference screen when performing motion detection. Then, user data describing information on the overwritable area (the existence of the overwritable area, the position and size of the area on the screen) is multiplexed on the stream.
【００８０】上記映像符号化装置で作られたＭＰＥＧ２
ビデオストリームの置換可能領域の映像を例えば番組の
ロゴを上書きしたもので置換する場合には、映像符号編
集装置においてＭＰＥＧ２ビデオストリームの置換可能
領域のみを一旦デコードする。そしてその再生画像にロ
ゴを上書きし、再びイントラ符号化する。こうして得ら
れたストリームを本来のストリームと置換する。またこ
の際、必要に応じて置換可能領域に関する情報を記述し
たユーザーデータを消去する。MPEG2 produced by the video encoding device
When replacing the video in the replaceable area of the video stream with, for example, the one obtained by overwriting the logo of the program, only the replaceable area of the MPEG2 video stream is once decoded by the video code editing device. Then, the logo is overwritten on the reproduced image, and intra-encoded again. The stream thus obtained is replaced with the original stream. At this time, if necessary, the user data describing the information on the replaceable area is deleted.
【００８１】第二の発明においては、ＭＰＥＧ２ビデオ
ストリーム全体を復号化、再符号化することなく、画面
の一部分に別の映像（例えばロゴ等）を上書きしたスト
リームを作ることが出来るようになり、また、映像符号
編集装置の小型化と画質の維持を可能になり、復号化、
再符号化による遅延もないようにしたシステムとなる。
そして、この発明により、画面の一部分に別の映像（例
えばロゴ等）を上書きしたストリームを作ることが出来
るようになることから、例えば、ディジタル放送を行う
際に上書き可能領域に放送局のロゴを上書きすること
で、映像が複製された場合にオリジナルが何であるかが
分かるようになるので、著作権保護に有用であり、さら
に上書き可能領域の有無、領域の画面上の位置、大きさ
を記述したユーザデータを消去することにより、ストリ
ームに対する上書き防止、上書きデータの削除を困難に
する。In the second invention, a stream in which another image (for example, a logo or the like) is overwritten on a part of the screen can be created without decoding and re-encoding the entire MPEG2 video stream. In addition, it is possible to reduce the size of the video code editing device and maintain the image quality,
The system has no delay due to re-encoding.
According to the present invention, it is possible to create a stream in which another image (for example, a logo) is overwritten on a part of the screen. For example, when performing digital broadcasting, the broadcaster's logo is displayed in the overwritable area. Overwriting allows you to know what the original is when the video is duplicated, which is useful for copyright protection and further describes the presence or absence of an overwritable area, the position and size of the area on the screen By erasing the user data, it is difficult to prevent the stream from being overwritten and to delete the overwritten data.
【００８２】実施例２においては、図１４に符号Ａ１１
を付して示すように、書き換え可能な領域をロゴのサイ
ズ対応に画面のフルサイズに対して比較的小さく確保す
る。また、実施例１と同様に、ＭＰＥＧ２ビデオストリ
ーム全体を復号化、再符号化することなく、画面の一部
分に別の映像（例えばロゴ等）を上書きしたストリーム
を作ることが出来るようにし、また、映像符号編集装置
の小型化と画質の維持を可能にし、復号化、再符号化に
よる遅延もないようにする。In the second embodiment, FIG.
As shown by adding, a rewritable area is ensured to be relatively small with respect to the full size of the screen in accordance with the size of the logo. As in the first embodiment, it is possible to create a stream in which another image (for example, a logo) is overwritten on a part of the screen without decoding and re-encoding the entire MPEG2 video stream. It is possible to reduce the size of the video code editing device and maintain the image quality, and to prevent delay due to decoding and re-coding.
【００８３】以下、詳細を説明する。Hereinafter, the details will be described.
【００８４】この実施例で用いる映像符号化装置の構成
も図１で説明したものと同じである。実施例２では先の
実施例１でのスライス単位の画像書き換え（画面の領域
を水平分割する方式）ではなく、実施例２では、例え
ば、図１４に示すように、マクロブロック単位で画面を
置換可能領域と置換不能領域に分け、置換可能領域に対
して所望の画像を上書きした映像をはめ込むことができ
るようにするものである。The configuration of the video encoding apparatus used in this embodiment is the same as that described with reference to FIG. In the second embodiment, the image is not rewritten in the unit of a slice (the method of horizontally dividing a screen area) in the first embodiment, but in the second embodiment, for example, as shown in FIG. It is divided into a possible area and a non-replaceable area so that a video in which a desired image is overwritten on the replaceable area can be inserted.
【００８５】図１４に、画面の右上から９６画素×９６
画素（４×４マクロブロック）を上書き可能領域Ａ１
１、その他の部分を上書き不能領域Ａ１２とした例を示
す。FIG. 14 shows 96 pixels × 96 from the upper right of the screen.
Pixel A (4 × 4 macroblock) overwriteable area A1
1 shows an example in which the other portion is set as the non-overwritable area A12.
【００８６】図１の映像符号化装置は、上書き可能領域
Ａ１１についてはピクチャの符号化タイプがＩピクチ
ャ、Ｐピクチャ、Ｂピクチャに関わらずイントラ符号化
する。The video coding apparatus shown in FIG. 1 performs intra coding on the overwriteable area A11 regardless of whether the coding type of the picture is I picture, P picture, or B picture.
【００８７】置換不能領域Ａ１２については、映像符号
化装置の動き補償予測部１５において動き予測をする際
に、置換不能領域Ａ１２を参照画面として用いて符号化
する。The non-replaceable area A12 is encoded using the non-replaceable area A12 as a reference screen when the motion compensation prediction unit 15 of the video encoding apparatus performs motion prediction.
【００８８】上記制限を付けた符号化を行った場合に
は、例えば、ピクチャヘッダーのグループ情報を集めた
部分である“group_of_picture_header() ”の後に記述
される拡張ユーザデータである“extention_and_user_d
ata() ”に置換可能領域Ａ１１に関する情報として以下
の項目を記述したユーザデータ情報“user_data() ”と
して記述する。すなわち、記述内容としては、 ・「置換可能領域が存在すること」 ・「置換可能領域の画面上の位置」 ・「置換可能領域の大きさ」 などである。When the above-mentioned encoding is performed, for example, “extension_and_user_d”, which is extended user data described after “group_of_picture_header ()” which is a part where group information of a picture header is collected, is used.
Ata () "is described as user data information" user_data () "in which the following items are described as information relating to the replaceable area A11: That is, the description contents are:" there is a replaceable area ";"Position of possible area on screen"-"Size of replaceable area".
【００８９】図１５に置換可能領域Ａ１１に関する情報
を記述した“user_data() ”の例を示す。FIG. 15 shows an example of "user_data ()" in which information on the replaceable area A11 is described.
【００９０】符号化に際して置換可能領域Ａ１１はＧＯ
Ｐ単位に設定することが出来る。At the time of encoding, the replaceable area A11 is GO
It can be set in P units.
【００９１】従って、置換可能領域Ａ１１が存在する
“group_of_picture_header() ”の後に必ず置換可能領
域に関する情報を記述した“user_data() ”を付ける。
このため、各ＧＯＰには必ずビデオストリームにヘッダ
情報としてピクチャグループヘッダ“group_of_picture
_header() ”を付加する。Therefore, "user_data ()" describing information on a replaceable area is always added after "group_of_picture_header ()" where the replaceable area A11 exists.
For this reason, each GOP always includes the picture group header “group_of_picture” as header information in the video stream.
_header () ”is added.
【００９２】置換可能領域Ａ１１の設定が終わった直後
のＧＯＰを終了ＧＯＰ“closed_ ＧＯＰ”としない場合
は、置換可能領域Ａ１１が設定されている最後のＰピク
チャを参照する直後のＢピクチャの予測符号化には最後
のＰピクチャの置換不能領域Ａ１２のみを予測の参照画
面とする。If the GOP immediately after the setting of the replaceable area A11 is not set to the end GOP “closed_GOP”, the prediction code of the B picture immediately after referring to the last P picture in which the replaceable area A11 is set For the conversion, only the non-replaceable area A12 of the last P picture is used as a reference screen for prediction.
【００９３】置換符号化をした際の符号量の調整に用い
るために各ピクチャの最後に０スタッフィングを追加し
ておいても良い。[0107] 0 stuffing may be added at the end of each picture so as to be used for adjusting the code amount at the time of performing the replacement coding.
【００９４】次に、映像符号編集装置について説明す
る。 ［映像符号編集装置］実施例２における映像符号編集装
置の構成例１を図１６に示す。映像符号編集装置は入力
ストリームを一旦受信する入力バッファ８１、置換可能
領域が含まれているストリームを検出する置換可能領域
検出部８２、置換可能領域の映像に上書きする置換可能
領域書換部８３からなる。Next, the video code editing apparatus will be described. [Video Code Editing Apparatus] FIG. 16 shows a configuration example 1 of a video code editing apparatus according to the second embodiment. The video code editing apparatus includes an input buffer 81 for once receiving an input stream, a replaceable area detection unit 82 for detecting a stream including a replaceable area, and a replaceable area rewriting unit 83 for overwriting a video in the replaceable area. .
【００９５】映像符号編集装置は画像符号化装置よりＭ
ＰＥＧ２の形式に符号化されて与えられる入力ストリー
ム（ビデオストリーム）を入力バッファ８１に一旦受信
する。この入力バッファ８１に一時保持された入力スト
リームは、置換可能領域検出部８２に逐次読み込まれ
る。そして、置換可能領域検出部８２ではこの入力スト
リームに対して、以下の処理を行う。The video code editing device is M
An input stream (video stream) encoded and provided in the PEG2 format is once received by the input buffer 81. The input stream temporarily stored in the input buffer 81 is sequentially read by the replaceable area detection unit 82. Then, the replaceable area detection unit 82 performs the following processing on this input stream.
【００９６】＜置換可能領域検出部８２での処理＞ ［処理１］ ビデオストリーム中に含まれているシーケ
ンス情報を記述したシーケンスヘッダ“sequence_heade
r() ”と、ピクチャグループに関するヘッダ情報である
“group_of_picture_header() ”を検出してストリーム
からＧＯＰを切り分ける。<Processing in Replaceable Area Detecting Unit 82> [Processing 1] A sequence header “sequence_heade” describing sequence information contained in a video stream
r () "and" group_of_picture_header () "which is header information relating to a picture group, and GOPs are separated from the stream.
【００９７】［処理２］ “group_of_picture_heade
r() ”の後に図１５に示した置換可能領域Ａ１１に関す
る情報を記述した“user_data() ”がある場合は、１Ｇ
ＯＰ分のストリームを上書き領域検出部８２に出力す
る。一方、記述がない場合はそのままストリームを出力
し、上述の［処理１］に戻る。[Process 2] “group_of_picture_heade”
If “user_data ()” describing information on the replaceable area A11 shown in FIG.
The stream for the OP is output to the overwrite area detection unit 82. On the other hand, if there is no description, the stream is output as it is, and the process returns to [Process 1].
【００９８】［処理３］ 置換可能領域書換部８３にス
トリームを出力した場合は、置換領域検出部８２がスト
リーム出力終了を通知するまで待って上述の［処理１］
に戻る。[Process 3] When the stream is output to the replaceable area rewriting unit 83, the process waits until the replacement area detection unit 82 notifies the end of the stream output, and then the above [Process 1].
Return to
【００９９】以上が、置換可能領域検出部８２での処理
である。The above is the processing in the replaceable area detection unit 82.
【０１００】次に置換可能領域書換部８３での処理を説
明する。 ［置換可能領域書換部８３］上置換可能領域書換部８３
について説明する。Next, the processing in the replaceable area rewriting section 83 will be described. [Replaceable area rewriting section 83] Upper replaceable area rewriting section 83
Will be described.
【０１０１】置換可能領域書換部８３の構成を図１７に
示す。置換可能領域書換部８３は、ストリームを解析し
て置換可能領域Ａ１１を復号化する復号化部９１、復号
画像に上書き画像を上書きする映像上書き部９２、上書
きした映像を再び符号化する符号化部９３、上書き用の
映像を置いておく上書き用映像ライブラリ９５、並びに
前記各部分を制御する全体制御部９４からなる。FIG. 17 shows the configuration of the replaceable area rewriting section 83. The replaceable area rewriting section 83 analyzes the stream and decodes the replaceable area A11, a video overwriting section 92 that overwrites a decoded image with an overwritten image, and an encoding section that re-encodes the overwritten video. 93, an overwriting video library 95 for storing overwriting video, and an overall control unit 94 for controlling the above-mentioned parts.
【０１０２】このような構成の上書き可能領域書換部８
３における処理の流れを図１８を用いて説明する。The overwritable area rewriting section 8 having such a configuration
The processing flow in 3 will be described with reference to FIG.
【０１０３】［Ｓ８１］ ストリームにおけるシーケン
スヘッダ“sequence_header() ”に含まれる“intra_qu
antiser_matrix”を全体制御部９４で保持しておく。[S81] “intra_qu” included in the sequence header “sequence_header ()” in the stream
antiser_matrix ”is held in the overall control unit 94.
【０１０４】また、ストリームにおけるピクチャグルー
プヘッダ“group_of_picture_header() ”の後の置換可
能領域Ａ１１に関する情報を記述したデータ領域である
ユーザデータ“user-data() ”から置換可能領域のサイ
ズと位置の情報を読み込み、全体制御部９４に保持す
る。Also, information on the size and position of the replaceable area is obtained from the user data "user-data ()" which is the data area describing the information on the replaceable area A11 after the picture group header "group_of_picture_header ()" in the stream. Is read and held in the overall control unit 94.
【０１０５】［Ｓ８２］ 置換可能領域Ａ１１に関する
情報を記述した“user_data() ”を消去するか否かを判
定する。[S82] It is determined whether or not "user_data ()" describing information on the replaceable area A11 is to be deleted.
【０１０６】［Ｓ８３］ そして、その結果、消去する
場合は、ストリーム上の“user_data() ”を“0 ”で置
き換える。[S83] Then, as a result, when erasing, “user_data ()” on the stream is replaced with “0”.
【０１０７】［Ｓ８４］ ストリームを解析して１フレ
ーム分のストリームを調べ、ピクチャデータの最後のス
タッフィングの“0 ”のバイト数を調べる。[S84] The stream is analyzed, a stream for one frame is checked, and the number of bytes of “0” of the last stuffing of the picture data is checked.
【０１０８】［Ｓ８５］ 置換可能領域Ａ１１のマクロ
ブロックだけをデコードして再生画像を得る。[S85] Only the macro block in the replaceable area A11 is decoded to obtain a reproduced image.
【０１０９】［Ｓ８６］ 再生画像に置換画像を上書き
して上書き済み画像を作成する。[S86] The replaced image is overwritten on the reproduced image to create an overwritten image.
【０１１０】［Ｓ８７］ 上書き済み画像を、デコード
に用いた“intra_quantiser-matrix”でイントラ符号化
する。その際、符号量については以下の条件を用いる。[S87] The overwritten image is intra-coded using the "intra_quantiser-matrix" used for decoding. At this time, the following conditions are used for the code amount.
【０１１１】《イントラ符号化時の符号量条件》 「（新しく符号化するマクロブロックの符号量のピクチ
ャ単位での合計符号量）＜（元のマクロブロックの符号
量のピクチャ単位での合計符号量＋ピクチャデータの最
後のスタッフィングの“０”の符号量）」 ［Ｓ８８］ 「出来たストリームを元のストリームと置
き換える」 ［Ｓ８９］ スタッフィングを用いて符号量を合わせ
る。新しく作ったマクロブロックの符号量のピクチャ単
位での合計が元のマクロブロックの符号量の合計より多
い場合は多い分だけピクチャの最後にある“０”を削除
する。また、少ない場合は少ない分だけ“０”を挿入す
る。」 ［Ｓ９０］ ストリームを出力する。<< Code amount condition at the time of intra coding >>"(Total code amount of a macro block to be newly coded in picture units) <(Total code amount of the original macro block code amount in picture units)" + Code amount of “0” of the last stuffing of picture data) [S88] “Replace the created stream with the original stream” [S89] Match the code amount using stuffing. If the total code amount of a newly created macroblock in picture units is larger than the total code amount of the original macroblock, “0” at the end of the picture is deleted by the larger amount. If the number is small, “0” is inserted by a small amount. [S90] The stream is output.
【０１１２】［Ｓ９１］ ＧＯＰ終了か否かを判断す
る。その結果、ＧＴＯ終了でなければＳ８４の処理に戻
り、Ｓ８４以降の処理を繰り返す。もし、ＧＴＯ終了で
あったならば、Ｓ９２の処理に移る。[S91] It is determined whether or not the GOP has ended. As a result, if the GTO is not completed, the process returns to S84, and the processes from S84 are repeated. If GTO has been completed, the process moves to S92.
【０１１３】［Ｓ９２］ ストリームの出力終了を置換
可能領域検出部に通知する。そして、処理を終了する。
置換可能領域を完全に他の映像と置き換えてしまう場合
には、あらかじめイントラ符号化したマクロブロックデ
ータを作成しておいて、置換可能領域のデコードは行わ
ずに置き換えることも可能である。[S92] The stream output end is notified to the replaceable area detection unit. Then, the process ends.
When the replaceable area is completely replaced with another video, intra-coded macro block data is created in advance, and the replaceable area can be replaced without decoding.
【０１１４】以上、実施例２に示した本発明システムを
用いることにより、ＭＰＥＧ２ビデオストリーム全体を
復号化、再符号化することなく、画面の一部分に別の映
像（例えばロゴ）を上書きしたストリームを作ることが
出来るようになる。そして、これにより映像符号編集装
置でＭＰＥＧ２ビデオストリーム全体を復号化、再符号
化する必要はないので映像符号編集装置を小型にでき、
画像の劣化を防ぎ、復号化、再符号化による遅延がなく
なる。As described above, by using the system of the present invention shown in the second embodiment, a stream in which another video (for example, a logo) is overwritten on a part of the screen without decoding and re-encoding the entire MPEG2 video stream. You can make it. This eliminates the need to decode and re-encode the entire MPEG2 video stream with the video code editing device, so that the video code editing device can be downsized.
It prevents image degradation and eliminates delays due to decoding and re-encoding.
【０１１５】これにより、例えばデジタル放送を行う際
に上書き可能領域に放送局のロゴを上書きすることによ
り映像が複製された場合にオリジナルが何であるかが分
かるようになる。さらに上書き可能領域Ａ１１の有無、
領域の画面上の位置、大きさを記述したユーザデータを
消去することにより、ストリームに対する上書き防止、
上書きデータの削除を困難にする。Thus, for example, when a digital broadcast is performed, the original image can be known when the video is copied by overwriting the overwriteable area with the logo of the broadcasting station. Furthermore, the presence or absence of the overwriteable area A11,
Erasing user data describing the location and size of the area on the screen prevents overwriting of the stream,
Make it difficult to delete overwritten data.
【０１１６】尚、本発明は上述した実施例に限定される
ものでなく、要旨を変更しない範囲内で適宜、変形して
実施し得るものである。The present invention is not limited to the above-described embodiment, but can be modified and implemented as appropriate without departing from the scope of the invention.
【０１１７】[0117]
【発明の効果】以上、第一の本発明を用いることによ
り、動画像符号化の標準的な手法の一つであるＭＰＥＧ
２におけるビデオストリームを復号化、再符号化するこ
となく画面の一部分を別の映像（例えばＣＭ（コマーシ
ャルメディア））で置換したストリームを作ることが出
来る。これにより映像符号編集装置でＭＰＥＧ２ビデオ
ストリームを復号化、再符号化する必要がないので映像
符号編集装置を小型にでき、画像の劣化を防ぎ、復号
化、再符号化による遅延がなくなる。As described above, by using the first aspect of the present invention, MPEG which is one of the standard techniques for moving picture coding
2 can be created without decoding and re-encoding the video stream in which a part of the screen is replaced with another video (for example, CM (commercial media)). This eliminates the need for the video code editing device to decode and re-encode the MPEG2 video stream, thereby reducing the size of the video code editing device, preventing image degradation, and eliminating the delay due to decoding and re-encoding.
【０１１８】また、第二の本発明を用いることにより、
ＭＰＥＧ２ビデオストリーム全体を復号化、再符号化す
ることなぐ画面の一部分に別の映像（例えばロゴ）を上
書きしたストリームを作ることが出来る。これにより映
像符号編集装置でＭＰＥＧ２ビデオストリーム全体を復
号化、再符号化する必要がないので映像符号編集装置を
小型にでき、画像の劣化を防ぎ、復号化、再符号化によ
る遅延がなくなる。これにより、例えばデジタル放送を
行う際に上書き可能領域に放送局のロゴを上書きするこ
とにより映像が複製された場合にオリジナルが何かが分
かる。Also, by using the second invention,
It is possible to create a stream in which another video (for example, a logo) is overwritten on a part of the screen without decoding and re-encoding the entire MPEG2 video stream. This eliminates the need for the video code editing device to decode and re-encode the entire MPEG2 video stream, thereby reducing the size of the video code editing device, preventing image degradation, and eliminating the delay due to decoding and re-encoding. Thus, for example, when a video is duplicated by overwriting a broadcaster's logo in an overwritable area when performing digital broadcasting, it is possible to know what the original is.
【０１１９】いずれの発明でも、さらに置換可能領域の
有無、領域の画面上の位置、大きさを記述したユーザー
データを置換処理後消去することにより、ストリームに
対する再置換防止、置換データの削除を困難にする。In any of the inventions, the user data describing the presence / absence of a replaceable area, the position of the area on the screen and the size thereof is deleted after the replacement processing, so that it is difficult to replace the stream again and to delete the replacement data. To
【図１】本発明を説明するための図であって、本発明シ
ステムに用いる映像符号化装置の構成例を示すブロック
図。FIG. 1 is a diagram for explaining the present invention, and is a block diagram illustrating a configuration example of a video encoding device used in a system of the present invention.
【図２】本発明を説明するための図であって、本発明の
実施例１における置換可能領域と置換不能領域の分割の
例を説明する図。FIG. 2 is a diagram for explaining the present invention, illustrating an example of division of a replaceable region and a non-replaceable region according to the first embodiment of the present invention.
【図３】本発明を説明するための図であって、本発明に
おいて使用するユーザヘッダにおける“user_data() ”
ユーザデータの内容の例を示す図。FIG. 3 is a diagram for explaining the present invention, wherein “user_data ()” in a user header used in the present invention;
The figure which shows the example of the content of user data.
【図４】本発明を説明するための図であって、本発明に
おいて使用するユーザヘッダにおける“user_data() ”
の内容の例を説明する図。FIG. 4 is a diagram for explaining the present invention, wherein “user_data ()” in a user header used in the present invention;
The figure explaining the example of the content of.
【図５】本発明を説明するための図であって、本発明に
おいて使用するユーザヘッダにおける“user_data() ”
の内容の例を説明する図。FIG. 5 is a diagram for explaining the present invention, wherein “user_data ()” in a user header used in the present invention;
The figure explaining the example of the content of.
【図６】本発明を説明するための図であって、本発明の
実施例１における映像符号編集装置の構成例を示すブロ
ック図。FIG. 6 is a diagram for explaining the present invention, and is a block diagram illustrating a configuration example of a video code editing apparatus according to the first embodiment of the present invention.
【図７】本発明を説明するための図であって、本発明の
実施例１における映像符号編集装置におけるｔｙｐｅ１
の場合での置換用ストリーム選択の手順を説明する図。FIG. 7 is a diagram for explaining the present invention, wherein type1 in the video code editing apparatus according to the first embodiment of the present invention;
FIG. 9 is a diagram for explaining a procedure of selecting a replacement stream in the case of FIG.
【図８】本発明を説明するための図であって、本発明の
実施例１における映像符号編集装置でのｔｙｐｅ１置換
用ストリームで置換する場合の手順を説明する図。FIG. 8 is a diagram for explaining the present invention, and is a diagram for explaining a procedure in a case where the video code editing apparatus according to the first embodiment of the present invention performs replacement with a type1 replacement stream.
【図９】本発明を説明するための図であって、本発明の
実施例１における映像符号編集装置のｔｙｐｅ２置換用
ストリーム選択の手順を説明する図。FIG. 9 is a diagram for explaining the present invention, and is a diagram for explaining a procedure of selecting a type-2 replacement stream in the video code editing apparatus according to the first embodiment of the present invention.
【図１０】本発明を説明するための図であって、本発明
の実施例１における映像符号編集装置のｔｙｐｅ２置換
用ストリームで置換する場合の手順を説明する図。FIG. 10 is a diagram for explaining the present invention, and is a diagram for explaining a procedure when the video code editing apparatus according to the first embodiment of the present invention performs replacement with a type 2 replacement stream.
【図１１】本発明を説明するための図であって、本発明
の実施例１における映像符号編集装置の別の構成例を示
すブロック図。FIG. 11 is a diagram for explaining the present invention, and is a block diagram showing another configuration example of the video code editing apparatus according to the first embodiment of the present invention.
【図１２】本発明を説明するための図であって、本発明
の実施例１における図１１の映像符号編集装置でのｔｙ
ｐｅ２置換用ストリーム選択の手順を説明するための
図。FIG. 12 is a diagram for explaining the present invention, and shows ty in the video code editing apparatus of FIG. 11 in the first embodiment of the present invention.
The figure for demonstrating the procedure of the stream selection for pe2 substitution.
【図１３】本発明を説明するための図であって、本発明
の実施例１における映像符号編集装置のｔｙｐｅ２置換
用ストリームで置換する場合の手順を説明する図。FIG. 13 is a diagram for explaining the present invention, and is a diagram for explaining a procedure when the video code editing apparatus according to the first embodiment of the present invention performs replacement with a type 2 replacement stream.
【図１４】本発明を説明するための図であって、本発明
の実施例２における上書き可能領域と上書き不能領域の
分割の例を説明する図。FIG. 14 is a diagram for explaining the present invention, illustrating an example of division of an overwritable area and a non-overwritable area according to the second embodiment of the present invention.
【図１５】本発明を説明するための図であって、本発明
の実施例２における上書き可能領域に関する情報を記述
したuser_data() の内容の例を示す図。FIG. 15 is a diagram for explaining the present invention, showing an example of the contents of user_data () describing information on an overwritable area in the second embodiment of the present invention.
【図１６】本発明を説明するための図であって、本発明
の実施例２における映像符号編集装置の構成例を示すブ
ロック図。FIG. 16 is a diagram for explaining the present invention, and is a block diagram illustrating a configuration example of a video code editing apparatus according to the second embodiment of the present invention.
【図１７】本発明を説明するための図であって、本発明
の実施例２における上書き可能領域検出部の構成例を示
すブロック図。FIG. 17 is a diagram for explaining the present invention, and is a block diagram illustrating a configuration example of an overwritable area detection unit according to the second embodiment of the present invention.
【図１８】本発明を説明するための図であって、本発明
の実施例２における上書き可能領域検出部の処理の流れ
を説明するフローチャート。FIG. 18 is a diagram for explaining the present invention, and is a flowchart for explaining the flow of processing of an overwritable area detection unit according to the second embodiment of the present invention.
１１…動き検出部 １２…減算器 １３…ＤＣＴ（直交変換）処理部 １４…量子化部 １５…逆量子化部 １６…逆ＤＣＴ処理部 １７…加算器 １８…フレームメモリ １９…動き補償予測部 ２０…可変長符号化部 ２１…全体制御部 ２２…パラメータ入力部 ２３…入力動画信号 ６１…ストリーム解析部 ６２…ストリーム置換部 ６３…置換用ストリームライブラリ ７１…バッファ ７２…置換用映像符号化部 ７３…原画像 ８１…入力バッファ ８２…上書き可能領域検出部 ８３…上書き部可能領域書換部 ９１…復号化部 ９２…映像上書き部 ９３…符号化部 ９４…全体制御部 ９５…上書き用映像ライブラリ。 DESCRIPTION OF SYMBOLS 11 ... Motion detection part 12 ... Subtractor 13 ... DCT (orthogonal transformation) processing part 14 ... Quantization part 15 ... Inverse quantization part 16 ... Inverse DCT processing part 17 ... Adder 18 ... Frame memory 19 ... Motion compensation prediction part 20 ... Variable length coding unit 21 ... Overall control unit 22 ... Parameter input unit 23 ... Input video signal 61 ... Stream analysis unit 62 ... Stream replacement unit 63 ... Replacement stream library 71 ... Buffer 72 ... Replacement video coding unit 73 ... Original image 81 ... Input buffer 82 ... Overwrite-possible area detection unit 83 ... Overwrite-possible area rewriting unit 91 ... Decoding unit 92 ... Video overwrite unit 93 ... Encoding unit 94 ... Overall control unit 95 ... Overwrite video library.
Claims (11)
可能領域と、入れ替え不許可にした置換不能領域の２つ
の領域に分け、置換不能領域の予測符号化を行う際に置
換可能領域を予測の参照画面に用いることなくＭＰＥＧ
２ビデオス卜リームを作成する符号化手段と、 この符号化手段にて作成されたＭＰＥＧ２ビデオストリ
ームの置換可能領域を他の映像に置換する映像符号編集
手段と、から構成したことを特徴とする映像符号化装
置。1. A screen area is divided into two areas, a replaceable area in which data replacement is permitted and a non-replaceable area in which replacement is not permitted, and the replaceable area is predicted when coding the non-replaceable area. MPEG without using for reference screen
2. A video characterized by comprising coding means for generating a two-video stream, and video code editing means for replacing a replaceable area of the MPEG2 video stream generated by the coding means with another video. Encoding device.
らに備えることを特徴とする映像符号化装置。2. The video encoding apparatus according to claim 1, further comprising means for setting / releasing a replaceable area in GOP units.
ーザーデータをＭＰＥＧ２ビデオストリームにＧＯＰ単
位に多重する構成とすることを特徴とする映像符号化装
置。3. The video encoding apparatus according to claim 2, wherein user data indicating presence / absence of a replaceable area, area size, and position information is multiplexed on an MPEG2 video stream in GOP units. Video encoding device.
する映像符号化装置。4. The video encoding apparatus according to claim 3, wherein the screen area is divided into slices.
一定量以上にすることを特徴とする映像符号化装置。5. The video coding apparatus according to claim 4, wherein the code amount allocated to the replaceable area for each picture type is equal to or more than a predetermined amount.
無関係にイントラ符号化による符号化を行うことを特徴
とする映像符号化装置。6. The video encoding apparatus according to claim 3, wherein a screen area which is a replaceable area of the image is subjected to intra-encoding regardless of a picture type.
手段をさらに備えることを特徴とする映像符号化装置。7. The video encoding apparatus according to claim 6, further comprising: means for performing said area division of a screen in macroblock units.
トリームの最後にスタッフィングを挿入する手段を備え
ることを特徴とする映像符号化装置。8. The video encoding apparatus according to claim 6, further comprising: means for inserting stuffing at the end of a stream of each picture having an overwritable area when encoding.
たＭＰＥＧ２ビデオストリームに対して、置換可能領域
を別のスライスで置換することを特徴とする映像符号編
集装置。9. A video code editing apparatus, wherein a replaceable area is replaced with another slice in an MPEG2 video stream created by the video coding apparatus according to claim 5.
作成されたＭＰＥＧ２ビデオストリームに対して、置換
可能領域のみを復号化し、復号した画像の一部または全
部に映像を上書し再びイントラ符号化したストリームで
上書き可能領域のストリームを置換する手段を備えるこ
とを特徴とする映像符号編集装置。10. An MPEG2 video stream created by the video encoding apparatus according to claim 8, wherein only the replaceable area is decoded, the video is overwritten on a part or all of the decoded image, and the intra-coding is performed again. A video code editing apparatus, comprising: means for replacing a stream in an overwritable area with a converted stream.
において、 ストリームを置換する際に置換可能領域の有無、大き
さ、位置情報を示すデータを消去する手段を備えること
を特徴とする映像符号編集装置。11. The video code editing apparatus according to claim 9, further comprising means for erasing data indicating presence / absence, size, and position information of a replaceable area when replacing a stream. Sign editing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6136698A JP3544852B2 (en) | 1998-03-12 | 1998-03-12 | Video coding device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6136698A JP3544852B2 (en) | 1998-03-12 | 1998-03-12 | Video coding device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11261966A true JPH11261966A (en) | 1999-09-24 |
| JP3544852B2 JP3544852B2 (en) | 2004-07-21 |
Family
ID=13169107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6136698A Expired - Fee Related JP3544852B2 (en) | 1998-03-12 | 1998-03-12 | Video coding device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3544852B2 (en) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000354249A (en) * | 1999-04-16 | 2000-12-19 | Sony United Kingdom Ltd | Video signal processor, video signal processing method and computer program product |
| JP2001008210A (en) * | 1999-04-16 | 2001-01-12 | Sony United Kingdom Ltd | Video signal processor, computer program product and video signal processing method |
| WO2001033861A1 (en) * | 1999-11-05 | 2001-05-10 | Snell & Wilcox Limited | Mpeg encoding method for logo insertion |
| JP2001128184A (en) * | 1999-09-03 | 2001-05-11 | Sony United Kingdom Ltd | Video signal processor |
| JP2001128181A (en) * | 1999-10-26 | 2001-05-11 | Matsushita Electric Ind Co Ltd | Method and device for inserting broadcast for advertising into digital broadcasting |
| JP2001268572A (en) * | 2000-01-28 | 2001-09-28 | Thomson Licensing Sa | Method for inserting visual element into mpeg bit stream |
| JP2002531019A (en) * | 1998-11-25 | 2002-09-17 | トムソン マルチメディア | Image coding method and apparatus according to the MPEG standard for inserting small images |
| EP1277348A2 (en) * | 2000-04-25 | 2003-01-22 | Hewlett-Packard Company | Video compression method allowing selective video object editing |
| JP2003337596A (en) * | 2002-05-20 | 2003-11-28 | Teac Corp | Method and device for processing audio data |
| KR100497492B1 (en) * | 2002-10-08 | 2005-07-01 | 이성환 | Apparatus and method for removing object image in video |
| JP2010505330A (en) * | 2006-09-29 | 2010-02-18 | アビニティ・システムズ・ベスローテン・フェンノートシャップ | Method, system, and computer software for streaming parallel user sessions |
| JP2011503984A (en) * | 2007-11-13 | 2011-01-27 | アルカテル−ルーセント | Method and arrangement for personalized video coding |
| JP2011028802A (en) * | 2009-07-23 | 2011-02-10 | Sony Corp | Editing apparatus, editing method, and program |
| JP2011511554A (en) * | 2008-01-30 | 2011-04-07 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | Method for streaming video data |
| JP4898064B2 (en) * | 2000-05-26 | 2012-03-14 | トムソン ライセンシング | Method for recording and decoding a video image stream |
| JP2012100281A (en) * | 2005-03-09 | 2012-05-24 | Qualcomm Inc | Region-of-interest extraction for video telephony |
| CN103385004A (en) * | 2011-06-30 | 2013-11-06 | 三菱电机株式会社 | Image encoding apparatus, image decoding apparatus, image encoding method and image decoding method |
| US8977063B2 (en) | 2005-03-09 | 2015-03-10 | Qualcomm Incorporated | Region-of-interest extraction for video telephony |
| US9021541B2 (en) | 2010-10-14 | 2015-04-28 | Activevideo Networks, Inc. | Streaming digital video between video devices using a cable television system |
| US9042454B2 (en) | 2007-01-12 | 2015-05-26 | Activevideo Networks, Inc. | Interactive encoded content system including object models for viewing on a remote device |
| US9077860B2 (en) | 2005-07-26 | 2015-07-07 | Activevideo Networks, Inc. | System and method for providing video content associated with a source image to a television in a communication network |
| US9123084B2 (en) | 2012-04-12 | 2015-09-01 | Activevideo Networks, Inc. | Graphical application integration with MPEG objects |
| US9204203B2 (en) | 2011-04-07 | 2015-12-01 | Activevideo Networks, Inc. | Reduction of latency in video distribution networks using adaptive bit rates |
| US9219922B2 (en) | 2013-06-06 | 2015-12-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| US9294785B2 (en) | 2013-06-06 | 2016-03-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| US9326047B2 (en) | 2013-06-06 | 2016-04-26 | Activevideo Networks, Inc. | Overlay rendering of user interface onto source video |
| US9788029B2 (en) | 2014-04-25 | 2017-10-10 | Activevideo Networks, Inc. | Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks |
| US9800945B2 (en) | 2012-04-03 | 2017-10-24 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
| US9826197B2 (en) | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
| US10275128B2 (en) | 2013-03-15 | 2019-04-30 | Activevideo Networks, Inc. | Multiple-mode system and method for providing user selectable video content |
| US10409445B2 (en) | 2012-01-09 | 2019-09-10 | Activevideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07102940A (en) * | 1993-10-05 | 1995-04-18 | Matsushita Electric Ind Co Ltd | Filter regeneration device for internal combustion engine |
| JPH0898172A (en) * | 1994-09-27 | 1996-04-12 | Matsushita Electric Ind Co Ltd | Picture encoding device and picture decoding device |
| JPH08130712A (en) * | 1994-10-31 | 1996-05-21 | Sanyo Electric Co Ltd | Data editing method and editing device |
| JPH08265776A (en) * | 1995-03-27 | 1996-10-11 | Sony Corp | Video data synthesizing device and method therefor |
| JPH09322163A (en) * | 1996-03-22 | 1997-12-12 | Sony Corp | Method, device for encoding, transmitting and decoding image signal and recording medium |
| JPH1042261A (en) * | 1996-05-02 | 1998-02-13 | Lucent Technol Inc | Text overlay to compression area video image for multimedia communication system |
-
1998
- 1998-03-12 JP JP6136698A patent/JP3544852B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07102940A (en) * | 1993-10-05 | 1995-04-18 | Matsushita Electric Ind Co Ltd | Filter regeneration device for internal combustion engine |
| JPH0898172A (en) * | 1994-09-27 | 1996-04-12 | Matsushita Electric Ind Co Ltd | Picture encoding device and picture decoding device |
| JPH08130712A (en) * | 1994-10-31 | 1996-05-21 | Sanyo Electric Co Ltd | Data editing method and editing device |
| JPH08265776A (en) * | 1995-03-27 | 1996-10-11 | Sony Corp | Video data synthesizing device and method therefor |
| JPH09322163A (en) * | 1996-03-22 | 1997-12-12 | Sony Corp | Method, device for encoding, transmitting and decoding image signal and recording medium |
| JPH1042261A (en) * | 1996-05-02 | 1998-02-13 | Lucent Technol Inc | Text overlay to compression area video image for multimedia communication system |
Cited By (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5015375B2 (en) * | 1998-11-25 | 2012-08-29 | トムソン マルチメデイア | Image coding method and apparatus compliant with MPEG standard for inserting small images |
| JP2002531019A (en) * | 1998-11-25 | 2002-09-17 | トムソン マルチメディア | Image coding method and apparatus according to the MPEG standard for inserting small images |
| JP4689001B2 (en) * | 1999-04-16 | 2011-05-25 | ソニー ヨーロッパ リミテッド | Video signal processing apparatus, computer program, and video signal processing method |
| JP2000354249A (en) * | 1999-04-16 | 2000-12-19 | Sony United Kingdom Ltd | Video signal processor, video signal processing method and computer program product |
| JP2001008210A (en) * | 1999-04-16 | 2001-01-12 | Sony United Kingdom Ltd | Video signal processor, computer program product and video signal processing method |
| JP2001128184A (en) * | 1999-09-03 | 2001-05-11 | Sony United Kingdom Ltd | Video signal processor |
| JP2001128181A (en) * | 1999-10-26 | 2001-05-11 | Matsushita Electric Ind Co Ltd | Method and device for inserting broadcast for advertising into digital broadcasting |
| WO2001033861A1 (en) * | 1999-11-05 | 2001-05-10 | Snell & Wilcox Limited | Mpeg encoding method for logo insertion |
| JP2001268572A (en) * | 2000-01-28 | 2001-09-28 | Thomson Licensing Sa | Method for inserting visual element into mpeg bit stream |
| JP2003534684A (en) * | 2000-04-25 | 2003-11-18 | ヒューレット・パッカード・カンパニー | How to edit compressed video downstream |
| EP1277348A2 (en) * | 2000-04-25 | 2003-01-22 | Hewlett-Packard Company | Video compression method allowing selective video object editing |
| JP4898064B2 (en) * | 2000-05-26 | 2012-03-14 | トムソン ライセンシング | Method for recording and decoding a video image stream |
| JP2003337596A (en) * | 2002-05-20 | 2003-11-28 | Teac Corp | Method and device for processing audio data |
| KR100497492B1 (en) * | 2002-10-08 | 2005-07-01 | 이성환 | Apparatus and method for removing object image in video |
| US8977063B2 (en) | 2005-03-09 | 2015-03-10 | Qualcomm Incorporated | Region-of-interest extraction for video telephony |
| JP2012100281A (en) * | 2005-03-09 | 2012-05-24 | Qualcomm Inc | Region-of-interest extraction for video telephony |
| US9077860B2 (en) | 2005-07-26 | 2015-07-07 | Activevideo Networks, Inc. | System and method for providing video content associated with a source image to a television in a communication network |
| JP2010505330A (en) * | 2006-09-29 | 2010-02-18 | アビニティ・システムズ・ベスローテン・フェンノートシャップ | Method, system, and computer software for streaming parallel user sessions |
| US9355681B2 (en) | 2007-01-12 | 2016-05-31 | Activevideo Networks, Inc. | MPEG objects and systems and methods for using MPEG objects |
| US9826197B2 (en) | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
| US9042454B2 (en) | 2007-01-12 | 2015-05-26 | Activevideo Networks, Inc. | Interactive encoded content system including object models for viewing on a remote device |
| US8542743B2 (en) | 2007-11-13 | 2013-09-24 | Alcatel Lucent | Method and arrangement for personalized video encoding |
| JP2011503984A (en) * | 2007-11-13 | 2011-01-27 | アルカテル−ルーセント | Method and arrangement for personalized video coding |
| JP2011511554A (en) * | 2008-01-30 | 2011-04-07 | ヒューレット−パッカード デベロップメント カンパニー エル．ピー． | Method for streaming video data |
| JP2011028802A (en) * | 2009-07-23 | 2011-02-10 | Sony Corp | Editing apparatus, editing method, and program |
| US9021541B2 (en) | 2010-10-14 | 2015-04-28 | Activevideo Networks, Inc. | Streaming digital video between video devices using a cable television system |
| US9204203B2 (en) | 2011-04-07 | 2015-12-01 | Activevideo Networks, Inc. | Reduction of latency in video distribution networks using adaptive bit rates |
| CN103385004A (en) * | 2011-06-30 | 2013-11-06 | 三菱电机株式会社 | Image encoding apparatus, image decoding apparatus, image encoding method and image decoding method |
| US9503718B2 (en) | 2011-06-30 | 2016-11-22 | Mitsubishi Electric Corporation | Image coding device, image decoding device, image coding method, and image decoding method |
| CN103385004B (en) * | 2011-06-30 | 2016-12-28 | 三菱电机株式会社 | Picture coding device, picture decoding apparatus, method for encoding images and picture decoding method |
| JPWO2013001730A1 (en) * | 2011-06-30 | 2015-02-23 | 三菱電機株式会社 | Image encoding apparatus, image decoding apparatus, image encoding method, and image decoding method |
| US10409445B2 (en) | 2012-01-09 | 2019-09-10 | Activevideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
| US10757481B2 (en) | 2012-04-03 | 2020-08-25 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
| US10506298B2 (en) | 2012-04-03 | 2019-12-10 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
| US9800945B2 (en) | 2012-04-03 | 2017-10-24 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
| US9123084B2 (en) | 2012-04-12 | 2015-09-01 | Activevideo Networks, Inc. | Graphical application integration with MPEG objects |
| US10275128B2 (en) | 2013-03-15 | 2019-04-30 | Activevideo Networks, Inc. | Multiple-mode system and method for providing user selectable video content |
| US11073969B2 (en) | 2013-03-15 | 2021-07-27 | Activevideo Networks, Inc. | Multiple-mode system and method for providing user selectable video content |
| US10200744B2 (en) | 2013-06-06 | 2019-02-05 | Activevideo Networks, Inc. | Overlay rendering of user interface onto source video |
| US9219922B2 (en) | 2013-06-06 | 2015-12-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| US9326047B2 (en) | 2013-06-06 | 2016-04-26 | Activevideo Networks, Inc. | Overlay rendering of user interface onto source video |
| US9294785B2 (en) | 2013-06-06 | 2016-03-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
| US9788029B2 (en) | 2014-04-25 | 2017-10-10 | Activevideo Networks, Inc. | Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3544852B2 (en) | 2004-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3544852B2 (en) | Video coding device | |
| KR100766740B1 (en) | Apparatus and method for converting data using encoding history information | |
| US6546189B1 (en) | Method and apparatus for editing compressed moving pictures and storage medium | |
| US6724977B1 (en) | Compressed video editor with transition buffer matcher | |
| EP0923243B1 (en) | Editing device, editing method, splicing device, splicing method, encoding device, and encoding method | |
| KR101867461B1 (en) | Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, moving image prediction decoding method, and moving image prediction decoding program | |
| US20070286280A1 (en) | Image coding/recording apparatus and image coding/recording method | |
| US6792045B2 (en) | Image signal transcoder capable of bit stream transformation suppressing deterioration of picture quality | |
| JP2000278692A (en) | Compressed data processing method, processor and recording and reproducing system | |
| US20080044156A1 (en) | MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method | |
| EP2077670A1 (en) | Transcoder, transcoding method, decoder, and decoding method | |
| KR100988006B1 (en) | Decoding device and method, and recording medium | |
| JP2002077815A (en) | Transmission device, transmission system, and transmission method for image information | |
| JP3976942B2 (en) | Image processing apparatus and method, and computer-readable recording medium on which an image processing program is recorded | |
| US7346108B2 (en) | Encoded-data converting apparatus and method for the same | |
| JP3487205B2 (en) | Image data editing device | |
| JPH08251582A (en) | Encoded data editing device | |
| KR19990028747A (en) | Method for decoding and coding compressed video data streams with reduced memory requirements | |
| JPH0888854A (en) | Moving picture encoding system | |
| JPH08149408A (en) | Digital animation editing method and device therefor | |
| JP2005278207A (en) | Edit system and method, re-encoder and method | |
| JP3461280B2 (en) | Moving image editing apparatus and moving image editing method | |
| JP4651344B2 (en) | MPEG-2 stream wipe switching method | |
| JP2004274734A (en) | Picture decoding apparatus, picture encoding apparatus, and method thereof | |
| JP2000236539A (en) | Image compression coder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040330 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040406 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080416 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110416 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |