JP2000078572A - Object encoding device, frame omission control method for object encoding device and storage medium recording program - Google Patents
Object encoding device, frame omission control method for object encoding device and storage medium recording programInfo
- Publication number
- JP2000078572A JP2000078572A JP24503098A JP24503098A JP2000078572A JP 2000078572 A JP2000078572 A JP 2000078572A JP 24503098 A JP24503098 A JP 24503098A JP 24503098 A JP24503098 A JP 24503098A JP 2000078572 A JP2000078572 A JP 2000078572A
- Authority
- JP
- Japan
- Prior art keywords
- objects
- frame
- encoding
- multiplexing
- rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、動画像を圧縮して
得た動画像データを通信回線に送出する際に、通信回線
に対する伝送量を減少させるために、動画像のコマ落と
し行うオブジェクト符号化装置およびオブジェクト符号
化装置のコマ落し制御方法およびプログラムを記録した
記憶媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an object code for dropping frames of a moving image when transmitting moving image data obtained by compressing the moving image to a communication line in order to reduce the amount of transmission to the communication line. Field of the Invention The present invention relates to a frame dropping control method of an encoding device and an object encoding device, and a storage medium storing a program.
【０００２】[0002]
【従来の技術】従来、テレビ電話システムの一つとして
Ｈ．２６１方式では、動画像についてそのフレーム毎に
データを８×８画素のブロックとし、このブロックに対
して２次元ＤＣＴ変換（離散コサイン変換）するフレー
ム内符号化、前フレームと現フレームの同位置の画像ブ
ロックにおいて両者の相関が強いときにフレーム間の差
分をとり、その差分に対して８×８画素のブロックを２
次元ＤＣＴ変換するフレーム間符号化、前フレームから
現フレームヘ類似した動画像ブロックが相対的に隣接移
動した場合に、これを検知してその動画像ブロックの移
動量と移動方向の情報を送るのみで動画像データそのも
のを送らずに済ませることで発生データ量を減らす動き
補償、ＤＣＴ変換後の各周波数毎の係数値が低周波数領
域では値が発生するが、高周波領域では値が発生しにく
く、ゼロ値が続くことを利用したゼロ・ランレングス符
号化、データの発生量に応じてデータの量子化ステップ
幅を変更することでデータの発生量を調整する量子化、
発生頻度の高いデータ・パターンに対しては短い符号値
を、発生頻度の低いデータ・パターンに対しては長い符
号量を割り当てることで、トータル的に発生したデータ
量よりも少ないデータ量に変換する可変長符号化、等が
使用されている。2. Description of the Related Art Conventionally, H.264 has been used as one of videophone systems. In the H.261 system, for a moving image, data is divided into 8 × 8 pixel blocks for each frame, and this block is subjected to two-dimensional DCT (discrete cosine transform) intra-frame encoding. When the correlation between the two is strong in the image block, the difference between the frames is calculated.
Inter-frame coding for dimensional DCT transformation. When a moving image block similar to the current frame moves relatively adjacently from the previous frame, this is detected and only information of the moving amount and moving direction of the moving image block is sent. Motion compensation that reduces the amount of generated data by not sending the moving image data itself. The coefficient value for each frequency after DCT conversion has a value in the low frequency region, but does not easily occur in the high frequency region. Zero run-length encoding using the value that follows, quantization that adjusts the amount of data generation by changing the quantization step width of data according to the amount of data generation,
By assigning a short code value to a frequently occurring data pattern and a long code amount to a less frequently occurring data pattern, the data pattern is converted into a smaller data amount than the total generated data amount. Variable length coding, etc. are used.
【０００３】そして、可変長符号化された圧縮データは
一旦、バッファメモリに保持された後、順次読み出され
て通信回線に送出させることになるが、バッファメモリ
がオーバーフローしないようにバッファメモリのデータ
蓄積量を基に、入力動画像の変化、シーン・チェンジに
応じて適応的に、量子化ステップ幅を変え、コマ落とし
を行い、バッファメモリから出力されるビットレートを
一定にしてから、通信回線に送出される。[0003] The compressed data that has been subjected to the variable-length coding is temporarily stored in a buffer memory and then sequentially read out and sent out to a communication line. Based on the accumulated amount, the quantization step width is adaptively changed according to changes in the input moving image and scene changes, frame skipping is performed, and the bit rate output from the buffer memory is kept constant before the communication line Sent to
【０００４】以上の動画像圧縮方式は、画面が単一で矩
形に限定されているが、上記の圧縮方式をＭＰＥＧ−４
のように、画面をオブジェクト単位で切り出してそれぞ
れを符号化するようにした任意形状の動画像圧縮符号化
方式に適用することが可能である。The above-mentioned moving image compression method has a single screen and is limited to a rectangle.
As described above, the present invention can be applied to a moving image compression encoding system of an arbitrary shape in which a screen is cut out in units of objects and each is encoded.
【０００５】例えば、図９のようにテレビカメラなどで
撮影した動画像を入力して（１００）、原画像１０１に
ついてオブジェクト生成部１０２で領域抽出して、原画
像１０１からシーン毎に人物および背景などのオブジェ
クトを切り抜く。そして、各オブジェクトは符号化され
てから（１０３ａ、１０３ｂ）、多重化部１０４で多重
化されて、通信回線１０６に送出される。受信側では多
重化されたオブジェクトは多重分離部１０７で分離され
る。For example, as shown in FIG. 9, a moving image captured by a television camera or the like is input (100), an area is extracted from an original image 101 by an object generation unit 102, and a person and a background are extracted from the original image 101 for each scene. Cut out objects such as. Then, each object is encoded (103a, 103b), multiplexed by the multiplexing unit 104, and transmitted to the communication line 106. On the receiving side, the multiplexed object is separated by the demultiplexing unit 107.
【０００６】そして、各オブジェクトは復号化されて
（１０８ａ、１０８ｂ）、コンボジター部１０９で画面
上の各オブジェクトの配置位置などを考慮して、表示部
で再現画像１１０として表示される。原画像１０１から
オブジェクト単位に動画像を切り出すと、必要とするオ
ブジェクトのみ受信側に送ることができる。Then, each object is decoded (108a, 108b) and displayed on the display unit as a reproduced image 110 in consideration of the arrangement position of each object on the screen by the convogator unit 109. When a moving image is cut out from the original image 101 in units of objects, only necessary objects can be sent to the receiving side.
【０００７】例えば、“オブジェクト１”のように重要
な人物像のみ送り、“オブジェクト２”のように必ずし
も重要でない背景動画像の伝送を停止し、受信側で別な
背景動画像に“オブジェクト１”を重ね合わせて表示す
ることができる。背景動画像を送らないことにより、ト
ータル的な伝送容量が少なくて済む利点がある。For example, only an important person image such as “Object 1” is transmitted, transmission of a background image that is not necessarily important such as “Object 2” is stopped, and “Object 1” is transferred to another background image on the receiving side. "Can be superimposed and displayed. By not sending the background moving image, there is an advantage that the total transmission capacity can be reduced.
【０００８】また、背景動画像を人物動画像より解像度
を下げて送ることにより、伝送容量を低減させることも
できる。ここで、図９に示した方式とは別の図１０に示
す如きの方式がある。これは、背景用と目的物用の撮像
装置を別個にして背景は背景のみ、目的物は目的物のみ
とした画像とする方式であって、人物などの目的物を無
地の背景においてテレビカメラなどの撮像装置で撮影し
て得た目的物の原画像１０１を入力して（１００）、オ
ブジェクト生成部１０２に取り込み、このオブジェクト
生成部１０２で画像中から当該目的物部分の画像である
“オブジェクト１”を切り抜いて、符号化する（１０３
ａ）。Further, by transmitting the background moving image at a lower resolution than the person moving image, the transmission capacity can be reduced. Here, there is a method shown in FIG. 10 which is different from the method shown in FIG. This is a method in which an image pickup device for the background and the object is separated and the background is the background only, and the object is the image of the object only. An original image 101 of a target object obtained by photographing with the imaging device is input (100), taken into an object generation unit 102, and the object generation unit 102 outputs an image of the object portion "Object 1" from the image. Is cut out and encoded (103
a).
【０００９】一方、別の撮像装置（テレビカメラ）で所
望の背景を撮影して得た背景画像１１２を入力し（１１
１）、これを矩形の背景画像まま“オブジェクト２”と
して符号化する（１０３ｂ）。そして、前記と同様に
“オブジェクト１”と“オブジェクト２”は多重化部１
０４にて多重化した後に、通信回線１０６を介して受信
側に送られ、受信側ではこれを多重分離部１０７で分離
して元の“オブジェクト１”の復号化画像１０８ａと
“オブジェクト２”の復号化画像１０８ｂに戻し、これ
をコンポジター部１０９で組み立てて再現画像１１０と
して表示部で表示させる。On the other hand, a background image 112 obtained by photographing a desired background with another imaging device (television camera) is input (11).
1) This is coded as “object 2” as a rectangular background image (103b). Then, as described above, “object 1” and “object 2” are
After being multiplexed at 04, it is sent to the receiving side via the communication line 106, and the receiving side separates the multiplexed signal at the demultiplexing unit 107 and decodes the decoded image 108a of the original "Object 1" and the "Object 2". The image is returned to the decoded image 108b, assembled by the compositor unit 109, and displayed on the display unit as a reproduced image 110.
【００１０】本方式は背景動画像を撮影するテレビカメ
ラが人物を撮影するテレビカメラと別なため、好みの背
景シーンを撮影することができ、解像度も任意に変える
ことができる利点がある。In this system, the television camera for photographing a background moving image is different from the television camera for photographing a person, and thus has an advantage that a desired background scene can be photographed and the resolution can be arbitrarily changed.
【００１１】ところで、図１０の方式は背景動画像を撮
影するテレビカメラが人物を撮影するテレビカメラと別
なため、好みの背景シーンを撮影することができ、解像
度も任意に変えることができる利点がある反面、背景動
画像を入力するために別なテレビカメラあるいはビデオ
ソースを必要とする。それ故、装置として大掛かりにな
る。従って、特に、携帯用情報端末などのように大き
さ、重量などで制限を受けるような用途の機器には向か
ない。By the way, in the system shown in FIG. 10, since a television camera for photographing a background moving image is different from a television camera for photographing a person, a desired background scene can be photographed and the resolution can be arbitrarily changed. On the other hand, a separate TV camera or video source is required to input the background moving image. Therefore, it becomes large-scale as an apparatus. Therefore, it is not particularly suitable for a device such as a portable information terminal which is limited in size and weight.
【００１２】そこで、現状では図９の方式が実用的な方
式であり、本発明も図９のように一枚の動画像から必要
となるオブジェクトを切り抜いて、各オブジェクトを符
号化する方式を対象にしている。At present, the system shown in FIG. 9 is a practical system, and the present invention is also directed to a system in which necessary objects are cut out from one moving image and each object is encoded as shown in FIG. I have to.
【００１３】図１１は図９で説明した方式をハードウエ
アとして実現するための機器構成を示した構成図であ
る。図１１において、１１４は形状抽出部、１１７ａ，
１１７ｂ，〜１１７ｎは符号化部、１１９ａ，〜１１９
ｎはレート制御部、１２１ａ，〜１２１ｎはバッファメ
モリ、１２４は多重化部である。FIG. 11 is a configuration diagram showing a device configuration for realizing the system described in FIG. 9 as hardware. In FIG. 11, reference numeral 114 denotes a shape extraction unit, 117a,
117b, to 117n are coding units, and 119a, to 119
n is a rate control unit, 121a to 121n are buffer memories, and 124 is a multiplexing unit.
【００１４】この構成において、テレビカメラなどの撮
像装置で撮影して得た動画像データ１１３は形状抽出部
１１４と複数の符号化部１１７ａ，１１７ｂ，〜１１７
ｎとにそれぞれ入力される。そして、動画像データ１１
３が形状抽出部１１４に入力されることにより、必要と
なる複数のオブジェクトの各形状情報１１６がこの形状
抽出部１１４によって生成される。そして、これらの形
状情報１１６は符号化部１１７ａ，１１７ｂ，〜１１７
ｎのうち、それぞれ所定の符号化部１１７ａ，１１７
ｂ，〜１１７ｎに送られて符号化される。符号化部は１
１７ａ，１１７ｂ，〜１１７ｎと複数あるが、これは同
時並行して符号化処理できるようにするためであり、各
オブジェクト毎に専用で符号化するためである。In this configuration, moving image data 113 obtained by photographing with an imaging device such as a television camera is combined with a shape extracting unit 114 and a plurality of encoding units 117a, 117b, to 117.
n. Then, the moving image data 11
3 is input to the shape extracting unit 114, and the necessary shape information 116 of a plurality of objects is generated by the shape extracting unit 114. The shape information 116 is encoded by the encoding units 117a, 117b,.
n, predetermined encoding units 117a, 117
b, to 117n and encoded. The encoding unit is 1
17a, 117b,..., And 117n. This is to enable simultaneous and parallel encoding processing, and to encode exclusively for each object.
【００１５】そして、各オブジェクトは符号化部１１７
ａ〜１１７ｎで並列に、形状情報１１６を使用して、動
画像データ１１３からそれぞれの形状情報に対応する動
画像部分を領域抽出してから符号化（符号化情報１２３
ａ，１２３ｂ，〜１２３ｎ）する。Each object is encoded by the encoding unit 117.
a to 117 n in parallel, using the shape information 116, extracting a region of a moving image portion corresponding to each shape information from the moving image data 113 and then encoding (encoding information 123)
a, 123b, to 123n).
【００１６】このようにして符号化部１１７ａ，１１７
ｂ，〜１１７ｎにて得られた符号化情報１２３ａ，１２
３ｂ，〜１２３ｎはそれぞれ符号化部１１７ａ，１１７
ｂ，〜１１７ｎに対応するバッファメモリ１２１ａ，１
２１ｂ，〜１２１ｎに与えられる。In this manner, the encoding sections 117a, 117
b, coded information 123a, 12 obtained at 117n
3b and .about.123n are encoding units 117a and 117, respectively.
b, to the buffer memory 121a, 1 corresponding to 117n
21b, to 121n.
【００１７】バッファメモリ１２１ａ，１２１ｂ，〜１
２１ｎは、上述したように、読み出し出力１２２ａ，１
２２ｂ，〜１２２ｎを一定の伝送レートに平滑化する目
的の一時保持用のメモリである。The buffer memories 121a, 121b,.
21n is the read output 122a, 1 as described above.
This is a temporary holding memory for the purpose of smoothing 22b, to 122n to a constant transmission rate.
【００１８】この構成においては、バッファメモリ１２
１ａ，１２１ｂ，〜１２１ｎのデータ蓄積量の情報をそ
れぞれのバッファメモリ１２１ａ，１２１ｂ，〜１２１
ｎに対応するレート制御部１１９ａ，１１９ｂ，〜１１
９ｎに与えている。In this configuration, the buffer memory 12
1a, 121b, to 121n are stored in the respective buffer memories 121a, 121b, to 121n.
n corresponding to the rate control units 119a, 119b,.
9n.
【００１９】そして、各レート制御部１１９ａ，１１９
ｂ，〜１１９ｎは自己の受け取った前記データ蓄積量の
情報から自己の対応するバッファメモリ１２１ａ，１２
１ｂ，〜１２１ｎの出力１２２ａ，〜１２２ｎを一定レ
ートにするために、符号化部１１７ａ，１１７ｂ，〜１
１７ｎにフィードバックして（１１８ａ，１１８ｂ，〜
１１８ｎ）、符号化部１１７の量子化ステップを変化さ
せることでバッファメモリ１２１ａ，１２１ｂ，〜１２
１ｎに入力されるフレームデータのデータ量を制御して
いる。Then, each rate control unit 119a, 119
b, to 119n are based on the information of the data storage amount received by the corresponding buffer memories 121a, 121
Encoding units 117a, 117b,.
17n (118a, 118b, ...)
118n), by changing the quantization step of the encoding unit 117, the buffer memories 121a, 121b,.
1n is controlled.
【００２０】そして、場合によってはバッファメモリ１
２１ａ，１２１ｂ，〜１２１ｎに送られて一時的に保持
されるフレームデータを、フレームスキップ（コマ落と
し）することにより、全体としてバッファメモリ１２１
ａ，１２１ｂ，〜１２１ｎの読み出し出力１２２ａ，１
２２ｂ，〜１２２ｎの伝送レートを一定にしている。If necessary, the buffer memory 1
The frame data sent to and temporarily stored in the buffer memories 121a, 121b,...
a, 121b, to 121n read outputs 122a, 1
The transmission rates of 22b and 122n are fixed.
【００２１】各バッファメモリ１２１ａ〜１２１ｎの読
み出し出力１２２ａ〜１２２ｎは多重化部１２４で多重
化されて多重化出力１２５となり、通信回線に送出され
る。各オブジェクトに対応した符号化データの伝送レー
トが一定ならば、多重化出力１２５も一定の伝送レート
に制限される。そして、多重化出力１２５は通信回線の
伝送レートに相当している。The read outputs 122a to 122n of the buffer memories 121a to 121n are multiplexed by the multiplexing unit 124 to become multiplexed outputs 125, which are sent out to the communication line. If the transmission rate of the encoded data corresponding to each object is constant, the multiplex output 125 is also limited to a constant transmission rate. The multiplex output 125 corresponds to the transmission rate of the communication line.
【００２２】また、各バッファメモリ１２１ａ，１２１
ｂ，〜１２１ｎの読み出し出力１２２ａ〜１２２ｎの伝
送レートの割り当ては、対応するオブジェクトをどの程
度圧縮するか、あるいはどの程度コマ落としを許容する
かにかかっている。Each buffer memory 121a, 121
The assignment of the transmission rates of the read outputs 122a to 122n of b, to 121n depends on how much the corresponding object is compressed or how much frame dropping is allowed.
【００２３】すなわち、ユーザが各オブジェクトの重要
性、または、優先度をどのように配分するかにかかって
いる。例えば、あるオブジェクトは動きを忠実に再現し
たければ、そのオブジェクト全体について多少圧縮率を
高くし、できるだけコマ落としを避けるようにレート制
御部１１９ａ，１１９ｂ，〜１１９ｎでレート制御を行
う必要がある。That is, it depends on how the user allocates importance or priority of each object. For example, if it is desired to faithfully reproduce the motion of a certain object, it is necessary to increase the compression ratio for the entire object to a certain extent and perform rate control by the rate control units 119a, 119b, to 119n so as to avoid dropping frames as much as possible.
【００２４】反対に、オブジェクトの精細度を重視する
ならば、そのオブジェクトの全体の圧縮率を下げ、ある
程度のコマ落としを許容するようにレート制御部１１９
ａ，１１９ｂ，〜１１９ｎでレート制御を行う必要があ
る。Conversely, if importance is placed on the definition of the object, the rate control unit 119 reduces the overall compression ratio of the object and allows a certain amount of frame dropping.
a, 119b, to 119n.
【００２５】従って、オブジェクトが注目対象物である
か否かでコマ落としの影響も様々となる。例えば、“オ
ブジェクト１”が注目対象物で“オブジェクト２”が背
景である場合、重要度は“オブジェクト１”の方が高い
から、コマ落としする必要が生じた場合には、当然のこ
とながら、そのコマ落とし対象は“オブジェクト２”の
方となる。そして、このような場合に、受信側で再生さ
れた画像には時としてジッタが発生するなど、不都合が
生じることになる。Therefore, the effect of frame dropping varies depending on whether the object is the target object or not. For example, when "Object 1" is the target object and "Object 2" is the background, the importance of "Object 1" is higher. Therefore, when it is necessary to drop frames, it is natural that The object to be dropped is “Object 2”. In such a case, inconveniences such as the occurrence of jitter sometimes occur in the image reproduced on the receiving side.
【００２６】すなわち、図１１の構成は入力部が共通
で、同じ動画像データ１１３を受ける従来から公知の複
数の符号化部１１７ａ，〜１１７ｎ、バッファメモリ１
２１ａ，〜１２１ｎおよびレート制御部１１９ａ，〜１
１９ｎにより並列に符号化して、各読み出し出力１２２
ａ，〜１２２ｎを共通の多重化部１２４で多重化してい
る。That is, the configuration of FIG. 11 has a common input unit, and a plurality of conventionally known encoding units 117a to 117n and the buffer memory 1 which receive the same moving image data 113.
21a, 121a and rate control units 119a, 119
19n, and each read output 122
a, to 122n are multiplexed by a common multiplexing unit 124.
【００２７】しかし、各レート制御部１１９ａ，〜１１
９ｎはそれぞれが独立に動作しているため、各符号化部
１１７ａ，〜１１７ｎでのコマ落とし制御が同期しない
という問題がある。However, each of the rate control units 119a to 119
9n operate independently, and there is a problem that the frame drop control in each of the encoding units 117a to 117n is not synchronized.
【００２８】図１２（ａ）は図９における“オブジェク
ト１”（目的物）と“オブジェクト２”（背景画）につ
いて、フレーム毎の動画像の符号化状態を示したもので
ある。ｔ１，ｔ２およびｔ３はあるフレーム時間に相当
する。また、全体が一枚の矩形画面となっている動画像
中から、人物像部分（“オブジェクト１”）、背景動画
像部分（“オブジェクト２”）を切り出して、符号化し
ている。FIG. 12A shows the encoding state of a moving image for each frame for "Object 1" (object) and "Object 2" (background image) in FIG. t1, t2 and t3 correspond to a certain frame time. In addition, a person image portion (“object 1”) and a background moving image portion (“object 2”) are cut out from a moving image having a single rectangular screen and encoded.
【００２９】そして、人物像は画面中を左側に移動して
いる状態で、“オブジェクト１”がフレーム毎に左に移
動すれば、同じフレームに該当する背景画である“オブ
ジェクト２”においても、その人物部分を切り抜いた領
域部分は“オブジェクト１”と同様に、フレーム毎に一
緒に左に移動することになる。If the "human object" is moving to the left on the screen, and "object 1" moves to the left for each frame, the "object 2", which is the background image corresponding to the same frame, The region portion obtained by cutting out the person portion moves to the left together with each frame similarly to “Object 1”.
【００３０】そして、受信側で“オブジェクト１”と
“オブジェクト２”の符号化されたデータは各々伸長処
理されて、元のオブジェクトに再現され、“オブジェク
ト２”における人物部分を切り抜いた領域部分に“オブ
ジェクト１”の画像が重ね合わされる、つまり、結果的
に嵌め込まれるかたちとなることから、隙間のない合成
画像が再現され、これが完成されたフレーム画像として
表示部に表示されて、観賞に供されることになる。On the receiving side, the encoded data of "Object 1" and "Object 2" are respectively decompressed and reproduced into the original object, and are converted into the area of "Object 2" obtained by cutting out the person portion. Since the images of “Object 1” are superimposed, that is, they are fitted as a result, a composite image without gaps is reproduced, and this is displayed on the display unit as a completed frame image, and is used for viewing. Will be done.
【００３１】ここで、“オブジェクト２”について、時
刻ｔ２の時点でコマ落としが発生したと仮定する。する
と、この時点での受信側の合成画像１２８（図１２
（ａ）参照）としては“オブジェクト１”については時
刻ｔ２での“オブジェクト１”１２６が使用されるが、
コマ落としにより“オブジェクト２”１２７については
当該時刻ｔ２についてのオブジェクトが存在しないた
め、受信側の受信バッファ（図示せず）に蓄積された時
刻ｔ１時点でのオブジェクト１２７がそのまま使用され
ることになる。Here, it is assumed that a frame drop has occurred in "object 2" at time t2. Then, the composite image 128 on the receiving side at this point (FIG. 12)
(Refer to (a)) for “Object 1”, “Object 1” 126 at time t2 is used,
Since the object at the time t2 does not exist for the “object 2” 127 due to the frame drop, the object 127 at the time t1 accumulated in the reception buffer (not shown) on the receiving side is used as it is. .
【００３２】そして、受信側の合成画像１２８としては
時刻ｔ２時点の“オブジェクト１”１２６がオブジェク
ト１２９に相当し、時刻ｔ１時点での“オブジェクト
２”１２７がオブジェクト１３０に相当していて、両者
がずれを起こして重なることになる結果、輪郭部分がジ
ッタを起こした状態になり、画質を低下させる。As the composite image 128 on the receiving side, the “object 1” 126 at the time t2 corresponds to the object 129, and the “object 2” 127 at the time t1 corresponds to the object 130. As a result of the displacement and the overlapping, the contour portion is in a state of causing jitter, and the image quality is reduced.
【００３３】[0033]
【発明が解決しようとしする課題】例えば、ＭＰＥＧ−
４をターゲットとした従来の実用的な動画像圧縮装置
は、目的物と背景画像とが映し込まれた各フレーム画像
から目的物部分と背景画等のその他の部分とを切り出し
てそれぞれについて、圧縮符号化し、多重化して伝送す
るようにしている。For example, MPEG-
The conventional practical moving image compression apparatus targeting the object 4 extracts a target portion and other portions such as a background image from each frame image on which the target and the background image are projected, and compresses each of them. It is encoded, multiplexed and transmitted.
【００３４】しかし、使用する伝送路は伝送可能な容量
に制限があり、その許容される容量の範囲で伝送しなけ
ればならないことから、例えば、目的物と背景とで割り
当てる符号量を目的に応じて調整し、フレーム当たりの
符号量を伝送路の容量の範囲に収めるように符号量制御
して伝送するようにしている。However, the transmission path to be used is limited in the capacity that can be transmitted, and the transmission must be performed within the allowable capacity. Therefore, for example, the code amount to be allocated between the object and the background depends on the purpose. The transmission is controlled by controlling the code amount so that the code amount per frame falls within the range of the capacity of the transmission path.
【００３５】しかしながら、これでも伝送量が容量をオ
ーバーすることが避けられない場合には、送るべき動画
像からコマ落としをして、伝送データ量を調整すること
になる。However, if it is still unavoidable that the transmission amount exceeds the capacity, the transmission data amount is adjusted by removing frames from the moving image to be transmitted.
【００３６】一方、目的物の画像と、その他の部分の画
像は別個に符号化処理され、コマ落とし制御も互いの同
期的な関係を考慮されることなく、それぞれ独自に実施
される。そのため、例えば、あるフレームにおいて目的
物の画像はコマ落としされず、その他の部分の画像がコ
マ落としされたとすると、コマ落としされた画像は、受
信側での再生の際に、直前の最新のものを以て代用する
ことになり、画面中で目的物が移動しているようなシー
ンであった場合に、目的物の画像の画面上の位置と、代
用することとなったその他の部分の画像における前記目
的物登場位置が一致しないと云った事態が生じる。On the other hand, the image of the object and the image of the other portion are separately encoded, and the frame dropping control is performed independently without considering the synchronous relationship between them. Therefore, for example, if the image of the target object is not dropped in a certain frame and the frames of the other parts are dropped, the dropped frame is the latest image immediately before playback on the receiving side. In the case where the scene is such that the target is moving on the screen, the position of the target image on the screen and the image in the other part of the image to be substituted A situation occurs in which the object appearance positions do not match.
【００３７】目的物の画像は、その他の部分の画像にお
いて切り取られ除去された状態となっており、従って、
時点の異なる２つの画像を重ね合わせても、その両者の
位置のずれによる隙間が生じてこれが画像のジッタとな
って見苦しい再生画像となる。The image of the object has been cut off and removed from the images of the other parts, and
Even when two images at different points of time are superimposed, a gap is generated due to a shift in the position of the two images, and this causes image jitter, resulting in an unsightly reproduced image.
【００３８】このように、コマ落としの影響として目的
物と背景画像との間に、両者の位置的なずれを起こす結
果、輪郭部分がジッタを起こした状態になり、画質を低
下させる。As described above, as a result of the frame drop, a positional shift occurs between the target object and the background image, and as a result, a jitter occurs in the outline portion, and the image quality is reduced.
【００３９】そこで、この発明の目的とするところは、
画像にジッタを起こすことのないようにして画質を維持
することができるようにしたオブジェクト符号化装置お
よびオブジェクト符号化装置のコマ落し制御方法および
プログラムを記録した記憶媒体を提供することにある。Therefore, the object of the present invention is to
It is an object of the present invention to provide an object encoding apparatus capable of maintaining image quality without causing jitter in an image, a method of controlling dropping frames of the object encoding apparatus, and a storage medium storing a program.
【００４０】[0040]
【課題を解決するための手段】上記目的を達成するた
め、本発明は次のように構成する。すなわち、入力され
る動画像データからフレーム内の画像についての複数の
領域の形状を抽出し、前記領域のテクスチャ、動き補償
および形状情報を並列に符号化し、これらを多重化し、
これを所定のレートで通信回線に送出するようにしたオ
ブジェクト符号化装置において、 ［１］第１には、前記形状情報から相互に輪郭が接触し
た１つ以上のオブジェクトの組を分類する手段と、前記
各組単位で前記通信回線に対する割り当てレートを制御
する手段と、前記レートを制御するに際してコマ落とし
を必要とするときは、同一の組に属するオブジェクトに
対しては同じフレームで一斉にコマ落としを行う手段と
を具備することを特徴とする。In order to achieve the above object, the present invention is configured as follows. That is, the shape of a plurality of regions of an image in a frame is extracted from input moving image data, and the texture, motion compensation, and shape information of the region are encoded in parallel, and these are multiplexed.
In an object encoding apparatus configured to transmit the same to a communication line at a predetermined rate, [1] first, means for classifying one or more sets of objects whose contours are in contact with each other from the shape information; Means for controlling the rate of allocation to the communication line for each set, and when controlling the rate requires dropping frames, objects belonging to the same set are dropped simultaneously in the same frame. Means for performing the following.
【００４１】［２］また、第２には、［１］の構成にお
ける前記オブジェクトの組を分類する手段は、前記オブ
ジェクトの形状を抽出する際、オブジェクトの中から静
止している１つ以上のオブジェクトの組を検出して同一
の組に分類する機能を更に有することを特徴とする。[2] Secondly, the means for classifying the set of objects in the configuration of [1], when extracting the shape of the object, includes one or more stationary objects among the objects. It further has a function of detecting a set of objects and classifying them into the same set.
【００４２】［３］また、第３には、前記形状情報から
相互に輪郭が接触した１つ以上のオブジェクトの組を分
類する手段と、前記各組単位で前記通信回線に対する割
り当てレートを制御する手段と、前記レートを制御する
際、同一の組に属するオブジェクトについては同じフレ
ームで一斉にコマ落としを行うと共に、前記画像から複
数の領域の形状を抽出する際に、一枚の画像から背景を
含めて複数のオブジェクトに符号化する場合には、コマ
落とし対象はその対象となるフレームに属する全てのオ
ブジェクトとするコマ落とし手段とを具備することを特
徴とする。[3] Thirdly, means for classifying one or more sets of objects whose contours are in contact with each other from the shape information, and controlling an allocation rate to the communication line for each set. Means, when controlling the rate, simultaneously perform frame dropping in the same frame for objects belonging to the same set, and extract backgrounds from one image when extracting shapes of a plurality of regions from the image. In the case of encoding into a plurality of objects including a frame, the frame drop target is provided with frame drop means for setting all objects belonging to the target frame.
【００４３】［４］また、第４には、前記抽出した形状
情報に従い、並行して各オブジェクト毎にそれぞれ符号
化する符号化手段と、符号化手段により各オブジェクト
単位で符号化して得たデータを多重化する多重化手段
と、この多重化したデータを所定のレートで伝送する伝
送手段と、前記形状の抽出にあたり、輪郭の接するオブ
ジェクト同士を検出して、その輪郭の接するオブジェク
トの情報を取得する手段と、前記符号化手段での符号化
にあたり、発生符号量を制御するに際しては、輪郭の接
触するオブジェクト同士を一まとまりとして符号量制
御、あるいはコマ落とし制御するようにし、あるいは、
隣接せずとも静止オブジェクトである場合には静止オブ
ジェクト全てについてこれを同一組として発生符号量制
御、あるいはコマ落とし制御する制御手段とを備えるこ
とを特徴とする。[4] Fourth, encoding means for encoding each object in parallel according to the extracted shape information, and data obtained by encoding each object by the encoding means. Multiplexing means, multiplexing means for transmitting the multiplexed data at a predetermined rate, and detecting the objects in contact with the contour to obtain information on the objects in contact with the contour in extracting the shape. Means, and in the encoding by the encoding means, when controlling the generated code amount, in order to control the code amount control, or frame drop control as a unit of the objects touching the contour, or
When the objects are still objects even if they are not adjacent to each other, a control means for controlling the generated code amount or the frame dropping control for all the still objects as the same set is provided.
【００４４】すなわち、本発明は、入力される動画像デ
ータからフレーム内の画像についての複数の領域の形状
を抽出し、前記領域のテクスチャ、動き補償および形状
情報を並列に符号化し、これらを多重化し、これを所定
のレートで通信回線に送出するようにしたオブジェクト
符号化装置におけるレート制御のためののコマ落とし制
御にあたり、［１］の構成の場合、前記形状情報から相
互に輪郭が接触した１つ以上のオブジェクトの組を分類
し、前記各組単位で前記通信回線に対する割り当てレー
トを制御するが、前記レートを制御するにあたりコマ落
としをする際、同一の組に属するオブジェクトについて
は同じフレームで一斉にコマ落としをするようにする。That is, according to the present invention, the shapes of a plurality of regions of an image in a frame are extracted from input moving image data, and the texture, motion compensation and shape information of the regions are encoded in parallel, and these are multiplexed. In the frame dropping control for the rate control in the object coding apparatus which sends it out to the communication line at a predetermined rate, in the case of the configuration [1], the outlines come into contact with each other from the shape information. One or more sets of objects are classified and the allocation rate to the communication line is controlled in units of each set. When dropping frames in controlling the rate, objects belonging to the same set are processed in the same frame. Try to drop frames all at once.
【００４５】また、［２］の構成の場合、前記オブジェ
クトの組を分類するにあたっては、前記オブジェクトの
形状を抽出する際、オブジェクトの中から静止している
１つ以上のオブジェクトの組を検出して同一の組に分類
する。すなわち、前記オブジェクトの形状を抽出する際
に、オブジェクトの中から静止している１つ以上のオブ
ジェクトの組を検出し、該オブジェクトは前記輪郭が接
触したオブジェクトの組と同じようにコマ落としを行う
ようにする。In the case of the configuration [2], when classifying the set of objects, when extracting the shape of the object, one or more sets of stationary objects are detected from among the objects. Into the same set. That is, when extracting the shape of the object, a set of one or more objects that are stationary is detected from among the objects, and the object performs frame dropping in the same manner as the set of objects whose contours touch. To do.
【００４６】また、［３］の構成の場合、前記形状情報
から相互に輪郭が接触した１つ以上のオブジェクトの組
を分類し、前記各組単位で前記通信回線に対する割り当
てレートを制御する。そして、前記レートを制御する
際、同一の組に属するオブジェクトについては同じフレ
ームで一斉にコマ落としを行うと共に、前記画像から複
数の領域の形状を抽出する際に、一枚の画像から背景を
含めて複数のオブジェクトに符号化する場合には、コマ
落とし対象はその対象となるフレームに属する全てのオ
ブジェクトとする。In the case of the configuration [3], a set of one or more objects whose contours are in contact with each other is classified based on the shape information, and an allocation rate to the communication line is controlled for each set. When controlling the rate, frames belonging to the same group are simultaneously dropped in the same frame, and when extracting the shapes of a plurality of regions from the image, the background is included from one image. When encoding into a plurality of objects, the frame drop target is all objects belonging to the target frame.
【００４７】また、［４］の構成の場合、符号化手段は
前記抽出した形状情報に従い、並行して各オブジェクト
毎にそれぞれ符号化する。そして、多重化手段は符号化
手段により各オブジェクト単位で符号化して得たデータ
を多重化し、伝送手段はこの多重化したデータを所定の
レートで伝送する。一方、オブジェクト情報取得手段は
前記形状の抽出にあたり、輪郭の接するオブジェクト同
士を検出し、前記符号化手段での符号化にあたり、制御
手段は発生符号量を制御するに際しては、輪郭の接触す
るオブジェクト同士を一まとまりとして符号量制御、あ
るいはコマ落とし制御するようにし、あるいは、隣接せ
ずとも静止オブジェクトである場合には静止オブジェク
ト全てについてこれを同一組として発生符号量制御、あ
るいはコマ落とし制御する。In the case of the configuration [4], the encoding means encodes each object in parallel according to the extracted shape information. Then, the multiplexing unit multiplexes the data obtained by the encoding unit for each object, and the transmitting unit transmits the multiplexed data at a predetermined rate. On the other hand, the object information obtaining means detects objects having contours in contact with each other in extracting the shape, and the control means controls the generated code amount by controlling objects in contact with the contours in controlling the generated code amount. Are grouped together to perform code amount control or frame drop control. Alternatively, if the objects are still objects even if they are not adjacent to each other, the generated code amount control or frame drop control is performed for all the static objects as one set.
【００４８】オブジェクト毎に符号化して他のオブジェ
クトと共に多重化し、伝送路にて伝送するに当たって、
伝送路での許容伝送容量の範囲でデータ伝送することに
なるが、オブジェクト毎の符号量は画像の内容に応じて
変化するので、時として多重化したオブジェクトの符号
量が伝送路の容量を超えてしまうことがある。その場
合、量子化幅を変えるなどして各オブジェクトの発生符
号量を調整することになるが、それでも間に合わないと
きは、コマ落としをして強制的に発生符号量を少なくす
る。In encoding for each object, multiplexing it with other objects, and transmitting it on a transmission path,
Data is transmitted within the range of the allowable transmission capacity on the transmission path, but since the code amount of each object changes according to the content of the image, the code amount of the multiplexed object sometimes exceeds the capacity of the transmission path. Sometimes. In this case, the generated code amount of each object is adjusted by changing the quantization width. However, if it is not enough, frames are dropped to forcibly reduce the generated code amount.
【００４９】しかし、このとき、各オブジェクトについ
てコマ落としのフレーム毎の同期がとれていないと、各
オブジェクトを受信側で元の位置に配置した場合にジッ
タを起こす。例えば、ある画像が“オブジェクト１”と
“オブジェクト２”の２つで構成される場合に、図１２
（ａ）のように時刻ｔ２で“オブジェクト２”をコマ落
とししたが、“オブジェクト１”についてはコマ落とし
しなかったとすると、再生側では時刻ｔ２に相当する画
像を合成して作成するには“オブジェクト２”が存在し
ないため、１時点前のフレーム時点であるｔ１時点での
“オブジェクト２”を用いなければならない。時刻ｔ２
での“オブジェクト１”はｔ１時点での“オブジェクト
２”と位置的にずれがあるから、両者を合成して得た画
像は両者の境界領域にずれの影響によるジッタが生じ
る。However, at this time, if the frame is not synchronized for each object, the jitter occurs when each object is placed at the original position on the receiving side. For example, when a certain image is composed of two “object 1” and “object 2”, FIG.
As shown in (a), if "Object 2" is dropped at time t2, but "Object 1" is not dropped, it is necessary to combine and create an image corresponding to time t2 on the reproduction side. Since the object 2 ”does not exist, the“ object 2 ”at the time point t1 which is the frame time point immediately before the time point has to be used. Time t2
Since the "object 1" in the above has a positional deviation from the "object 2" at the time t1, the image obtained by combining the two has a jitter due to the influence of the deviation in the boundary region between the two.
【００５０】そこで、本発明では図１２（ｂ）のように
“オブジェクト１”についてもｔ２時点でコマ落としを
発生させる。そして、再生側での画像合成は、“オブジ
ェクト１”については前のフレーム時点であるｔ１時点
の、そして、“オブジェクト２”についても同じｔ１時
点のオブジェクトが使用されるようになり、異なるフレ
ーム時点のオブジェクト使用による合成画像のようなジ
ッタが起きない。Therefore, in the present invention, as shown in FIG. 12 (b), frame dropping occurs at time t2 for "object 1". In the image synthesis on the reproduction side, the object at "t1" which is the previous frame time for "object 1" and the same object at "t1" for "object 2" are used. No jitter like the composite image due to the use of the object.
【００５１】すなわち、合成画像全体のオブジェクトか
ら輪郭が接触しているオブジェクトの組を抽出し、各組
について同じフレーム時間にコマ落としを発生させるよ
うにレート制御することにより、その組のオブジェクト
は全体として動いても輪郭部分が重ならず、従って、ジ
ッタの発生を防止できる。従って、この発明によれば、
画像にジッタを起こすことのないようにして画質を維持
できるようにしたコマ落とし制御装置を提供することが
できる。That is, a set of objects whose contours are in contact with each other is extracted from the objects of the entire composite image, and rate control is performed so that frames are dropped at the same frame time for each group. , The contour portions do not overlap, thus preventing the occurrence of jitter. Therefore, according to the present invention,
It is possible to provide a frame dropping control device capable of maintaining image quality without causing jitter in an image.
【００５２】[0052]
【発明の実施の形態】以下、本発明の実施形態につい
て、図面を参照して説明する。初めに、本発明の根底を
流れる基本的な考え方について、触れておく。例えば、
図１（ａ）のように、複数のオブジェクト１３１〜１３
５が配置されている動画像のフレームに注目してみる。
このフレームにおいては、画面はＡなるオブジェクト１
３１、Ｂなるオブジェクト１３２、Ｃなるオブジェクト
１３３、Ｄなるオブジェクト１３４、そして、背景に相
当するＥなるオブジェクト１３５の計５つに分けられ
る。Embodiments of the present invention will be described below with reference to the drawings. First, a basic idea underlying the present invention will be described. For example,
As shown in FIG. 1A, a plurality of objects 131 to 13
Let's pay attention to the moving image frame in which 5 is arranged.
In this frame, the screen is the object 1
The object is divided into five objects: an object 31, an object 132 B, an object 133 C, an object 134 D, and an object 135 E corresponding to the background.
【００５３】各オブジェクト１３１〜１３５は、図１
（ｂ）のように分解される。Ｅなるオブジェクト１３５
は、オブジェクト１３１〜１３４部分を切り抜いた背景
動画像に相当する。また、オブジェクト１３５を除く
と、Ａなるオブジェクト１３１とＢなるオブジェクト１
３２は互いに輪郭の一部分が接触している。Each of the objects 131 to 135 is shown in FIG.
It is decomposed as shown in FIG. Object 135 of E
Is equivalent to a background moving image obtained by cutting out portions of the objects 131 to 134. Further, excluding the object 135, the object 131 of A and the object 1 of B
32 have a part of the outline in contact with each other.
【００５４】同様に、Ｃなるオブジェクト１３３とＤな
るオブジェクト１３４も互いに輪郭の一部分が接触して
いる。背景としてのオブジェクト１３５を考慮すると、
オブジェクト１３１〜１３４はオブジェクト１３５を介
して全体として輪郭部分が接触している。Similarly, the object 133 of C and the object 134 of D are partially in contact with each other. Considering the object 135 as background,
The outline portions of the objects 131 to 134 are in contact with each other via the object 135.
【００５５】この場合、オブジェクト１３１〜１３５を
前記輪郭が接触したオブジェクトの１つの組として扱
う。ここで例えば、背景のオブジェクト１３５を受信側
に送信せず、受信側で背景用の別な動画像を用意して、
全体の動画像を組み立てる状態を仮定する。この場合、
前述のように、輪郭部分が接触したオブジェクトの組が
２組できる。つまり、Ａなるオブジェクト１３１とＢな
るオブジェクト１３２の組と、Ｃなるオブジェクト１３
３とＤなるオブジェクト１３４の組である。In this case, the objects 131 to 135 are handled as one set of objects whose contours are in contact with each other. Here, for example, without transmitting the background object 135 to the receiving side, the receiving side prepares another moving image for the background,
It is assumed that the entire moving image is assembled. in this case,
As described above, there are two sets of objects whose contour portions have come into contact. That is, a set of an object 131 of A and an object 132 of B and an object 13 of C
3 and a set of D objects 134.
【００５６】そして、本発明は、前記２組について、そ
の組を構成しているオブジェクトについて同時にレート
制御を行うようにすることを特徴としている。 （第１の実施形態） ＜システム構成図＞図２は上述の如き、輪郭が互いに接
触する状態にあるオブジェクトについては組として考え
てその、組み単位でレート制御するようにした画像符号
化装置を実現するためのシステム構成図である。The present invention is characterized in that, for the two sets, rate control is simultaneously performed on the objects constituting the set. (First Embodiment) <System Configuration> FIG. 2 shows an image encoding apparatus in which objects whose contours are in contact with each other are considered as a set and the rate control is performed on a set basis as described above. It is a system configuration diagram for realizing.
【００５７】図２において、１１４は形状抽出部、１１
７ａ，１１７ｂ，〜１１７ｎは符号化部、１３８および
１４４はレート制御部、１３９および１４５はマルチプ
レクサ、１４０および１４６はバッファメモリ、１２４
は多重化部である。In FIG. 2, reference numeral 114 denotes a shape extraction unit;
Reference numerals 7a, 117b, to 117n denote encoding units, 138 and 144 denote rate control units, 139 and 145 denote multiplexers, 140 and 146 denote buffer memories, and 124.
Is a multiplexing unit.
【００５８】これらのうち、形状抽出部１１４は、テレ
ビカメラなどの撮像装置で撮影して得た動画像データ１
１３から画面を構成している各オブジェクトについてそ
れぞれ輪郭を元にした領域抽出をして、各オブジェクト
の形状情報１１６を生成するものである。Of these, the shape extraction unit 114 stores the moving image data 1 obtained by shooting with an imaging device such as a television camera.
From 13, a region is extracted for each object constituting the screen based on the outline, and shape information 116 of each object is generated.
【００５９】また、符号化部１１７ａ，１１７ｂ，〜１
１７ｎはテレビカメラなどの撮像装置で撮影して得た動
画像データ１１３とこの形状抽出部１１４から与えられ
るオブジェクトの形状情報１１６とを受け、形状情報１
１６を使用して、動画像データ１１３から形状情報に対
応する動画像部分を領域抽出し、その抽出した動画像部
分を用いて動き補償情報を求め、この動き補償情報と前
記抽出した動画像部分のテクスチャ情報とを符号化して
出力すると云った機能を備えている（符号化情報１２３
ａ，〜１２３ｎ）ものである。The encoding units 117a, 117b,.
17n receives the moving image data 113 obtained by photographing with an imaging device such as a television camera and the shape information 116 of the object given from the shape extracting unit 114, and
16, a region of a moving image corresponding to the shape information is extracted from the moving image data 113, motion compensation information is obtained using the extracted moving image, and the motion compensation information and the extracted moving image are extracted. And a function of encoding and outputting the texture information of the
a, ~ 123n).
【００６０】マルチプレクサ１３９は、符号化部１１７
ａの符号化情報１２３ａと符号化部１１７ｂの符号化情
報１２３ｂとを多重化してバッファメモリ１４０に出力
するものであり、マルチプレクサ１４５は、符号化部１
１７ｃの符号化情報１２３ｃと符号化部１１７ｄの符号
化情報１２３ｄとを多重化してバッファメモリ１４６に
出力するものである。The multiplexer 139 includes an encoding unit 117
The multiplexing unit 145 multiplexes the coded information 123 a of FIG. a with the coded information 123 b of the coding unit 117 b and outputs the multiplexed information to the buffer memory 140.
The coded information 123c of 17c and the coded information 123d of the coding unit 117d are multiplexed and output to the buffer memory 146.
【００６１】レート制御部１３８は符号化部１１７ａお
よび符号化部１１７ｂにおける符号化出力のレートを制
御するためのものであって、バッファメモリ１４０のデ
ータ蓄積量の情報を得て、当該蓄積量の情報からバッフ
ァメモリ１４０の空き状熊を調べ、バッファメモリ１４
０の出力１４１が、割り当てレートになるように、符号
化部１１７ａと符号化部１１７ｂの量子化ステップを変
えたり、符号化情報１２３ａおよび１２３ｂについて、
コマ落とししたりするなどの調整制御をするものであ
る。The rate control section 138 controls the rate of the coded output in the coding section 117a and the coding section 117b. The rate control section 138 obtains information on the data storage amount of the buffer memory 140, and A free bear in the buffer memory 140 is checked from the information,
The quantization steps of the encoding unit 117a and the encoding unit 117b are changed so that the output 141 of 0 becomes the allocation rate, and the encoding information 123a and 123b are
Adjustment control such as dropping frames is performed.
【００６２】また、レート制御部１４４は符号化部１１
７ｃおよび符号化部１１７ｄにおける符号化出力のレー
トを制御するためのものであって、バッファメモリ１４
６のデータ蓄積量の情報を得て、当該蓄積量の情報から
バッファメモリ１４６の空き状熊を調べ、バッファメモ
リ１４６の出力１４７が、割り当てレートになるよう
に、符号化部１１７ｃと符号化部１１７ｄの量子化ステ
ップを変えたり、符号化情報１２３ｃおよび１２３ｄに
ついて、コマ落とししたりするなどの調整制御をするも
のである。Further, the rate control unit 144 controls the encoding unit 11
7c for controlling the rate of the coded output in the coding section 117d and the buffer memory 14c.
6 and obtains information on the free space in the buffer memory 146 from the information on the accumulated amount. The encoding unit 117c and the encoding unit 117 output the output 147 of the buffer memory 146 at the assigned rate. The adjustment control is performed such as changing the quantization step of 117d and dropping frames of the encoded information 123c and 123d.
【００６３】また、多重化部１２４はバッファメモリ１
４０の出力１４１とバッファメモリ１４６の出力１４７
とを多重化して多重化出力１２５を得、これを伝送路へ
と送り出すものである。The multiplexing section 124 is provided in the buffer memory 1
40 output 141 and buffer memory 146 output 147
Are multiplexed to obtain a multiplexed output 125, which is sent out to a transmission line.
【００６４】このような構成において、テレビカメラな
どの撮像装置で撮影した動画像データ１１３を本システ
ムに入力すると、この動画像データ１１３は、形状抽出
部１１４と符号化部１１７ａ，１１７ｂ，〜１１７ｎと
に、それぞれ与えられる。In such a configuration, when moving image data 113 photographed by an imaging device such as a television camera is input to the present system, the moving image data 113 is converted into a shape extracting unit 114 and encoding units 117a, 117b, to 117n. And given respectively.
【００６５】動画像データ１１３を受けた形状抽出部１
１４は、この動画像データ１１３から画面を構成してい
る各オブジェクトについてそれぞれ輪郭を元にした領域
抽出をし、各オブジェクトの形状情報を生成する。The shape extracting unit 1 receiving the moving image data 113
The unit 14 extracts a region based on the outline of each object constituting the screen from the moving image data 113, and generates shape information of each object.
【００６６】一般的な動画像からオブジェクトの輪郭を
元に領域を抽出する技術は種々実現されており、それら
を利用すれば良いわけであって、一例をあげれば特開平
６−２５１１４８号公報に開示された技術等を用いて実
現することができる。Various techniques for extracting a region based on the outline of an object from a general moving image have been realized, and these techniques may be used. For example, Japanese Patent Application Laid-Open No. 6-251148 discloses an example. It can be realized using the disclosed technology or the like.
【００６７】形状抽出部１１４で生成されたこれら各オ
ブジェクトの形状情報１１６は符号化部１１７ａ，１１
７ｂ，〜１１７ｎのうち、それぞれ所定の符号化部１１
７ａ，１１７ｂ，〜１１７ｎに送られて符号化される。
符号化部は１１７ａ，１１７ｂ，〜１１７ｎと複数ある
が、これは同時並行して符号化処理できるようにするた
めであり、各オブジェクト毎に専用で符号化するためで
ある。The shape information 116 of each of these objects generated by the shape extracting unit 114 is encoded by the encoding units 117a and 117.
7b, to 117n, a predetermined encoding unit 11
7a, 117b,..., And 117n to be encoded.
There are a plurality of encoding units 117a, 117b, to 117n. This is to enable simultaneous and concurrent encoding processing, and to encode each object exclusively.
【００６８】符号化部１１７ａ，１１７ｂ，〜１１７ｎ
はテレビカメラなどの撮像装置で撮影した動画像データ
１１３とこのオブジェクトの形状情報１１６とを受け、
形状情報１１６を使用して、動画像データ１１３から形
状情報に対応する動画像部分を領域抽出し、その抽出し
た動画像部分を用いて動き補償情報を求め、この動き補
償情報と前記抽出した動画像部分のテクスチャ情報とを
符号化して出力する（符号化情報１２３ａ，〜１２３
ｎ）。Encoding sections 117a, 117b, to 117n
Receives moving image data 113 captured by an imaging device such as a television camera and shape information 116 of this object,
A region of a moving image portion corresponding to the shape information is extracted from the moving image data 113 using the shape information 116, motion compensation information is obtained using the extracted moving image portion, and the motion compensation information and the extracted moving image are obtained. The texture information of the image part is encoded and output (encoded information 123a, 123)
n).
【００６９】＜符号化部の回路構成＞図３は、図２の符
号化部１１７ａ〜１１７ｎの詳細な回路構成ブロック図
を示している。図中、１５０は減算器（差分回路）、１
５０−１は符号化モード選択回路、１５０−３はマルチ
プレクサ、１５０−４は形状符号化部、１５１はＤＣＴ
回路、１５２は量子化回路、１５３は可変長符号回路、
１５４は逆量子化回路、１５５は逆ＤＣＴ回路、１５６
は加算器、１５７はフレームメモリ、１５８は動き補償
回路、１５９は動き検出回路である。マルチプレクサ１
５０−３と形状符号化部１５０−４を除くこれらの要素
で、動き補償／テクスチャ符号化部１５０‐６を構成す
る。<Circuit Configuration of Encoding Unit> FIG. 3 is a detailed circuit configuration block diagram of the encoding units 117a to 117n of FIG. In the figure, 150 is a subtractor (difference circuit), 1
50-1 is an encoding mode selection circuit, 150-3 is a multiplexer, 150-4 is a shape encoding unit, and 151 is a DCT.
Circuit, 152 is a quantization circuit, 153 is a variable length code circuit,
154 is an inverse quantization circuit, 155 is an inverse DCT circuit, 156
Is an adder, 157 is a frame memory, 158 is a motion compensation circuit, and 159 is a motion detection circuit. Multiplexer 1
The motion compensation / texture coding unit 150-6 is configured by these elements except for the shape coding unit 150-4 and the shape coding unit 150-4.
【００７０】形状符号化部１５０−４は形状情報１１６
を用いて形状そのものの符号化を行うものであり、動き
補償／テクスチャ符号化部１５０‐６は、動き補償及び
テクスチャ情報の符号化を行うものであって、形状情報
１１６を使用し、動画像データ１１３からその形状が指
定した領域を切り出して、その領域内部について動き補
償およびテクスチャ情報の符号化を行うものである。The shape encoding section 150-4 outputs the shape information 116.
The motion compensation / texture coding unit 150-6 performs motion compensation and texture information coding, and uses the shape information 116 to generate a moving image. A region whose shape is designated is cut out from the data 113, and motion compensation and encoding of texture information are performed inside the region.
【００７１】従来の動画像圧縮方式は外形形状が矩形に
限定されている。しかし、本発明の方式は例えば、ＭＰ
ＥＧ−４を対象としていて、オブジェクトは外形が任意
形状のため、形状情報１１６を使用して形状符号化部１
５０−４で形状そのものの符号化を行い、動き補償及び
テクスチャ情報の符号化を動き補償／テクスチャ符号化
部１５０‐６で行っている。In the conventional moving picture compression method, the outer shape is limited to a rectangle. However, the method of the present invention is, for example, MP
Since the object is EG-4 and the object has an arbitrary shape, the shape encoding unit 1 uses the shape information 116.
In 50-4, the shape itself is encoded, and motion compensation and texture information encoding are performed in the motion compensation / texture encoding unit 150-6.
【００７２】動き補償／テクスチャ符号化部１５０‐６
は形状情報１１６を使用し、動画像データ１１３からそ
の形状が指定した領域を切り出して、その領域内部につ
いて動き補償およびテクスチャ情報の符号化を行ってい
る。そして、前記動き補償およびテクスチャ情報の符号
化は従来から公知である図１２で説明した矩形での動き
補償およびテクスチャ情報の符号化と類似している。Motion compensation / texture encoder 150-6
Uses the shape information 116 to cut out a region whose shape is designated from the moving image data 113, and performs motion compensation and encoding of texture information inside the region. The motion compensation and the encoding of the texture information are similar to the conventionally known motion compensation and the encoding of the texture information in the rectangle described with reference to FIG.
【００７３】なお、形状情報の符号化、動き補償及びテ
クスチャ情報の符号化の方法については、例えば、「IS
O/IEC JTC1/SC29/WG11 N1796, “MPEG-4 Video Verific
ation Model Version 8.0, ”July 1997 」に詳しく記
載されているので、それを参照するものとし、ここでは
この点には触れない。The method of encoding shape information, motion compensation, and encoding of texture information is described in, for example, “IS
O / IEC JTC1 / SC29 / WG11 N1796, “MPEG-4 Video Verific
It is described in detail in ation Model Version 8.0, "July 1997", which shall be referred to here and will not be described here.
【００７４】符号化モード選択回路１５０−１は、動画
像データ１１３からの画素値と当該画素値の予測誤差と
の間のエネルギ比較結果及び外部制御信号に従い、“Ｉ
ＮＴＲＡモード”又は“ＩＮＴＥＲモード”を選択する
ものである。The encoding mode selection circuit 150-1 outputs “I” according to the result of energy comparison between the pixel value from the moving image data 113 and the prediction error of the pixel value and the external control signal.
This selects the "NTRA mode" or the "INTER mode".
【００７５】符号化モード選択回路１５０−１は、“Ｉ
ＮＴＲＡモード”では動画像データ１１３からの画素値
をそのまま出力し、“ＩＮＴＥＲモード”では、その符
号化ブロックであるマクロブロック単位で予測値（前フ
レーム）との差分（予測誤差）を出力する。The encoding mode selection circuit 150-1 outputs "I
In the “NTRA mode”, the pixel value from the moving image data 113 is output as it is, and in the “INTER mode”, the difference (prediction error) from the prediction value (previous frame) is output in units of macroblocks as the coding blocks.
【００７６】ＤＣＴ回路１５１は、符号化モード選択回
路１５０−１の出力を離散コサイン変換（直交変換）し
て各種周波数成分に分解し、これにより得た周波数成分
別のデータであるＤＣＴ係数データを出力するものであ
る。また、量子化回路１５２は、ＤＣＴ回路１５１から
出力されるＤＣＴ係数データを、量子化テーブルで指定
された量子化ステップサイズで量子化するものであり、
可変長符号回路１５３は、量子化回路１５２の出力を可
変長符号化処理して出力するものである。The DCT circuit 151 performs discrete cosine transform (orthogonal transform) on the output of the encoding mode selection circuit 150-1 to decompose the output into various frequency components, and obtains the DCT coefficient data that is the data for each frequency component. Output. Further, the quantization circuit 152 quantizes the DCT coefficient data output from the DCT circuit 151 at a quantization step size specified in a quantization table.
The variable-length coding circuit 153 performs variable-length coding on the output of the quantization circuit 152 and outputs the result.
【００７７】また、逆量子化回路１５４は、量子化回路
１５２の出力を逆量子化するものであり、逆ＤＣＴ回路
１５５は逆量子化回路１５４の出力を逆離散コサイン変
換するものである。The inverse quantization circuit 154 inversely quantizes the output of the quantization circuit 152, and the inverse DCT circuit 155 performs the inverse discrete cosine transform of the output of the inverse quantization circuit 154.
【００７８】加算器１５６は、“ＩＮＴＥＲモード”で
逆ＤＣＴ回路１５５の出力に予測値を加算して出力し、
“ＩＮＴＲＡモード”では逆ＤＣＴ回路１５５の出力を
そのまま出力するものである。The adder 156 adds the predicted value to the output of the inverse DCT circuit 155 in the “INTER mode” and outputs the result.
In the “INTRA mode”, the output of the inverse DCT circuit 155 is output as it is.
【００７９】また、フレームメモリ１５７は、動き補償
フレーム間予測に使用するための画像をフレーム単位で
保持するメモリであって、加算器１５６の出力（局部復
号値）を記憶するものである。The frame memory 157 is a memory for holding an image to be used for motion compensation inter-frame prediction on a frame basis, and stores the output (local decoding value) of the adder 156.
【００８０】動き検出回路１５９は、動画像データ１１
３から入力する動画像信号とフレームメモリ１５７に記
憶される前フレームの動画像信号とをマクロブロック単
位（１６×１６画素構成のブロック）で比較して動きベ
クトルを検出するものである。The motion detection circuit 159 determines whether the moving image data 11
The moving vector signal is detected by comparing the moving image signal input from No. 3 with the moving image signal of the previous frame stored in the frame memory 157 in macroblock units (blocks of 16 × 16 pixels).
【００８１】動き補償回路１５８は、動き検出回路１５
９により検出された動きベクトルに従い、フレームメモ
リ１５７からの前フレームのデータをマクロブロック単
位で画面内で移動させて動きを相殺するためのものであ
る。The motion compensation circuit 158 is
According to the motion vector detected by step 9, the data of the previous frame from the frame memory 157 is moved on a macroblock basis within the screen to cancel the motion.
【００８２】次に、この図３の構成の符号化部１１７ａ
（１１７ｂ，〜１１７ｎ）の動作を説明する。 ＜符号化部１１７の動作の概要＞本実施例の動き補償／
テクスチャ符号化部１５０‐６では、画面毎に前フレー
ム（予測値）との差分を符号化する“ＩＮＴＥＲモー
ド”と、差分をとらずにその画面内で符号化する“ＩＮ
ＴＲＡモード”を選択できる。例えば、動きの少ない動
画像や静止画では“ＩＮＴＥＲモード”を使用し、動き
の大きな動画像や、動きが少ない動画像でもシーン・チ
ェンジの際には“ＩＮＴＲＡモード”を使用する。ま
た、前述したように発生する符号化データ量に応じて量
子化ステップサイズも変更し、必要によりコマ落とし
（フレーム・スキップ）を行う。Next, the encoding unit 117a having the configuration shown in FIG.
The operation of (117b, to 117n) will be described. <Overview of Operation of Encoding Unit 117>
The texture encoding unit 150-6 encodes the difference between the previous frame (predicted value) and the previous frame for each screen in “INTER mode” and “IN mode” in which the difference is encoded in the screen without taking the difference.
TRA mode ”can be selected. For example,“ INTER mode ”is used for a moving image or a still image with little motion, and“ INTRA mode ”is used for a moving image with a large motion or a moving image with a small scene change. The quantization step size is also changed according to the amount of encoded data generated as described above, and frame skipping (frame skipping) is performed as necessary.
【００８３】符号化モード選択回路１５０−１は、動画
像データ１１３からの画素値と当該画素値の予測誤差と
の間のエネルギ比較結果及び外部制御信号に従い、“Ｉ
ＮＴＲＡモード”または“ＩＮＴＥＲモード”を選択す
るが、この選択は、“ＩＮＴＲＡモード”では動画像デ
ータ１１３からの画素値をそのまま出力し、“ＩＮＴＥ
Ｒモード”では、その符号化ブロックであるマクロブロ
ック単位で予測値（前フレーム）との差分（予測誤差）
を出力すると云ったかたちで行う。The encoding mode selection circuit 150-1 outputs “I” according to the result of energy comparison between the pixel value from the moving image data 113 and the prediction error of the pixel value and the external control signal.
“NTTRA mode” or “INTER mode” is selected. In the “INTRA mode”, the pixel value from the moving image data 113 is output as it is, and “INTER mode” is selected.
In the “R mode”, a difference (prediction error) from a predicted value (previous frame) in units of macroblocks that are coded blocks
Is output.
【００８４】この図３に示す符号化部１１７ａ（１１７
ｂ，〜１１７ｎ）には、テレビカメラ等の撮像装置で撮
像されて得られた動画像が動画像データ１１３として入
力されるが、この動画像データ１１３は符号化モード選
択回路１５０−１、減算器１５０及び動き検出回路１５
９に与えられる。The encoding section 117a (117) shown in FIG.
b, to 117n), a moving image captured by an imaging device such as a television camera is input as moving image data 113. The moving image data 113 is input to the encoding mode selection circuit 150-1 and subtracted. Detector 150 and motion detection circuit 15
9 given.
【００８５】すると減算器１５０は、当該与えられた動
画像データ１１３における画素データと、動き補償回路
１５８から出力される予測値との差分（予測誤差）を算
出し、符号化モード選択回路１５０‐１に与える。Then, the subtracter 150 calculates the difference (prediction error) between the pixel data in the given moving image data 113 and the prediction value output from the motion compensation circuit 158, and calculates the difference between the encoding mode selection circuit 150- Give to 1.
【００８６】一方、符号化モード選択回路１５０‐１
は、動画像データ１１３の画素値と、減算器１５０から
の予測誤差とをエネルギ比較し、その比較結果に従い符
号化モードを選択する。そして、選択する符号化モード
が“ＩＮＴＲＡモード”であったときは動画像データ１
１３の入力画素値をそのままＤＣＴ回路１５１に出力
し、選択する符号化モードが“ＩＮＴＥＲモード”であ
ったときは、動画像データ１１３の画素値と減算器１５
０からの予測誤差をＤＣＴ回路１５１に出力する。On the other hand, encoding mode selection circuit 150-1
Performs an energy comparison between the pixel value of the moving image data 113 and the prediction error from the subtractor 150, and selects an encoding mode according to the comparison result. When the selected encoding mode is the “INTRA mode”, the moving image data 1
13 is output to the DCT circuit 151 as it is, and when the selected encoding mode is the “INTER mode”, the pixel value of the moving image data 113 and the subtractor 15 are output.
The prediction error from 0 is output to the DCT circuit 151.
【００８７】ＤＣＴ回路１５１は、符号化モード選択回
路１５０‐１からのデータをブロック単位で離散コサイ
ン（ＤＣＴ）変換し、得られたＤＣＴ係数データを量子
化回路１５２に出力する。量子化回路１５２は、ＤＣＴ
回路１５１からのＤＣＴ係数データをレート制御部１３
８で指定される量子化ステップサイズ１３７で量子化す
る。そして、量子化結果（量子化ＤＣＴ係数）を可変長
符号回路１５３と逆量子化回路１５４とに与える。The DCT circuit 151 performs discrete cosine (DCT) conversion on the data from the encoding mode selection circuit 150-1 in block units, and outputs the obtained DCT coefficient data to the quantization circuit 152. The quantization circuit 152 has a DCT
The DCT coefficient data from the circuit 151
The quantization is performed with a quantization step size 137 specified by 8. Then, the quantization result (quantized DCT coefficient) is given to the variable length coding circuit 153 and the inverse quantization circuit 154.
【００８８】可変長符号回路１５３は、量子化回路１５
２の出力を参照しながら有意ブロックを判定し、量子化
ＤＣＴ係数を可変長符号化してマルチプレクサ１５０−
３に出力する。The variable length coding circuit 153 is
2 is determined with reference to the output of FIG.
Output to 3.
【００８９】一方、逆量子化回路１５４は、量子化回路
１５２で選択されたのと同じ量子化ステップサイズで、
量子化回路１５２の出力を逆量子化し、ＤＣＴ係数の代
表値を出力して、逆ＤＣＴ回路１５５に与える。逆ＤＣ
Ｔ回路１５５は、逆量子化回路１５４の出力を逆離散コ
サイン変換し、加算器１５６に与える。加算器１５６
は、“ＩＮＴＥＲモード”では、逆ＤＣＴ回路１５５の
出力に予測値（動き補償回路１５８の出力）を加算し、
“ＩＮＴＲＡモード”では逆ＤＣＴ回路１５５の出力を
そのまま出力する。そして、この加算器１５６の出力
は、フレームメモリ１５７に格納される。On the other hand, the inverse quantization circuit 154 has the same quantization step size as that selected by the quantization circuit 152,
The output of the quantization circuit 152 is inversely quantized, a representative value of the DCT coefficient is output, and the resultant value is supplied to the inverse DCT circuit 155. Inverse DC
The T circuit 155 performs an inverse discrete cosine transform on the output of the inverse quantization circuit 154 and supplies the result to the adder 156. Adder 156
Adds the predicted value (the output of the motion compensation circuit 158) to the output of the inverse DCT circuit 155 in the "INTER mode",
In the “INTRA mode”, the output of the inverse DCT circuit 155 is output as it is. The output of the adder 156 is stored in the frame memory 157.
【００９０】フレームメモリ１５７は少なくとも２フレ
ーム分の記憶容量を具備し、加算器１５６の出力画素値
（即ち、局部復号値）を記憶する。動き検出回路１５９
は、動画像データ１１３からの現フレームの画素データ
とフレームメモリ１５７に記憶される前フレームの画素
データとを比較し、映像の動きを検出する。具体的に
は、現フレームの処理中のマクロブロック付近を動きベ
クトル・サーチ・ウィンドウとして前フレームの画素デ
ータをフレームメモリ１５７から読み出し、ブロック・
マッチング演算して動きベクトルを検出する。The frame memory 157 has a storage capacity for at least two frames, and stores the output pixel value of the adder 156 (that is, the local decoded value). Motion detection circuit 159
Compares the pixel data of the current frame from the moving image data 113 with the pixel data of the previous frame stored in the frame memory 157 to detect the motion of the video. Specifically, the pixel data of the previous frame is read from the frame memory 157 as a motion vector search window near the macroblock being processed in the current frame, and
A matching operation is performed to detect a motion vector.
【００９１】そして、可変長符号回路１５３の出力とし
て動き補償及びテクスチャ符号化した結果１５０‐２が
出力され、マルチプレクサ１５０‐３に与えられる。そ
して、動き補償及びテクスチャ符号化した結果１５０‐
２と形状符号化部１５０‐４の出力１５０‐５はこのマ
ルチプレクサ１５０‐３で多重化されて符号化部１１７
の出力になる。以上が、符号化部１１７ａ，〜１１７ｎ
の構成と作用である。The result 150-2 of the motion compensation and texture coding is output as the output of the variable length coding circuit 153, and is supplied to the multiplexer 150-3. Then, as a result of the motion compensation and the texture coding,
2 and the output 150-5 of the shape encoding unit 150-4 are multiplexed by the multiplexer 150-3 and are encoded by the encoding unit 117.
Output. The above is the description of the encoding units 117a, 117n
The configuration and operation are as follows.
【００９２】再び、図２の構成に戻って説明を続ける。
図２の構成において、オブジェクト１３１は符号化部１
１７ａ、オブジェクト１３２は符号化部１１７ｂ、オブ
ジェクト１３３は符号化部１１７ｃ、オブジェクト１３
４は符号化部１１７ｄで符号化される。Returning to the configuration of FIG. 2, the description will be continued.
In the configuration of FIG. 2, the object 131 is the encoding unit 1
17a, the object 132 is the encoding unit 117b, the object 133 is the encoding unit 117c, the object 13
4 is encoded by the encoding unit 117d.
【００９３】そして、符号化部１１７ａによりオブジェ
クト１３１を符号化して得た符号化情報１２３ａと、符
号化部１１７ｂによりオブジェクト１３２を符号化して
得た符号化情報１２３ｂはマルチプレクサ１３９で多重
化され、バッファメモリ１４０に送られる。Then, the coded information 123a obtained by coding the object 131 by the coding unit 117a and the coded information 123b obtained by coding the object 132 by the coding unit 117b are multiplexed by the multiplexer 139, The data is sent to the memory 140.
【００９４】バッファメモリ１４０のデータ蓄積量はレ
ート制御部１３８に送られる。レート制御部１３８は前
記蓄積量からバッファメモリ１４０の空き状熊を調べ、
バッファメモリ１４０の出力１４１が、割り当てレート
になるように、符号化部１１７ａと符号化部１１７ｂの
量子化ステップを変えたり、符号化情報１２３ａおよび
１２３ｂについて、コマ落とししたりして調整する。The amount of data stored in the buffer memory 140 is sent to the rate control unit 138. The rate control unit 138 checks a free space in the buffer memory 140 from the storage amount,
The quantization step of the encoding unit 117a and the encoding unit 117b is changed, and the encoded information 123a and 123b is adjusted by dropping frames so that the output 141 of the buffer memory 140 becomes the assigned rate.
【００９５】一方、符号化部１１７ｃによりオブジェク
ト１３３を符号化して得た符号化情報１２３ｃと、符号
化部１１７ｄによりオブジェクト１３４を符号化して得
た符号化情報１２３ｄはマルチプレクサ１４５で多重化
され、バッファメモリ１４６に送られる。On the other hand, encoded information 123c obtained by encoding the object 133 by the encoding unit 117c and encoded information 123d obtained by encoding the object 134 by the encoding unit 117d are multiplexed by the multiplexer 145, The data is sent to the memory 146.
【００９６】バッファメモリ１４６のデータ蓄積量はレ
ート制御部１４４に送られる。レート制御部１４４は前
記蓄積量からバッファメモリ１４６の空き状熊を調べ、
バッファメモリ１４６の出力１４７が、割り当てレート
になるように、符号化部１１７ｃと符号化部１１７ｄの
量子化ステップを変えたり、符号化情報１２３ｃおよび
１２３ｄについて、コマ落とししたりして調整する。The amount of data stored in the buffer memory 146 is sent to the rate control unit 144. The rate control unit 144 checks the free space in the buffer memory 146 from the storage amount,
The quantization step of the encoding unit 117c and the encoding unit 117d is changed, and the encoded information 123c and 123d are adjusted by dropping frames so that the output 147 of the buffer memory 146 becomes the assigned rate.
【００９７】そして、多重化部１２４ではバッファメモ
リ１４０の出力１４１とバッファメモリ１４６の出力１
４７とを多重化して多重化出力１２５を得、これを伝送
路へと送り出す。The multiplexing section 124 outputs the output 141 of the buffer memory 140 and the output 1 of the buffer memory 146.
47 are multiplexed to obtain a multiplexed output 125, which is sent out to a transmission path.
【００９８】以上のように本発明は、接触しているオブ
ジェクト１３１とオブジェクト１３２の組、オブジェク
ト１３３とオブジェクト１３４の組について、各々の組
のオブジェクトをまとめてレート制御を行うようにした
ことに特徴がある。As described above, the present invention is characterized in that, for the set of the contacting object 131 and the object 132 and the set of the object 133 and the object 134, the objects of the respective sets are collectively controlled. There is.
【００９９】この場合、組と組の間のオブジェクトは分
離されているため、各組のレート制御は別個に行うこと
ができると云うメリットが得られる。例えば、オブジェ
クト１３１とオブジェクト１３２の組は高精細にしたい
ため量子化ステップを細かくし、コマ落としを多く発生
させ、一方、オブジェクト１３３とオブジェクト１３４
は低精細にしたいため、量子化ステップを粗くして、そ
の代わりオブジェクトの動きによく追従するようにコマ
落としを少なくすると云った具合であり、オブジェクト
の組み毎に、所望とする精細度およびコマ落としを設定
することができる。In this case, since the objects between the sets are separated, there is an advantage that the rate control of each set can be performed separately. For example, the combination of the object 131 and the object 132 is desired to have a high definition, so that the quantization step is made fine, and many frames are dropped.
In order to achieve low definition, the quantization step is coarsened, and instead, the frame drop is reduced so as to follow the movement of the object well. Drops can be set.
【０１００】そして、このような具合に各組で設定され
たレートでバッファメモリ１４０，１４６から読み出さ
れるデータは、多重化部１２４で多重化され、伝送され
ることになるが、多重化部１２４の多重化出力１２５は
回線のレートに相当している。The data read from the buffer memories 140 and 146 at the rate set in each set in such a manner is multiplexed by the multiplexing unit 124 and transmitted. Multiplex output 125 corresponds to the line rate.
【０１０１】すなわち、多重化出力１２５のレートが決
まると、前記オブジェクトの各組に対してレートが配分
される。レートの配分は画面全体のシーンによりその画
面を構成しているオブジェクトの用途、重要性などを考
慮して決める。そして、設定されたレートに従って、そ
のオブジェクトの量子化ステッブ及びコマ落としの発生
頻度が決まってくる。That is, when the rate of the multiplex output 125 is determined, the rate is allocated to each set of the objects. The distribution of the rate is determined in consideration of the purpose, importance, and the like of the objects constituting the screen according to the scene of the entire screen. Then, in accordance with the set rate, the frequency of occurrence of the quantization step and frame drop of the object is determined.
【０１０２】図４はマルチプレクサ１３９で多重化され
て出力された符号化データが、どのようにバッファメモ
リ１４０に蓄積されるか、時刻ｔｏ、ｔ１、ｔ２および
ｔ３時点での状況を示した図である。図における閾値Ｌ
は、バッファメモリ１４０から多重化部１２４に送られ
るフレーム当たりのデータ量を示している。FIG. 4 is a diagram showing how the encoded data multiplexed and output by the multiplexer 139 is stored in the buffer memory 140 and the situation at times to, t1, t2 and t3. is there. Threshold L in the figure
Indicates the amount of data per frame sent from the buffer memory 140 to the multiplexing unit 124.
【０１０３】発生した情報はフレームメモリ１４０に蓄
積されるが、バッファメモリ１４０からはＬビット分の
量の符号が伝送路に送出されるため、バッファメモリ１
４０の滞留量をＢ（ｔ）とすると、フレームｔでの動画
像が符号化されてバッファメモリ１４０に送られ、次に
フレームｔ＋１での動画像が符号化されてバッファメモ
リ１４０に送られる時点でのデータ滞留量は Ｂ（ｔ＋１）＝Ｂ（ｔ）＋Ｒ（ｔ）−Ｌ となる。The generated information is stored in the frame memory 140. Since the buffer memory 140 sends a code of L bits to the transmission path, the buffer memory 1
Assuming that the staying amount of the frame 40 is B (t), the moving image in the frame t is encoded and sent to the buffer memory 140, and then the moving image in the frame t + 1 is encoded and sent to the buffer memory 140. Is the data retention amount at B (t + 1) = B (t) + R (t) -L.
【０１０４】ここで、Ｒ（ｔ）はフレームｔの入力動画
像を符号化した際の発生符号量である。一方、フレーム
ｔの入力動画像がコマ落としされた場合では、フレーム
ｔ＋１での動画像が符号化されてバッファメモリ１４０
に送られる時点でのデータ滞留量は、 Ｂ（ｔ＋１）＝Ｂ（ｔ）−Ｌ となる。Here, R (t) is the amount of code generated when the input moving image of frame t is coded. On the other hand, when the input moving image of frame t is dropped, the moving image of frame t + 1 is encoded and stored in buffer memory 140.
B (t + 1) = B (t) −L at the time when the data is sent.
【０１０５】ここで、フレームｔ＋１の入力動画像を符
号化するか、コマ落としするかはバッファメモリ１４０
の滞留量Ｂ（ｔ）と閾値Ｌとの関係による。例えば、こ
こではＢ（ｔ）＞Ｌのときはコマ落としを実施し、Ｂ
（ｔ）がＬ以下のときは符号化すると決めている。Here, it is determined whether the input moving image of the frame t + 1 is to be coded or dropped.
Depends on the relationship between the retention amount B (t) and the threshold value L. For example, here, when B (t)> L, frame skipping is performed, and
If (t) is equal to or less than L, it is decided to encode.
【０１０６】すなわち、コマ落とし制御は、「発生符号
量がバッファメモリの空き容量を超えるとオーバーフロ
ーを生じてしまい、動画像１フレームを正確に送れなく
なるために、動画像の品質が大幅に劣化する」と云うこ
とを避ける目的で、バッファメモリの滞留量Ｂ（ｔ）が
フレーム当たり伝送されるデータ量の閾値Ｌ以下になる
まで、コマ落としを行う。That is, the frame dropping control is described as follows: "If the generated code amount exceeds the free space of the buffer memory, an overflow occurs, and one frame of a moving image cannot be sent accurately, so that the quality of the moving image is greatly deteriorated. Is performed until the amount B (t) of the buffer memory becomes equal to or less than the threshold value L of the amount of data transmitted per frame.
【０１０７】図４はオブジェクトＡとオブジェクトＢの
２個のオブジェクトあり、それらの輪郭が接触している
ために１組にしてレート制御を行うようにすることを仮
定している。FIG. 4 assumes that there are two objects, an object A and an object B, and that their contours are in contact with each other, so that rate control is performed as a set.
【０１０８】まず、時刻ｔ０を見てみる。この時刻ｔ０
ではオブジェクトＡ０とオブジェクトＢ０がバッファメ
モリ１４０に蓄積されている。次の時刻ｔ１でバッファ
メモリ１４０の滞留量がＬを超えているので、オブジェ
クトＡ１とオブジェクトＢ１をコマ落としして、符号化
を停止する。First, look at time t0. This time t0
The object A0 and the object B0 are stored in the buffer memory 140. At the next time t1, since the amount of stay in the buffer memory 140 exceeds L, the objects A1 and B1 are dropped and the encoding is stopped.
【０１０９】オブジェクトＡ１とオブジェクトＢ１と云
う２個の接触したオブジェクトがまとめてコマ落される
ことにより、両者の間でフレーム毎に同期がとれ、ジッ
タが起きなくなる。Since the two touching objects, the object A1 and the object B1, are dropped at the same time, the two are synchronized for each frame, and no jitter occurs.
【０１１０】次に、時刻ｔ１を見てみる。この時刻ｔ１
ではバッファメモリ１４０にはオブジェクトＡ０の一部
とオブジェクトＢ０の全部が残っているが、これは滞留
量としては閾値Ｌ以下なので、時刻ｔ２ではオブジェク
トＡ２とオブジェクトＢ２は符号化され、バッファメモ
リ１４０に書き込まれる。Next, look at time t1. This time t1
In the buffer memory 140, part of the object A0 and all of the object B0 remain in the buffer memory 140. However, since this is not more than the threshold value L as a staying amount, the object A2 and the object B2 are coded at the time t2. Written.
【０１１１】時刻ｔ２ではバッファメモリ１４０の滞留
量が閾値Ｌを超えているので、オブジェクトＡ３とオブ
ジェクトＡ３はコマ落としされ、符号化は停止される。
以上説明したように、本発明では、輪郭が接するオブジ
ェクト１３１とオブジェクト１３２の符号化データが、
まとめてバッファメモリ１４０に書き込まれ、コマ落と
しが必要な場合には、オブジェクト１３１とオブジェク
ト１３２で同時に発生させるように制御するようにした
ことにより、受信側でフレーム単位に両方のオブジェク
トでコマ落としが同時に起こり、両オブジェクトを合成
して画像を表示する際に、オブジェクト間で取得時点の
異なるオブジェクトを用いて合成せざるを得ないと云っ
た事態が生じることを防止でき、従って、両オブジェク
トの互いに接触している輪郭部分にジッタが起こる心配
がない。At time t2, since the amount of stay in the buffer memory 140 exceeds the threshold value L, the objects A3 and A3 are dropped, and the encoding is stopped.
As described above, according to the present invention, the encoded data of the object 131 and the object 132 that are in contact with the contour are
When the frames are collectively written to the buffer memory 140 and frame dropping is necessary, the object 131 and the object 132 are controlled so that they are simultaneously generated. At the same time, it is possible to prevent a situation where both objects are combined and an image is displayed using an object having a different acquisition time between the objects. There is no fear that jitter occurs in the contour part in contact.
【０１１２】また、オブジェクト１３３とオブジェクト
１３４についても上述同様にバッファメモリ１４６でコ
マ落としを管理するようにすることにより、受信側で表
示する際に両方のオブジェクトの接触している輪郭にジ
ッタが起きることを防止できる。Also, by controlling the frame dropping of the objects 133 and 134 in the buffer memory 146 in the same manner as described above, a jitter occurs at the outline where both objects are in contact when displaying on the receiving side. Can be prevented.
【０１１３】以上、第１の実施形態においては、人物と
背景と云ったような一つの注目オブジェクトと背景オブ
ジェクトとからなる最も単純なオブジェクト構成の動画
像についてのレート制御例を説明した。しかし、動画像
はこのような単純なものばかりでなく、背景の他に多数
のオブジェクトが含まれるケースも多いから、このよう
な多数オブジェクト構成の動画像の場合についても、そ
の対処例を明らかにしておく必要がある。従って、次に
多数オブジェクト構成の動画像の場合についての実施形
態を第２の実施形態として説明する。As described above, in the first embodiment, an example of rate control for a moving image having the simplest object configuration including one attention object such as a person and a background and a background object has been described. However, moving images are not only simple, but often include a large number of objects in addition to the background. Need to be kept. Therefore, an embodiment for a moving image having a large number of objects will be described below as a second embodiment.
【０１１４】（第２の実施形態）図５は一つの画面で任
意の個数のオブジェクトが存在し、それらのオブジェク
トが複数の組で相互に輪郭が接触している場合に、前記
オブジェクトのコマ落としを制御するシステムの構成図
である。(Second Embodiment) FIG. 5 shows a case where an arbitrary number of objects are present on one screen and the outlines of these objects are in contact with each other in a plurality of sets. FIG. 2 is a configuration diagram of a system that controls the system.
【０１１５】図５において、１１４は形状抽出部、１１
７ａ，１１７ｂ，〜１１７ｎは符号化部、１６１はレー
ト制御部、１６４はマルチプレクサ、１６６はバッファ
メモリである。In FIG. 5, reference numeral 114 denotes a shape extraction unit;
Reference numerals 7a, 117b, to 117n denote encoding units, 161 denotes a rate control unit, 164 denotes a multiplexer, and 166 denotes a buffer memory.
【０１１６】形状抽出部１１４は、テレビカメラなどの
撮像装置で撮影して得た動画像データ１１３から画面を
構成している各オブジェクトについてそれぞれ輪郭を元
にした領域抽出をして、各オブジェクトの形状情報１１
６ａ，〜１１６ｎをそれぞれ生成するものであって、１
フレームの画面から複数のオブジェクト形状を抽出する
ものである。また、この形状抽出部１１４には抽出した
オブジェクトの形状情報１１６から相互の輪郭が接触し
ているオブジェクト同士を組として分類し、その情報
（分類表）をレート制御部１６１に出力すると云った機
能を備えている。The shape extraction unit 114 extracts regions based on the contours of the respective objects constituting the screen from the moving image data 113 obtained by photographing with an imaging device such as a television camera. Shape information 11
6a and ~ 116n, respectively.
A plurality of object shapes are extracted from the frame screen. Also, the shape extracting unit 114 classifies objects whose outlines are in contact with each other as a set based on the extracted object shape information 116 and outputs the information (classification table) to the rate control unit 161. It has.
【０１１７】符号化部１１７ａ〜１１７ｎは前記各オブ
ジェクト毎に対応してそれぞれの受け持ちのオブジェク
トを符号化する符号化部であり、各オブジェクトに対応
した形状情報１１６ａ，〜１１６ｎを使用して符号化す
るものである。The coding units 117a to 117n are coding units for coding the respective assigned objects corresponding to the respective objects. The coding units 117a to 117n perform coding using the shape information 116a to 116n corresponding to each object. Is what you do.
【０１１８】マルチプレクサ１６４はデータを多重化す
るためのものであって、符号化部１１７ａ，〜１１７ｎ
により出力されるオブジェクトを符号化した符号化情報
１２３ａ，〜１２３ｎを受けて、これらを多重化し、バ
ッファメモリ１６６に送るものである。バッファメモリ
１６６の多重化出力１２５が伝送路への伝送出力とな
る。A multiplexer 164 is for multiplexing data, and includes encoding units 117a to 117n.
Receives the encoded information 123a, 123-123n obtained by encoding the object output by the above, multiplexes them, and sends them to the buffer memory 166. The multiplexed output 125 of the buffer memory 166 becomes the transmission output to the transmission path.
【０１１９】レート制御部１６１はバッファメモリ１６
６よりそのデータ蓄積量の情報を受けて当該蓄積量の情
報からバッファメモリ１６６の空き状熊を調べ、バッフ
ァメモリ１６６の多重化出力１２５が割り当てレートに
なるように、符号化部１１７ａ，〜１１７ｎの各量子化
ステップを変えたり、符号化情報１２３ａ，〜１２３ｎ
について、コマ落とししたりすると云った調整制御をす
るためのものである。また、このレート制御部１６１に
は前記形状抽出部１１４からの分類表から各組に属して
いるオブジェクトをまとめてレート制御及びコマ落とし
を行うと云った調整制御機能をも備えている。The rate control section 161 is provided in the buffer memory 16
6, the information of the data storage amount is received from the information of the storage amount, the empty space of the buffer memory 166 is checked, and the encoding units 117a, 117n are set so that the multiplexed output 125 of the buffer memory 166 becomes the assigned rate. , And the encoding information 123a, -123n
Is used to perform adjustment control such as dropping frames. The rate control unit 161 also has an adjustment control function of performing rate control and frame dropping for objects belonging to each group from the classification table from the shape extraction unit 114.
【０１２０】このような構成において、テレビカメラな
どの撮像装置で撮影した入力動画像データ１１３を本シ
ステムに入力すると、この動画像データ１１３は、形状
抽出部１１４と符号化部１１７ａ，１１７ｂ，〜１１７
ｎとに、それぞれ与えられる。In such a configuration, when input moving image data 113 photographed by an imaging device such as a television camera is input to the present system, the moving image data 113 is converted into a shape extracting unit 114 and encoding units 117a, 117b,. 117
n, respectively.
【０１２１】動画像データ１１３を受けた形状抽出部１
１４は、この動画像データ１１３から画面を構成してい
る各オブジェクトについてそれぞれ輪郭を元にした領域
抽出をし、各オブジェクト別の形状情報１１６を生成す
る。そして、各オブジェクト別にそのオブジェクトの形
状情報１１６を、そのオブジェクト用の符号化部１１７
ａ，１１７ｂ，〜１１７ｎに、それぞれ与える。Shape extraction unit 1 receiving moving image data 113
The unit 14 extracts a region based on the outline of each object constituting the screen from the moving image data 113 and generates shape information 116 for each object. Then, for each object, the shape information 116 of the object is stored in the encoding unit 117 for the object.
a, 117b, to 117n.
【０１２２】また、形状抽出部１１４は抽出したオブジ
ェクトの形状情報から相互の輪郭が接触しているオブジ
ェクト同士を組として分類する。そして、前記各組に対
してどのオブジェクトが属しているかの分類表情報を、
レート制御部１６１に送る。The shape extracting section 114 classifies the objects whose outlines are in contact with each other as a set based on the extracted object shape information. Then, classification table information indicating which object belongs to each of the sets,
It is sent to the rate control unit 161.
【０１２３】また、動画像データ１１３を受けた符号化
部１１７ａ〜１１７ｎでは、それぞれ自己に与えられた
形状情報１１６を使用して、動画像データ１１３から形
状情報に対応する動画像部分を領域抽出し、その抽出し
た動画像部分を用いて動き補償情報を求め、この動き補
償情報と前記抽出した動画像部分のテクスチャ情報とを
符号化して出力する（符号化情報１２３ａ，〜１２３
ｎ）。In addition, the encoding units 117a to 117n which have received the moving image data 113 use the shape information 116 given to themselves to extract a moving image portion corresponding to the shape information from the moving image data 113. Then, motion compensation information is obtained using the extracted moving image portion, and the motion compensation information and the texture information of the extracted moving image portion are encoded and output (encoding information 123a, 123).
n).
【０１２４】符号化部１１７ａ〜１１７ｎからの符号化
情報１２３ａ〜１２３ｎはマルチプレクサ１６４に送ら
れてここで多重化される。そして、このマルチプレクサ
１６４にて多重化された出力１６５はバッファメモリ１
６６に与えられる。バッファメモリ１６６はこれを取り
込み、一定レートで読み出す。The coded information 123a to 123n from the coding units 117a to 117n are sent to the multiplexer 164 and multiplexed there. The output 165 multiplexed by the multiplexer 164 is output to the buffer memory 1.
66. The buffer memory 166 takes this in and reads it out at a constant rate.
【０１２５】この結果、バッファメモリ１６６は全ての
オブジェクトの符号化データについて平滑化することに
なり、当該バッファメモリ１６６から読み出される多重
化出力１２５は一定レートで回線に出力されることにな
る。As a result, the buffer memory 166 smoothes the encoded data of all objects, and the multiplexed output 125 read from the buffer memory 166 is output to the line at a constant rate.
【０１２６】また、バッファメモリ１６６のデータ滞留
量の情報はレート制御部１６１に送られる。そして、レ
ート制御部１６１は前記滞留量の情報から各符号化部１
１７ａ〜１１７ｎまでの量子化ステップを適宜に設定変
更して、発生符号量を調整し、バッファメモリ１６６に
入力される符号化データがオーバーフローしないように
制御する。Further, information on the data retention amount in the buffer memory 166 is sent to the rate control unit 161. Then, the rate control unit 161 uses the information on the amount of stay to calculate each of the encoding units 1.
The quantization steps 17a to 117n are appropriately set and changed to adjust the generated code amount, and control is performed so that the encoded data input to the buffer memory 166 does not overflow.
【０１２７】また一方、形状抽出部１１４は抽出したオ
ブジェクトの形状情報から相互の輪郭が接触しているオ
ブジェクト同士を組として分類しており、そして、前記
各組に対してどのオブジェクトが属しているかの分類表
を作成してレート制御部１６１に与えている。そして、
レート制御部１６１はレート制御及びコマ落としの必要
が生じたときは、この分類表の情報からそれぞれ組み単
位で、その組に属しているオブジェクトをまとめてレー
ト制御及びコマ落としを行う。On the other hand, the shape extracting unit 114 classifies objects whose outlines are in contact with each other as a set based on the extracted object shape information, and determines which object belongs to each set. Is created and given to the rate control unit 161. And
When it is necessary to perform rate control and frame dropping, the rate control unit 161 collectively performs rate control and frame dropping for the objects belonging to the group for each group from the information in the classification table.
【０１２８】つまり、レート制御部１６１は分類表の情
報をもとに、レート制御及びコマ落としの制御を、組み
単位で行うようにする。以上説明したように、この第２
の実施形態においては、各オブジェクト毎の符号化を行
う符号化部を複数設けて形状抽出部による形状抽出情報
に従って各オブジェクト単位で各オブジェクトを同時並
行にそれぞれ符号化し、これら符号化して得たデータを
多重化してバッファメモリに与え、このバッファメモリ
より読み出して伝送に供すると共に、形状抽出部には輪
郭の接するオブジェクト同士を検出する機能を持たせ
て、その輪郭の接するオブジェクトの情報をレート制御
部に与え、レート制御やコマ落としを実施する場合に
は、各オブジェクト毎の符号化を行う符号化部に対し
て、輪郭の接触するオブジェクト同士を一まとまりとし
てレート制御、あるいはコマ落とし制御されるように
し、コマ落としが必要な場合には、輪郭が接するオブジ
ェクト同士が同時にコマ落としされるようにしたことに
より、輪郭が接するオブジェクトについては受信側でフ
レーム単位に同時にコマ落としが起こり、各オブジェク
トを合成して画像を表示する際に、輪郭が接するオブジ
ェクト間で取得時点の異なるオブジェクトを用いて合成
せざる得ないと云った事態が生じることを防止でき、従
って、両オブジェクトの互いに接触している輪郭部分に
ジッタが起こる心配がない。That is, the rate control section 161 controls the rate control and the frame drop control on a group basis based on the information in the classification table. As described above, this second
In the embodiment of the present invention, a plurality of encoding units for performing encoding for each object are provided, and each object is simultaneously and concurrently encoded for each object in accordance with the shape extraction information by the shape extracting unit. Are multiplexed and provided to a buffer memory, read out from the buffer memory and provided for transmission, and the shape extraction unit is provided with a function of detecting objects with which the contours are in contact with each other. In the case of performing rate control or frame dropping, the coding unit that performs coding for each object is subjected to rate control or frame dropping control as a unit of objects that touch the contour. When frame skipping is necessary, objects whose outlines touch each other can be dropped simultaneously. As a result, frame dropping occurs at the receiving side at the same time on the receiving side for objects having an outline contact, and when composing each object and displaying an image, the acquisition time differs between the objects having the outline contact. It is possible to prevent occurrence of a situation in which compositing must be performed using objects, and therefore, there is no fear that jitter occurs in the outline portions of both objects that are in contact with each other.
【０１２９】従って、複数のオブジェクト同士が接触し
ている画像の場合に、接触しているオブジェクト間での
輪郭にジッタが起きることを防止できる。 ＜相互接触オブジェクトの検出方法＞ここで、形状抽出
部１１４の持つ、抽出オブジェクトのうちの相互に輪郭
が接触しているオブジェクトを検出する相互接触オブジ
ェクト検出方法の具体例について、図６を参照しながら
説明する。Therefore, in the case of an image in which a plurality of objects are in contact with each other, it is possible to prevent occurrence of jitter in the contour between the contacting objects. <Method of Detecting Mutual Contact Object> Here, a specific example of a mutual contact object detection method of the shape extraction unit 114 that detects objects whose contours are in contact with each other among the extracted objects will be described with reference to FIG. I will explain it.
【０１３０】［動きのあるオブジェクト同士の例］先ず
はじめに、相互に接触しているオブジェクト同士が静止
状態でなく、コマ毎に動きがある場合について説明す
る。[Example of Moving Objects] First, a case where the objects that are in contact with each other are not in a stationary state but are moving for each frame will be described.
【０１３１】図６は抽出したオブジェクト１６７とオブ
ジェクト１６８が相互に接触している状態を示してい
る。まず、オブジェクト１６７の輪郭について幅Δの間
隔で、点をつける。これが図中の点…，Ａｍｎ−２，Ａ
ｍｎ−１，Ａｍｎ，Ａｍｎ＋１，…である。同様にオブ
ジェクト１６８の輪郭についても幅Δの間隔で、点をつ
ける。これが図中の点（…，Ｂｎ−２，Ｂｎ−１，Ｂ
ｎ，Ｂｎ＋１，…）である。FIG. 6 shows a state where the extracted objects 167 and 168 are in contact with each other. First, the contour of the object 167 is pointed at intervals of the width Δ. These are the points in the figure ..., Amn-2, A
mn-1, Amn, Amn + 1,... Similarly, the contour of the object 168 is marked at intervals of the width Δ. This is the point (..., Bn-2, Bn-1, B
n, Bn + 1,...).
【０１３２】そして、オブジェクト１６７の所望の点、
例えば、点Ａｍからオブジェクト１６８の各点（…，Ｂ
ｎ−２，Ｂｎ−１，Ｂｎ，Ｂｎ＋１，…）とをそれぞれ
直線で結んでみる。そして、これら直線のうち、最も短
い直線を選び（図６ではＡｍとＢｎを結んだ直線が選ば
れる）、この直線の長さが閾値αより小さければ両者の
点は接触していると見做す。ここで、閾値αは二つのオ
ブジェクト間の接近距離が、接触と見做せる距離相当分
の値である。Then, a desired point of the object 167,
For example, from the point Am to each point of the object 168 (..., B
n−2, Bn−1, Bn, Bn + 1,...) with straight lines. Then, of these straight lines, the shortest straight line is selected (in FIG. 6, a straight line connecting Am and Bn is selected). If the length of this straight line is smaller than the threshold value α, it is considered that both points are in contact. You. Here, the threshold α is a value corresponding to a distance in which the approach distance between the two objects can be regarded as a contact.
【０１３３】同様にして、オブジェクト１６７の別の点
について前記と同様の処理を行い、最接近した点の組を
選ぶ。以下同様にして、オブジェクト１６７とオブジェ
クト１６８について最接近した点の組を選び、それらの
組を２つのオブジェクトが接触している点とする。Similarly, another point of the object 167 is processed in the same manner as described above, and a set of points closest to each other is selected. In the same manner, a pair of points closest to the object 167 and the object 168 is selected, and the pair is set as a point where the two objects are in contact.
【０１３４】以上のように、全てのオブジェクトについ
て前記の処理を行い、輪郭が接触しているオブジェクト
の組を分類する。 ［動きのないオブジェクト同士の例］前述した例は、複
数のオブジェクトが１組になって一緒に動くようなオブ
ジェクト集団について、分類することを前提としてい
た。しかし、時間が経過しても動きがないオブジェクト
（すなわち、静止しているオブジェクト）も存在し得
る。このような静止オブジェクトの場合には、特に相互
のオブジェクトの輪郭が接触しても、あるいはオブジェ
クト同士が孤立していてもジッタを起こさない。As described above, the above-described processing is performed for all objects, and a group of objects whose contours are in contact is classified. [Example of Non-Moving Objects] The above-described example is based on the premise that a group of objects in which a plurality of objects move together as a set is classified. However, there may be objects that do not move (i.e., are stationary) over time. In the case of such a stationary object, no jitter occurs even if the outlines of the objects touch each other, or even if the objects are isolated.
【０１３５】そこで、これら静止している複数のオブジ
ェクトを選択して一つのオブジェクトの組とすることが
できる。静止しているオブジェクトを形状抽出部１１４
で如何にして選択するかを説明する。Therefore, a plurality of stationary objects can be selected to form a set of one object. The stationary object is extracted by the shape extracting unit 114.
The following describes how to select.
【０１３６】図７は、静止しているオブジェクトを検出
する方法を説明するための図である。まず、前記と同様
にオブジェクトの輪郭について幅Δの間隔で点をつけ
る。そして、各点について、複数フレームに亙って揺れ
具合を調べる。例えば、ある点を対象としてフレーム毎
に揺れた座標Ａ１１，Ａ１２， … ，Ａ１ｍをプロッ
トしてみる。同様に各点についても揺れた座標をプロッ
トしてみる。FIG. 7 is a diagram for explaining a method of detecting a stationary object. First, dots are made at intervals of the width Δ on the contour of the object in the same manner as described above. Then, for each point, the degree of swing is checked over a plurality of frames. For example, plotting coordinates A11, A12,..., A1m which fluctuate for each frame for a certain point. Similarly, plot the swaying coordinates for each point.
【０１３７】そして、各点の揺れ具合が半径α以内に収
まっていれば、その点は静止していると見做す。同様に
このオブジェクトの輪郭上の全ての点について揺れが半
径α以内なら、このオブジェクトは静止していると見做
す。ここで、αは静止と見做せる距離相当分の値であ
る。If the degree of swing of each point falls within the radius α, the point is considered to be stationary. Similarly, if the swing of all points on the contour of the object is within the radius α, the object is considered to be stationary. Here, α is a value corresponding to a distance that can be regarded as stationary.
【０１３８】以下同様に、形状抽出部１１４は静止して
いるオブジェクトを選択してそれらオブジェクトをオブ
ジェクトの組とする。 ＜相互に接触したオブジェクトの組のレート制御方法＞
次に、図５において、形状抽出部１１４で検出した相互
に接触したオブジェクトの組についてどのようにレート
制御するかその方法について述べる。図８（ａ）はバッ
ファメモリ１６６に書き込まれる各オブジェクトのデー
タの流れについて説明している。Similarly, the shape extracting unit 114 selects still objects and sets the objects as a set of objects. <Rate control method for a set of objects in contact with each other>
Next, with reference to FIG. 5, a method of controlling the rate of a set of mutually touching objects detected by the shape extracting unit 114 will be described. FIG. 8A illustrates the flow of data of each object written in the buffer memory 166.
【０１３９】本方法は輪郭が接触したオブジェクトの組
の単位でレート制御を行うことを特徴としている。図８
（ｂ）は輪郭が接触したオブジェクトの組で、オブジェ
クトの構成について説明した図である。輪郭が接触した
オブジェクトのある組をＶｎとし、この組を構成してい
るオブジェクトをＶｎｍ，〜Ｖｎ２，Ｖｎ１としてい
る。This method is characterized in that rate control is performed in units of a set of objects whose contours are in contact. FIG.
FIG. 3B is a diagram illustrating a set of objects whose contours are in contact with each other, illustrating the configuration of the objects. A set of objects whose contours touch each other is denoted by Vn, and the objects constituting this set are denoted by Vnm, to Vn2, and Vn1.
【０１４０】まず、フレーム時刻ｔｏでバッファメモリ
１６６には組Ｖ０と組Ｖ１が書き込まれていると仮定す
る。バッファメモリ１６６は閾値Ｌを超えている。尚、
閾値Ｌはバッファメモリ１６６からの多重化出力１２５
におけるフレーム毎のデータ量に相当している。時刻ｔ
１では組Ｖ２はコマ落としされ、組Ｖ２を構成している
オブジェクトの符号化は実行されない。First, it is assumed that the set V0 and the set V1 have been written to the buffer memory 166 at the frame time to. The buffer memory 166 has exceeded the threshold L. still,
The threshold value L is the multiplexed output 125 from the buffer memory 166.
Corresponds to the data amount for each frame. Time t
In 1, the frame of the set V2 is dropped, and the encoding of the objects constituting the set V2 is not executed.
【０１４１】次に時刻ｔ２でバッファメモリ１６６に組
Ｖ３が書き込まれる。組Ｖ３のデータ量は閾値Ｌを超え
ているので、時刻ｔ３では組Ｖ４はコマ落としされる。
そして、組Ｖ４を構成しているオブジェクトは符号化さ
れない。Next, at time t2, the set V3 is written into the buffer memory 166. Since the data amount of the set V3 exceeds the threshold L, the frame of the set V4 is dropped at time t3.
Then, the objects making up the set V4 are not encoded.
【０１４２】以上説明したように、レート制御部１６１
は形状抽出部１１４から出力される前記オブジェクトの
組情報１６０により、バッファメモリ１６６のコマ落と
し管理を組単位で行う。また、同時に各組を構成してい
るオブジェクトの量子化ステップを割り当てられたレー
トに収まるように制御する。As described above, the rate control unit 161
Performs frame drop management of the buffer memory 166 on a group basis based on the object group information 160 output from the shape extraction unit 114. At the same time, control is performed so that the quantization step of the objects constituting each set falls within the assigned rate.
【０１４３】また、前記の説明でＶｎの構成要素は輪郭
が接触したオブジェクトに限定したが、上述したように
静止しているオブジェクトを組にしてもよい。形状抽出
部１１４はあるフレームの画面からオブジェクトの輪郭
を抽出し、輪郭が接触したオブジェクトの組を分類する
処理を行う。しかし、図１のように一枚の画面からオブ
ジェクト１３１〜１３５まで、背景を含めたオブジェク
トを切り出した場合、無条件にオブジェクト１３１〜１
３５が一つの組になり、特に形状抽出部１１４で輪郭が
接触したオブジェクトの組を分類する必要がない。In the above description, the components of Vn are limited to objects whose contours are in contact with each other, but may be a set of stationary objects as described above. The shape extraction unit 114 performs a process of extracting an outline of an object from a screen of a certain frame, and classifying a set of objects touching the outline. However, when the objects including the background are cut out from one screen to the objects 131 to 135 as shown in FIG.
35 form one set, and it is not particularly necessary to classify the set of objects whose contours are in contact with each other by the shape extraction unit 114.
【０１４４】このように、第２の実施形態においては、
各オブジェクト毎の符号化を行う符号化部を複数設けて
形状抽出部による形状抽出情報に従って各オブジェクト
単位で各オブジェクトを同時並行にそれぞれ符号化し、
これら符号化して得たデータを多重化してバッファメモ
リに与え、このバッファメモリより読み出して伝送に供
すると共に、形状抽出部には輪郭の接するオブジェクト
同士を検出する機能を持たせて、その輪郭の接するオブ
ジェクトの情報をレート制御部に与え、レート制御やコ
マ落としを実施する場合には、各オブジェクト毎の符号
化を行う符号化部に対して、輪郭の接触するオブジェク
ト同士を一まとまりとしてレート制御、あるいはコマ落
とし制御されるようにし、あるいは、隣接せずとも静止
オブジェクトである場合には静止オブジェクト全てにつ
いてこれを組としてレート制御、あるいはコマ落とし制
御されるようにし、コマ落としが必要な場合には、輪郭
が接するオブジェクト同士、あるいは、隣接せずとも静
止オブジェクトである場合には静止オブジェクト全てが
同時にコマ落としされるようにしたものである。As described above, in the second embodiment,
A plurality of encoding units that perform encoding for each object are provided, and each object is simultaneously and concurrently encoded for each object according to the shape extraction information by the shape extraction unit,
These coded data are multiplexed and provided to a buffer memory, read out from the buffer memory and provided for transmission, and the shape extraction unit is provided with a function of detecting objects having contours in contact with each other. When information of an object is given to the rate control unit to perform rate control or frame skipping, the encoding unit that performs encoding for each object is subjected to rate control by grouping objects having contours as a unit. Alternatively, frame drop control is performed, or, if the object is a still object even if it is not adjacent, rate control or frame drop control is performed for all the static objects as a set, and when frame drop is necessary, , Objects whose outlines touch each other, or If that is that all stationary object has to be dropped frames at the same time.
【０１４５】これにより、輪郭が接するオブジェクトに
ついては動きのあるオブジェクト同士で、あるいは、隣
接せずとも静止オブジェクトである場合には静止オブジ
ェクト全てについてこれを組として、受信側でフレーム
単位に同時にコマ落としが起こり、所要の伝送レートに
なるように制御できるようになると共に、各オブジェク
トを合成して画像を表示する際に、輪郭が接するオブジ
ェクト間で取得時点の異なるオブジェクトを用いて合成
せざる得ないと云った事態が生じることを防止でき、従
って、輪郭が接触しているオブジェクトでの互いに接触
している輪郭部分にジッタが起こる心配がない。また、
静止オブジェクト全てが同時にコマ落としされるように
制御できることから、静止オブジェクトについては１度
送れば、後は変化の生じるまで、或いは必要が生じるま
では、そのオブジェクトの伝送をしないでその容量分を
他の動きのあるオブジェクトの伝送に転用するといった
ことが可能となり、伝送に余裕を持たせることが可能に
なるといった効果が期待できる。As a result, if the objects that are in contact with the contour are moving objects, or if the objects are not adjacent but are still objects, they are grouped together, and frames are dropped simultaneously on the receiving side in frame units. Occurs, and it becomes possible to control the transmission rate to a required value. In addition, when compositing each object and displaying an image, the compositing must be performed using objects having different acquisition times between objects having contours in contact with each other. Therefore, it is possible to prevent the occurrence of the jitter in the contour portions in contact with each other in the object in which the contours are in contact with each other. Also,
Since all still objects can be controlled so that frames are dropped simultaneously, if a stationary object is sent once, it will not be transmitted until the change occurs or the necessity arises. Can be diverted to the transmission of an object having a moving motion, and the effect of allowing a margin for transmission can be expected.
【０１４６】尚、本発明は上述した実施形態に限定され
るものではなく、種々変形して実施可能である。また、
本発明の実施形態に記載した手法は、コンピュータに実
行させることのできるプログラムとして、磁気ディスク
（フロッピーディスク、ハードディスクなど）、光ディ
スク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなど
の記録媒体に格納して頒布することもできる。The present invention is not limited to the above-described embodiment, but can be implemented with various modifications. Also,
The method described in the embodiment of the present invention is stored in a recording medium such as a magnetic disk (floppy disk, hard disk, etc.), an optical disk (CD-ROM, DVD, etc.), a semiconductor memory, or the like as a program that can be executed by a computer. Can also be distributed.
【０１４７】[0147]
【発明の効果】以上、詳述したように、本発明は、動画
像画面で画面を構成しているオブジェクトについて、オ
ブジェクト単位に符号化する際に、相互に輪郭が接触し
ているオブジェクトを組にして、組単位にコマ落とし及
び量子化を行うことにより、前記輪郭部分にジッタが起
きるのを防止できる。また、静止オブジェクト全てが同
時にコマ落としされるように制御できることから、静止
オブジェクトについては１度送れば、後は変化の生じる
まで、或いは必要が生じるまでは、そのオブジェクトの
伝送をしないでその容量分を他の動きのあるオブジェク
トの伝送に転用するといったことが可能となり、伝送に
余裕を持たせることが可能になるといった効果が期待で
きる。As described above, according to the present invention, when objects constituting a screen in a moving image screen are encoded in units of objects, the objects whose outlines are in contact with each other are grouped. By performing frame dropping and quantization on a group basis, it is possible to prevent occurrence of jitter in the outline portion. In addition, since control can be performed so that all still objects are dropped simultaneously, if a still object is sent once, the object is not transmitted until the change occurs or the necessity arises without transmitting the object. Can be diverted to the transmission of other moving objects, and the effect of allowing a margin for transmission can be expected.
【図１】本発明を説明するための図であって、動画像画
面からオブジェクトを抽出し、オブジェクトを分離した
例を示した図である。FIG. 1 is a diagram for explaining the present invention, showing an example in which an object is extracted from a moving image screen and the object is separated.
【図２】本発明を説明するための図であって、本実施例
における符号化方式のブロック構成図である。FIG. 2 is a diagram for explaining the present invention, and is a block configuration diagram of an encoding method in the present embodiment.
【図３】本発明を説明するための図であって、本実施例
における符号化部の構成例を示すブロック図である。FIG. 3 is a diagram for explaining the present invention, and is a block diagram illustrating a configuration example of an encoding unit in the present embodiment.
【図４】本発明を説明するための図であって、本実施例
におけるバッファメモリの格納状態を示した説明図であ
る。FIG. 4 is a diagram for explaining the present invention, and is an explanatory diagram showing a storage state of a buffer memory in the present embodiment.
【図５】本発明を説明するための図であって、本実施例
における変形例を示したブロック構成図である。FIG. 5 is a diagram for explaining the present invention, and is a block diagram showing a modification of the present embodiment.
【図６】本発明を説明するための図であって、本実施例
における輪郭が接触した複数のオブジェクトを検出する
方法の説明図である。FIG. 6 is a diagram for explaining the present invention, and is an explanatory diagram of a method for detecting a plurality of objects with which contours are in contact in the present embodiment.
【図７】本発明を説明するための図であって、本実施例
における静止したオブジェクトを検出する方法の説明図
である。FIG. 7 is a diagram for explaining the present invention, and is an explanatory diagram of a method for detecting a stationary object in the present embodiment.
【図８】本発明を説明するための図であって、本実施例
におけるバッファメモリの格納状態を示した説明図であ
る。FIG. 8 is a diagram for explaining the present invention, and is an explanatory diagram showing a storage state of a buffer memory in the present embodiment.
【図９】従来におけるオブジェクト単位で動画像を符号
化する方式を説明した構成図である。FIG. 9 is a configuration diagram illustrating a conventional method of encoding a moving image in object units.
【図１０】従来のオブジェクト単位で動画像を符号化す
る方式の変形例を説明した構成図である。FIG. 10 is a configuration diagram illustrating a modified example of a conventional method of encoding a moving image in object units.
【図１１】従来におけるオブジェクト単位で動画像を符
号化する方式の装置のブロック構成図である。FIG. 11 is a block diagram of a conventional apparatus that encodes a moving image on an object basis.
【図１２】従来におけるオブジェクト単位で動画像を符
号化する方式において、フレーム単位での各オブジェク
トの符号化および合成状態を説明した図である。FIG. 12 is a diagram illustrating the encoding and synthesis state of each object in frame units in a conventional method of encoding a moving image in object units.
１１３…動画像データ １１４…形状抽出部 １１７ａ，〜１１７ｎ…符号化部 １２１ａ，〜１２１ｎ，１４０，１４６，１６６…バッ
ファメモリ １１９ａ，〜１１９ｎ，１３８，１４４，１６１…レー
ト制御部 １２４…多重化部 １３９，１４５，１５０−３，１６４…マルチプレクサ １５０−１…符号化モード選択回路 １５１…ＤＣＴ回路 １５２…量子化回路 １５３…可変長符号回路 １５４…逆量子化回路 １５５…逆ＤＣＴ回路 １５６…加算部 １５７…フレームメモリ １５８…動き補償回路 １５９…動き検出回路 １５０−４…形状符号化部 １５０−６…動き補償／テクスチャ符号化部 １３１，１３２，１３３，１３４，１３５…オブジェク
トReference numeral 113: Moving image data 114: Shape extraction unit 117a, to 117n: Encoding unit 121a, to 121n, 140, 146, 166: Buffer memory 119a, to 119n, 138, 144, 161: Rate control unit 124: Multiplexing unit 139, 145, 150-3, 164 multiplexer 150-1 encoding mode selection circuit 151 DCT circuit 152 quantization circuit 153 variable length encoding circuit 154 inverse quantization circuit 155 inverse DCT circuit 156 addition section 157: Frame memory 158: Motion compensation circuit 159: Motion detection circuit 150-4: Shape encoding unit 150-6: Motion compensation / texture encoding unit 131, 132, 133, 134, 135 ... Object
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C053 GB17 GB32 HA06 HA33 LA14 5C059 KK01 KK13 KK35 LB07 MA00 MA05 MA23 MB03 MB14 MB16 MC11 MC38 ME02 NN01 NN28 PP05 PP06 PP07 PP27 SS07 TA07 TA25 TA46 TB18 TC14 TC20 TC37 TD12 UA02 UA05 UA32 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 5C053 GB17 GB32 HA06 HA33 LA14 5C059 KK01 KK13 KK35 LB07 MA00 MA05 MA23 MB03 MB14 MB16 MC11 MC38 ME02 NN01 NN28 PP05 PP06 PP07 PP27 SS07 TA07 TA25 TA46 TB18 TC14 TC20 TC37 TD12 UA02
Claims (9)
画像についての複数の領域の形状を抽出し、前記領域の
テクスチャ、動き補償および形状情報を並列に符号化
し、これらを多重化し、これを所定のレートで通信回線
に送出するようにしたオブジェクト符号化装置におい
て、 前記形状情報から相互に輪郭が接触した１つ以上のオブ
ジェクトの組を分類する手段と、 前記各組単位で前記通信回線に対する割り当てレートを
制御する手段と、 前記レートを制御するに際してコマ落としを必要とする
ときは、同一の組に属するオブジェクトに対しては同じ
フレームで一斉にコマ落としを行う手段とを具備するこ
とを特徴とするオブジェクト符号化装置。1. A method for extracting shapes of a plurality of regions of an image in a frame from input moving image data, encoding texture, motion compensation and shape information of the regions in parallel, multiplexing them, and multiplexing them. In an object encoding apparatus configured to transmit to a communication line at a predetermined rate, a unit for classifying one or more sets of objects whose contours are in contact with each other from the shape information; Means for controlling an allocation rate, and means for simultaneously performing frame dropping in the same frame for objects belonging to the same group when frame dropping is required for controlling the rate. Object encoding device.
前記オブジェクトの形状を抽出する際、オブジェクトの
中から静止している１つ以上のオブジェクトの組を検出
して同一の組に分類する機能を更に有することことを特
徴とする請求項１記載のオブジェクト符号化装置。2. The means for classifying the set of objects comprises:
2. The object according to claim 1, further comprising a function of detecting a set of one or more stationary objects from the objects and classifying them into the same set when extracting the shape of the object. Encoding device.
画像についての複数の領域の形状を抽出し、前記領域の
テクスチャ、動き補償および形状情報を並列に符号化
し、これらを多重化し、これを所定のレートで通信回線
に送出するようにしたオブジェクト符号化装置におい
て、 前記形状情報から相互に輪郭が接触した１つ以上のオブ
ジェクトの組を分類する手段と、 前記各組単位で前記通信回線に対する割り当てレートを
制御する手段と、 前記レートを制御する際、同一の組に属するオブジェク
トについては同じフレームで一斉にコマ落としを行うと
共に、前記画像から複数の領域の形状を抽出する際に、
一枚の画像から背景を含めて複数のオブジェクトに符号
化する場合には、コマ落とし対象はその対象となるフレ
ームに属する全てのオブジェクトとするコマ落とし手段
とを具備することを特徴とするオブジェクト符号化装
置。3. Extracting the shapes of a plurality of regions of an image in a frame from input moving image data, encoding texture, motion compensation and shape information of the regions in parallel, multiplexing them, and multiplexing them. In an object encoding apparatus configured to transmit to a communication line at a predetermined rate, a unit for classifying one or more sets of objects whose contours are in contact with each other from the shape information; Means for controlling the allocation rate, and when controlling the rate, while performing frame dropping simultaneously in the same frame for objects belonging to the same set, when extracting the shape of a plurality of regions from the image,
When encoding a single image into a plurality of objects including a background, a frame-dropping target is provided with frame-dropping means for setting all objects belonging to the target frame as an object code. Device.
画像についての複数の領域の形状を抽出し、前記領域の
テクスチャ、動き補償および形状情報を並列に符号化
し、これらを多重化し、これを所定のレートで通信回線
に送出するようにしたオブジェクト符号化装置におい
て、 前記抽出した形状情報に従い、並行して各オブジェクト
毎にそれぞれ符号化する符号化手段と、 符号化手段により各オブジェクト単位で符号化して得た
データを多重化する多重化手段と、 この多重化したデータを所定のレートで伝送する伝送手
段と、 前記形状の抽出にあたり、輪郭の接するオブジェクト同
士を検出して、その輪郭の接するオブジェクトの情報を
取得する手段と、 前記符号化手段での符号化にあたり、発生符号量を制御
するに際しては、輪郭の接触するオブジェクト同士を一
まとまりとして符号量制御、あるいはコマ落とし制御す
るようにし、あるいは、隣接せずとも静止オブジェクト
である場合には静止オブジェクト全てについてこれを同
一組として発生符号量制御、あるいはコマ落とし制御す
ることを特徴とするオブジェクト符号化装置。4. Extracting the shapes of a plurality of regions of an image in a frame from input moving image data, encoding the texture, motion compensation and shape information of the regions in parallel, multiplexing them, and multiplexing them. An object encoding apparatus configured to transmit data to a communication line at a predetermined rate, comprising: encoding means for encoding each object in parallel according to the extracted shape information; and encoding by object by the encoding means. Multiplexing means for multiplexing the multiplexed data; transmitting means for transmitting the multiplexed data at a predetermined rate; Means for acquiring object information; and, when encoding by the encoding means, controlling the generated code amount, The touched objects are grouped together to control the code amount or the frame drop control. Or, if the objects are still objects that are not adjacent to each other, they are all set as the same set and the generated code amount control or the frame drop control is performed. An object encoding device characterized by controlling.
画像についての複数の領域の形状を抽出し、前記領域の
テクスチャ、動き補償および形状情報を並列に符号化
し、これらを多重化し、これを所定のレートで通信回線
に送出するようにしたオブジェクト符号化装置のコマ落
とし制御方法として、 前記形状情報から相互に輪郭が接触した１つ以上のオブ
ジェクトの組を分類するステップと、 前記各組単位で前記通信回線に対する割り当てレートを
制御するステップと、 前記レートを制御するにあたりコマ落としをする際、同
一の組に属するオブジェクトについては同じフレームで
一斉にコマ落としをするステップとを具備することを特
徴とするオブジェクト符号化装置のコマ落し制御方法。5. Extracting the shapes of a plurality of regions of an image in a frame from input moving image data, encoding texture, motion compensation and shape information of the regions in parallel, multiplexing them, and A frame dropping control method of the object encoding apparatus configured to send out to the communication line at a predetermined rate, a step of classifying one or more sets of objects whose contours are in contact with each other from the shape information; Controlling the allocation rate for the communication line, and performing frame dropping in the same frame for objects belonging to the same set when performing frame dropping in controlling the rate. Frame drop control method of the object encoding device.
は、前記オブジェクトの形状を抽出する際、オブジェク
トの中から静止している１つ以上のオブジェクトの組を
検出して同一の組に分類する機能を更に有することを特
徴とする請求項５に記載のオブジェクト符号化装置のコ
マ落し制御方法。6. The step of classifying a set of objects includes a step of detecting one or more sets of stationary objects from among the objects and extracting the same when extracting the shape of the objects. 6. The method according to claim 5, further comprising the step of:
画像についての複数の領域の形状を抽出し、前記領域の
テクスチャ、動き補償および形状情報を並列に符号化
し、これらを多重化し、これを所定のレートで通信回線
に送出するようにしたオブジェクト符号化装置のコマ落
とし制御方法として、 前記形状情報から相互に輪郭が接触した１つ以上のオブ
ジェクトの組を分類するステップと、 前記各組単位で前記通信回線に対する割り当てレートを
制御するステップと、 前記レートを制御する際、同一の組に属するオブジェク
トについては同じフレームで一斉にコマ落としを行うと
共に、前記画像から複数の領域の形状を抽出する際に、
一枚の画像から背景を含めて複数のオブジェクトに符号
化する場合には、コマ落とし対象はその対象となるフレ
ームに属する全てのオブジェクトとするコマ落としステ
ップとを具備することを特徴とするオブジェクト符号化
装置のコマ落し制御方法。7. Extracting the shapes of a plurality of regions of an image in a frame from input moving image data, encoding texture, motion compensation and shape information of the regions in parallel, multiplexing these, A frame dropping control method of the object encoding apparatus configured to send out to the communication line at a predetermined rate, a step of classifying one or more sets of objects whose contours are in contact with each other from the shape information; Controlling the allocation rate for the communication line, and, when controlling the rate, simultaneously drop frames in the same frame for objects belonging to the same group, and extract shapes of a plurality of regions from the image. At that time,
When encoding a plurality of objects including a background from a single image, a frame-drop target is a frame-drop step of setting all objects belonging to the target frame as an object code. Frame control method of the imager.
画像についての複数の領域の形状を抽出し、前記領域の
テクスチャ、動き補償および形状情報を並列に符号化
し、これらを多重化し、これを所定のレートで通信回線
に送出するようにしたオブジェクト符号化方法におい
て、 前記抽出した形状情報に従い、並行して各オブジェクト
毎にそれぞれ符号化する符号化ステップと、 これら各オブジェクト単位で符号化して得たデータを多
重化するステップと、 この多重化したデータを所定のレートで読み出して伝送
するステップと、 前記形状の抽出にあたり、輪郭の接するオブジェクト同
士を検出して、その輪郭の接するオブジェクトの情報を
取得するステップと、 前記符号化ステップでの符号化にあたり、発生符号量を
制御するに際しては、輪郭の接触するオブジェクト同士
を一まとまりとして符号量制御、あるいはコマ落とし制
御するようにし、あるいは、隣接せずとも静止オブジェ
クトである場合には静止オブジェクト全てについてこれ
を同一組として発生符号量制御、あるいはコマ落とし制
御することを特徴とするオブジェクト符号化のコマ落と
し制御方法。8. Extracting the shapes of a plurality of regions of an image in a frame from input moving image data, encoding the texture, motion compensation and shape information of the regions in parallel, multiplexing them, and multiplexing them. In an object encoding method for transmitting to a communication line at a predetermined rate, an encoding step of encoding each object in parallel according to the extracted shape information; Multiplexing the multiplexed data, reading the multiplexed data at a predetermined rate, and transmitting the multiplexed data. Acquiring and in controlling the generated code amount in the encoding in the encoding step. The code amount control is performed as a group of objects in contact with the contour, or the frame dropping control is performed, or if the objects are not adjacent but are still objects, the same code is used for all the still objects to generate the code amount control. Alternatively, a frame drop control method for object coding, characterized in that frame drop control is performed.
画像についての複数の領域の形状を抽出し、前記領域の
テクスチャ、動き補償および形状情報を並列に符号化
し、これらを多重化し、これを所定のレートで通信回線
に送出するようにしたオブジェクト符号化方法におい
て、 各オブジェクト毎にそれぞれ符号化を行う符号化手段を
複数設けて抽出形状抽出情報に従い、各オブジェクト単
位で各オブジェクトを同時並行に符号化し、これら符号
化して得たデータを多重化してバッファメモリに与え、
このバッファメモリより読み出して伝送に供すると共
に、前記形状の抽出にあたっては輪郭の接するオブジェ
クト同士を検出して、その輪郭の接するオブジェクトの
情報を取得し、レート制御やコマ落としの実施に際して
は、輪郭の接触するオブジェクト同士を一まとまりとし
てレート制御、あるいはコマ落とし制御するようにし、
あるいは、隣接せずとも静止オブジェクトである場合に
は静止オブジェクト全てについてこれを同一組としてレ
ート制御、あるいはコマ落とし制御することを特徴とす
るコンピュータにて読み込み実行可能なプログラムを記
録した記憶媒体。9. Extracting shapes of a plurality of regions of an image in a frame from input moving image data, encoding texture, motion compensation and shape information of the regions in parallel, multiplexing them, and multiplexing them. In an object encoding method in which data is transmitted to a communication line at a predetermined rate, a plurality of encoding means for encoding each object are provided, and each object is simultaneously processed in parallel for each object in accordance with extraction shape extraction information. Encoding, multiplexing the data obtained by encoding, and providing the multiplexed data to a buffer memory,
The buffer is read from the buffer memory and provided for transmission. When the shape is extracted, objects having contours in contact with each other are detected, and information on the objects in contact with the contours is obtained. The objects that touch each other are grouped together to perform rate control or frame drop control,
Alternatively, if the objects are still objects even if they are not adjacent to each other, a storage medium storing a program which can be read and executed by a computer, wherein all the still objects are subjected to rate control or frame drop control as a single set.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24503098A JP2000078572A (en) | 1998-08-31 | 1998-08-31 | Object encoding device, frame omission control method for object encoding device and storage medium recording program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24503098A JP2000078572A (en) | 1998-08-31 | 1998-08-31 | Object encoding device, frame omission control method for object encoding device and storage medium recording program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000078572A true JP2000078572A (en) | 2000-03-14 |
Family
ID=17127543
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24503098A Pending JP2000078572A (en) | 1998-08-31 | 1998-08-31 | Object encoding device, frame omission control method for object encoding device and storage medium recording program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000078572A (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001091467A1 (en) * | 2000-05-26 | 2001-11-29 | Mitsubishi Denki Kabushiki Kaisha | Method and device for encoding image |
| WO2005004487A1 (en) * | 2003-06-30 | 2005-01-13 | Mitsubishi Denki Kabushiki Kaisha | Image encoding device and image encoding method |
| CN100394446C (en) * | 2006-07-27 | 2008-06-11 | 上海交通大学 | Dynamic scene multibody movement dividing method based on straight-line correspondence |
| JP2009543389A (en) * | 2006-07-08 | 2009-12-03 | ノキア コーポレイション | Dynamic decoding of binaural acoustic signals |
| JP2010279115A (en) * | 2009-05-27 | 2010-12-09 | Mitsubishi Electric Corp | Power system impedance estimating device and power system impedance estimation method |
| JP2011259013A (en) * | 2010-06-04 | 2011-12-22 | Emprie Technology Development LLC | Videophone system and control method thereof |
-
1998
- 1998-08-31 JP JP24503098A patent/JP2000078572A/en active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001091467A1 (en) * | 2000-05-26 | 2001-11-29 | Mitsubishi Denki Kabushiki Kaisha | Method and device for encoding image |
| WO2005004487A1 (en) * | 2003-06-30 | 2005-01-13 | Mitsubishi Denki Kabushiki Kaisha | Image encoding device and image encoding method |
| CN100361395C (en) * | 2003-06-30 | 2008-01-09 | 三菱电机株式会社 | Image encoding device and image encoding method |
| US7751474B2 (en) | 2003-06-30 | 2010-07-06 | Mitsubishi Denki Kabushiki Kaisha | Image encoding device and image encoding method |
| JP2009543389A (en) * | 2006-07-08 | 2009-12-03 | ノキア コーポレイション | Dynamic decoding of binaural acoustic signals |
| JP4708493B2 (en) * | 2006-07-08 | 2011-06-22 | ノキア コーポレイション | Dynamic decoding of binaural acoustic signals |
| CN100394446C (en) * | 2006-07-27 | 2008-06-11 | 上海交通大学 | Dynamic scene multibody movement dividing method based on straight-line correspondence |
| JP2010279115A (en) * | 2009-05-27 | 2010-12-09 | Mitsubishi Electric Corp | Power system impedance estimating device and power system impedance estimation method |
| JP2011259013A (en) * | 2010-06-04 | 2011-12-22 | Emprie Technology Development LLC | Videophone system and control method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI754644B (en) | encoding device | |
| US10819985B2 (en) | Encoder, decoder, encoding method, and decoding method | |
| AU731906B2 (en) | Image signal multiplexing apparatus and methods, image signal demultiplexing apparatus and methods, and transmission media | |
| JP3413720B2 (en) | Image encoding method and apparatus, and image decoding method and apparatus | |
| US7162096B1 (en) | System and method for dynamic perceptual coding of macroblocks in a video frame | |
| EP0766479B1 (en) | Coding device and decoding device of digital image signal | |
| US11463724B2 (en) | Encoder, decoder, encoding method, and decoding method | |
| JP3413721B2 (en) | Image encoding method and apparatus, and image decoding method and apparatus | |
| KR100285599B1 (en) | Device and method for texture padding for motion estimation in alternate line encoding | |
| KR20000049031A (en) | Methods and apparatus for performing digital image and video segmentation and compression using 3-d depth information | |
| WO1994024822A1 (en) | Method and apparatus for coding image, and image recording medium | |
| CN112997502B (en) | Encoding device, decoding device, encoding method, and decoding method | |
| JP2001197501A (en) | Motion vector searching device and motion vector searching method, and moving picture coder | |
| US20190141335A1 (en) | Decoder, encoder, decoding method, and encoding method | |
| JP2007036888A (en) | Coding method | |
| US11438588B2 (en) | Encoder, decoder, encoding method, and decoding method | |
| US20230421762A1 (en) | Encoder, decoder, encoding method, and decoding method | |
| JP2000023195A (en) | Image encoding device and method, image decoding device and method and encoded data providing medium | |
| JP2000078572A (en) | Object encoding device, frame omission control method for object encoding device and storage medium recording program | |
| US11109031B2 (en) | Decoder, encoder, decoding method, and encoding method | |
| US11223825B2 (en) | Decoder and decoding method | |
| US20020021753A1 (en) | Video signal coding method and video signal encoder | |
| JPH0993537A (en) | Digital video signal recording and reproducing device and digital video signal coding method | |
| JP2883592B2 (en) | Moving picture decoding apparatus and moving picture decoding method | |
| US11936893B2 (en) | Encoder, decoder, encoding method, and decoding method |