JP3271634B2 - Digital image signal transmission device and reception device - Google Patents
Digital image signal transmission device and reception deviceInfo
- Publication number
- JP3271634B2 JP3271634B2 JP21808093A JP21808093A JP3271634B2 JP 3271634 B2 JP3271634 B2 JP 3271634B2 JP 21808093 A JP21808093 A JP 21808093A JP 21808093 A JP21808093 A JP 21808093A JP 3271634 B2 JP3271634 B2 JP 3271634B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- moving object
- background
- still image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】[0001]
【産業上の利用分野】この発明は、低ビットレートでの
伝送が可能な、デジタル画像信号の伝送装置及びその受
信装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a digital image signal transmitting apparatus and a receiving apparatus capable of transmitting at a low bit rate.
【0002】[0002]
【従来の技術】動画像のデジタル画像データは、非常に
多量の情報を含んでおり、これをそのまま伝送しようと
すると、伝送ビットレートが非常に高くなってしまう。
このため、磁気テープや光磁気ディスクなどを用いてデ
ジタル画像データを記録再生する場合のように、伝送ビ
ットレートが制限された低いレートの記録媒体を用いて
記録するようにする場合には、従来は、一般的に、画像
が時空間の情報であることを利用してデータ圧縮するよ
うにしている。2. Description of the Related Art Digital image data of a moving image includes a very large amount of information. If the digital image data is to be transmitted as it is, the transmission bit rate becomes extremely high.
For this reason, when recording is performed using a low-rate recording medium with a limited transmission bit rate, such as when recording and reproducing digital image data using a magnetic tape or a magneto-optical disk, a conventional method is used. In general, data is compressed using the fact that an image is spatio-temporal information.
【0003】例えば、デジタル画像データのフレーム間
の差を取り、その差をDCT(ディスクリート・コサイ
ン・トランスフォーム(離散コサイン変換))を用いて
データ圧縮するなど、デジタル画像データを圧縮して伝
送するようにすることが、従来から行なわれている。さ
らには、テレビ会議などでは、画像が動きが少ないもの
であることに鑑み、フルフレームを伝送するのではな
く、片フィールドのデータのみを伝送するようにするな
ど、情報量を間引いて伝送することなども行なわれてい
る。For example, digital image data is compressed and transmitted, for example, by taking the difference between frames of digital image data and compressing the difference using DCT (Discrete Cosine Transform). This has been done conventionally. Furthermore, in videoconferencing, etc., in consideration of the fact that images have little movement, it is necessary to transmit only one field of data instead of transmitting full frames, and to reduce the amount of information to transmit. And so on.
【0004】片フィールドではなく、さらに伝送するフ
ィールド数を少なくして時間情報を犠牲にし、空間情報
は確保することにより、画像は綺麗であるが、動きがギ
クシャクするような場合もある。[0004] By reducing the number of fields to be transmitted, instead of one field, and sacrificing time information and securing spatial information, the image is beautiful but the movement may be jerky.
【0005】しかし、このように動きがギクシャクした
のでは、動画の良さが損なわれるので、1フレームあた
りの画像データを、できるだけデータ圧縮してフルフレ
ームを伝送し、空間解像度を犠牲にするが、動画として
フルモーションで再生できるようにする方法も考えられ
ている。[0005] However, such a jerky movement impairs the quality of a moving image. Therefore, image data per frame is compressed as much as possible to transmit a full frame, and the spatial resolution is sacrificed. A method to enable full-motion playback as a video is also being considered.
【0006】[0006]
【発明が解決しようとする課題】上述したように、従来
のデジタル画像信号の伝送方法は、画像データを、時間
方向、あるいは空間方向にデータ圧縮して伝送レートを
下げるように工夫している。As described above, the conventional digital image signal transmission method is devised so as to reduce the transmission rate by compressing the image data in the time direction or the space direction.
【0007】しかしながら、データ圧縮のみにより伝送
ビットレートを下げるようにした場合、例えば、時間方
向に圧縮した場合には、動画像の動きが、ギクシャクと
したものとなり不自然な画像となってしまう。また、空
間方向に圧縮した時は、空間解像度がそれだけ劣化する
ため、再生画像が劣化してしまう。However, when the transmission bit rate is reduced only by data compression, for example, when compression is performed in the time direction, the motion of the moving image becomes jerky, resulting in an unnatural image. Also, when the image is compressed in the spatial direction, the spatial resolution is degraded accordingly, and the reproduced image is degraded.
【0008】すなわち、従来の方法は、データ圧縮のみ
によりビットレートを下げるようにしているため、時間
方向あるいは空間方向のデータの一方を犠牲、あるいは
両方を犠牲にしており、再生画像として満足のゆくもの
を得ることは、なかなかできなかったのである。That is, in the conventional method, since the bit rate is reduced only by data compression, one of the data in the time direction or the space direction is sacrificed, or both are sacrificed, and the reproduced image is satisfactory. It was difficult to get something.
【0009】この発明は、伝送レートが低くても、でき
るだけ美しい再生画が得られると同時に、動きがスムー
ズにできるように工夫した、デジタル画像信号の伝送装
置を提供することを目的としている。SUMMARY OF THE INVENTION It is an object of the present invention to provide a digital image signal transmitting apparatus which is designed so that a reproduced image as beautiful as possible can be obtained even at a low transmission rate, and that the motion can be smoothly performed.
【0010】[0010]
【課題を解決するための手段】上記課題を解決するた
め、請求項1に記載のこの発明によるデジタル画像信号
の伝送装置は、予め、画面を構成する背景画の静止画情
報と、この背景画上を動く動き物体の情報とに分ける手
段22と、自然物、建築物、構造物、生物、その他の画
像を構成すると想定される複数個の画像要素の典型的な
画像の情報が記憶されている画像要素記憶手段5と、上
記分離された背景画の静止画情報を上記画像要素記憶手
段からの画像要素で置き換えた近似静止画情報を形成す
る手段22と、上記近似静止画情報を記憶するメモリ手
段23BGsと、上記背景画の静止画情報として、上記
近似静止画の各画像要素の識別情報と、その画面位置情
報とを伝送すると共に、入力デジタル画像信号から分離
した背景画の、上記メモリ手段の近似静止画に対する変
化情報及び上記動き物体の情報を伝送する伝送手段とを
備えることを特徴とする。According to a first aspect of the present invention, there is provided a digital image signal transmitting apparatus according to the first aspect of the present invention. A means 22 for dividing information on a moving object moving upward and information on a typical image of a plurality of image elements assumed to constitute an image of a natural object, a building, a structure, a creature, and other images are stored. Image element storage means 5, means 22 for forming approximate still image information in which the still image information of the separated background image is replaced with image elements from the image element storage means, and memory for storing the approximate still image information Means 23BGs, as the still image information of the background image, transmitting the identification information of each image element of the approximate still image and the screen position information thereof, and transmitting the background image separated from the input digital image signal. Characterized in that it comprises a transmitting means for transmitting the information of the change information and the moving object with respect to the approximate still image memory means.
【0011】また、請求項2に記載のこの発明によるデ
ジタル画像信号の伝送装置は、上記分離された背景画の
静止画情報を記憶するメモリ手段23BGを設け、上記
背景画の静止画情報として、上記近似静止画の各画像要
素の識別情報と、その画面位置情報とに加えて、上記予
め分離された背景画と近似静止画との差分を伝送すると
共に、入力デジタル画像信号から分離した背景画の、上
記メモリ手段23BGの背景画に対する変化情報及び上
記動き物体の情報を伝送する伝送手段とを備えてなるこ
とを特徴とする。In the digital image signal transmitting apparatus according to the present invention, a memory means 23BG for storing the separated still image information of the background image is provided. In addition to the identification information of each image element of the approximate still image and the screen position information, the difference between the previously separated background image and the approximate still image is transmitted, and the background image separated from the input digital image signal is transmitted. Transmission means for transmitting change information for the background image of the memory means 23BG and information of the moving object.
【0012】また、請求項3に記載のこの発明によるデ
ジタル画像信号の伝送装置は、請求項1または請求項2
に記載のデジタル画像信号の伝送装置において、上記背
景画上を動く動き物体の情報に対して、予め、上記背景
画上を動く動き物体のそれぞれの静止画からなる1〜複
数個の動物体プレーン情報を分離する分離手段22と、
上記分離された各動物体プレーン情報を上記画像要素記
憶手段からの画像要素で置き換えた近似静止画情報を形
成する手段22と、上記各動物体プレーンの近似静止画
情報を、それぞれ個別に記憶するメモリ手段23A1s
〜23Ansと、上記入力デジタル画像信号及び上記メ
モリ手段の出力に基づいて、上記動物体プレーン情報と
して記憶された近似静止画に対する変化情報を検出する
変化情報検出手段と、上記動物体プレーンの静止画情報
として上記各画像要素の識別情報を伝送すると共に、上
記変化情報を伝送する伝送手段とを備えてなることを特
徴とする。The digital image signal transmitting apparatus according to the present invention described in claim 3 is claim 1 or claim 2.
In the digital image signal transmission device according to the above, for the information of the moving object moving on the background image, in advance, one or more moving object planes each consisting of a still image of the moving object moving on the background image Separating means 22 for separating information;
A means 22 for forming approximate still image information in which each of the separated moving object plane information is replaced with an image element from the image element storage means, and an approximate still image information of each of the moving object planes are individually stored. Memory means 23A1s
Change information detecting means for detecting change information for the approximate still image stored as the moving object plane information based on the input digital image signal and the output of the memory means; and a still image of the moving object plane. A transmission means for transmitting the identification information of each of the image elements as information and transmitting the change information.
【0013】[0013]
【作用】上記の構成のこの発明においては、例えば、特
定の画像内容からなる1つのシーンについて考えた時、
そのシーンの画像は、固定の静止画と考えられる背景画
と、動き物体の情報とに分けてとらえる。In the present invention having the above structure, for example, when one scene composed of specific image contents is considered,
The image of the scene is divided into a background image considered as a fixed still image and information on a moving object.
【0014】そして、静止画の情報と、動き物体の情報
とを伝送するのであるが、静止画情報を良好な画質を保
ってそのまま伝送する場合には、非常にデータ量が多く
なってしまう。Then, information of a still image and information of a moving object are transmitted. If the still image information is transmitted as it is while maintaining good image quality, the data amount becomes extremely large.
【0015】このため、この発明では、静止画を複数個
の画像要素として捕らえ、予め、自然物、建築物、構造
物、生物、その他画像を構成すると想定される画像要素
の典型的な画像の情報を、画像要素記憶手段に登録して
記憶しておき、必要な画像要素を読み出して、分離した
背景の静止画に近似する背景近似静止画情報を作成す
る。この近似背景画情報は、これを構成する画像要素の
識別情報と、その画像要素の画面上の位置情報が分かれ
ば、受信側で、同一の画像要素記憶手段を設けておくこ
とにより、再構成することができる。For this reason, in the present invention, a still image is captured as a plurality of image elements, and information on typical images of natural elements, buildings, structures, creatures, and other image elements assumed to constitute images in advance. Is registered and stored in the image element storage means, necessary image elements are read out, and background approximate still image information similar to a separated background still image is created. This approximate background image information can be reconstructed by providing the same image element storage means on the receiving side if the identification information of the image element constituting the approximate image information and the position information of the image element on the screen are known. can do.
【0016】この方式によれば、静止画情報に代えて、
画像要素の識別情報と、画面上の位置情報を伝送すれば
よいから、伝送データ量を大幅に削減できる。そして、
正確な背景静止画との差分は、変化情報として例えばデ
ータ圧縮して伝送するようにすれば、さらによい。According to this method, instead of the still picture information,
Since it is sufficient to transmit the identification information of the image element and the position information on the screen, the amount of transmission data can be greatly reduced. And
It is even better if the difference from the accurate background still image is transmitted as change information, for example, by data compression.
【0017】また、請求項3の発明においては、動き物
体の情報も、その動き物体の静止画と、その動き変化な
どの変化情報に分けて伝送する。すなわち、請求項3の
発明においては、動画の1フレームの二次元画像を、背
景及び複数個の動き物体のそれぞれの静止画からなる二
次元プレーンの重なりと捕らえる。そして、動き物体に
ついては、その動き物体の動き方向、移動距離、物体の
形状変化などの変化情報を抽出して、それを伝送する。According to the third aspect of the present invention, information on a moving object is also transmitted separately from a still image of the moving object and change information such as a change in the motion. That is, in the invention of claim 3, a two-dimensional image of one frame of a moving image is regarded as an overlap of a two-dimensional plane including still images of a background and a plurality of moving objects. Then, with respect to the moving object, change information such as the moving direction, the moving distance, and the shape change of the moving object is extracted and transmitted.
【0018】この場合には、上記の背景画の静止画の情
報だけでなく、動き物体の静止画の情報を伝送する必要
があるが、この動き物体の静止画も、画像要素記憶手段
からの画像要素で構成できるようにして、静止画情報に
代えて、その画像要素及びその画面上の位置情報を伝送
するようにする。In this case, it is necessary to transmit not only the information of the background still image but also the information of the still image of the moving object. The still image of the moving object is also transmitted from the image element storage means. The image element and its position information on the screen are transmitted instead of the still image information.
【0019】動き物体の場合には、それを構成する画像
要素は、背景画のそれよりも少なくなり、非常に少ない
伝送データ量で済む。この場合に、正確な動き物体の静
止画と、近似静止画との差分は、動き物体についての変
化情報に含まれて伝送されるものである。In the case of a moving object, the number of picture elements constituting the moving object is smaller than that of the background image, and a very small amount of transmission data is required. In this case, the difference between the accurate still image of the moving object and the approximate still image is included in the change information of the moving object and transmitted.
【0020】受信側では、背景プレーンの背景画の上
に、動き物体プレーンの動き物体を、その変化情報に応
じて重ねることにより、動画を再生する。つまり、画質
のよい静止画の合成により動画が再生され、再生画像は
高画質となる。On the receiving side, a moving image is reproduced by superimposing the moving object of the moving object plane on the background image of the background plane according to the change information. That is, a moving image is reproduced by synthesizing a still image with high image quality, and the reproduced image has high image quality.
【0021】この場合、それぞれの背景プレーン及び動
き物体プレーンの静止画のための情報は、1つのシーン
について、それぞれ1枚分だけ、伝送すれば足りる。こ
の静止画のための情報のほかには、変化情報のみを伝送
すればよいから、1シーンの画像のために伝送すべき情
報は非常に少なくてよく、このため、低い伝送レートの
伝送媒体であっても、十分に伝送することができる。In this case, it is sufficient to transmit information for a still image of each of the background plane and the moving object plane for one scene. Since only the change information needs to be transmitted in addition to the information for the still image, the amount of information to be transmitted for the image of one scene may be very small. Even if there is, it can be transmitted sufficiently.
【0022】[0022]
【実施例】以下、この発明によるデジタル画像信号の伝
送装置の一実施例を、光磁気ディスクを伝送媒体(記録
媒体)として用いるディスク装置に適用した場合につい
て、図を参照しながら説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of a digital image signal transmission apparatus according to the present invention applied to a disk device using a magneto-optical disk as a transmission medium (recording medium) will be described with reference to the drawings.
【0023】この例の装置は、例えばCCD型固体撮像
素子を用いるビデオカメラ部を備え、このビデオカメラ
部1で撮影して得た画像信号を、A/Dコンバータによ
り、デジタル画像信号に変換して、光磁気ディスクに記
録するものである。そして、この例では、後述する再生
装置の部分を記録装置と共に備えるものである。The apparatus of this embodiment includes a video camera unit using, for example, a CCD type solid-state imaging device, and converts an image signal obtained by shooting with the video camera unit 1 into a digital image signal by an A / D converter. To record on a magneto-optical disk. In this example, a portion of a reproducing device described later is provided together with the recording device.
【0024】[デジタル画像信号のディスク記録装置の
説明]図1は、この例の装置のディスク駆動系及びブロ
ック図を示し、この例の装置は、ビデオカメラ部1と、
記録信号系2と、全体の制御を行うためのシステムコン
トローラ3と、ディスク駆動系10とからなり、ビデオ
カメラ部1の撮像出力信号が、記録信号系2を介して記
録されるようにされている。[Description of Disk Recording Apparatus for Digital Image Signal] FIG. 1 shows a disk drive system and a block diagram of the apparatus of this embodiment.
It comprises a recording signal system 2, a system controller 3 for controlling the whole system, and a disk drive system 10, and an image pickup output signal of the video camera unit 1 is recorded via the recording signal system 2. I have.
【0025】ディスク駆動系10において、11は光磁
気ディスクである。この光磁気ディスク11は、カート
リッジ11A内に収納されて構成されている。また、デ
ィスク11には、予め、光スポット制御用(トラッキン
グ制御用)のプリグルーブが形成されていると共に、こ
の例の場合には、このプリグルーブにトラッキング用の
ウォブリング信号に重畳して絶対アドレスデータが記録
されている。この絶対アドレスデータは、この記録時の
記録トラック位置制御、また、後述する再生時の再生走
査トラック位置制御のために用いられる。In the disk drive system 10, reference numeral 11 denotes a magneto-optical disk. The magneto-optical disk 11 is housed in a cartridge 11A. Further, a pre-groove for light spot control (for tracking control) is formed on the disk 11 in advance, and in this case, the absolute address is superimposed on the wobbling signal for tracking in this pre-groove. Data is recorded. The absolute address data is used for controlling the recording track position at the time of recording and for controlling the reproduction scanning track position at the time of reproduction described later.
【0026】ディスク11は、スピンドルモータ12に
より回転される。スピンドルモータ12の回転は、サー
ボ制御回路15により制御され、ディスク11が、例え
ば線速度一定の状態で回転するように制御される。The disk 11 is rotated by a spindle motor 12. The rotation of the spindle motor 12 is controlled by a servo control circuit 15 so that the disk 11 is controlled to rotate at a constant linear velocity, for example.
【0027】ディスク11にはシャッターが設けられて
おり、ディスク11がディスク装着トレイ上に載置さ
れ、装置に装填されると、シャッターが開かれる。そし
て、ディスク11のシャッター開口部の上部には記録用
の磁気ヘッド13が対向して配置され、ディスク11の
シャッター開口部の下部には光ピックアップ14が対向
して配置される。The disk 11 is provided with a shutter. When the disk 11 is placed on a disk mounting tray and loaded in the apparatus, the shutter is opened. A magnetic head 13 for recording is arranged above the shutter opening of the disk 11 to face it, and an optical pickup 14 is arranged below the shutter opening of the disk 11 to face it.
【0028】光ピックアップ14は発光部と受光部とを
有し、送りモータ16により、ディスク11の径方向に
移動制御される。また、サーボ制御回路15により、光
ピックアップ14のフォーカス及びトラッキング制御が
なされる。The optical pickup 14 has a light emitting portion and a light receiving portion, and is controlled by a feed motor 16 to move in the radial direction of the disk 11. The servo control circuit 15 controls the focus and tracking of the optical pickup 14.
【0029】システムコントローラ3は、マイクロコン
ピュータを搭載して構成されており、全体の動作を管理
している。このシステムコントローラ3には、キー群4
からキー入力信号が与えられる。キー群4には、撮像録
画スタンバイキー、撮像録画スタートキー、再生キー、
停止キーなどが含まれる。The system controller 3 is equipped with a microcomputer and manages the entire operation. The system controller 3 includes a key group 4
Provides a key input signal. Key group 4 includes an imaging / recording standby key, an imaging / recording start key, a playback key,
A stop key is included.
【0030】[記録動作の説明]この例の場合、ビデオ
カメラ部1で撮影した動画像は、固定背景部と、その背
景上で動く動き部分とに分けて記録する。固定背景部
は、後述する背景プレーンメモリ23BGに登録して、
静止画の情報として記録する。しかし、この背景プレー
ンの静止画情報をそのまま記録するのではなく、予め用
意した自然物、建築物、構造物、生物、その他、画像を
構成すると想定される画像要素の典型的な画像情報によ
り、当該背景プレーンの近似静止画を作成し、画像情報
を記録する代わりに近似静止画を構成する画像要素の識
別情報及びその画面位置の情報を記録するようにする。[Explanation of Recording Operation] In this example, a moving image captured by the video camera unit 1 is recorded separately into a fixed background part and a moving part moving on the background. The fixed background portion is registered in a background plane memory 23BG described later,
Recorded as still image information. However, instead of recording the still image information of the background plane as it is, the typical image information of a natural object, a building, a structure, a creature, and other image elements that are assumed to constitute an image are prepared in advance. An approximate still image of a background plane is created, and instead of recording image information, identification information of an image element constituting the approximate still image and information of its screen position are recorded.
【0031】そして、この近似静止画と、正しい背景静
止画との差分を背景の変化情報に含ませて記録する。背
景の変化情報には、ビデオカメラ部1でパン、チルト、
ズームなどにより撮影画枠を変える操作をしたときに変
化する背景画情報も含まれる。Then, the difference between the approximate still image and the correct background still image is recorded while being included in the background change information. The change information of the background includes pan, tilt,
Also included is background image information that changes when an operation of changing a shooting image frame by zooming or the like is performed.
【0032】動き部分は、各々の動き物体にそれぞれ分
離し、後述する動物体プレーンメモリ23A1〜23A
nのそれぞれに登録して、その動き物体の静止画の情報
を記録すると共に、各動物体プレーンの動き物体につい
ての変化情報を記録する。この場合も、動物体プレーン
の静止画情報は、背景画と同様にして近似静止画で置き
換え、その識別情報を記録する。The moving part is separated into each moving object, and the moving object plane memories 23A1 to 23A to be described later.
n, the information of the still image of the moving object is recorded, and the change information of the moving object of each moving object plane is recorded. Also in this case, the still image information of the moving object plane is replaced with an approximate still image in the same manner as the background image, and the identification information is recorded.
【0033】そして、この動き部分についても、近似静
止画と、各動き物体の静止画との差分と、動き物体の移
動方向、移動量、さらには、動きに応じた画像の変化と
を動き部分に関する変化情報として記録する。For this moving part, the difference between the approximate still image and the still image of each moving object, the moving direction and the moving amount of the moving object, and the change of the image according to the movement are also shown in the moving part. Recorded as change information.
【0034】そして、この例においては、図2に示すよ
うに、1シーンの記録を、準備期間と、実際の撮像録画
期間とに分けて行う。そして、準備期間において、上述
の背景プレーンと動物体プレーンの静止画情報の記録処
理を行う。実際の撮像録画期間では、背景についての上
記変化情報と、各動き物体についての上記変化情報のみ
を記録する。In this example, as shown in FIG. 2, recording of one scene is performed in a preparation period and an actual imaging and recording period. Then, in the preparation period, the above-described recording processing of the still image information of the background plane and the moving object plane is performed. In the actual imaging and recording period, only the change information on the background and the change information on each moving object are recorded.
【0035】この場合、1画面分の静止画情報は、例え
ば図3に示すように、480ライン×720画素で構成
し、また、1画素のデータを、輝度信号Y(8ビット)
及び色情報U、V(8ビット)とで構成する。In this case, as shown in FIG. 3, for example, the still image information for one screen is composed of 480 lines × 720 pixels, and the data of one pixel is represented by a luminance signal Y (8 bits).
And color information U and V (8 bits).
【0036】撮像画像が例えば図4に示すような2次元
画像30の場合、図に示すように、動きのない建造物な
どからなる固定の背景静止画が背景プレーン31として
抽出される。そして、動き物体としては、図4の例で
は、飛行機と、猿と、自動車とが認識されて、それぞれ
動物体プレーン32、33、34として分離される。分
離されたプレーン情報は、背景プレーンメモリ23BG
及び動物体プレーンメモリ23A1〜23Anに書き込
まれる。When the captured image is, for example, a two-dimensional image 30 as shown in FIG. 4, a fixed background still image composed of a stationary building or the like is extracted as a background plane 31 as shown in the figure. Then, in the example of FIG. 4, an airplane, a monkey, and a car are recognized as moving objects, and are separated as moving object planes 32, 33, and 34, respectively. The separated plane information is stored in the background plane memory 23BG.
And the moving object plane memories 23A1 to 23An.
【0037】画像要素メモリ5には、例えば図5に示す
ように、自然物、建築物、構造物、生物、その他、画像
を構成すると想定される画像要素の典型的な画像情報が
多数記憶されている。この画像要素メモリ5に記憶され
ている画像要素の画像には、予め、用意されている標準
装備のものと、ユーザが撮影して取り込んで記憶したも
のとが含まれる。As shown in FIG. 5, for example, a large number of typical image information of natural objects, buildings, structures, living things, and other image elements assumed to constitute an image are stored in the image element memory 5. I have. The image of the image element stored in the image element memory 5 includes a standard equipment prepared in advance and an image captured and stored by the user.
【0038】しかし、いずれの画像要素も、メモリ5の
アドレスに対応して付与された識別情報で、読み出すこ
とができる。例えば、図5の例では、各画像要素に番号
が付与され、その番号で識別及び読み出し可能である。However, any of the image elements can be read out with the identification information given in correspondence with the address of the memory 5. For example, in the example of FIG. 5, a number is assigned to each image element, and identification and reading can be performed with the number.
【0039】[A.準備期間の記録]この例では、信号
処理回路22では、この準備期間において、入力画像信
号から背景プレーン及び動物体プレーンの静止画の分離
を行い、それを、背景プレーンメモリ23BG、動物体
プレーンメモリ23A1〜23Anに書き込む。さら
に、このメモリ23BG、23A1〜23Anの静止画
から、画像要素メモリ5の画像要素を用いた近似静止画
の生成を行う。[A. Recording of Preparation Period] In this example, in the preparation period, the signal processing circuit 22 separates the still image of the background plane and the moving object plane from the input image signal, and separates them into the background plane memory 23BG and the moving object plane memory. Write to 23A1 to 23An. Further, an approximate still image using the image elements in the image element memory 5 is generated from the still images in the memories 23BG and 23A1 to 23An.
【0040】すなわち、カメラ部1からの撮像信号は、
A/Dコンバータ21に供給されて、例えば1画素サン
プルが8ビットのデジタル画像信号に変換されて、信号
処理回路22に供給される。この信号処理回路22で
は、カメラ部1により撮像されたシーンの画像を、動き
のない固定の背景の静止画からなる背景プレーンと、こ
の背景上で動くそれぞれの動き物体の静止画からなる動
物体プレーンとに分離する。That is, the imaging signal from the camera unit 1 is
The signal is supplied to the A / D converter 21, and for example, one pixel sample is converted into an 8-bit digital image signal and supplied to the signal processing circuit 22. The signal processing circuit 22 converts the image of the scene captured by the camera unit 1 into a background plane composed of a stationary still image of a fixed background and a moving object composed of a still image of each moving object moving on the background. Separate with the plane.
【0041】そして、信号処理回路22では、分離した
背景プレーンは、背景プレーンメモリ23BGに書き込
む。また、分離したn個の動物体プレーンは、それぞれ
動物体プレーンメモリ23A1〜An(nは自然数)に
書き込む。以上の背景プレーン及び動物体プレーンの分
離のための具体実施例について説明する。Then, in the signal processing circuit 22, the separated background plane is written into the background plane memory 23BG. The n separated moving object planes are written in moving object plane memories 23A1 to 23A (n is a natural number). A specific embodiment for separating the background plane and the moving object plane will be described.
【0042】[A−1.プレーン分離処理回路の実施
例]図6は、信号処理回路22における背景プレーン及
び複数個の動物体プレーンに分離するためのプレーン分
離処理回路の、一実施例のブロック図である。[A-1. Embodiment of Plane Separation Processing Circuit] FIG. 6 is a block diagram of an embodiment of a plane separation processing circuit for separating the signal processing circuit 22 into a background plane and a plurality of moving object planes.
【0043】すなわち、入力端子41を通じたA/Dコ
ンバータ21からの1画素8ビットの画像データは、フ
レームメモリ42に供給されるとともに、減算回路44
及び減算回路45に供給される。また、入力画像データ
は、アンドゲート61を介して動物体プレーン分離回路
62に供給される。That is, the 8-bit image data of one pixel from the A / D converter 21 through the input terminal 41 is supplied to the frame memory 42 and the subtraction circuit 44
And supplied to the subtraction circuit 45. The input image data is supplied to the moving object plane separation circuit 62 via the AND gate 61.
【0044】フレームメモリ42は、1画素8ビットの
データを1フレーム分記憶し、減算回路44において、
入力画素データから前のフレームの同一サンプリング位
置に対応する画素データが減算される。この減算回路4
4の差出力は、絶対値化回路46に供給されて、絶対値
とされ、比較回路47に供給される。The frame memory 42 stores data of 8 bits per pixel for one frame.
Pixel data corresponding to the same sampling position in the previous frame is subtracted from the input pixel data. This subtraction circuit 4
The difference output of No. 4 is supplied to an absolute value conversion circuit 46 to be converted into an absolute value, and is supplied to a comparison circuit 47.
【0045】比較回路47には、端子48を通じて、し
きい値θ1が供給され、絶対値化回路46からの差出力
の絶対値がしきい値θ1未満の時には「1」となり、し
きい値θ1以上の時には「0」となる判定出力が得られ
る。この判定出力は、重み係数制御回路49に供給され
る。The threshold value θ1 is supplied to the comparison circuit 47 via a terminal 48. When the absolute value of the difference output from the absolute value conversion circuit 46 is smaller than the threshold value θ1, it becomes “1”, and the threshold value θ1 In the above case, a determination output of “0” is obtained. This judgment output is supplied to the weight coefficient control circuit 49.
【0046】図6において、23BGは、図1に示した
背景プレーンメモリであって、後述するように、初期状
態を経過すると、この背景プレーンメモリ23BGには
背景プレーン画像(静止画)が格納される。また、50
は、1フレームの重み係数が格納される重み係数メモリ
である。この重み係数メモリ50には、例えば、3ビッ
トの重み係数が記憶される。In FIG. 6, reference numeral 23BG denotes the background plane memory shown in FIG. 1. As will be described later, after the initial state has passed, a background plane image (still image) is stored in the background plane memory 23BG. You. Also, 50
Is a weight coefficient memory in which weight coefficients of one frame are stored. The weight coefficient memory 50 stores, for example, a 3-bit weight coefficient.
【0047】フレームメモリ42、背景プレーンメモリ
23BG及び重み係数メモリ50は、アドレス制御回路
43の出力により、共通にアドレス制御され、同一のア
ドレスが指定されるようにされている。The address of the frame memory 42, the background plane memory 23BG, and the weight coefficient memory 50 are commonly controlled by the output of the address control circuit 43, and the same address is designated.
【0048】減算回路45では、入力画素データから背
景プレーンメモリ23BGよりの画像データが減算さ
れ、この減算回路45の差出力が絶対値化回路51に供
給され、差出力の絶対値が求められる。この絶対値化回
路51からの差の絶対値は、比較回路52に供給され、
端子53を通じたしきい値θ2と比較され、入力画素デ
ータと背景画素データの差出力の絶対値が、しきい値θ
2未満の時に「1」となり、しきい値θ2以上の時に
「0」となる判定出力が、この比較回路52から得られ
る。この比較回路52よりの判定出力は、重み係数制御
回路49に供給される。In the subtraction circuit 45, the image data from the background plane memory 23BG is subtracted from the input pixel data, the difference output of the subtraction circuit 45 is supplied to the absolute value generation circuit 51, and the absolute value of the difference output is obtained. The absolute value of the difference from the absolute value conversion circuit 51 is supplied to a comparison circuit 52,
The absolute value of the difference output between the input pixel data and the background pixel data is compared with the threshold value θ2 through the terminal 53,
A determination output that becomes “1” when the value is less than 2 and “0” when the value is equal to or more than the threshold value θ2 is obtained from the comparison circuit 52. The judgment output from the comparison circuit 52 is supplied to the weight coefficient control circuit 49.
【0049】減算回路45からの入力画素データと背景
画素データとの差出力は、また、乗算回路54に供給さ
れ、重み係数制御回路49から発生する重み係数αが乗
じられる。この乗算回路54の乗算出力は、加算回路5
5に供給されて、背景プレーンメモリ23BGからの背
景画素データと加算され、その加算出力が背景プレーン
メモリ23BGに書き込まれる。The difference output between the input pixel data and the background pixel data from the subtraction circuit 45 is also supplied to a multiplication circuit 54 and multiplied by a weight coefficient α generated from a weight coefficient control circuit 49. The multiplication output of the multiplication circuit 54 is
5 is added to the background pixel data from the background plane memory 23BG, and the added output is written to the background plane memory 23BG.
【0050】重み係数制御回路49からの重み係数が、
重み係数メモリ50に書き込まれるとともに、この重み
係数メモリ50から読み出された重み係数が重み係数制
御回路49に供給される。The weighting factor from the weighting factor control circuit 49 is
The weight coefficients written to the weight coefficient memory 50 and read from the weight coefficient memory 50 are supplied to the weight coefficient control circuit 49.
【0051】重み係数制御回路49は、比較器47及び
52の判定出力から画素データが動き画素かどうかの判
定を行なっている。The weight coefficient control circuit 49 determines whether or not the pixel data is a motion pixel from the determination outputs of the comparators 47 and 52.
【0052】以上の構成において、背景プレーンメモリ
23BG、減算回路45、乗算回路54及び加算回路5
5は、背景プレーンメモリ23BGを1フレーム遅延素
子として用いたデジタルフィルタを構成している。すな
わち、重み係数をαとし、kフレーム目の入力画素デー
タをZkとし、背景プレーンメモリ23BGから読み出
された背景画像データをX(k−1)とするとkフレー
ム目の背景画素データ(推定値)Xkは、次式で示され
るものとなる。In the above configuration, the background plane memory 23BG, the subtraction circuit 45, the multiplication circuit 54, and the addition circuit 5
Reference numeral 5 denotes a digital filter using the background plane memory 23BG as a one-frame delay element. That is, if the weighting coefficient is α, the input pixel data of the k-th frame is Zk, and the background image data read from the background plane memory 23BG is X (k−1), the background pixel data of the k-th frame (estimated value ) Xk is given by the following equation.
【0053】 Xk=α・(Zk−X(k−1))+X(k−1) =(1−α)・X(k−1)+α・Zk この例においては、背景が変化しない1シーンの間で
は、αを例えば、1/16に固定している。入力画像中に
含まれるホワイト雑音は、上の式で表わされる演算を複
数フレームにわたって繰り返すことにより除去され、背
景プレーンメモリ23BGに蓄えられている背景画像の
S/Nが改善される。Xk = α · (Zk−X (k−1)) + X (k−1) = (1−α) · X (k−1) + α · Zk In this example, one scene in which the background does not change Is fixed at, for example, 1/16. The white noise included in the input image is removed by repeating the operation represented by the above expression over a plurality of frames, and the S / N of the background image stored in the background plane memory 23BG is improved.
【0054】また、シーンが変わる時などのように、背
景が切り替わる時には、つまり、撮像シーンが、別の撮
像シーンに変わった場合には、応答時間を短くするとと
もに有色雑音の影響を受けないように、重み係数αを1
/16から1フレームごとに2倍ずつ乗算してゆく。つま
り、1/16→1/8→1/4→1/2→1と指数関数的
に増加する重み係数αを用い、徐々に背景画像の更新を
行なうようにしている。したがって、重み係数αは、5
種類あり、それぞれが3ビットにより表現されている。
重み係数αを2のべき乗にしているのは、乗算回路54
をシフトレジスタあるいはセレクタによって実現するた
めである。When the background is switched, for example, when the scene changes, that is, when the image-capturing scene changes to another image-capturing scene, the response time is shortened and the effect of colored noise is reduced. And the weighting factor α is 1
From / 16, multiply by 2 for each frame. In other words, the background image is gradually updated using the weighting coefficient α that increases exponentially in the order of 1/16 → 1/8 → 1/4 → 1/2 → 1. Therefore, the weight coefficient α is 5
There are types, each of which is represented by 3 bits.
The reason why the weighting coefficient α is a power of 2 is that the multiplication circuit 54
Is realized by a shift register or a selector.
【0055】この例においては、初期状態を経過する
と、背景プレーンメモリ23BGに背景静止画データが
格納される。減算回路45及び絶対値化回路51によ
り、現画素と背景画素の差の絶対値が検出される。この
差の絶対値と、しきい値θ2が比較回路52により比較
され、差の絶対値が、しきい値θ2未満の時に、現画素
が背景画像のものであると判定されて、次のような処理
が行なわれる。In this example, after the initial state has passed, background still image data is stored in the background plane memory 23BG. The absolute value of the difference between the current pixel and the background pixel is detected by the subtraction circuit 45 and the absolute value conversion circuit 51. The absolute value of the difference is compared with the threshold value θ2 by the comparison circuit 52. When the absolute value of the difference is less than the threshold value θ2, it is determined that the current pixel belongs to the background image, and Processing is performed.
【0056】すなわち、このときは、重み係数αが2-4
(=1/16)に固定される。そして、乗算回路54にお
いて、減算回路45の出力に、この重み係数αが乗じら
れ、背景プレーンメモリ23BGの出力と加算回路55
において加算される。そして、その加算出力が背景プレ
ーンメモリ23BGの同一アドレスに書き込まれ、背景
プレーンメモリの更新が行なわれる。このときの重み係
数は、重み係数メモリ50に書き込まれる。That is, in this case, the weight coefficient α is 2 −4
(= 1/16). Then, in the multiplication circuit 54, the output of the subtraction circuit 45 is multiplied by the weight coefficient α, and the output of the background plane memory 23BG and the addition circuit 55
Are added. Then, the addition output is written to the same address of the background plane memory 23BG, and the background plane memory is updated. The weight coefficient at this time is written in the weight coefficient memory 50.
【0057】現画素と背景画素の差の絶対値が、しきい
値θ2以上であると比較回路52において判定されたと
きには、減算回路44及び絶対値化回路46により検出
された現画素と、前フレームの対応する画素との差の絶
対値が、しきい値θ1未満か、または、しきい値θ1以
上かが比較回路47の出力として調べられる。この比較
回路47の出力が、しきい値θ1未満の時には、次のよ
うな処理が行なわれる。When the comparison circuit 52 determines that the absolute value of the difference between the current pixel and the background pixel is equal to or greater than the threshold value θ2, the current pixel detected by the subtraction circuit 44 and the absolute value Whether the absolute value of the difference from the corresponding pixel of the frame is less than the threshold value θ1 or not less than the threshold value θ1 is checked as an output of the comparison circuit 47. When the output of the comparison circuit 47 is less than the threshold value θ1, the following processing is performed.
【0058】すなわち、しきい値θ1未満である場合に
は、シーンチェンジなどにより、背景が切り替わった時
のもので、最初に重み係数メモリ50に記憶されている
重み係数α(=1/16)が読み出され、乗算器54によ
って、この重み係数αが減算回路45の出力信号に対し
て乗じられる。したがって、このフレームでなされる背
景画素の更新は、 Xk=15/16・X(k−1)+1/16・Zk で示される上述と同様のものである。That is, if the threshold value is less than the threshold value θ1, the background is switched due to a scene change or the like, and the weighting coefficient α (= 1/16) stored in the weighting coefficient memory 50 first is used. Is read out, and the multiplier 54 multiplies the output signal of the subtraction circuit 45 by the weighting coefficient α. Therefore, the updating of the background pixel performed in this frame is the same as the above described with Xk = 15/16 × X (k−1) + 1/16 × Zk.
【0059】背景画素の更新がなされると、重み係数制
御回路49において、αが2倍にされるとともに、この
2倍にされた新たな重み係数が1より大きいかどうかが
判定され、1より小さければ、この2倍された重み係数
αが、重み係数メモリ50に格納される。1/16の重み
係数からスタートすると、(1/8→1/4→1/2→
1)と1フレームごとに重み係数αが変化する。When the background pixel is updated, α is doubled in the weight coefficient control circuit 49, and it is determined whether or not the new weight coefficient doubled is greater than 1. If it is smaller, the doubled weight coefficient α is stored in the weight coefficient memory 50. Starting from the weight coefficient of 1/16, (1/8 → 1/4 → 1/2 →
1) and the weighting coefficient α changes for each frame.
【0060】背景が切り替わって、上述のように重み係
数αが変化し、α=1となる5フレーム後まで、上述と
同様の背景画素の更新の処理には移行しない。したがっ
て、有色雑音が誤って新たな背景画素として検出され
て、重み係数を変更させる処理を受ける場合でも、正し
い背景画素が保存されることになる。この重み係数αの
変化の仕方は、背景画素の更新時の応答性を良くすると
ともに、有色雑音を除去できるように設定される。The background is switched, the weighting coefficient α changes as described above, and the process of updating the background pixel as described above does not proceed until 5 frames after α = 1. Therefore, even when the colored noise is erroneously detected as a new background pixel and undergoes the process of changing the weight coefficient, the correct background pixel is stored. The way of changing the weight coefficient α is set so that the response at the time of updating the background pixel is improved and the colored noise can be removed.
【0061】比較回路47において、現画素と前フレー
ム画素との差の絶対値が、しきい値θ1以上であると判
定された時には、これは、現画素が動き画素であると判
定されるもので、この場合には、背景プレーンメモリ2
3BGsの更新は行なわれない。この動き画素について
は、以下に述べるようにして、動きプレーンの分離の処
理が行なわれる。When the comparison circuit 47 determines that the absolute value of the difference between the current pixel and the previous frame pixel is equal to or larger than the threshold value θ1, this means that the current pixel is determined to be a motion pixel. In this case, the background plane memory 2
3BGs are not updated. For this motion pixel, a process of separating a motion plane is performed as described below.
【0062】重み係数制御回路49においては、比較回
路52において、現画素と背景画素との絶対値が、しき
い値θ2以上であると検出され、かつ、比較回路47の
出力から、現画素と前フレーム画素との差の絶対値が、
しきい値θ1以上である場合に、動き画素として検出さ
れるものである。In the weight coefficient control circuit 49, the comparison circuit 52 detects that the absolute value of the current pixel and the background pixel is greater than or equal to the threshold value θ 2, and determines from the output of the comparison circuit 47 The absolute value of the difference from the previous frame pixel is
If it is equal to or greater than the threshold value θ1, it is detected as a motion pixel.
【0063】重み係数制御回路49からの動き画素の検
出信号は、アンドゲート61に供給され、このアンドゲ
ートに入力されている入力端子41からの入力デジタル
画素データがゲート制御される。このアンドゲート61
は、現画素が動き画素の時に、ハイレベルになって開に
なる。したがって、入力画素(現画素)が動き画素でな
いときには、アンドゲート61の出力は「0」となり、
入力画素が動き画素のときには、その画素データ(これ
は「0」ではないデータである。以下これをノンゼロの
データという)が、このアンドゲート61から出力され
る。The motion pixel detection signal from the weight coefficient control circuit 49 is supplied to an AND gate 61, and input digital pixel data from the input terminal 41 input to the AND gate is gate-controlled. This AND gate 61
Is high and open when the current pixel is a motion pixel. Therefore, when the input pixel (current pixel) is not a motion pixel, the output of the AND gate 61 is “0”,
When the input pixel is a motion pixel, the pixel data (this is data other than “0”; hereinafter, referred to as non-zero data) is output from the AND gate 61.
【0064】62は、動物体プレーン分離回路で、1フ
レーム分の画素データを記憶可能な差分メモリ(フレー
ムメモリ)62Mを備え、アンドゲート61の出力がこ
のメモリ62Mに入力される。このメモリ62Mは、ア
ドレス制御回路43からのアドレス制御信号により、前
述のフレームメモリ42、背景プレーンメモリ23BG
s及び重み係数メモリ50と同じアドレス制御を受け
る。Reference numeral 62 denotes a moving object plane separation circuit, which includes a difference memory (frame memory) 62M capable of storing one frame of pixel data. The output of the AND gate 61 is input to the memory 62M. The memory 62M stores the frame memory 42 and the background plane memory 23BG according to the address control signal from the address control circuit 43.
It receives the same address control as the s and weight coefficient memory 50.
【0065】したがって、差分メモリ62Mには、背景
画が現画像から除去されて、ノンゼロのデータからなる
動き画素の集合からなる複数個の動き物体の画像のみか
らなる差分画像が蓄えられることになる。そして、図7
に示すように、動き物体のノンゼロ画素データ以外の画
素のデータとしては、「0」データが、メモリ62Mに
書き込まれている。Therefore, the background image is removed from the current image and the difference memory 62M stores a difference image consisting of only a plurality of moving object images consisting of a set of motion pixels consisting of non-zero data. . And FIG.
As the data of the pixel other than the non-zero pixel data of the moving object, “0” data is written in the memory 62M as shown in FIG.
【0066】こうして差分メモリ62Mには、1枚の2
次元画像中の複数個の動き物体の画素のデータが、
「0」でないレベルを有するノンゼロ画素データとして
書き込まれ、動き物体の画素以外の背景画の静止画部分
の画素データはオール「0」のデータとして記憶される
ものである。したがって、複数個の動き物体が互いに重
なり合っていないとすれば、差分メモリ62Mの画素デ
ータを順次走査して、近接画素同志で、「0」でないノ
ンゼロ画素データを関連付けてマージ(統合)すること
により、各動き物体のそれぞれのみからなる動物体プレ
ーンを分離することが可能になる。In this way, one 2
Pixel data of a plurality of moving objects in the three-dimensional image is
The data is written as non-zero pixel data having a level other than “0”, and the pixel data of the still image portion of the background image other than the pixels of the moving object is stored as all “0” data. Therefore, assuming that a plurality of moving objects do not overlap each other, the pixel data in the difference memory 62M is sequentially scanned, and non-zero pixel data other than “0” is associated (merged) with neighboring pixels. In addition, it is possible to separate the moving object plane including only each of the moving objects.
【0067】63は、マイコンであって、動物体プレー
ン分離回路62の差分メモリ62Mを走査し、以下のよ
うにして各動き物体ごとにプレーン分離し、分離した動
き物体プレーンの情報を対応するアドレスにおいて、各
動物体プレーンメモリ23A1〜23Anに書き込むよ
うにするものである。なお、動物体プレーンメモリ23
A1〜23Anのそれぞれのすべてのアドレスには、予
め、オール「0」が書き込まれており、各動き物体の画
素のみが、差分メモリ62Mと同じアドレスにおいて、
いづれかの動物体プレーンメモリに書き込まれるもので
ある。Reference numeral 63 denotes a microcomputer which scans the difference memory 62M of the moving object plane separating circuit 62, separates each moving object into planes as follows, and stores information on the separated moving object planes at corresponding addresses. In this case, the object plane memories 23A1 to 23An are written. The moving object plane memory 23
All “0” are previously written in all the addresses of A1 to 23An, and only the pixel of each moving object is stored at the same address as the difference memory 62M.
It is written in any of the moving object plane memories.
【0068】図9及び図10は、マイコン63の動物体
プレーンの分離のための処理のフローチャートである。
すなわち、この場合の動き物体の分離の処理は、まず、
ステップ101において、ノンゼロの画素データをサー
チする(動き画素は0でないので、動き画素を探索する
ことになる)。そして、ステップ102で、ノンゼロの
画素データが見つかったならば、ステップ103に進ん
で、その周囲の画素データがノンゼロかどうかをチェッ
クする。この例の場合には、図8に示すように、注目画
素xの周辺の上下左右の8画素a〜hのデータをチェッ
クする。FIG. 9 and FIG. 10 are flowcharts of processing for separating the moving object plane by the microcomputer 63.
That is, in this case, the separation process of the moving object
In step 101, non-zero pixel data is searched (a motion pixel is not 0, so a motion pixel is searched). Then, if non-zero pixel data is found in step 102, the process proceeds to step 103, where it is checked whether the surrounding pixel data is non-zero. In the case of this example, as shown in FIG. 8, the data of eight pixels a to h at the top, bottom, left and right around the target pixel x are checked.
【0069】そして、次のステップ104において、8
画素a〜hのいづれのデータもノンゼロでなかったとき
には、注目画素xは、孤立点と見做してステップ104
からステップ101に戻って、次の動き画素を探す。Then, in the next step 104, 8
If none of the data of the pixels a to h is non-zero, the pixel of interest x is regarded as an isolated point and
Then, the process returns to step 101 to search for the next motion pixel.
【0070】ステップ104において、8画素a〜hの
内の1つでもノンゼロの画素があったときには、ステッ
プ104からステップ105に進み、注目画素xの左の
画素dと、上(1ライン前)の画素とbがノンゼロの画
素であるか否かをチェックして、次のステップ106に
進む。In step 104, if at least one of the eight pixels a to h has a non-zero pixel, the process proceeds from step 104 to step 105, where the pixel d on the left of the pixel x of interest and the upper pixel (one line before) It is checked whether or not the pixel and b are non-zero pixels, and the process proceeds to the next step.
【0071】次のステップ106では、左及び上の画素
d及びbが、両方共にノンゼロでないか否か判別され、
共にノンゼロでない、つまり動き画素でないときには、
ステップ107に進んで、動物体プレーンメモリのメモ
リ番号(以下、単にメモリ番号という)として新番号を
設定する。そして、ステップ108に進んで、そのメモ
リ番号を当該画素のアドレスに対応して記憶しておく。
その後、ステップ109に進んで、差分メモリ62Mの
全画素の走査が終了したか否か判別し、全走査を終了し
たときには、この処理ルーチンを終了する。全走査を終
了していないときには、ステップ101に戻って、次の
動き画素の検索を始める。In the next step 106, it is determined whether the left and upper pixels d and b are both non-zero.
When they are not non-zero, that is, they are not motion pixels,
Proceeding to step 107, a new number is set as the memory number of the moving object plane memory (hereinafter simply referred to as memory number). Then, the process proceeds to step 108, where the memory number is stored in correspondence with the address of the pixel.
Thereafter, the process proceeds to step 109, where it is determined whether or not scanning of all the pixels of the difference memory 62M has been completed. When all the scanning has been completed, this processing routine is terminated. If the full scan has not been completed, the process returns to step 101 to start searching for the next motion pixel.
【0072】また、ステップ106において、左及び上
の画素d及びbのうち少なくともいずれかはノンゼロの
画素であると判別されたときには、ステップ106から
ステップ110に進み、両方共にノンゼロであるか否か
判別される。そして、両方共ノンゼロであると判別され
たときには、ステップ110からステップ111に進
み、両画素d、bについてマイコン63に記憶されてい
るメモリ番号をチェックする。そして、次のステップ1
12に進んで、両画素d、bのメモリ番号が一致してい
るか否か判別する。If it is determined in step 106 that at least one of the left and upper pixels d and b is a non-zero pixel, the process proceeds from step 106 to step 110 to determine whether both are non-zero. Is determined. If both are determined to be non-zero, the process proceeds from step 110 to step 111, where the memory numbers stored in the microcomputer 63 for both pixels d and b are checked. And the next step 1
Proceeding to 12, it is determined whether the memory numbers of both pixels d and b match.
【0073】ステップ112における判別の結果、両画
素d、bのメモリ番号が一致しているときには、ステッ
プ112からステップ108に進んで、そのメモリ番号
を当該注目画素xのアドレスに対応して記憶する。If the result of determination in step 112 is that the memory numbers of both pixels d and b match, the process proceeds from step 112 to step 108, where that memory number is stored corresponding to the address of the pixel of interest x. .
【0074】また、ステップ112における判別の結
果、両画素d、bのメモリ番号が一致していないと判別
されたときには、ステップ112からステップ113に
進んで、左の画素dのメモリ番号を選択して、そのメモ
リ番号を当該注目画素xに関連させて記憶すると共に、
左の画素dのメモリ番号と上の画素bのメモリ番号と
は、関連があり、メモリ番号は異なっても1つの動き物
体の画素であることを示す情報(マージ情報と呼ぶ)を
記憶する。If it is determined in step 112 that the memory numbers of the pixels d and b do not match, the flow advances from step 112 to step 113 to select the memory number of the left pixel d. And stores the memory number in association with the pixel of interest x.
The memory number of the left pixel d and the memory number of the upper pixel b are related, and store information (called merge information) indicating that they are pixels of one moving object even if the memory numbers are different.
【0075】これは、動き物体が、ある水平走査ライン
のデータでは飛んだ位置の画素であるが、後のラインの
画素のサーチの結果、同一の動き物体の画素として繋が
っていることが判明する場合を示している。This is because the moving object is a pixel at a jump position in the data of a certain horizontal scanning line, but as a result of a search for a pixel on a subsequent line, it is found that the moving object is connected as a pixel of the same moving object. Shows the case.
【0076】ステップ110における判別の結果、両方
共にはノンゼロではないときには、このステップ110
からステップ115に進み、左の画素dがノンゼロであ
るか否か判別する。その判別の結果、左の画素dがノン
ゼロであるときには、ステップ116に進んで、その画
素dのメモリ番号をチェックし、その後、ステップ10
8に進んで、その注目画素xのアドレスに対応して、そ
のメモリ番号を記憶する。If the result of determination in step 110 is that both are not non-zero, step 110
Then, the process proceeds to step 115, where it is determined whether or not the left pixel d is non-zero. If the result of this determination is that the left pixel d is non-zero, the process proceeds to step 116, where the memory number of that pixel d is checked, and thereafter, step 10
Proceeding to step 8, the memory number is stored in correspondence with the address of the target pixel x.
【0077】ステップ115の判別の結果、左の画素d
がノンゼロでない、つまり上の画素bがノンゼロである
と判別されたときには、ステップ117に進んで、上の
画素bのメモリ番号をチェックし、その後、ステップ1
08に進んで、その注目画素xのアドレスに対応して、
そのメモリ番号を記憶する。As a result of the determination in step 115, the left pixel d
Is not non-zero, that is, when it is determined that the upper pixel b is non-zero, the process proceeds to step 117, where the memory number of the upper pixel b is checked, and
08, corresponding to the address of the target pixel x,
The memory number is stored.
【0078】前述したように、ステップ108の次に
は、ステップ109に進んで、差分メモリ62Mのすべ
ての画素についてのサーチを終了したか否か判別して、
終了していなければ、ステップ101に戻って以上の処
理ルーチンを繰り返し、全画素のサーチが終了したら、
この処理ルーチンを終了する。As described above, after step 108, the process proceeds to step 109, where it is determined whether or not the search for all the pixels in the difference memory 62M has been completed.
If the search has not been completed, the process returns to step 101, and the above processing routine is repeated.
This processing routine ends.
【0079】以上の差分メモリ62Mの画素サーチによ
り、マイコン63の内蔵メモリには、1つ1つの動き物
体について、各動き物体に含まれる画素のアドレスに対
して、同じメモリ番号及びそれと関連するメモリ番号
が、両メモリ番号を関連付ける情報と共に記憶される。
マイコン63は、同じ動き物体と認識された画素のメモ
リ番号を、1つの動画プレーンメモリのメモリ番号No
と対応付ける。これにより、それぞれの動き物体は、別
々の動画プレーンとして、次のようにして分離すること
ができる。By the above-described pixel search of the difference memory 62M, the same memory number and the memory associated with the same memory number for the address of the pixel included in each moving object are stored in the built-in memory of the microcomputer 63 for each moving object. The number is stored along with information relating both memory numbers.
The microcomputer 63 assigns the memory number of the pixel recognized as the same moving object to the memory number of one moving image plane memory.
And correspond. Thus, each moving object can be separated as a separate moving image plane as follows.
【0080】すなわち、マイコン63は、差分メモリ6
2Mから、動き画素データを順次読み出す。この差分メ
モリ62Mの読み出し出力は、動画プレーンメモリ23
A1〜23Anのそれぞれに入力される。また、マイコ
ン63は、読み出した画素について上述のようにして設
定し、記憶したメモリ番号Noの動画プレーンメモリに
のみ、書き込み画素アドレス(読み出し画素アドレスと
同じでよい)を供給して、その動き画素を、そのメモリ
番号Noの動画プレーンメモリに書き込んでゆく。That is, the microcomputer 63 sets the difference memory 6
The motion pixel data is sequentially read from 2M. The read output of the difference memory 62M is stored in the moving image plane memory 23.
A1 to 23An are input to each of them. Further, the microcomputer 63 sets the read pixel as described above, supplies the write pixel address (may be the same as the read pixel address) only to the stored moving picture plane memory of the memory number No, and sets the motion pixel Is written into the video plane memory of the memory number No.
【0081】こうして、動き物体プレーンメモリ23A
1〜23Anのそれぞれには、1つ1つの動き物体が、
分離されて、別々に記憶されるものである。Thus, the moving object plane memory 23A
In each of 1 to 23An, one moving object is
They are separated and stored separately.
【0082】以上の動き物体プレーンの分離方法では、
差分メモリ62Mを、テレビジョン走査と同様に水平、
垂直に画素をサーチして、同じ動き物体に含まれる画素
をマージするようにしたが、1つの動き画素を検出した
とき、その周囲の画素を順次サーチしてノンゼロの画素
を追跡して、マージしてゆくと共に、そのマージした画
素データを、1つの動き物体プレーンメモリに同時に順
次書き込んでゆくようにして、1つの動き物体について
の動き物体プレーンメモリを完成するようにしてもよ
い。In the above moving object plane separation method,
The difference memory 62M is stored in a horizontal
Pixels are searched vertically to merge pixels included in the same moving object.When one moving pixel is detected, surrounding pixels are searched sequentially to track non-zero pixels and merge. At the same time, the merged pixel data may be sequentially and simultaneously written to one moving object plane memory to complete the moving object plane memory for one moving object.
【0083】なお、ある時点で、2つの動き物体が重な
り合っているとしても、所定の時間経過した後は、その
動き物体は分離して観察することができるので、後述す
るように、動物体プレーンメモリを、変化情報の記録時
に更新することにより、上記の方法により、それぞれの
動き物体のみからなる動物体プレーン情報を、それぞれ
の動物体プレーンメモリ23A1〜23Anが蓄積する
ことができる。Even if two moving objects are overlapped at a certain point in time, the moving objects can be separately observed after a predetermined time has elapsed. By updating the memory at the time of recording the change information, the moving object plane memories 23A1 to 23An can accumulate the moving object plane information including only the moving objects by the above-described method.
【0084】[A−2.近似静止画の生成]以上のよう
にして、背景プレーン及び動物体プレーンの静止画が、
入力画像信号から分離されて、メモリ23BG、23A
1〜23Anに記憶されると、信号処理回路22では、
これらの静止画を画像要素メモリ5の画像要素で置き換
える処理を行い、置き換えにより近似静止画をそれぞれ
生成する。[A-2. Generation of Approximate Still Image] As described above, the still images of the background plane and the moving object plane are
Separated from the input image signal, the memories 23BG, 23A
When stored in 1 to 23An, the signal processing circuit 22
A process of replacing these still images with image elements in the image element memory 5 is performed, and approximate still images are generated by the replacement.
【0085】すなわち、信号処理回路22は、先ず、背
景プレーンメモリ23BGの背景静止画について近似静
止画の作成を行う。その方法は、種々存在するが、例え
ば、画像要素メモリ5から、1つの画像要素が読み出さ
れ、その画像要素と、メモリ23BGの静止画の各部と
比較サーチを行い、比較誤差がスレッショールド値より
小さいとき、その静止画像部分を当該画像要素で置き換
える。また、このとき、置き換えられた静止画像部分の
画面上の位置も記憶しておく。That is, the signal processing circuit 22 first creates an approximate still image for the background still image in the background plane memory 23BG. There are various methods. For example, one image element is read from the image element memory 5 and a comparison search is performed between the image element and each part of the still image in the memory 23BG. If the value is smaller than the value, the still image portion is replaced with the image element. At this time, the position of the replaced still image portion on the screen is also stored.
【0086】画像要素メモリ5の各画像要素は、その画
像要素の典型画像の拡大画像を、比較的、高精細度の状
態で記憶されている。そして、このメモリ5から読み出
すときに、その大きさが置き換えられる背景画像の対応
部分の大きさに応じたものとなるように指定できるよう
にされている。つまり、記憶画像より大きい状態で読み
出すときは、データを補間しながら読み出しを行い、記
憶画像より小さい状態で読み出すときは、データを間引
いて、大きさの調整を行う。Each image element in the image element memory 5 stores an enlarged image of a typical image of the image element in a state of relatively high definition. When reading from the memory 5, the size can be designated so as to correspond to the size of the corresponding portion of the background image to be replaced. That is, when reading is performed in a state larger than the stored image, reading is performed while interpolating data. When reading is performed in a state smaller than the stored image, data is thinned out and the size is adjusted.
【0087】この場合、メモリ5から読み出して、背景
プレーンと置き換える画像要素は、例えばカメラ部1の
図示しないビューファインダーにメモリ5のすべての画
像要素をスクロール表示させ、この例の場合には、番号
で選択指定するようにするとよい。もちろん、すべての
画像要素について上述のようなサーチを自動で行うこと
も可能である。こうして生成された近似背景静止画は、
近似背景プレーンメモリ23BGsに書き込まれる。In this case, the image elements read from the memory 5 and replaced with the background plane are displayed, for example, by scrolling all the image elements in the memory 5 on a viewfinder (not shown) of the camera unit 1. It is good to select and specify with. Of course, the above-described search can be automatically performed for all image elements. The approximate background still image generated in this way is
The data is written to the approximate background plane memory 23BGs.
【0088】また、各動物体プレーンメモリ23A1〜
23Anの動き物体の静止画についても上述と同様にし
て、画像要素メモリ5の画像要素を使用して近似動物体
静止画が生成され、その近似静止画情報が、近似動物体
プレーンメモリ23A1s〜23Ansに書き込まれ
る。Each of the moving object plane memories 23A1 to 23A1
For the still image of the moving object of 23An, an approximate moving object still image is generated using the image element of the image element memory 5 in the same manner as described above, and the approximate still image information is stored in the approximate moving object plane memories 23A1s to 23Ans. Is written to.
【0089】以上のようにして、近似静止画の生成が行
われ、近似プレーンメモリ23BGs、23A1s〜2
3Ansに、その近似静止画が書き込まれると、記録情
報生成回路24は、近似静止画の画像情報を記録情報と
する代わりに、その近似静止画を構成する画像要素の識
別情報、例えばこの例では識別番号と、その画像要素が
占める画面上の位置を示す情報とを記録情報とする処理
を行う。なお、近似動物体静止画の場合には、当該動物
体の静止画の画像情報のみを伝送すれば、画面上の位置
情報は、変化情報に含めて記録することができるので、
この準備期間での記録情報には含める必要はない。As described above, the approximate still image is generated, and the approximate plane memories 23BGs, 23A1s-2A
When the approximate still image is written in 3Ans, the recording information generation circuit 24 replaces the image information of the approximate still image with the recording information, but identifies the image elements constituting the approximate still image, for example, in this example. A process is performed in which the identification number and information indicating the position on the screen occupied by the image element are recorded information. In the case of the approximate moving object still image, if only the image information of the still image of the moving object is transmitted, the position information on the screen can be recorded by being included in the change information.
It is not necessary to include it in the record information during this preparation period.
【0090】この記録情報生成回路24からの静止画に
関する記録情報は、記録処理回路25に供給される。こ
の記録処理回路25では、データをセクタ構造にするな
ど、ディスク11の記録フォーマットに適合するデータ
処理が行われる。この記録処理回路25の出力データ
は、順次、ヘッド駆動回路27を介して記録用磁気ヘッ
ド13に供給され、ディスク11に光磁気記録される。The recording information on the still image from the recording information generating circuit 24 is supplied to a recording processing circuit 25. In the recording processing circuit 25, data processing conforming to the recording format of the disk 11, such as forming the data into a sector structure, is performed. The output data of the recording processing circuit 25 is sequentially supplied to the recording magnetic head 13 via the head drive circuit 27, and is magneto-optically recorded on the disk 11.
【0091】[B.実際の撮像録画の期間]この例にお
いては、ビデオカメラ部1で、実際の撮像録画開始キー
を操作した後の撮像録画期間でも、先ず、上述の準備期
間と同様にして、信号処理回路22では、撮像信号から
背景画及び各動き物体の静止画を分離する。そして、そ
の分離した静止画と、近似背景プレーンメモリ23BG
s及び各近似動物体プレーンメモリ23A1s〜23A
nsに登録されている近似背景静止画及び近似動物体静
止画情報とを比較し、前述したような変化情報の生成を
行う。[B. Actual imaging / recording period] In this example, even in the imaging / recording period after operating the actual imaging / recording start key in the video camera unit 1, first, the signal processing circuit 22 And separates a background image and a still image of each moving object from the imaging signal. Then, the separated still image and the approximate background plane memory 23BG
s and each approximate moving object plane memory 23A1s to 23A
The approximate background still image and the approximate moving object still image information registered in ns are compared to generate change information as described above.
【0092】すなわち、背景情報については、近似背景
プレーンの近似静止画の位置を基準にして、これからの
変化方向及び変化量(パン、チルトの方向及び量、さら
にはズーム比など)の情報Vsと、近似背景静止画と、
現画像から分離した背景画との差分の変化分の画像情報
ΔPsとを、背景プレーンに対する変化情報として生成
する。That is, the background information is based on the position of the approximate still image on the approximate background plane, and the information Vs of the change direction and the change amount (the direction and amount of pan and tilt, and further the zoom ratio) is obtained. , An approximate background still image,
Image information ΔPs corresponding to a change in difference from the background image separated from the current image is generated as change information for the background plane.
【0093】また、各動き物体については、それぞれの
動き物体の動き方向及び動き量Vmと、近似動物体静止
画に対する現画像から得た動物体プレーンとの差分の画
像情報ΔPm(真の画像情報との差分と、回転や形状変
化などの動き変化による変化情報を含む)を生成する。Further, for each moving object, image information ΔPm (true image information) of the difference between the moving direction and the moving amount Vm of each moving object and the moving object plane obtained from the current image with respect to the approximate moving object still image. , And change information due to movement change such as rotation and shape change).
【0094】そして、以上のようにして生成した変化情
報をリアルタイムでディスク11に記録する処理を行
う。すなわち、上述のようにして生成した変化情報を圧
縮符号化回路26に供給し、適当な圧縮率で圧縮符号化
を行い、記録処理回路25に供給し、データをセクタ構
造にするなど、ディスク11の記録フォーマットに適合
するデータ処理を行う。この記録処理回路25の出力デ
ータは、順次、ヘッド駆動回路27を介して記録用磁気
ヘッド13に供給され、ディスク11に光磁気記録され
る。Then, a process of recording the change information generated as described above on the disk 11 in real time is performed. That is, the change information generated as described above is supplied to the compression encoding circuit 26, compressed and encoded at an appropriate compression ratio, supplied to the recording processing circuit 25, and the data is converted into a sector structure. Performs data processing conforming to the recording format. The output data of the recording processing circuit 25 is sequentially supplied to the recording magnetic head 13 via the head drive circuit 27, and is magneto-optically recorded on the disk 11.
【0095】この場合、記録される変化情報は、後述も
するように、画像情報をデータ圧縮して伝送する場合に
比べて少ないビット数となり、1.2Mbpsの低記録
伝送レートであっても、リアルタイムで十二分に記録で
きる。上記の変化情報の検出方法の具体的な実施例は後
述する。In this case, as will be described later, the change information to be recorded has a smaller number of bits as compared with the case where image information is compressed and transmitted, and even at a low recording transmission rate of 1.2 Mbps, More than enough can be recorded in real time. A specific embodiment of the above change information detection method will be described later.
【0096】光磁気ディスク11に対するデータの記録
は、次のようにして行われる。すなわち、ヘッド駆動回
路27を介して記録用磁気ヘッド13に供給されること
により、記録データで変調された磁界がディスク11の
所定位置において印加される。また、光ピックアップ1
4からのレーザービームがディスク11の同一位置に照
射される。この記録時は、記録トラックには、再生時よ
り大きな一定のパワーのレーザ光が照射されている。こ
の光照射と、磁気ヘッド13による変調磁界とにより、
ディスク11には熱磁気記録によってデータが記録され
る。磁気ヘッド13と光ピックアップ14とは、共に同
期してディスク11の半径方向に沿って移動できるよう
に構成されている。Data recording on the magneto-optical disk 11 is performed as follows. That is, the magnetic field modulated by the recording data is applied to a predetermined position of the disk 11 by being supplied to the recording magnetic head 13 via the head driving circuit 27. Optical pickup 1
The laser beam from 4 is applied to the same position on the disk 11. At the time of recording, the recording track is irradiated with a laser beam having a constant power larger than that at the time of reproduction. By this light irradiation and the modulation magnetic field by the magnetic head 13,
Data is recorded on the disk 11 by thermomagnetic recording. The magnetic head 13 and the optical pickup 14 are configured to be able to move in the radial direction of the disk 11 in synchronization with each other.
【0097】また、記録時においては、光ピックアップ
14の出力がRFアンプ28を介してアドレスデコーダ
29に供給されて、ディスク11のトラックに沿って設
けられたプリグルーブにウォブル記録されている絶対ア
ドレスデータが抽出され、デコードされる。そして、そ
の検出された絶対アドレスデータが、記録処理回路25
に供給され、記録データ中に挿入されて、ディスク11
に記録される。また、絶対アドレスデータは、システム
コントローラ3に供給され、記録位置の認識及び位置制
御に用いられる。At the time of recording, the output of the optical pickup 14 is supplied to the address decoder 29 via the RF amplifier 28, and the absolute address recorded in the pre-groove provided along the track of the disk 11 is recorded by the wobble. Data is extracted and decoded. Then, the detected absolute address data is stored in the recording processing circuit 25.
To the disk 11
Will be recorded. Further, the absolute address data is supplied to the system controller 3 and used for recognition of a recording position and position control.
【0098】なお、この記録時、RFアンプ28からの
信号がサーボ制御回路15に供給され、ディスク11の
プリグルーブからの信号からスピンドルモータ12の線
速度一定サーボのための制御信号が形成され、スピンド
ルモータ12が速度制御される。At the time of this recording, a signal from the RF amplifier 28 is supplied to the servo control circuit 15, and a control signal for constant linear velocity servo of the spindle motor 12 is formed from a signal from the pregroove of the disk 11, The speed of the spindle motor 12 is controlled.
【0099】[B−1.背景画の変化情報及び動き物体
についての変化情報の生成]次に、信号処理回路22で
の近似背景静止画に対する変化情報及び各動き物体の近
似静止画についての変化情報の生成回路の構成例につい
て、図11を参照しながら説明する。[B-1. Generation of Change Information of Background Image and Change Information of Moving Object] Next, a configuration example of a generation circuit of change information for an approximate background still image in the signal processing circuit 22 and change information of an approximate still image of each moving object will be described. This will be described with reference to FIG.
【0100】これらの変化情報は、ビデオカメラ部1で
の撮影により得られる現画像情報から、近似背景プレー
ンメモリ23BGs、近似動物体プレーンメモリ23A
1s〜23Ansのデータを用いて生成される。The change information is obtained from the current image information obtained by photographing with the video camera unit 1, from the approximate background plane memory 23BGs and the approximate moving object plane memory 23A.
It is generated using data of 1s to 23Ans.
【0101】すなわち、A/Dコンバータ21からの撮
像データは、前述した信号処理回路22のプレーン分離
回路で1画面分の背景プレーン情報及び各動き物体毎の
プレーン情報に分離される。そして、背景画及びそれぞ
れの各動き物体の1フレームの情報がフレームメモリ7
1BG及び71A1〜71Anに書き込まれる。このフ
レームメモリ71BG、71A1〜71Anは、2フレ
ームバッファの構成とされ、背景画及び動き物体の情報
の書き込みが一方のフレームメモリに対して行われてい
るとき、他方のフレームメモリからの背景プレーン及び
動物体プレーンの情報データが読み出されて、そのデー
タが変化情報の生成のために使用される。That is, the image pickup data from the A / D converter 21 is separated into background plane information for one screen and plane information for each moving object by the plane separation circuit of the signal processing circuit 22 described above. The information of one frame of the background image and each moving object is stored in the frame memory 7.
1BG and 71A1 to 71An. The frame memories 71BG and 71A1 to 71An are configured as a two-frame buffer, and when information of a background image and a moving object is written to one frame memory, a background plane from the other frame memory and The information data of the moving object plane is read, and the data is used for generating change information.
【0102】そして、フレームメモリ71BGからの背
景画の情報は、変化検出回路72BGに供給されると共
に、フレームメモリ71A1〜71Anからの各動き物
体の画像情報は、変化検出回路72A1〜72Anに供
給される。そして、近似背景プレーンメモリ23BGs
からの近似背景静止画情報が変化検出回路72BGに供
給されると共に、近似動物体プレーンメモリ23A1s
〜23Ansに準備期間において記憶されている近似動
物体静止画情報が、変化検出回路72A1〜72Anに
供給される。The information of the background image from the frame memory 71BG is supplied to the change detection circuit 72BG, and the image information of each moving object from the frame memories 71A1 to 71An is supplied to the change detection circuits 72A1 to 72An. You. Then, the approximate background plane memory 23BGs
Is supplied to the change detection circuit 72BG and the approximate moving object plane memory 23A1s
Approximate moving object still image information stored in the preparation period during the preparation period is supplied to the change detection circuits 72A1 to 72An.
【0103】変化検出回路72BGでは、近似背景静止
画情報と、フレームメモリ71BGの背景画情報とが比
較され、両者の差分の画像情報ΔPsが得られる。この
比較処理の際に、カメラの移動方向及び移動量の情報V
sが参照される。この情報Vsにより、パン、チルトな
どにより画枠位置の変化が検知されて、互いにその画枠
変化だけ異なる状態で、差分情報の検出が行われる。パ
ン、チルトなどにより増加した情報は、そのまま変化情
報として、検出されることになる。In the change detection circuit 72BG, the approximate background still image information is compared with the background image information in the frame memory 71BG, and the difference image information ΔPs between them is obtained. At the time of this comparison processing, information V of the moving direction and the moving amount of the camera
s is referenced. Based on the information Vs, a change in the image frame position due to panning, tilting, or the like is detected, and the difference information is detected in a state where the image frame positions differ from each other by the image frame change. Information increased by panning, tilting, and the like is detected as change information as it is.
【0104】この情報Vsは、図示しなかったが、カメ
ラ部1に、カメラをチルトやパンニングしたりして移動
させたとき、その移動方向及び距離を検知するジャイロ
スコープなどのセンサ手段を設け、このセンサ手段で検
知するようにする。また、例えば本装置は撮像装置用の
三脚などに取り付けて撮影を行うものとした場合には、
三脚に、カメラのパン、チルトの方向及び移動量を検知
するためのセンサを設けて、このセンサから上記情報V
sを得るようにしてもよい。Although this information Vs is not shown, the camera unit 1 is provided with sensor means such as a gyroscope for detecting the moving direction and distance when the camera is moved by tilting or panning. The detection is made by this sensor means. Also, for example, when the present apparatus is to be mounted on a tripod for an image pickup apparatus to perform shooting,
The tripod is provided with a sensor for detecting the direction and the amount of movement of the pan and tilt of the camera.
s may be obtained.
【0105】こうして得られた近似背景プレーンに対す
る変化情報Vs及びΔPsは、圧縮符号化回路26に供
給される。The change information Vs and ΔPs for the approximate background plane thus obtained are supplied to the compression encoding circuit 26.
【0106】動き変化検出回路72A1〜72Anで
は、各近似動物体プレーンメモリ23A1s〜23An
sに記憶されている近似動物体静止画情報と、フレーム
メモリ71A1〜71Anからの各動き物体画像とのパ
ターンマッチングにより、その動き物体についての動き
ベクトル、つまり動きの方向と、動き量とが求められ
る。In the motion change detection circuits 72A1 to 72An, each of the approximate moving object plane memories 23A1s to 23An
By performing pattern matching between the approximate moving object still image information stored in s and the moving object images from the frame memories 71A1 to 71An, a motion vector of the moving object, that is, a direction of the motion and a motion amount are obtained. Can be
【0107】この場合、動き物体は予め動物体プレーン
としてメモリに蓄えられているので、その形状が変化し
ないとすれば、特定の代表点、あるいは代表ブロックに
着目して、その代表点あるいは代表ブロックについてパ
ターンマッチングを行うことにより、動き物体全体につ
いての動きベクトルを抽出することができ、比較的短時
間でマッチング処理を行うことが可能である。このこと
は、背景画の変化情報を検出する場合においても同様の
ことが言える。In this case, since the moving object is stored in the memory as a moving object plane in advance, if the shape does not change, a particular representative point or a representative block is focused on and the representative point or the representative block is focused on. By performing pattern matching on, it is possible to extract a motion vector for the entire moving object, and it is possible to perform matching processing in a relatively short time. The same can be said for the case of detecting the change information of the background image.
【0108】動き物体が向きを変えたり、形状を変えた
りしたとき、パターンマッチングだけでは誤差が大きく
なる。そこで、この例では、動きベクトルと共に、その
誤差分を変化情報として伝送するようにする。When a moving object changes its direction or shape, an error becomes large only by pattern matching. Therefore, in this example, the error is transmitted as change information together with the motion vector.
【0109】こうして、動き変化検出回路72A1〜7
2Anで得られた各動物体プレーンメモリの動き物体に
ついての、動きベクトルと、マッチング誤差の変化情報
は圧縮符号化回路26に供給される。Thus, the motion change detection circuits 72A1 to 72A7
The motion vector and the matching error change information of the moving object of each moving object plane memory obtained in 2An are supplied to the compression encoding circuit 26.
【0110】圧縮符号化回路26では、その入力データ
をデータ圧縮する。前述したように、この圧縮後のデー
タ量は、画像情報に比べて非常に少なく、リアルタイム
でディスクに容易に記録することが可能である。The compression encoding circuit 26 compresses the input data. As described above, the amount of data after compression is very small as compared with image information, and can be easily recorded on a disk in real time.
【0111】なお、カメラがズーミングされたときは、
そのズーム比情報を変化情報に含めると共に、撮像信号
との比較のために、近似背景プレーン及び近似動物体プ
レーンの情報は、そのズーム比に応じてローパスフィル
タ(データ間引き)を通されたり、データ補間を行うも
のである。When the camera is zoomed,
The zoom ratio information is included in the change information, and the information on the approximate background plane and the approximate moving object plane is passed through a low-pass filter (data thinning) according to the zoom ratio, or compared with the image signal. It performs interpolation.
【0112】各動物体プレーンメモリの動き物体の動き
後の位置は、検出された動きベクトルを用いて容易にメ
モリ上のアドレスとして検出することができる。このた
め、動き物体同志の重なりが生じた状態を、複数個の動
き物体の画素のアドレスが同一になることにより認識す
ることができる。このように、複数個の動き物体に重な
りが生じた場合には、現画像で、その部分の画素とし
て、いずれの動き物体の画素が現れているかにより、動
き物体間の奥行きを検出する。そして、その奥行き情報
を、動き情報と共に、伝送するようにする。なお、奥行
き情報は、背景画と、動き物体についても求めるように
する。The position of the moving object in each moving object plane memory after the movement can be easily detected as an address on the memory by using the detected motion vector. For this reason, the state in which the moving objects overlap each other can be recognized by the fact that the addresses of the pixels of the plurality of moving objects are the same. As described above, when a plurality of moving objects overlap, the depth between the moving objects is detected based on which moving object pixel appears as a pixel of that part in the current image. Then, the depth information is transmitted together with the motion information. Note that the depth information is also obtained for a background image and a moving object.
【0113】なお、以上の例では、背景画及び動き物体
についての変化情報は、近似プレーンメモリ23BG
s、23A1s〜23Ansの近似静止画を基準にする
ようにしたが、背景プレーンメモリ23BG及び動物体
プレーンメモリ23A1〜23Anの静止画情報を用い
るようにしてもよい。In the above example, the change information on the background image and the moving object is stored in the approximate plane memory 23BG.
Although the approximate still images of s, 23A1s to 23Ans are used as a reference, still image information of the background plane memory 23BG and the moving object plane memories 23A1 to 23An may be used.
【0114】その場合には、準備期間に記録する背景プ
レーン情報及び動物体プレーン情報として、近似静止画
を構成する画像要素の識別情報及びその画面位置情報に
加えて、背景プレーンメモリ23BG及び動物体プレー
ンメモリ23A1〜23Anの静止画情報と、近似プレ
ーンメモリ23BGs、23A1s〜23Ansの近似
静止画との差分を、予め、記録しておく。In this case, as background plane information and moving object plane information recorded during the preparation period, in addition to the identification information of the image elements constituting the approximate still image and its screen position information, the background plane memory 23BG and the moving object plane Differences between the still image information of the plane memories 23A1 to 23An and the approximate still images of the approximate plane memories 23BGs and 23A1s to 23Ans are recorded in advance.
【0115】このように、変化情報を検出する基準を、
背景プレーンメモリ23BG及び動物体プレーンメモリ
23A1〜23Anの静止画情報とすることで、変化情
報を、より少ない情報量とすることができる。As described above, the criterion for detecting change information is:
By using the still image information of the background plane memory 23BG and the moving object plane memories 23A1 to 23An, the amount of change information can be reduced.
【0116】また、その場合に、動き物体についての動
き変化情報としては、次の例のような予測動きベクトル
と、物体変形情報を伝送するようにしてもよい。Further, in this case, as the motion change information on the moving object, a predicted motion vector as shown in the following example and object deformation information may be transmitted.
【0117】すなわち、図12の例においては、フレー
ムメモリ71A1〜71Anからの入力画像情報から抽
出された各動き物体のフレーム情報は、差分演算回路7
3A1〜73Anに供給される。That is, in the example of FIG. 12, the frame information of each moving object extracted from the input image information from the frame memories 71A1 to 71An is obtained by the difference calculation circuit 7
3A1 to 73An.
【0118】また、動物体プレーンメモリ23A1〜2
3Anの動物体プレーン情報が、予測回路74A1〜7
4Anに供給され、予測動きベクトル発生回路75A1
〜75Anからの予測動きベクトルに基づいて、予測さ
れる現時点での移動後の各動き物体のフレーム画像デー
タがこれより得られる。そして、この予測された各動き
物体のフレーム画像データが、差分演算回路73A1〜
73Anに供給されて、フレームメモリ71A1〜71
Anからの入力画像情報から抽出された各動き物体のフ
レーム情報との差分が演算される。The moving object plane memory 23A1-2
The 3An moving object plane information is output from the prediction circuits 74A1 to 74A7.
4An and supplied to the prediction motion vector generation circuit 75A1.
Based on the predicted motion vector from .about.75An, the frame image data of each moving object to be predicted at the present time after the movement is obtained. Then, the predicted frame image data of each moving object is calculated by the difference calculation circuits 73A1 to 73A1.
73An and supplied to the frame memories 71A1 to 71A.
The difference from the frame information of each moving object extracted from the input image information from An is calculated.
【0119】差分演算回路73A1〜73Anでは、動
き物体の画像についての差分を、出力データとして圧縮
符号化回路26に出力する。また、差分演算回路73A
1〜73Anは、上記動き物体の画像についての差分か
ら動きベクトルの差分を求め、出力データとして圧縮符
号化回路26に供給すると共に、予測動きベクトル発生
回路75A1〜75Anに供給し、次のフレームに対す
る各動き物体についての予測動きベクトルを生成する。The difference calculation circuits 73A1 to 73An output the difference about the image of the moving object to the compression encoding circuit 26 as output data. Also, the difference calculation circuit 73A
1 to 73An determine the difference of the motion vector from the difference of the image of the moving object, supply the difference to the compression encoding circuit 26 as output data, and also supply the prediction data to the prediction motion vector generation circuits 75A1 to 75An for the next frame. A predicted motion vector for each moving object is generated.
【0120】以上のようにして、記録されたデータの記
録位置などの情報がディスク11には記録される。すな
わち、各シーンの背景プレーン情報、動物体プレーン情
報及び変化情報が、それぞれどのトラック、さらには、
どのセクタに記録されているかの情報が、ディスク11
の最内周に設けられるTOC(Table Of Contents)領域
と呼ばれるディスク管理エリアに記録される。As described above, information such as the recording position of the recorded data is recorded on the disk 11. That is, the background plane information, the moving object plane information, and the change information of each scene are each track, and further,
Information on which sector is recorded on the disk 11
Are recorded in a disc management area called a TOC (Table Of Contents) area provided at the innermost circumference of the disk.
【0121】以上の例では、背景画及び動き物体の静止
画の初期プレーンの情報は、入力画像から分離するよう
にしたが、背景画及び動き物体を予め互いに分離した状
態で、カメラで撮影することが可能な場合には、予め、
これをそれぞれ個別に撮像して、背景プレーンメモリ2
3BG及び動物体プレーンメモリ23A1〜23An
に、初期プレーン情報として、書き込んでおくことがで
きる。In the above example, the information of the initial plane of the background image and the still image of the moving object is separated from the input image. However, the background image and the moving object are photographed by the camera in a state where they are separated from each other in advance. If possible,
These are individually imaged, and the background plane memory 2
3BG and moving object plane memory 23A1 to 23An
Can be written as initial plane information.
【0122】[デジタル画像信号のディスク再生装置の
説明]図1は、この例のディスク再生装置の一実施例の
ブロック図である。この例において、図1の例のディス
ク記録装置と共通部分には同一符号を付してその説明は
省略する。[Description of Disc Reproducing Apparatus for Digital Image Signal] FIG. 1 is a block diagram showing an embodiment of the disc reproducing apparatus of this embodiment. In this example, the same parts as those in the disk recording apparatus of FIG.
【0123】ディスク11が装置に装填されると、装置
は、先ず、ディスクのTOCエリアを取り込み、システ
ムコントローラ3で、各シーンの背景プレーン及び動物
体プレーンの記録位置と、その変化情報の記録位置を認
識する。When the disc 11 is loaded into the apparatus, the apparatus first takes in the TOC area of the disc, and the system controller 3 records the background plane and the moving object plane of each scene and the recording position of the change information. Recognize.
【0124】そして、システムコントローラ3は、この
TOCエリア情報から、先ず、再生しようとするシーン
の背景プレーン及び複数個の動物体プレーンの情報の再
生を行う。Then, from the TOC area information, the system controller 3 first reproduces the information of the background plane and the plurality of moving object planes of the scene to be reproduced.
【0125】ディスク11から取り出されたこれらの情
報は、RF回路28から再生処理回路81に供給され、
セクタ構造などの所定の記録フォーマットのデータのデ
コード処理が行われ、そのデコードデータがプレーン形
成回路82に供給される。そして、この回路82におい
ては、再生された画像要素の識別情報(番号)により、
画像要素メモリ5のその画像要素が読み出され、画面上
の位置情報を用いて静止画が形成される。これが、背景
画及び動き物体の、それぞれについて行われ、それぞれ
形成された近似静止画が、背景プレーンメモリ83BG
及び動物体プレーンメモリ83A1〜83Anに書き込
まれる。The information extracted from the disk 11 is supplied from the RF circuit 28 to the reproduction processing circuit 81.
Decoding processing of data of a predetermined recording format such as a sector structure is performed, and the decoded data is supplied to the plane forming circuit 82. Then, in this circuit 82, the identification information (number) of the reproduced image element
The image element in the image element memory 5 is read, and a still image is formed using the position information on the screen. This is performed for each of the background image and the moving object, and the approximate still images formed respectively are stored in the background plane memory 83BG.
And written into the moving object plane memories 83A1 to 83An.
【0126】なお、変化情報の基準が近似静止画ではな
く、正規の静止画の場合で、記録時の準備期間に近似静
止画と正規の静止画との差分情報が合わせて記録されて
いる場合には、その差分情報が用いられて、背景プレー
ンメモリ83BG及び動物体プレーンメモリ83A1〜
83Anには、正規の静止画が書き込まれることにな
る。これにより、動画再生開始準備完了となる。When the reference of the change information is not an approximate still image but a regular still image, and the difference information between the approximate still image and the regular still image is recorded during the preparation period for recording. The difference information is used for the background plane memory 83BG and the moving object plane memories 83A1 to 83A1.
A regular still image is written in 83An. Thus, the preparation for starting the reproduction of the moving image is completed.
【0127】次に、当該シーンの、背景画の変化情報、
動き物体の変化情報、奥行き情報等がディスクからTO
Cエリア情報を参照して、リアルタイムで抽出され、R
F回路28、再生処理回路81を介してデータ伸長復号
化回路84に供給される。そして、変化情報等が、デー
タ伸長及び復号化され、信号処理回路85に供給され
る。Next, background picture change information of the scene,
Moving object change information, depth information, etc
With reference to the C area information, extracted in real time,
The data is supplied to the data decompression / decoding circuit 84 via the F circuit 28 and the reproduction processing circuit 81. Then, the change information and the like are decompressed and decoded, and supplied to the signal processing circuit 85.
【0128】また、信号処理回路85には、背景プレー
ンメモリ83BG及び動物体プレーンメモリ83A1〜
83Anからの各静止画情報も供給される。そして、こ
の信号処理回路85においては、背景プレーンメモリ8
3BGからの背景画に、動物体プレーンメモリ83A1
〜83Anからの各動き物体の画像を、伸長復号化回路
84からの、それぞれの変化情報及び奥行き情報を用い
て合成する。The signal processing circuit 85 includes a background plane memory 83BG and a moving object plane memory 83A1 to 83A1.
Each still image information from 83An is also supplied. In the signal processing circuit 85, the background plane memory 8
The background image from 3BG has a moving object plane memory 83A1
The image of each moving object from .about.83An is synthesized using the respective change information and depth information from the decompression decoding circuit 84.
【0129】つまり、背景画上に、動き物体が、動き変
化情報に応じた位置、奥行き情報に応じた重なり(背景
画との重なりもある)で、フレームあるいはフィールド
毎に張り付けられるような合成が行われて、元の動画像
が得られる。That is, the composition is such that the moving object is pasted on the background image for each frame or field at the position according to the motion change information and the overlap according to the depth information (there is also the overlap with the background image). Then, the original moving image is obtained.
【0130】この信号処理回路85からの動画像データ
は、D/Aコンバータ86により元のアナログ信号に戻
され、出力端子87から導出され、この出力端子に接続
される画像モニター装置にその再生画像が映出される。The moving image data from the signal processing circuit 85 is converted back to the original analog signal by the D / A converter 86, is derived from the output terminal 87, and is output to the image monitor device connected to this output terminal to reproduce the reproduced image. Is projected.
【0131】以上のようにして、シーン毎に背景プレー
ン、動物体プレーンの情報を、先ず、ディスクから読み
出し、その後、変化情報を順次ディスクから読み出すこ
とで、各シーンの動画の再生を行うことができる。この
場合において、各シーンの変化情報の情報量は非常に少
ないので、1シーンの変化情報を、動画のリアルタイム
に合わせてディスクから取り出すのではなく、バッファ
メモリを設けて、各プレーン情報に続いて動き変化情報
を取り出してバッファメモリに蓄積し、そのバッファメ
モリから順次動き変化情報を動画に合わせて読み出す処
理を行うようにすることもできる。As described above, the information of the background plane and the moving object plane is firstly read out from the disk for each scene, and then the change information is sequentially read out from the disk, whereby the moving image of each scene can be reproduced. it can. In this case, since the amount of change information of each scene is very small, the change information of one scene is not taken out from the disk in real time of the moving image, but a buffer memory is provided, and the change information of each scene is provided following each plane information. It is also possible to take out the motion change information, accumulate it in the buffer memory, and sequentially read out the motion change information from the buffer memory in accordance with the moving image.
【0132】そして、そのようにした場合には、動画再
現処理と、ディスクからの再生信号の抽出とを分離する
ことができるので、前のシーンの再生中に、次のシーン
のプレーン情報をディスクから抽出して、別のプレーン
メモリに蓄えるようにすることができる。このようにす
れば、とぎれることなく複数のシーンを連続して再生す
ることが可能である。In such a case, the moving image reproduction process and the extraction of the reproduction signal from the disc can be separated, so that during the reproduction of the previous scene, the plane information of the next scene is recorded on the disc. , And can be stored in another plane memory. By doing so, it is possible to continuously reproduce a plurality of scenes without interruption.
【0133】以上のようにして、この発明によれば、入
力画像を背景画及び動物体プレーンに分け、これを高画
質で記録すると共に、背景画の変化や動物体プレーンに
ついての動き変化を共に記録して再生時に合成するよう
にするので、記録伝送レートが低い記録媒体の場合で
も、高画質、かつ、動きのスムースな動画の記録ができ
る。As described above, according to the present invention, an input image is divided into a background image and a moving object plane, and these are recorded with high image quality. Since the data is recorded and synthesized at the time of reproduction, even in the case of a recording medium having a low recording transmission rate, it is possible to record a moving image with high image quality and smooth motion.
【0134】例えば、従来、いわゆるMPEGと呼ばれ
る画像データの圧縮方法が知られているが、この方法
は、一番最初に1枚のフレーム(静止画)の画像情報を
送り、その後は、その最初の画像フレームとの差を取
り、その残差をデータ圧縮して記録する方法である。こ
のMPEGで最初の1フレームの画像データのビット数
は、データ圧縮された段階で、例えば400Kビットと
されている。この400Kビットの画像は、比較的画質
の良い画像となっている。For example, a method of compressing image data, so-called MPEG, is conventionally known. In this method, image information of one frame (still image) is transmitted first, and thereafter, the first image is transmitted. Is a method of taking the difference from the image frame, and compressing and recording the residual. The bit number of the image data of the first frame in the MPEG is, for example, 400 K bits at the stage of data compression. This 400 Kbit image is an image having relatively high image quality.
【0135】この400Kビットの画像は、1フレーム
の情報であるので、これをbpsで表わすと、1秒は、
30フレームからなるので、12Mbps相当となる。
したがって、かなり高画質の画像が得られている。MP
EGでは、その後の情報として、残差の情報しか記録し
ないため、再生画像は劣化したものとなってしまうが、
最初の1フレームの画像自体は、程度のよい画質となっ
ているのである。Since the image of 400 K bits is information of one frame, if this is expressed in bps, one second is
Since it is composed of 30 frames, it is equivalent to 12 Mbps.
Therefore, a considerably high-quality image is obtained. MP
In the EG, only the residual information is recorded as subsequent information, so that the reproduced image is deteriorated.
The image of the first one frame itself has a good image quality.
【0136】これに対し、上述したこの発明の構成によ
れば、背景プレーンと動物体プレーンの複数枚の画像プ
レーンの情報は、MPEGと同等の12Mbps相当の
画像データとして記録するとともに、僅かなビット数で
記録された動き変化情報に基づいて、この画質の良い動
物体のプレーンを移動させて、背景プレーンと合成する
ことにより動画が再現されるものであるので、画質がよ
く、しかも動きベクトルの情報はリアルタイムの情報で
あるので、動きもギクシャクすることなく、良好なもの
となる。On the other hand, according to the above-described configuration of the present invention, information of a plurality of image planes including a background plane and a moving object plane is recorded as image data equivalent to 12 Mbps equivalent to MPEG, and a bit Based on the motion change information recorded as a number, the moving image plane with good image quality is moved and the moving image is reproduced by synthesizing it with the background plane. Since the information is real-time information, the motion is good without jerking.
【0137】しかも、この発明では、背景プレーン及び
動物体プレーンの情報は、予め用意した画像要素で構成
した近似静止画に置き換えて伝送するものであり、各画
像要素の識別要素及びその画面上での位置情報を伝送す
るだけでよいので、静止画情報をそのまま伝送する場合
に比べて、さらに少ない情報量で静止画の記録を行うこ
とができる。Further, according to the present invention, the information of the background plane and the moving object plane is transmitted by replacing it with an approximate still image composed of image elements prepared in advance. Since it is only necessary to transmit the position information, the still image can be recorded with a smaller amount of information as compared with the case where the still image information is transmitted as it is.
【0138】なお、背景プレーンと分離される動き情報
は、以上の例のように、複数個の動き物体の静止画から
なる動物体プレーンに分けて記録するのではなく、これ
ら複数個の動き物体を含む動き情報をデータ圧縮して背
景プレーンとは分離して記録する装置にも、この発明は
適用できる。It should be noted that the motion information separated from the background plane is not recorded as a moving object plane composed of still images of a plurality of moving objects, as in the above example, but is recorded on the plurality of moving objects. The present invention can also be applied to a device that compresses motion information including a character and records it separately from a background plane.
【0139】また、以上の例は、画像データの伝送媒体
として、光磁気ディスクを使用したが、テープやその他
の記録媒体、さらには、ケーブル、電波を用いた伝送路
を介しての画像データの伝送に、この発明は適用可能で
あることはいうまでもない。In the above example, a magneto-optical disk was used as a transmission medium for image data. However, tape and other recording media, and further, transmission of image data via a transmission path using a cable or radio waves. It goes without saying that the present invention is applicable to transmission.
【0140】[0140]
【発明の効果】以上説明したように、この発明によれ
ば、画像を背景の静止画情報(背景プレーン)と、動き
情報とに分けて、背景画の静止画情報を伝送すると共
に、動画の1シーンにおける背景の変化分は、背景静止
画との差分として伝送し、再生側で背景静止画と動き情
報とを合成するようにする。この場合に、この発明で
は、背景画の静止画情報は、そのまま伝送するのではな
く、予め用意した画像要素、当該背景画を置き換えて近
似静止画を作成し、画像情報に代えて、画像要素の識別
情報と、各画像要素の画面上の位置情報を伝送するよう
にしたので、情報量を大幅に減少させることができる。As described above, according to the present invention, the image is divided into the background still image information (background plane) and the motion information, and the background still image information is transmitted and the moving image of the moving image is transmitted. The background change in one scene is transmitted as a difference from the background still image, and the background still image and the motion information are synthesized on the reproducing side. In this case, in the present invention, the still image information of the background image is not transmitted as it is, but an approximate still image is created by replacing the image element prepared in advance, the background image, and the image element is replaced with the image element. Since the identification information and the position information of each image element on the screen are transmitted, the amount of information can be significantly reduced.
【0141】さらに、動きの情報についても、複数個の
動き物体の静止画プレーンと、その変化分との記録を行
うようにした場合には、各動き物体の静止画プレーン
も、背景情報と同様に、画像要素を用いて近似静止画を
生成して、画像要素の識別情報を伝送するようにした場
合には、さらに伝送情報量を低減することができる。Further, with respect to the motion information, when the still image planes of a plurality of moving objects and the changes thereof are recorded, the still image planes of each moving object are also recorded in the same manner as the background information. If an approximate still image is generated using an image element and the identification information of the image element is transmitted, the amount of transmitted information can be further reduced.
【0142】そして、受信側では、動き変化情報に基づ
いて、画質の良い動物体のプレーンを移動させて、背景
プレーンと合成することにより動画が再現されるもので
あるので、画質がよく、しかも、動きもギクシャクする
ことなく、良好なものとなる再生画像を得ることができ
る。On the receiving side, a moving image plane with good image quality is moved based on the motion change information and synthesized with the background plane to reproduce a moving image. Thus, it is possible to obtain a good reproduced image without jerky movement.
【図1】この発明によるデジタル画像信号の伝送装置の
一実施例としてのディスク記録装置のブロック図であ
る。FIG. 1 is a block diagram of a disk recording device as one embodiment of a digital image signal transmission device according to the present invention.
【図2】図1の例の信号記録タイミングを説明するため
の図である。FIG. 2 is a diagram for explaining signal recording timing in the example of FIG. 1;
【図3】図1の例の説明のための図である。FIG. 3 is a diagram for explaining the example of FIG. 1;
【図4】この発明の要部の説明のための図である。FIG. 4 is a diagram for explaining a main part of the present invention.
【図5】この発明の要部の説明のための図である。FIG. 5 is a diagram for explaining a main part of the present invention.
【図6】この発明によるデジタル画像信号の伝送装置の
要部の一実施例のブロック図である。FIG. 6 is a block diagram of an embodiment of a main part of a digital image signal transmission device according to the present invention.
【図7】図6の例の動作の説明のための図である。FIG. 7 is a diagram for explaining the operation of the example of FIG. 6;
【図8】図6の例の動作の説明のための図である。FIG. 8 is a diagram for explaining the operation of the example of FIG. 6;
【図9】図6の例の動作のフローチャートの一部を示す
図である。FIG. 9 is a diagram showing a part of a flowchart of the operation of the example of FIG. 6;
【図10】図6の例の動作のフローチャートの一部を示
す図である。FIG. 10 is a diagram showing a part of a flowchart of the operation of the example in FIG. 6;
【図11】この発明によるデジタル画像信号の伝送装置
の一実施例の要部のブロック図である。FIG. 11 is a block diagram of a main part of an embodiment of a digital image signal transmission device according to the present invention.
【図12】この発明によるデジタル画像信号の伝送装置
の要部の他の実施例のブロック図である。FIG. 12 is a block diagram of another embodiment of a main part of a digital image signal transmission device according to the present invention.
【図13】この発明の一実施例の装置によって記録した
デジタル画像信号の再生装置の一実施例のブロック図で
ある。FIG. 13 is a block diagram of an embodiment of a reproducing apparatus for a digital image signal recorded by the apparatus of the embodiment of the present invention.
22 信号処理装置 23BG 背景プレーンメモリ 23BGs 近似背景プレーンメモリ 23A1〜23An 動物体プレーンメモリ 23A1s〜23Ans 近似動物体プレーンメモリ 24 圧縮回路 26 圧縮符号化回路 31 背景プレーン 32〜34 動物体プレーンメモリ 62 動物体プレーン分離回路 62M 差分メモリ 72BG 画枠位置変化検出回路 Reference Signs List 22 signal processing device 23BG background plane memory 23BGs approximate background plane memory 23A1 to 23An animal plane memory 23A1s to 23Ans approximate animal plane memory 24 compression circuit 26 compression encoding circuit 31 background plane 32 to 34 animal plane memory 62 animal plane Separation circuit 62M Difference memory 72BG Picture frame position change detection circuit
Claims (8)
報と、この背景画上を動く動き物体の情報とに分離する
手段と、 複数個の画像要素の典型的な画像の情報が記憶されてい
る画像要素記憶手段と、 上記分離された背景画の静止画情報を上記画像要素記憶
手段からの画像要素で置き換えた近似静止画情報を形成
する手段と、 上記近似静止画情報を記憶するメモリ手段と、 上記背景画の静止画情報として、上記近似静止画の各画
像要素の識別情報と、その画面位置情報とを伝送すると
共に、 入力デジタル画像信号から分離した背景画の、上記メモ
リ手段の近似静止画に対する変化情報及び上記動き物体
の情報を伝送する伝送手段とを備えてなるデジタル画像
信号の伝送装置。1. A means for separating in advance a still image information of a background image forming a screen and information of a moving object moving on the background image, and information of typical images of a plurality of image elements are stored in advance. Means for forming approximate still image information obtained by replacing the still image information of the separated background image with an image element from the image element storage means, and storing the approximate still image information And memory means for transmitting identification information of each image element of the approximate still image and screen position information thereof as still image information of the background image, and for storing the background image separated from an input digital image signal. A transmission device for transmitting a digital image signal, comprising: transmission means for transmitting change information for an approximate still image and information of the moving object.
報と、この背景画上を動く動き物体の情報とに分離する
手段と、 複数個の画像要素の典型的な画像の情報が記憶されてい
る画像要素記憶手段と、 上記分離された背景画の静止画情報を記憶するメモリ手
段と、 上記分離された背景画の静止画情報を上記画像要素記憶
手段からの画像要素で置き換えた近似静止画情報を形成
する手段と、 上記背景画の静止画情報として、上記近似静止画の各画
像要素の識別情報と、その画面位置情報とに加えて、上
記予め分離された背景画と近似静止画との差分を伝送す
ると共に、 入力デジタル画像信号から分離した背景画の、上記メモ
リ手段の背景画に対する変化情報及び上記動き物体の情
報を伝送する伝送手段とを備えてなるデジタル画像信号
の伝送装置。2. A means for separating in advance still image information of a background image forming a screen and information of a moving object moving on the background image, and information of typical images of a plurality of image elements are stored in advance. Image element storage means, memory means for storing the still image information of the separated background image, and approximation in which the still image information of the separated background image is replaced with the image element from the image element storage means. Means for forming still image information; as the still image information of the background image, in addition to the identification information of each image element of the approximate still image and the screen position information, the previously separated background image and the approximate still image A digital image signal transmission means for transmitting a difference between the input image signal and a background image separated from an input digital image signal, and transmission means for transmitting change information with respect to the background image in the memory means and information on the moving object; Location.
ル画像信号の伝送装置において、 上記背景画上を動く動き物体の情報に対して、 予め、上記背景画上を動く動き物体のそれぞれの静止画
からなる1〜複数個の動物体プレーン情報を分離する分
離手段と、 上記分離された各動物体プレーン情報を上記画像要素記
憶手段からの画像要素で置き換えた近似静止画情報を形
成する手段と、 上記各動物体プレーンの近似静止画情報を、それぞれ個
別に記憶するメモリ手段と、 上記入力デジタル画像信号及び上記メモリ手段の出力に
基づいて、上記動物体プレーン情報として記憶された近
似静止画に対する変化情報を検出する変化情報検出手段
と、 上記動物体プレーンの静止画情報として上記各画像要素
の識別情報を伝送すると共に、上記変化情報を伝送する
伝送手段とを備えてなるデジタル画像信号の伝送装置。3. The apparatus for transmitting a digital image signal according to claim 1, wherein the information of the moving object moving on the background image is determined in advance with respect to the information of the moving object moving on the background image. Separating means for separating one or a plurality of moving object plane information composed of still images; and means for forming approximate still image information in which each of the separated moving object plane information is replaced by an image element from the image element storage means. Memory means for individually storing the approximate still image information of each of the moving object planes; and an approximate still image stored as the moving object plane information based on the input digital image signal and the output of the memory means. Change information detecting means for detecting change information for the image object; transmitting identification information of each of the image elements as still image information of the moving object plane; And a transmission unit for transmitting information.
ル画像信号の伝送装置において、 上記背景画上を動く動き物体の情報に対して、 予め、上記背景画上を動く動き物体のそれぞれの静止画
からなる1〜複数個の動物体プレーン情報を分離する分
離手段と、 上記各動物体プレーン情報を、それぞれ個別に記憶する
メモリ手段と、 上記分離された各動物体プレーン情報を上記画像要素記
憶手段からの画像要素で置き換えた近似静止画情報を形
成する手段と、 上記入力デジタル画像信号及び上記メモリ手段の出力に
基づいて、上記動物体プレーン情報に対する変化情報を
検出する変化情報検出手段と、 上記動物体プレーンの静止画情報として上記近似静止画
の各画像要素の識別情報と、近似静止画と上記メモリ手
段の静止画との差分を伝送すると共に、上記変化情報を
伝送する伝送手段とを備えてなるデジタル画像信号の伝
送装置。4. The transmission apparatus of a digital image signal according to claim 1, wherein information of the moving object moving on the background image is determined in advance for each of the moving objects moving on the background image. Separating means for separating one or a plurality of moving object plane information composed of a still image; memory means for individually storing each of the moving object plane information; and an image element for storing the separated moving object plane information. Means for forming approximate still image information replaced with image elements from storage means; change information detecting means for detecting change information for the moving object plane information based on the input digital image signal and the output of the memory means; The identification information of each image element of the approximate still image and the difference between the approximate still image and the still image of the memory unit are transmitted as the still image information of the moving object plane. And a transmission unit for transmitting the change information.
は圧縮して伝送することを特徴とする請求項1〜請求項
4に記載のデジタル画像信号の伝送装置。5. The digital image signal transmitting apparatus according to claim 1, wherein the information on the moving object or the change information is compressed and transmitted.
の撮像出力をA/D変換したものであると共に、 上記伝送手段は、記録媒体に対する記録である請求項1
〜請求項4に記載のデジタル画像信号の伝送装置。6. The digital image signal is obtained by A / D-converting an image pickup output of a video camera, and the transmission means is a recording on a recording medium.
The transmission device for a digital image signal according to claim 4.
ル画像信号の伝送装置により伝送されてくるデジタル画
像情報の受信装置であって、 上記画像要素の識別情報から当該画像要素が読み出し可
能である画像要素記憶手段と、 受信信号中の上記画像要素の識別情報により上記画像要
素記憶手段から目的の画像要素を読み出し、その画面位
置情報を用いて上記近似静止画情報を再生する手段と、 再生した近似静止画情報を上記背景プレーン情報及び上
記動物体プレーン情報としてそれぞれ記憶するメモリ手
段と、 上記メモリ手段の上記プレーン情報と、上記変化情報と
を用いて背景画情報及び動き物体情報を生成し、両者を
合成して、出力デジタル画像信号を得る合成手段とを備
えるデジタル画像信号の受信装置。7. A receiving device for digital image information transmitted by the digital image signal transmitting device according to claim 1 or 3, wherein the image element is readable from the identification information of the image element. A certain image element storage unit, a unit for reading out a target image element from the image element storage unit based on the identification information of the image element in the received signal, and reproducing the approximate still image information using the screen position information; Memory means for storing the approximated still image information obtained as the background plane information and the moving object plane information, and generating background image information and moving object information using the plane information of the memory means and the change information. And a synthesizing means for synthesizing the two to obtain an output digital image signal.
ル画像信号の伝送装置により伝送されてくるデジタル画
像情報の受信装置であって、 上記画像要素の識別情報から当該画像要素が読み出し可
能である画像要素記憶手段と、 受信信号中の上記画像要素の識別情報により上記画像要
素記憶手段から目的の画像要素を読み出し、その画面位
置情報を用いて上記近似静止画情報を再生する手段と、 再生した近似静止画情報と、受信した真の静止画との差
分とから背景プレーン情報及び動物体プレーン情報を再
生する手段と、 上記背景プレーン情報及び動物体プレーン情報をそれぞ
れ記憶するメモリ手段と、 上記メモリ手段の上記プレーン情報と、上記変化情報と
を用いて背景画情報及び動き物体情報を生成し、両者を
合成して、出力デジタル画像信号を得る合成手段とを備
えるデジタル画像信号の受信装置。8. A receiving device for digital image information transmitted by the digital image signal transmitting device according to claim 2, wherein the image element is readable from the identification information of the image element. A certain image element storage unit, a unit for reading out a target image element from the image element storage unit based on the identification information of the image element in the received signal, and reproducing the approximate still image information using the screen position information; Means for reproducing background plane information and moving object plane information from the approximated still image information obtained and the difference between the received true still image, and memory means for storing the background plane information and moving object plane information, respectively, Background image information and moving object information are generated by using the plane information and the change information of the memory means, and the two are combined and output digitally. Receiving apparatus for digital image signals and a combining means for obtaining an image signal.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21808093A JP3271634B2 (en) | 1993-08-10 | 1993-08-10 | Digital image signal transmission device and reception device |
KR1019940016622A KR100292138B1 (en) | 1993-07-12 | 1994-07-11 | Transmitter and Receiver for Digital Video Signal |
US08/748,024 US5706367A (en) | 1993-07-12 | 1996-11-12 | Transmitter and receiver for separating a digital video signal into a background plane and a plurality of motion planes |
US08/904,928 US6275617B1 (en) | 1993-07-12 | 1997-08-01 | Method and apparatus for separating/generating background and motion object planes |
US08/904,930 US6335988B1 (en) | 1993-07-12 | 1997-08-01 | Method and apparatus for separating/generating background and motion object planes |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP21808093A JP3271634B2 (en) | 1993-08-10 | 1993-08-10 | Digital image signal transmission device and reception device |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0759095A JPH0759095A (en) | 1995-03-03 |
JP3271634B2 true JP3271634B2 (en) | 2002-04-02 |
Family
ID=16714330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP21808093A Expired - Lifetime JP3271634B2 (en) | 1993-07-12 | 1993-08-10 | Digital image signal transmission device and reception device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3271634B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3788823B2 (en) | 1995-10-27 | 2006-06-21 | 株式会社東芝 | Moving picture encoding apparatus and moving picture decoding apparatus |
JP4900602B2 (en) * | 2007-09-14 | 2012-03-21 | 富士フイルム株式会社 | Image processing apparatus, image processing method, program, and image processing system |
US10235788B2 (en) * | 2017-01-17 | 2019-03-19 | Opentv, Inc. | Overlay contrast control in augmented reality displays |
CN108269230A (en) * | 2017-12-26 | 2018-07-10 | 努比亚技术有限公司 | Certificate photo generation method, mobile terminal and computer readable storage medium |
JP2019176500A (en) * | 2019-06-05 | 2019-10-10 | 株式会社東芝 | Encoding device, encoding program and streaming system |
-
1993
- 1993-08-10 JP JP21808093A patent/JP3271634B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0759095A (en) | 1995-03-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100292138B1 (en) | Transmitter and Receiver for Digital Video Signal | |
KR100325491B1 (en) | Panorama image creation method and device | |
JP3968665B2 (en) | Imaging apparatus, information processing apparatus, information processing method, program, and program recording medium | |
EP1051038B1 (en) | Processing digital video data | |
KR100726819B1 (en) | Video imaging device, video conversion device, and video edition device | |
JPH11289517A (en) | Reproduction device and reproduction method | |
JP3716866B2 (en) | Digital image signal transmission apparatus and reception apparatus | |
JP3271634B2 (en) | Digital image signal transmission device and reception device | |
US20050158025A1 (en) | Apparatus, method, and program for processing information | |
US6195126B1 (en) | Apparatus and method utilizing a single image memory having a luminance region for storing luminance data, a chromatic region for storing chromatic data, a character region for storing character data, and a pattern region for storing pattern data | |
JP3263749B2 (en) | Digital image signal recording device | |
JP3543978B2 (en) | Digital image signal transmission device, reception device, digital image signal recording device, and reproduction device | |
JP3318848B2 (en) | Digital image signal transmission device | |
JP2001197426A (en) | Image reproducing device | |
JPH11252445A (en) | Image-pickup device | |
JPH11168685A (en) | Image processing method | |
US20090142039A1 (en) | Method and apparatus for recording video data | |
JPH06133221A (en) | Image pickup device | |
EP1078518A1 (en) | Trick play reproduction of mpeg encoded signals | |
JP2000069407A (en) | Image recording and reproducing device | |
JP3336085B2 (en) | Imaging recording and playback device | |
JP4893364B2 (en) | Information processing apparatus, information processing method, program, and program recording medium | |
JP3158549B2 (en) | Still image recording and playback device | |
JPH11331673A (en) | Camcorder | |
US20090190900A1 (en) | Image recording apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080125 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090125 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100125 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100125 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110125 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120125 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130125 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140125 Year of fee payment: 12 |
|
EXPY | Cancellation because of completion of term |