JP2001086388A - Image processor and image-processing method, and medium - Google Patents
Image processor and image-processing method, and mediumInfo
- Publication number
- JP2001086388A JP2001086388A JP25847399A JP25847399A JP2001086388A JP 2001086388 A JP2001086388 A JP 2001086388A JP 25847399 A JP25847399 A JP 25847399A JP 25847399 A JP25847399 A JP 25847399A JP 2001086388 A JP2001086388 A JP 2001086388A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- background
- image
- frame
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Studio Devices (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法、並びに媒体に関し、特に、一連の画像
に表示された背景を、精度良く抽出することができるよ
うにする画像処理装置および画像処理方法、並びに媒体
に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus, an image processing method, and a medium, and more particularly, to an image processing apparatus and an image processing apparatus capable of accurately extracting a background displayed on a series of images. The present invention relates to a processing method and a medium.
【0002】[0002]
【従来の技術】従来より、画像を圧縮符号化する方法と
して、例えば、オブジェクト符号化がある。オブジェク
ト符号化では、一連の画像(1シーンまたは1カットの
画像)(例えば、あるシーンチェンジから次のシーンチ
ェンジまでのフレームなど)から、その前景と背景とが
抽出される。即ち、一連の画像が、Nフレームで構成さ
れるときは、そのNフレームで表示される、1シーン全
体の背景(この背景は、例えば、ビデオカメラをパンニ
ングまたはチルティングして撮影されたシーンであれ
ば、横長または縦長の画像となる)と、Nフレームの中
に共通に存在する前景とが抽出される。そして、オブジ
ェクト符号化により得られたデータの復号は、背景に、
前景を配置することで行われる。2. Description of the Related Art Conventionally, as a method of compressing and encoding an image, for example, there is an object encoding. In object coding, foreground and background are extracted from a series of images (one scene or one cut image) (for example, a frame from one scene change to the next scene change). That is, when a series of images is composed of N frames, the background of an entire scene displayed in the N frames (for example, the background is a scene shot by panning or tilting a video camera). If so, a horizontal or vertical image is obtained), and a foreground commonly present in the N frames is extracted. And decoding of the data obtained by object encoding
This is done by placing the foreground.
【0003】[0003]
【発明が解決しようとする課題】ところで、上述のオブ
ジェクト符号化のように、前景と背景を抽出する符号化
では、例えば、背景を抽出する精度が、その復号画像の
画質に大きく影響する。By the way, in the encoding for extracting the foreground and the background as in the above-described object encoding, for example, the accuracy of extracting the background greatly affects the image quality of the decoded image.
【0004】本発明は、このような状況に鑑みてなされ
たものであり、一連の画像から、背景を、精度良く抽出
することができるようにするものである。The present invention has been made in view of such a situation, and it is an object of the present invention to accurately extract a background from a series of images.
【0005】[0005]
【課題を解決するための手段】本発明の画像処理装置
は、一連の画像から、その各画面の背景の位置合わせを
行った状態で空間的に同一位置にある画素を検出する画
素検出手段と、空間的に同一位置にある画素の画素値の
度数を計数する度数計数手段と、空間的に同一位置にあ
る画素の個数に対する度数の割合が所定値以上の画素値
を、背景画像を構成する背景画素の画素値として記憶す
る背景画像記憶手段と、画素値が記憶された背景画素に
基づいて、背景画像記憶手段に記憶された背景画像を拡
張する背景拡張手段とを含むことを特徴とする。An image processing apparatus according to the present invention comprises a pixel detecting means for detecting, from a series of images, pixels at the same spatial position in a state where the background of each screen is aligned. A frequency counting means for counting the frequency of the pixel value of a pixel at the spatially identical position, and a pixel value having a frequency ratio of a predetermined value or more to the number of pixels at the spatially identical position constitute a background image Background image storage means for storing as a pixel value of a background pixel, and background expansion means for expanding a background image stored in the background image storage means based on the background pixel in which the pixel value is stored. .
【0006】背景画像記憶手段には、画素値の最高度数
の割合が所定値以上の画素値を、背景画像を構成する背
景画素の画素値として記憶させることができる。[0006] The background image storage means can store a pixel value whose ratio of the maximum frequency of the pixel value is equal to or more than a predetermined value as a pixel value of a background pixel constituting a background image.
【0007】背景拡張手段には、画素値が記憶されてい
ない背景画素の画素値を、それに近接する、画素値が記
憶されている背景画素に基づいて求めさせ、背景画像記
憶手段に書き込ませることができる。また、背景拡張手
段には、画素値が記憶されていない背景画素である未登
録背景画素の画素値を、それに近接する、画素値が記憶
されている背景画素である既登録背景画素との連続性に
基づいて求めさせ、背景画像記憶手段に書き込ませるこ
とができる。さらに、背景拡張手段には、未登録背景画
素と空間的に同一位置にある一連の画像の画素の画素値
の度数の割合が所定の順位内にある画素値が、未登録背
景画素に隣接する既登録背景画素の画素値と連続性を有
する場合、既登録背景画素の画素値と連続性を有する、
度数の割合が所定の順以内にある画素値に基づいて、未
登録背景画素の画素値を求めさせ、背景画像記憶手段に
書き込ませることができる。[0007] The background extending means determines the pixel value of the background pixel having no stored pixel value based on a background pixel having a pixel value stored in the vicinity thereof and writes the pixel value to the background image storing means. Can be. In addition, the background expansion means includes a pixel value of an unregistered background pixel which is a background pixel having no stored pixel value, and a continuation of the pixel value of an unregistered background pixel which is a background pixel having a pixel value stored therein. Based on the characteristics, and can be written in the background image storage means. Further, in the background expansion unit, a pixel value whose frequency ratio of a pixel value of a series of images at a spatially same position as an unregistered background pixel is within a predetermined order is adjacent to the unregistered background pixel. When having continuity with the pixel value of the registered background pixel, having continuity with the pixel value of the registered background pixel,
The pixel value of the unregistered background pixel can be determined based on the pixel value whose frequency ratio is within a predetermined order, and can be written to the background image storage means.
【0008】本発明の画像処理方法は、一連の画像か
ら、その各画面の背景の位置合わせを行った状態で空間
的に同一位置にある画素を検出する画素検出ステップ
と、空間的に同一位置にある画素の画素値の度数を計数
する度数計数ステップと、空間的に同一位置にある画素
の個数に対する度数の割合が所定値以上の画素値を、背
景画像を構成する背景画素の画素値として、背景画像を
記憶する背景画像記憶手段に記憶させる背景画像記憶ス
テップと、画素値が記憶された背景画素に基づいて、背
景画像記憶手段に記憶された背景画像を拡張する背景拡
張ステップとを含むことを特徴とする。According to the image processing method of the present invention, a pixel detecting step of detecting, from a series of images, pixels at the same spatial position in a state where the background of each screen is aligned, A frequency counting step of counting the frequency of the pixel value of the pixel in the pixel value, the pixel value of the ratio of the frequency to the number of pixels at the spatially same position is a predetermined value or more, as the pixel value of the background pixel constituting the background image A background image storing step of storing a background image in a background image storing unit, and a background expanding step of expanding the background image stored in the background image storing unit based on the background pixel in which the pixel value is stored. It is characterized by the following.
【0009】本発明の媒体がコンピュータに実行させる
プログラムは、一連の画像から、その各画面の背景の位
置合わせを行った状態で空間的に同一位置にある画素を
検出する画素検出ステップと、空間的に同一位置にある
画素の画素値の度数を計数する度数計数ステップと、空
間的に同一位置にある画素の個数に対する度数の割合が
所定値以上の画素値を、背景画像を構成する背景画素の
画素値として、背景画像を記憶する背景画像記憶手段に
記憶させる背景画像記憶ステップと、画素値が記憶され
た背景画素に基づいて、背景画像記憶手段に記憶された
背景画像を拡張する背景拡張ステップとを含むことを特
徴とする。The program executed by the computer according to the medium of the present invention includes a pixel detecting step of detecting, from a series of images, pixels at the same spatial position in a state where the background of each screen is aligned, A frequency counting step of counting the frequency of the pixel value of a pixel at the same position, and a pixel value having a ratio of the frequency to the number of pixels at the spatially same position that is equal to or greater than a predetermined value. A background image storing step of storing the background image as a pixel value in a background image storing unit that stores a background image; and a background extension that expands the background image stored in the background image storing unit based on the background pixel in which the pixel value is stored. And a step.
【0010】本発明の画像処理装置および画像処理方
法、並びに媒体においては、一連の画像から、その各画
面の背景の位置合わせを行った状態で空間的に同一位置
にある画素が検出され、その空間的に同一位置にある画
素の画素値の度数が計数される。そして、空間的に同一
位置にある画素の個数に対する度数の割合が所定値以上
の画素値が、背景画像を構成する背景画素の画素値とし
て、背景画像を記憶する背景画像記憶手段に記憶され、
画素値が記憶された背景画素に基づいて、背景画像記憶
手段に記憶された背景画像が拡張される。In the image processing apparatus, the image processing method, and the medium according to the present invention, pixels at the same spatial position are detected from a series of images while the background of each screen is aligned. The frequency of the pixel value of the pixel at the spatially same position is counted. Then, a pixel value in which the ratio of the frequency to the number of pixels at the same spatial position is equal to or greater than a predetermined value is stored as a pixel value of a background pixel forming the background image in a background image storage unit that stores the background image,
The background image stored in the background image storage unit is expanded based on the background pixel in which the pixel value is stored.
【0011】[0011]
【発明の実施の形態】図1は、本発明を適用した画像伝
送装置の一実施の形態の構成例を示している。FIG. 1 shows a configuration example of an embodiment of an image transmission apparatus to which the present invention is applied.
【0012】エンコーダ1には、ビデオカメラ等で撮影
された、符号化の対象となる画像(ここでは、動画像と
する)としてのディジタル画像データが供給されるよう
になっており、そこでは、その画像が符号化され、その
結果得られる符号化データが出力される。この符号化デ
ータは、例えば、衛星回線や、地上波、CATV(Cable
Television)網、インターネット、ISDN(Integrate
d Service Digital Network)等の伝送媒体3を介して伝
送され、あるいは、光ディスクや、光磁気ディスク、磁
気ディスク、磁気テープ、相変化ディスク等の記録媒体
4に記録される。[0012] The encoder 1 is supplied with digital image data as an image to be encoded (here, a moving image), which is photographed by a video camera or the like. The image is encoded, and the resulting encoded data is output. This encoded data is stored in, for example, a satellite line, a terrestrial wave, or a CATV (Cable Cable).
Television) network, Internet, ISDN (Integrate
d Service Digital Network) or recorded on a recording medium 4 such as an optical disk, a magneto-optical disk, a magnetic disk, a magnetic tape, and a phase change disk.
【0013】デコーダ2には、伝送媒体3を介して伝送
されてくる符号化データ、あるいは記録媒体4から再生
される符号化データが供給されるようになっており、デ
コーダ2では、そこに供給される符号化データが復号さ
れ、その結果得られる復号画像が、例えば、図示せぬモ
ニタ等に供給されて表示される。The decoder 2 is supplied with encoded data transmitted via the transmission medium 3 or encoded data reproduced from the recording medium 4. The encoded data is decoded, and the resulting decoded image is supplied to, for example, a monitor (not shown) and displayed.
【0014】以上のような画像伝送装置は、例えば、離
れた位置において画像の送受信を行う装置や、画像の記
録再生を行う装置等に適用することができる。The image transmission apparatus as described above can be applied to, for example, an apparatus for transmitting and receiving an image at a remote position, an apparatus for recording and reproducing an image, and the like.
【0015】次に、図2は、図1のエンコーダ1の構成
例を示している。Next, FIG. 2 shows an example of the configuration of the encoder 1 of FIG.
【0016】蓄積部11は、例えば、半導体メモリや磁
気ディスク等で構成され、エンコーダ1に供給される画
像データを一時記憶する。ここで、蓄積部11には、例
えば、あるシーンチェンジから次のシーンチェンジまで
等の一連の画像のフレーム単位で、画像データが入力さ
れて記憶されるようになっている。なお、ここでは、例
えば、図3に示すように、第1フレーム乃至第Nフレー
ムでなるNフレームの画像データが、一連の画像とし
て、蓄積部11に記憶されるものとする。The storage unit 11 is composed of, for example, a semiconductor memory or a magnetic disk, and temporarily stores image data supplied to the encoder 1. Here, the storage unit 11 receives and stores image data in a frame unit of a series of images from a certain scene change to a next scene change. Here, for example, as shown in FIG. 3, it is assumed that N frames of image data including the first to Nth frames are stored in the storage unit 11 as a series of images.
【0017】蓄積部11に、一連の画像としてのNフレ
ームの画像が記憶されると、カメラ動き検出部12は、
そのNフレームの画像を蓄積部11から読み出し、各フ
レームにおけるカメラ動きの方向と大きさを表すカメラ
動きベクトルを検出する。When an image of N frames as a series of images is stored in the storage unit 11, the camera motion detection unit 12
The image of the N frames is read from the storage unit 11, and a camera motion vector indicating the direction and magnitude of the camera motion in each frame is detected.
【0018】即ち、カメラ動き検出部12は、例えば、
図4(A)に示すように、第1フレームの左上の点を原
点とするとともに、その左から右方向、または上から下
方向を、それぞれx軸またはy軸とする座標系(以下、
適宜、基準座標系という)において、第1フレームのカ
メラ動きベクトルv1を0(=(0,0))に設定す
る。そして、カメラ動き検出部12は、第2フレーム乃
至第Nフレームについて、各フレームの背景の位置合わ
せを行ったときに、第nフレームの左上の点が位置する
基準座表系の座標(x,y)を、その第nフレームのカ
メラ動きベクトルvnとして求める。That is, the camera motion detection unit 12
As shown in FIG. 4 (A), a coordinate system (hereinafter, referred to as an x-axis or a y-axis) in which the upper left point of the first frame is the origin and the left to the right or the top to the bottom is the x axis or the y axis, respectively
In a reference coordinate system as appropriate), the camera motion vector v 1 of the first frame is set to 0 (= (0, 0)). Then, when the background of each frame is aligned with respect to the second to Nth frames, the camera motion detection unit 12 determines the coordinates (x, y) is obtained as the camera motion vector vn of the n- th frame.
【0019】具体的には、カメラ動き検出部12は、第
1フレームのカメラ動きベクトルv 1を0に設定した
後、図4(B)に示すように、基準座標系において、第
1フレームと背景どうしが一致するような第2フレーム
の位置を求め、その位置における第2フレームの左上の
点の座標を、そのカメラ動きベクトルv2として求め
る。さらに、カメラ動き検出部12は、図4(C)に示
すように、基準座標系において、背景の位置合わせを行
った第1フレームおよび第2フレームと背景どうしが一
致するような第3フレームの位置を求め、その位置にお
ける第3フレームの左上の点の座標を、そのカメラ動き
ベクトルv3として求める。Specifically, the camera motion detecting section 12
One frame camera motion vector v 1Set to 0
After that, as shown in FIG.
The second frame in which the background matches one frame
Of the second frame at that position
The coordinates of a point are represented by the camera motion vector vTwoAsked as
You. Further, the camera motion detection unit 12 is configured as shown in FIG.
In the reference coordinate system, the background is aligned.
The first and second frames and the background
Find the position of the third frame that matches, and
The coordinates of the upper left point of the third frame
Vector vThreeAsking.
【0020】以下、同様にして、カメラ動き検出部12
は、第4フレーム乃至第Nフレームのカメラ動きベクト
ルv4乃至vNも求めていく。Hereinafter, similarly, the camera motion detecting section 12
It is will be determined camera motion vector v 4 to v N of the fourth frame to the N-th frame.
【0021】なお、ここでは、説明を簡単にするため
に、カメラ動きとしては、水平および垂直方向の動きの
みを考え、回転は考えないものとする。但し、本発明
は、カメラ動きに回転がある場合でも適用可能である。Here, for simplicity of explanation, it is assumed that only horizontal and vertical movements are considered as camera movements, and rotation is not considered. However, the present invention is applicable even when the camera motion is rotated.
【0022】以上のようにして、カメラ動き検出部12
で検出された、一連の画像としての第1フレーム乃至第
Nフレームのカメラ動きベクトルv1乃至vNは、カメラ
動きベクトル記憶部13に供給されて記憶される。As described above, the camera motion detector 12
The camera motion vectors v 1 to v N of the first to N-th frames as a series of images detected by are supplied to the camera motion vector storage unit 13 and stored.
【0023】カメラ動きベクトル記憶部13において、
カメラ動きベクトルv1乃至vNが記憶されると、背景抽
出部14は、カメラ動きベクトル記憶部13から、カメ
ラ動きベクトルv1乃至vNを読み出すとともに、蓄積部
11から第1フレーム乃至第Nフレームの画像データを
読み出し、カメラ動きベクトルv1乃至vNに基づいて、
第1フレーム乃至第Nフレームの背景の位置合わせを行
うことで、その第1フレーム乃至第Nフレーム全体に亘
る背景(この背景は、例えば、一連の画像が、ビデオカ
メラをパンニングまたはチルティングして撮影されたも
のであれば、横長または縦長の画像となる)(以下、適
宜、全体背景という)を抽出する。背景抽出部14で抽
出された全体背景は、背景メモリ15に供給されて記憶
される。In the camera motion vector storage unit 13,
When the camera motion vectors v 1 to v N are stored, the background extraction unit 14 reads the camera motion vectors v 1 to v N from the camera motion vector storage unit 13 and reads the first to N-th frames from the storage unit 11. The image data of the frame is read out, and based on the camera motion vectors v 1 to v N ,
By performing the alignment of the backgrounds of the first frame to the Nth frame, the background over the entire first frame to the Nth frame (for example, the background is obtained by panning or tilting a video camera by panning or tilting a video camera) If the image has been taken, the image becomes a horizontally long image or a vertically long image (hereinafter, appropriately referred to as an entire background). The entire background extracted by the background extraction unit 14 is supplied to and stored in a background memory 15.
【0024】背景メモリ15において、全体背景が記憶
されると、前景符号化部16は、その全体背景のうち、
蓄積部11に記憶された各フレームの背景を、カメラ動
きベクトル記憶部13に記憶された各フレームのカメラ
動きベクトルに基づいて検出し、その検出された各フレ
ームの背景を、各フレームの画像から減算することで、
各フレームの前景を抽出する。さらに、前景符号化部1
6は、各フレームの前景を符号化し、その符号化結果
を、MUX(マルチプレクサ)17に出力する。When the entire background is stored in the background memory 15, the foreground encoding unit 16 outputs
The background of each frame stored in the storage unit 11 is detected based on the camera motion vector of each frame stored in the camera motion vector storage unit 13, and the detected background of each frame is extracted from the image of each frame. By subtracting,
Extract the foreground of each frame. Further, foreground encoding section 1
6 encodes the foreground of each frame and outputs the encoding result to a MUX (multiplexer) 17.
【0025】MUX17は、前景符号化部16から、前
景の符号化結果を受信すると、その前景の符号化結果
に、カメラ動きベクトル記憶部13に記憶されたカメラ
動きベクトルと、背景メモリ15に記憶された全体背景
とを多重化し、その多重化結果を、符号化データとして
出力する。Upon receiving the foreground encoding result from the foreground encoding unit 16, the MUX 17 stores the camera motion vector stored in the camera motion vector storage unit 13 and the camera motion vector stored in the background memory 15 in the foreground encoding result. The multiplexed data is multiplexed with the entire background, and the multiplexed result is output as encoded data.
【0026】エンコーダ1では、以上のように、画像デ
ータが、一連の画像単位で符号化される。In the encoder 1, as described above, the image data is encoded in a series of image units.
【0027】次に、図5は、図2のカメラ動き検出部1
2の構成例を示している。Next, FIG. 5 shows the camera motion detector 1 shown in FIG.
2 shows a configuration example.
【0028】重心算出部21には、蓄積部11(図2)
に記憶された一連の画像が、フレーム単位で供給される
ようになっており、重心算出部21は、各フレームにつ
いて、後述するような重心を求めるようになっている。
さらに、重心算出部21は、蓄積画像メモリ24に記憶
された、後述する蓄積画像に対して、注目している注目
フレームのカメラ動きベクトルを検出するのに用いる範
囲(以下、適宜、動き検出範囲という)を設定し、その
動き検出範囲の重心も求めるようになっている。重心算
出部21で求められる注目フレームおよび動き検出範囲
の重心は、ベクトル検出部22に供給されるようになっ
ている。The center-of-gravity calculating section 21 has a storage section 11 (FIG. 2).
Are supplied on a frame-by-frame basis, and the center-of-gravity calculator 21 calculates a center of gravity for each frame as described later.
Further, the center-of-gravity calculation unit 21 uses a range used for detecting a camera motion vector of a focused frame of interest for a stored image stored in the stored image memory 24 (hereinafter, a motion detection range as appropriate). Is set), and the center of gravity of the motion detection range is also obtained. The center of gravity of the frame of interest and the motion detection range obtained by the center of gravity calculation unit 21 are supplied to the vector detection unit 22.
【0029】ベクトル検出部22は、重心算出部21か
ら供給される注目フレームおよび動き検出範囲の重心に
基づいて、注目フレームのカメラ動きベクトルを検出
し、カメラ動きベクトル記憶部13(図2)に供給する
とともに、書き込み制御部23に供給するようになって
いる。The vector detector 22 detects a camera motion vector of the frame of interest based on the frame of interest supplied from the center of gravity calculator 21 and the center of gravity of the motion detection range, and stores it in the camera motion vector memory 13 (FIG. 2). The data is supplied to the write control unit 23 in addition to the data.
【0030】書き込み制御部23は、ベクトル検出部2
2からのカメラ動きベクトルに基づいて、蓄積画像メモ
リ24が注目フレームの画像データを記憶するアドレス
を制御するようになっている。蓄積画像メモリ24は、
蓄積部11(図2)から、注目フレームの画像データを
読み出し、書き込み制御部23が指定するアドレスに記
憶するようになっている。The writing control unit 23 includes the vector detecting unit 2
The stored image memory 24 controls the address at which the image data of the frame of interest is stored based on the camera motion vector from Step 2. The stored image memory 24
The image data of the frame of interest is read from the storage unit 11 (FIG. 2) and stored at the address specified by the write control unit 23.
【0031】次に、図6を参照して、図5のカメラ動き
検出部12において行われる、カメラ動きベクトルを検
出するカメラ動き検出処理について説明する。Next, with reference to FIG. 6, a description will be given of a camera motion detecting process for detecting a camera motion vector, which is performed in the camera motion detecting section 12 of FIG.
【0032】カメラ動き検出部12が行うカメラ動き検
出処理は、画像の重心が、カメラ動きによって移動する
ことに着目し、基本的には、各フレームの重心が一致す
るように、各フレームの位置合わせを行い、その位置合
わせを行った状態での、各フレームの左上の点が、各フ
レームのカメラ動きベクトルとして検出されるようにな
っている。The camera motion detection processing performed by the camera motion detection unit 12 focuses on the fact that the center of gravity of an image moves due to camera movement, and basically, the position of each frame is adjusted so that the center of gravity of each frame matches. The upper left point of each frame in the state where the alignment is performed and the alignment is performed is detected as the camera motion vector of each frame.
【0033】即ち、いま、第nフレームを注目フレーム
とすると、蓄積画像メモリ24には、注目フレームの前
のフレームまでのフレームである第1乃至第n−1フレ
ームの画像データを、その順番で、各フレームの背景の
位置合わせを行って重ね合わせた状態の画像(蓄積画
像)が記憶されている。That is, assuming that the n-th frame is the frame of interest, the stored image memory 24 stores the image data of the first to (n-1) -th frames up to the frame preceding the frame of interest in that order. , An image (accumulated image) in a state where the background of each frame is aligned and superimposed.
【0034】この場合、重心算出部21は、図6(A)
に示すように、注目フレームである第nフレームの重心
cnを求める。さらに、重心算出部21は、図6(B)
に示すように、蓄積画像メモリ24に記憶された蓄積画
像の中の、注目フレームの1フレーム前の第n−1フレ
ームを包含する範囲を、動き検出範囲とし、その動き検
出範囲の重心cを求める。ここで、動き検出範囲として
は、例えば、第n−1フレームの上下左右の各方向に、
所定の画素数だけ広い範囲が設定される。In this case, the center-of-gravity calculation unit 21 determines whether the center of gravity
As shown in (1), the center of gravity c n of the n-th frame which is the frame of interest is obtained. Further, the center-of-gravity calculator 21 calculates the center of gravity shown in FIG.
As shown in the figure, the range including the (n-1) th frame one frame before the frame of interest in the stored image stored in the stored image memory 24 is defined as the motion detection range, and the center of gravity c of the motion detection range is defined as Ask. Here, as the motion detection range, for example, in each of the upper, lower, left and right directions of the (n-1) th frame,
A wide range is set by a predetermined number of pixels.
【0035】注目フレームの重心cn、および動き検出
範囲の重心cが求められると、ベクトル検出部22で
は、図6(C)に示すように、動き検出範囲の重心c
に、注目フレームの重心cnが一致した状態での、注目
フレームの左上の点の位置が求められ、その位置の座標
が、注目フレームである第nフレームのカメラ動きベク
トルvnとして出力される。When the barycenter c n of the frame of interest and the barycenter c of the motion detection range are obtained, the vector detector 22 calculates the barycenter c of the motion detection range as shown in FIG.
In the state where the center of gravity c n of the frame of interest coincides, the position of the upper left point of the frame of interest is determined, and the coordinates of the position are output as the camera motion vector vn of the n- th frame that is the frame of interest. .
【0036】即ち、第nフレームを、注目フレームとし
て、そのカメラ動きベクトルvnを求める場合には、そ
の1フレーム前までのカメラ動きベクトルは、既に求ま
っている。そこで、図6(C)に示すように、動き検出
範囲の重心cの、第n−1フレームの左上の点を基準と
する位置をベクトルv’cで表すとともに、注目フレー
ムである第nフレームの重心cnの、その第nフレーム
の左上の点を基準とする位置をベクトルv’cnで表すと
すると、動き検出範囲の重心cと、注目フレームの重心
cnとが一致した状態での、注目フレームの左上の点の
位置の、基準座標系における座標が、注目フレームの動
きベクトルvnとなる。そして、このカメラ動きベクト
ルvnは、注目フレームの1フレーム前の第n−1フレ
ームの動きベクトルvn-1に、動き検出範囲の重心cの
位置を表すベクトルv’cを加算し、さらに、注目フレ
ームの重心cnの位置を表すベクトルv’cnを減算する
ことで求めることができる。即ち、注目フレームのカメ
ラ動きベクトルvnは、式vn=vn-1+v’c−v’cnを
計算することで求めることができる。That is, when the camera motion vector v n is obtained by using the n-th frame as the frame of interest, the camera motion vectors up to one frame before that have already been obtained. Therefore, as shown in FIG. 6 (C), the centroid c of the motion detection range, represents a point relative to the containing of the upper-left of the n-1 frame vector v 'c, the n-th frame is a frame of interest If the position of the center of gravity c n of the nth frame with respect to the upper left point of the n-th frame is represented by a vector v′cn , the center of gravity c of the motion detection range and the center of gravity c n of the frame of interest coincide with each other. , the position of the upper left point of the frame of interest, the coordinates in the reference coordinate system, the motion vector v n of the frame of interest. Then, the camera motion vector v n is the motion vector v n-1 of the (n-1) th frame of one frame before the frame of interest, by adding the vector v 'c indicating the position of the center of gravity c of the motion detection range, further , A vector v ′ cn representing the position of the center of gravity c n of the frame of interest. That is, the camera motion vector v n of the frame of interest can be determined by calculating the equation v n = v n-1 + v 'c -v' cn.
【0037】以上のようにして、注目フレームのカメラ
動きベクトルvnが求められた後は、書き込み制御部2
3において、そのカメラ動きベクトルvnに基づいて、
蓄積画像メモリ24における注目フレームの画像データ
を書き込むための書き込みアドレスが制御される。即
ち、これにより、蓄積画像メモリ24では、基準座標系
において、カメラ動きベクトルvnによって示される点
に、その左上の点が位置するように、注目フレームの画
像データが、上書きする形で書き込まれ、その書き込み
の結果得られる画像が、次の第n+1フレームを注目フ
レームとして、そのカメラ動きベクトルvn+1を検出す
る際の蓄積画像として用いられる。After the camera motion vector v n of the frame of interest is obtained as described above, the write control unit 2
In 3, based on the camera motion vector v n,
A write address for writing the image data of the frame of interest in the storage image memory 24 is controlled. That is, by this, the stored image memory 24, the reference coordinate system, the point indicated by the camera motion vector v n, as points of the upper left position, the image data of the frame of interest, written in the form of overwriting The image obtained as a result of the writing is used as an accumulated image when the camera motion vector v n + 1 is detected using the next (n + 1) th frame as a target frame.
【0038】次に、図7のフローチャートを参照して、
図5のカメラ動き検出部12におけるカメラ動き検出処
理について、さらに説明する。Next, referring to the flowchart of FIG.
The camera motion detection processing in the camera motion detection unit 12 in FIG. 5 will be further described.
【0039】まず最初に、蓄積部11に記憶された一連
の画像のうちの第1フレームが注目フレームとして読み
出され、重心算出部21に供給されるとともに、蓄積画
像メモリ24の記憶値がクリアされる。First, the first frame of a series of images stored in the storage unit 11 is read as a frame of interest, supplied to the center-of-gravity calculation unit 21, and the stored value of the storage image memory 24 is cleared. Is done.
【0040】そして、重心算出部21では、ステップS
1において、注目フレームが第1フレームであるかどう
かが判定される。ステップS1において、注目フレーム
が第1フレームであると判定された場合、ステップS2
に進み、ベクトル検出部22は、そのカメラ動きベクト
ルv1として0を設定し、カメラ動きベクトル記憶部1
3および書き込み制御部23に出力して、ステップS6
に進む。Then, the center-of-gravity calculating section 21 proceeds to step S
At 1, it is determined whether the frame of interest is the first frame. If it is determined in step S1 that the frame of interest is the first frame, step S2
The vector detection unit 22 sets 0 as the camera motion vector v 1 and sets the camera motion vector storage unit 1
3 and the output to the write control unit 23 in step S6.
Proceed to.
【0041】ステップS6では、書き込み制御部23
は、ベクトル検出部22からのカメラ動きベクトルに基
づいて、蓄積画像メモリ24における書き込みアドレス
を制御し、これにより、蓄積画像メモリ24に、注目フ
レームを書き込む。即ち、いまの場合、注目フレームは
第1フレームであり、そのカメラ動きベクトルv1は0
であるから、蓄積画像メモリ24では、基準座標系にお
ける原点に、その左上の点が位置するように、第1フレ
ームの画像データが書き込まれる。In step S6, the write control unit 23
Controls the write address in the storage image memory 24 based on the camera motion vector from the vector detection unit 22, thereby writing the frame of interest in the storage image memory 24. That is, in this case, the frame of interest is the first frame, and its camera motion vector v 1 is 0.
Therefore, in the stored image memory 24, the image data of the first frame is written so that the upper left point is located at the origin in the reference coordinate system.
【0042】その後、ステップS7に進み、蓄積部11
に、一連の画像を構成する次のフレームがあるかどうか
が判定され、あると判定された場合、その、次のフレー
ムが、新たに注目フレームとして読み出され、重心算出
部21に供給される。そして、ステップS1に戻り、以
下、同様の処理が繰り返される。Thereafter, the process proceeds to step S7, where the storage unit 11
It is determined whether there is a next frame that constitutes a series of images. If it is determined that the next frame exists, the next frame is newly read out as a frame of interest and supplied to the center-of-gravity calculator 21. . Then, the process returns to step S1, and thereafter, the same processing is repeated.
【0043】一方、ステップS1において、注目フレー
ムが第1フレームでないと判定された場合、即ち、第2
フレーム乃至第Nフレームのうちのいずれかである場
合、ステップS3に進み、重心算出部21において、注
目フレームの重心を求める重心算出処理が行われ、ステ
ップS4に進む。ステップS4では、重心算出部21に
おいて、蓄積画像メモリ24に記憶された蓄積画像の中
に、注目フレームに対する動き検出範囲が設定され、そ
の動き検出範囲の重心を求める重心算出処理が行われ、
ステップS5に進む。On the other hand, if it is determined in step S1 that the frame of interest is not the first frame,
If it is any one of the frames to the N-th frame, the process proceeds to step S3, where the center-of-gravity calculation unit 21 performs a center-of-gravity calculation process for finding the center of gravity of the frame of interest, and proceeds to step S4. In step S4, the center-of-gravity calculating unit 21 sets a motion detection range for the frame of interest in the stored image stored in the stored image memory 24, and performs a center-of-gravity calculation process for calculating the center of gravity of the motion detection range.
Proceed to step S5.
【0044】ステップS5では、ベクトル検出部22に
おいて、重心算出部21で求められた注目フレームの重
心と、動き検出範囲の重心とから、図6で説明したよう
にして、注目フレームのカメラ動きベクトルが求めら
れ、カメラ動きベクトル記憶部13および書き込み制御
部23に出力される。In step S5, the vector detection unit 22 calculates the camera motion vector of the frame of interest from the center of gravity of the frame of interest obtained by the center of gravity calculation unit 21 and the center of gravity of the motion detection range as described with reference to FIG. Is output to the camera motion vector storage unit 13 and the writing control unit 23.
【0045】そして、ステップS6に進み、上述したよ
うに、書き込み制御部23において、ベクトル検出部2
2からのカメラ動きベクトルに基づいて、蓄積画像メモ
リ24における書き込みアドレスが制御され、これによ
り、蓄積画像メモリ24に、注目フレームが書き込まれ
る。即ち、蓄積画像メモリ24では、基準座標系におい
て、注目フレームのカメラ動きベクトルによって示され
る点に、その左上の点が位置するように、注目フレーム
の画像データが書き込まれる(上書きされる)。Then, the process proceeds to step S6, and as described above, the writing control unit 23 sets the vector detection unit 2
The write address in the stored image memory 24 is controlled on the basis of the camera motion vector from No. 2, whereby the frame of interest is written in the stored image memory 24. That is, in the stored image memory 24, the image data of the target frame is written (overwritten) so that the upper left point is located at the point indicated by the camera motion vector of the target frame in the reference coordinate system.
【0046】その後、ステップS7に進み、上述したよ
うに、蓄積部11に、一連の画像を構成する次のフレー
ムがあるかどうかが判定され、ないと判定された場合、
即ち、一連の画像を構成する第1乃至第Nフレームそれ
ぞれのカメラ動きベクトルが求められた場合、カメラ動
き検出処理を終了する。Thereafter, the process proceeds to step S7, and as described above, it is determined whether or not the storage unit 11 has the next frame that forms a series of images.
That is, when the camera motion vector of each of the first to N-th frames forming a series of images is obtained, the camera motion detection processing ends.
【0047】次に、図8のフローチャートを参照して、
図7のステップS3において、重心算出部21が行う処
理(注目フレームの重心算出処理)について詳述する。Next, referring to the flowchart of FIG.
The processing performed by the center-of-gravity calculation unit 21 (center-of-gravity calculation processing of the frame of interest) in step S3 in FIG. 7 will be described in detail.
【0048】まず最初に、ステップS11において、変
数XまたはYに対して、注目フレームの横(水平方向)
の画素数、または縦(垂直方向)の画素数が、それぞれ
セットされ、ステップS12に進む。First, in step S11, the horizontal (horizontal direction) of the frame of interest is set with respect to the variable X or Y.
Or the number of pixels in the vertical direction (vertical direction) is set, and the process proceeds to step S12.
【0049】ステップS12では、注目フレームの各画
素のy座標を表す変数yに、初期値としての、例えば−
1がセットされ、ステップS22に進み、変数yが1だ
けインクリメントされる。In step S12, a variable y representing the y coordinate of each pixel of the frame of interest is set to, for example,-
1 is set, the process proceeds to step S22, and the variable y is incremented by 1.
【0050】ここで、注目フレームを構成する各画素の
座標は、その最も左上の画素を原点とし、左から右方
向、または上から下方向に、それぞれx軸またはy軸を
とって表すものとする。Here, the coordinates of each pixel constituting the frame of interest are represented by taking the x-axis or the y-axis from left to right or from top to bottom with the upper left pixel as the origin. I do.
【0051】その後、ステップS14に進み、変数y
が、注目フレームの縦の画素数Y未満であるかどうかが
判定される。ステップS14において、変数yがY未満
であると判定された場合、ステップS15に進み、注目
フレームの各画素のx座標を表す変数xに、初期値とし
ての、例えば−1がセットされ、ステップS16に進
む。Thereafter, the process proceeds to step S14, where the variable y
Is smaller than the number of vertical pixels Y of the frame of interest. If it is determined in step S14 that the variable y is smaller than Y, the process proceeds to step S15, in which a variable x representing the x coordinate of each pixel of the frame of interest is set to an initial value, for example, -1. Proceed to.
【0052】ステップS16では、変数xが1だけイン
クリメントされ、ステップS17に進み、変数xが、注
目フレームの横の画素数X未満であるかどうかが判定さ
れる。ステップS17において、変数xがX未満でない
と判定された場合、ステップS13に戻り、以下、同様
の処理が繰り返される。In step S16, the variable x is incremented by one, and the flow advances to step S17 to determine whether or not the variable x is less than the number X of horizontal pixels of the frame of interest. If it is determined in step S17 that the variable x is not smaller than X, the process returns to step S13, and the same processing is repeated.
【0053】また、ステップS17において、変数xが
X未満であると判定された場合、ステップS18に進
み、座標(x,y)にある画素p(x,y)が注目画素
とされ、その注目画素が、その画素値に基づいて、あら
かじめ設定されたレベルのうちのいずれかに分類され
る。If it is determined in step S17 that the variable x is smaller than X, the process proceeds to step S18, where the pixel p (x, y) at the coordinates (x, y) is set as the target pixel. Pixels are classified into one of preset levels based on their pixel values.
【0054】即ち、本実施の形態では、画素値としてと
り得る値の範囲が、幾つかの範囲に、あらかじめ分割さ
れている。そして、いま、例えば、画素値としてとり得
る値の範囲がK個の範囲に分割されており、このK個の
範囲を、画素値の小さい範囲から順番に、レベル1,
2,・・・,Kというものとすると、ステップS18で
は、画素値がレベル1乃至Kのうちのいずれの範囲に属
するかによって、注目画素が分類される。That is, in this embodiment, the range of values that can be taken as pixel values is divided in advance into several ranges. Now, for example, the range of values that can be taken as pixel values is divided into K ranges, and the K ranges are divided into levels 1 and 1 in ascending order of pixel values.
Assuming that 2,..., K, in step S18, the target pixel is classified according to which of the levels 1 to K the pixel value belongs to.
【0055】さらに、ステップS18では、注目画素の
レベル分類結果が、レベルテーブルに登録される。Further, in step S18, the level classification result of the target pixel is registered in the level table.
【0056】即ち、重心算出部21は、その内蔵するメ
モリ(図示せず)に、例えば、図9に示すような、各レ
ベルk(k=1,2,・・・,K)について、そのレベ
ルkに属する画素の度数fkと、レベルkに属する画素
のx座標の積算値Σxkおよびy座標の積算値Σykを対
応付けたレベルテーブルを記憶しており、例えば、注目
画素の画素値がレベルkに属する場合には、レベルテー
ブルにおけるレベルkについての度数fkを1だけイン
クリメントするとともに、x座標の積算値Σxkまたは
y座標の積算値Σykに、注目画素のx座標またはy座
標をそれぞれ加算する。That is, the center-of-gravity calculator 21 stores, for example, each level k (k = 1, 2,..., K) as shown in FIG. A level table is stored in which the frequency f k of the pixel belonging to the level k is associated with the integrated value Σx k of the pixel belonging to the level k and the integrated value Σy k of the y coordinate. If the value belongs to level k is the frequency f k as well as incremented by one for level k in the level table, the integrated value .sigma.y k of the integrated value? x k or y-coordinate of the x-coordinate, the x coordinate of the pixel of interest or Add the y-coordinates respectively.
【0057】なお、レベルテーブルは、図8のフローチ
ャートにしたがった処理が開始されるごとに、0にクリ
アされるようになっている。The level table is cleared to 0 every time the processing according to the flowchart of FIG. 8 is started.
【0058】そして、ステップS16に戻り、以下、同
様の処理が繰り返される。Then, the process returns to step S16, and thereafter, the same processing is repeated.
【0059】一方、ステップS14において、変数yが
Y未満でないと判定された場合、即ち、注目フレームを
構成する各画素を注目画素として処理を行い、注目フレ
ームを構成するすべての画素を、レベルテーブルに登録
した場合、ステップS19に進み、レベルテーブルの各
レベルに属する画素の重心が求められる。即ち、ステッ
プS19では、レベルテーブルの各レベルkにおけるx
座標の積算値Σxkまたはy座標の積算値Σykそれぞれ
が、その度数fkで除算され、その除算値で表される座
標(Σxk/fk,Σyk/fk)が、各レベルkに属する
画素の重心として求められる。On the other hand, if it is determined in step S14 that the variable y is not less than Y, ie, each pixel constituting the frame of interest is processed as the pixel of interest, and all the pixels constituting the frame of interest are stored in the level table. In step S19, the center of gravity of the pixel belonging to each level of the level table is obtained. That is, in step S19, x at each level k in the level table
Each accumulated value .sigma.y k of the integrated value? X k or y-coordinate of the coordinates, is divided by the frequency f k, the coordinates (Σx k / f k, Σy k / f k) represented by the division value, each level It is obtained as the center of gravity of the pixel belonging to k.
【0060】そして、ステップS20に進み、レベル1
乃至Kそれぞれに属する画素の重心の重心が、注目フレ
ームを構成する画素全体の重心として求められ、リター
ンする。Then, the process proceeds to a step S20, where the level 1
To K are obtained as the centroids of the pixels constituting the frame of interest, and the process returns.
【0061】即ち、ステップS20では、レベル1乃至
Kそれぞれに属する画素の重心について、例えば、その
度数f1乃至fKを重みとする重み付け平均値が求めら
れ、その重み付け平均値が、注目フレームを構成する画
素全体の重心として出力される。[0061] That is, in step S20, the center of gravity of the pixels belonging to each level 1 to K, for example, the weighted average value of the frequency f 1 to f K and the weight is determined, its weighted average value, the frame of interest It is output as the center of gravity of all the constituent pixels.
【0062】次に、図10のフローチャートを参照し
て、図7のステップS4において、重心算出部21が行
う処理(動き検出範囲の重心算出処理)について詳述す
る。Next, with reference to the flowchart of FIG. 10, the processing performed by the center-of-gravity calculating section 21 in step S4 of FIG. 7 (the center-of-gravity calculation of the motion detection range) will be described in detail.
【0063】まず最初に、ステップS31において、動
き検出範囲が設定される。即ち、ステップS31では、
蓄積画像メモリ24に記憶された蓄積画像から、注目フ
レームの1フレーム前のフレームが書き込まれた範囲が
検出される。さらに、ステップS31では、その検出さ
れた範囲が、例えば、上下左右方向に、それぞれ所定の
画素数だけ拡げられ、その拡げられた範囲が、動き検出
範囲として設定される。First, in step S31, a motion detection range is set. That is, in step S31,
From the stored image stored in the stored image memory 24, a range in which a frame one frame before the frame of interest is written is detected. Further, in step S31, the detected range is expanded by, for example, a predetermined number of pixels in each of the vertical and horizontal directions, and the expanded range is set as a motion detection range.
【0064】そして、ステップS32に進み、変数Xま
たはYに対して、動き検出範囲の横の画素数、または縦
の画素数が、それぞれセットされ、ステップS33に進
む。Then, the process proceeds to step S32, where the number of horizontal pixels or the number of vertical pixels in the motion detection range is set for the variable X or Y, respectively, and the process proceeds to step S33.
【0065】その後、ステップS33乃至S41におい
ては、図8のステップS12乃至S20における場合と
それぞれ同様の処理が行われ、これにより、動き検出範
囲を構成する画素全体の重心が求められ、リターンす
る。Thereafter, in steps S33 to S41, the same processing as in steps S12 to S20 in FIG. 8 is performed, whereby the barycenter of all the pixels constituting the motion detection range is obtained, and the process returns.
【0066】以上のように、カメラ動き検出部12で
は、蓄積画像の中の、注目フレームの1フレーム前のフ
レームを含む所定の範囲を、動き検出範囲として設定
し、その動き検出範囲の重心と、注目フレームの重心を
算出し、それらの重心に基づいて、注目フレームのカメ
ラ動きベクトルを求め、そのカメラ動きベクトルに基づ
いて、注目フレームを、蓄積画像に書き込むことを繰り
返すようにしたので、いわゆるブロックマッチングを行
う場合に比較して、カメラ動きベクトルを、簡易に求め
ることができる。As described above, the camera motion detecting section 12 sets a predetermined range including the frame immediately before the frame of interest in the accumulated image as the motion detection range, and determines the center of gravity of the motion detection range and the predetermined range. The center of gravity of the frame of interest is calculated, the camera motion vector of the frame of interest is calculated based on the center of gravity, and the writing of the frame of interest to the accumulated image is repeated based on the camera motion vector. A camera motion vector can be easily obtained as compared with the case where block matching is performed.
【0067】なお、図7の実施の形態では、ステップS
3において、注目フレームの重心を求め、その後、ステ
ップS4において、動き検出範囲の重心を求めるように
したが、注目フレームの重心と、動き検出範囲の重心
は、どちらを先に求めても良いし、また、同時に求める
ようにすることも可能である。In the embodiment shown in FIG. 7, step S
3, the center of gravity of the frame of interest is obtained, and then, in step S4, the center of gravity of the motion detection range is obtained. However, either the center of gravity of the frame of interest or the center of motion detection may be obtained first. It is also possible to ask at the same time.
【0068】次に、図8の実施の形態では、注目フレー
ムの重心を、その注目フレームを構成する各画素を、そ
の画素値によって、幾つかのレベルのうちのいずれかに
分類(以下、適宜、レベル分類という)することで求め
るようにしたが、注目フレームの重心は、その他、例え
ば、その注目フレームを構成する各画素を、その周辺に
ある幾つかの画素(自身を含めても良いし、含めなくて
も良い)に基づいて、幾つかのクラスのうちのいずれか
に分類(以下、適宜、クラス分類という)することで行
うことも可能である。Next, in the embodiment of FIG. 8, the center of gravity of the frame of interest is classified into one of several levels according to the pixel value of each pixel constituting the frame of interest (hereinafter referred to as appropriate). However, the center of gravity of the frame of interest may be determined by, for example, replacing each pixel constituting the frame of interest with some of its surrounding pixels (including itself). , May not be included), and may be classified into any of several classes (hereinafter, appropriately referred to as class classification).
【0069】ここで、クラス分類について、簡単に説明
する。いま、例えば、注目画素について、その上下左右
にそれぞれ隣接する4画素と、注目画素自身との合計5
画素で、注目画素のクラス分類に用いるタップ(以下、
適宜、クラスタップという)を構成するものとする。こ
の場合、例えば、画素値が1ビットで表現される(0ま
たは1のうちのいずれかの値となる)ものとすると、注
目画素は、その注目画素について構成されるクラスタッ
プの5画素が取り得る画素値によって、32(=
(21)5)のパターンに分類することができる。このよ
うなパターン分けがクラス分類であり、いまの場合、注
目画素は、32のクラスのうちのいずれかに分類される
ことになる。Here, the classification will be briefly described. Now, for example, for the pixel of interest, a total of 5 pixels including four pixels adjacent to the pixel at the top, bottom, left and right, and the pixel of interest itself
For the pixel, taps used for classifying the pixel of interest (hereinafter, taps)
(Referred to as a class tap as appropriate). In this case, for example, assuming that the pixel value is represented by one bit (either 0 or 1), five pixels of the class tap configured for the pixel of interest are taken as the pixel of interest. Depending on the obtained pixel value, 32 (=
(2 1 ) 5 ) The pattern can be classified. Such pattern division is a class classification, and in this case, the target pixel is classified into one of 32 classes.
【0070】なお、一般には、画素に対して、8ビット
程度が割り当てられるが、画素に8ビットが割り当てら
れている場合には、上述のように5画素でなるクラスタ
ップを構成してクラス分類を行うと、そのクラス数は、
(28)5という膨大な数になる。In general, about 8 bits are assigned to a pixel. However, when 8 bits are assigned to a pixel, a class tap composed of 5 pixels is formed as described above to perform class classification. And the number of classes is
(2 8 ) This is a huge number of 5 .
【0071】そこで、クラス分類は、注目画素について
構成されるクラスタップに対して、LビットADRC(Adapti
ve Dynamic Range Coding)処理し、そのADRC処理後のク
ラスタップに基づいて行うようにすることができる。Therefore, the class classification is based on the L bit ADRC (Adapti
ve Dynamic Range Coding) processing, and can be performed based on the class tap after the ADRC processing.
【0072】ここで、LビットADRC処理においては、例
えば、クラスタップを構成する画素の画素値の最大値MA
Xと最小値MINが検出され、DR=MAX-MINを、集合の局所的
なダイナミックレンジとし、このダイナミックレンジDR
に基づいて、クラスタップを構成する画素がLビットに
再量子化される。即ち、クラスタップを構成する画素の
画素値の中から、最小値MINが減算され、その減算値がD
R/2Lで除算(量子化)される。従って、クラスタップ
が、LビットADRC処理された場合には、そのクラスタッ
プを構成する各画素の画素値はLビットとされることに
なり、Lを、画素に割り当てられたビット数より小さい
値とすることで、クラスタップをADRC処理せずにクラス
分類を行う場合に比較して、クラス数を減少させること
ができる。Here, in the L-bit ADRC processing, for example, the maximum value MA of the pixel values of the pixels constituting the class tap is calculated.
X and the minimum value MIN are detected, and DR = MAX-MIN is set as the local dynamic range of the set.
, Pixels constituting the class tap are requantized to L bits. That is, the minimum value MIN is subtracted from the pixel values of the pixels constituting the class tap, and the subtracted value is D.
In R / 2 L is divided (quantized). Therefore, when an L-bit ADRC process is performed on a class tap, the pixel value of each pixel forming the class tap is L bits, and L is set to a value smaller than the number of bits assigned to the pixel. By doing so, the number of classes can be reduced as compared with the case where class classification is performed without performing ADRC processing on class taps.
【0073】なお、フレームの上端、下端、左端、また
は右端の画素が注目画素となった場合には、その上、
下、左、または右に隣接する画素は存在しないため、こ
の場合には、例えば、フレームの上側、下側、左側、ま
たは右側に、同一フレームが折り返して存在するものと
仮定して、クラスタップを構成するものとする。If the pixel at the upper end, lower end, left end, or right end of the frame is the pixel of interest,
Since there is no pixel adjacent to the bottom, left, or right, in this case, for example, assuming that the same frame is folded at the top, bottom, left, or right of the frame, the class tap Shall be constituted.
【0074】次に、図11のフローチャートを参照し
て、注目フレームを構成する各画素を、その画素につい
てのクラスタップに基づいてクラス分類することによ
り、注目フレームの重心を求める場合の、重心算出部2
1で行われる処理(注目フレームの重心算出処理)につ
いて説明する。Next, with reference to the flowchart of FIG. 11, the pixels constituting the frame of interest are classified into classes based on the class taps of the pixels, so that the center of gravity of the frame of interest is calculated. Part 2
The process performed in step 1 (the process of calculating the center of gravity of the frame of interest) will be described.
【0075】この場合、ステップS51乃至S57にお
いて、図8のステップS11乃至S17における場合と
それぞれ同様の処理が行われる。そして、図8のステッ
プS18に対応するステップS58では、座標(x,
y)にある画素p(x,y)が注目画素とされ、その注
目画素についてクラスタップが構成される。そして、注
目画素が、そのクラスタップに基づいて、例えば、K個
のクラスのうちのいずれかにクラス分類され、そのクラ
ス分類結果が、クラステーブルに登録される。In this case, in steps S51 to S57, the same processes as those in steps S11 to S17 in FIG. 8 are performed. Then, in step S58 corresponding to step S18 in FIG. 8, the coordinates (x,
A pixel p (x, y) in y) is set as a target pixel, and a class tap is formed for the target pixel. Then, the pixel of interest is classified into, for example, one of K classes based on the class tap, and the result of the classification is registered in the class table.
【0076】即ち、図11の実施の形態においては、重
心算出部21は、その内蔵するメモリに、例えば、図1
2に示すような、各クラスk(k=1,2,・・・,
K)について、そのクラスkに属する画素の度数f
kと、クラスkに属する画素のx座標の積算値Σxkおよ
びy座標の積算値Σykを対応付けたクラステーブルを
記憶しており、例えば、注目画素がクラスkに属する場
合には、クラステーブルにおけるクラスkについての度
数fkを1だけインクリメントするとともに、x座標の
積算値Σxkまたはy座標の積算値Σykに、注目画素の
x座標またはy座標をそれぞれ加算する。That is, in the embodiment shown in FIG. 11, the center-of-gravity calculator 21 stores, for example, the memory shown in FIG.
2, each class k (k = 1, 2,...,
K), the frequency f of the pixel belonging to the class k
and k, stores the class table that associates an integrated value .sigma.y k of the integrated value? x k and y coordinates of the x-coordinate of the pixels belonging to class k, for example, when the pixel of interest belongs to a class k, the class the frequency f k as well as incremented by one for class k in the table, to the integrated value .sigma.y k of the integrated value? x k or y-coordinate of the x-coordinate, adds the x coordinate or y-coordinate of the pixel of interest, respectively.
【0077】なお、クラステーブルは、レベルテーブル
と同様に、図11のフローチャートにしたがった処理が
開始されるごとに、0にクリアされるようになってい
る。The class table, like the level table, is cleared to 0 every time the processing according to the flowchart of FIG. 11 is started.
【0078】ステップS58の処理後は、ステップS5
6に戻り、以下、同様の処理が繰り返される。After the processing in step S58, step S5
6, the same process is repeated.
【0079】一方、ステップS54において、変数yが
Y未満でないと判定された場合、ステップS59に進
み、クラステーブルの各クラスに属する画素の重心が求
められる。即ち、ステップS59では、クラステーブル
の各クラスkにおけるx座標の積算値Σxkまたはy座
標の積算値Σykそれぞれが、その度数fkで除算され、
その除算値で表される座標(Σxk/fk,Σyk/fk)
が、各クラスkに属する画素の重心として求められる。On the other hand, if it is determined in step S54 that the variable y is not smaller than Y, the process proceeds to step S59, and the barycenter of the pixel belonging to each class in the class table is obtained. That is, in step S59, the integrated value Σx k of the x coordinate or the integrated value Σy k of the y coordinate in each class k of the class table is divided by the frequency f k ,
Coordinates (Σx k / f k , Σy k / f k ) represented by the division value
Is obtained as the center of gravity of the pixels belonging to each class k.
【0080】そして、ステップS60に進み、クラス1
乃至Kそれぞれに属する画素の重心の重心が、注目フレ
ームを構成する画素全体の重心として求められ、リター
ンする。Then, the process proceeds to a step S60, wherein the class 1
To K are obtained as the centroids of the pixels constituting the frame of interest, and the process returns.
【0081】即ち、ステップS60では、クラス1乃至
Kそれぞれに属する画素の重心について、例えば、その
度数f1乃至fKを重みとする重み付け平均値が求めら
れ、その重み付け平均値が、注目フレームを構成する画
素全体の重心として出力される。[0081] That is, in step S60, the center of gravity of the pixels belonging to each class 1 to K, for example, the weighted average value of the frequency f 1 to f K and the weight is obtained, its weighted average value, the frame of interest It is output as the center of gravity of all the constituent pixels.
【0082】ここで、注目フレームを構成する各画素
を、その画素についてのクラスタップに基づいてクラス
分類することにより、注目フレームの重心を求める場合
には、動き検出範囲の重心も、その動き検出範囲を構成
する各画素についてクラスタップを構成し、そのクラス
タップに基づいてクラス分類を行うことにより求めるよ
うにするのが望ましい。Here, when the center of gravity of the frame of interest is determined by classifying each pixel constituting the frame of interest based on the class tap for that pixel, the center of gravity of the motion detection range is It is desirable that a class tap be formed for each pixel constituting the range, and that the class tap be obtained based on the class tap.
【0083】なお、動き検出範囲の重心を、クラス分類
を行うことにより求める場合には、図11のフローチャ
ートに示した処理において、そのステップS51の処理
に替えて、図10のフローチャートに示したステップS
31およびS32の処理を行う他は、図11に示した場
合と同様であるため、その説明は省略する。When the center of gravity of the motion detection range is obtained by performing class classification, the processing shown in the flowchart of FIG. 11 is replaced with the processing shown in the flowchart of FIG. S
Except for performing the processing of S31 and S32, it is the same as the case shown in FIG. 11, and the description thereof will be omitted.
【0084】次に、図11の実施の形態では、注目フレ
ームを構成する各画素を、その画素についてのクラスタ
ップに基づいてクラス分類し、その結果得られるすべて
のクラスに属する画素の重心を用いて、注目フレームの
重心を求めるようにしたが、注目フレームの重心は、そ
の他、例えば、クラス分類の結果得られる特定のクラス
に属する画素の重心のみを用いて求めるようにすること
が可能である。Next, in the embodiment of FIG. 11, each pixel constituting the frame of interest is classified into classes based on the class taps of the pixel, and the barycenters of the pixels belonging to all classes obtained as a result are used. Thus, the center of gravity of the frame of interest is determined. However, the center of gravity of the frame of interest may be determined using, for example, only the barycenter of pixels belonging to a specific class obtained as a result of the classification. .
【0085】即ち、注目フレームの重心は、例えば、エ
ッジになっている部分の画素(以下、適宜、エッジ画素
という)が属するクラスを、特定のクラスとして、その
特定のクラス(以下、適宜、エッジクラスという)に属
する画素(エッジ画素)の重心のみを用いて求めるよう
にすることが可能である。That is, the center of gravity of the frame of interest is determined, for example, by defining the class to which the pixel of the edge portion (hereinafter, appropriately referred to as an edge pixel) belongs as a specific class, It is possible to use only the barycenter of the pixels (edge pixels) belonging to the class.
【0086】そこで、図13のフローチャートを参照し
て、注目フレームを構成する各画素のクラス分類結果の
うち、エッジクラスに属するエッジ画素の重心のみを用
いて求める場合に、重心算出部21で行われる処理(注
目フレームの重心算出処理)について説明する。Therefore, referring to the flow chart of FIG. 13, when calculating only using the barycenter of the edge pixel belonging to the edge class among the class classification results of the pixels constituting the frame of interest, the barycenter calculation unit 21 executes The processing to be performed (the center of gravity calculation processing of the frame of interest) will be described.
【0087】この場合も、ステップS71乃至S77に
おいて、図8のステップS11乃至S17における場合
とそれぞれ同様の処理が行われる。そして、ステップS
77において、変数xがX未満であると判定された場合
は、ステップS78に進み、座標(x,y)にある画素
p(x,y)が注目画素とされ、図11のステップS5
8における場合と同様に、その注目画素がクラス分類さ
れる。Also in this case, in steps S71 to S77, the same processes as those in steps S11 to S17 in FIG. 8 are performed. And step S
If it is determined in 77 that the variable x is smaller than X, the process proceeds to step S78, where the pixel p (x, y) at the coordinates (x, y) is set as the target pixel, and the process proceeds to step S5 in FIG.
8, the target pixel is classified.
【0088】その後、ステップS79に進み、ステップ
S78におけるクラス分類の結果得られるクラスがエッ
ジクラスかどうか、即ち、注目画素がエッジ画素かどう
かが判定される。Thereafter, the flow advances to step S79 to determine whether the class obtained as a result of the classification in step S78 is an edge class, that is, whether the pixel of interest is an edge pixel.
【0089】ここで、例えば、上述したような5画素で
構成されるクラスタップを、2ビットADRC処理してから
クラス分類を行う場合には、注目画素は、1024(=
(2 2)5)クラスのうちのいずれかに分類される。とこ
ろで、クラスタップを、2ビットADRC処理した場合に
は、そのクラスタップを構成する画素の画素値は、00
B,01B,10B,11Bのうちのいずれかの値とな
る(Bは、その前に配置された値が2進数であることを
表す)。従って、クラスタップが、上述したように、注
目画素と、その注目画素の上下左右にそれぞれ隣接する
4画素との合計5画素で構成される場合においては、注
目画素の画素値が、最小値である00Bであるととも
に、その上下左右にそれぞれ隣接する4画素の画素値が
00B以外であるときと、注目画素の画素値が、最大値
である11Bであるとともに、その上下左右にそれぞれ
隣接する4画素の画素値が11B以外であるときに、注
目画素がエッジ画素になっていると考えられる。Here, for example, with five pixels as described above,
After the configured class tap is 2-bit ADRC processed
When performing class classification, the target pixel is 1024 (=
(2 Two)Five) Class. Toko
When the class tap is 2-bit ADRC processed,
Is that the pixel value of the pixel forming the class tap is 00
B, 01B, 10B, or 11B.
(B indicates that the value placed before it is a binary number.
Represent). Therefore, as described above, the class tap
The eye pixel and the pixel above and below the pixel of interest
Note that in the case of a total of 5 pixels including 4 pixels,
The pixel value of the eye pixel is 00B, which is the minimum value.
In addition, the pixel values of four pixels adjacent to the upper, lower, left and right
When the pixel value is other than 00B, the pixel value of the target pixel is the maximum value.
And 11B at the top, bottom, left and right
Note that when the pixel values of four adjacent pixels are other than 11B,
It is considered that the eye pixel is an edge pixel.
【0090】即ち、図14(A)に示すように、注目画
素の画素値が00Bであり、かつ、その上下左右にそれ
ぞれ隣接する4画素の画素値が、01B,10B,11
Bのうちのいずれかである場合は、画素値が、注目画素
において、いわば谷(凹)になっている。また、図14
(B)に示すように、注目画素の画素値が11Bであ
り、かつ、その上下左右にそれぞれ隣接する4画素の画
素値が、00B,01B,10Bのうちのいずれかであ
る場合は、画素値が、注目画素において、いわば山
(凸)になっている。従って、図14に示した場合にお
いては、注目画素がエッジ画素になっている。That is, as shown in FIG. 14A, the pixel value of the pixel of interest is 00B, and the pixel values of four pixels adjacent to the upper, lower, left, and right are 01B, 10B, 11B, respectively.
In the case of any one of B, the pixel value is a so-called valley (concave) at the target pixel. FIG.
As shown in (B), when the pixel value of the pixel of interest is 11B and the pixel values of four pixels adjacent to the upper, lower, left, and right sides are any of 00B, 01B, and 10B, the pixel The value is a mountain (convex) in the target pixel. Therefore, in the case shown in FIG. 14, the target pixel is an edge pixel.
【0091】なお、注目画素の画素値が00Bであり、
かつ、その上下左右にそれぞれ隣接する4画素の画素値
が、01B,10B,11Bのうちのいずれかである場
合は、81(=3×3×3×3)通りあり、注目画素の
画素値が11Bであり、かつ、その上下左右にそれぞれ
隣接する4画素の画素値が、00B,01B,10Bの
うちのいずれかである場合も同様に、81通りある。従
って、エッジ画素が属するクラス(エッジクラス)は、
162(=81+81)通りある。Note that the pixel value of the target pixel is 00B,
In addition, when the pixel values of four pixels adjacent to each of the upper, lower, left, and right sides are any of 01B, 10B, and 11B, there are 81 (= 3 × 3 × 3 × 3) patterns, and the pixel value of the target pixel is Is 11B, and the pixel values of four pixels adjacent to each other in the upper, lower, left, and right directions are any of 00B, 01B, and 10B, and there are also 81 cases. Therefore, the class (edge class) to which the edge pixel belongs is
162 (= 81 + 81) patterns.
【0092】図13に戻り、ステップS79において、
注目画素がエッジ画素でないと判定された場合、即ち、
注目画素のクラスが、上述の162通りあるエッジクラ
スのうちのいずれでもない場合、ステップS76に戻
る。Returning to FIG. 13, in step S79,
When it is determined that the target pixel is not an edge pixel, that is,
If the class of the target pixel is not one of the 162 edge classes described above, the process returns to step S76.
【0093】また、ステップS79において、注目画素
がエッジ画素であると判定された場合、即ち、注目画素
のクラスが、上述の162通りあるエッジクラスのうち
のいずれかである場合、ステップS80に進み、注目画
素のクラス分類結果が、クラステーブルに登録される。
即ち、ステップS80では、図12に示したようなクラ
ステーブルの、注目画素のクラスkについての度数fk
が1だけインクリメントされるとともに、x座標の積算
値Σxkまたはy座標の積算値Σykに、注目画素のx座
標またはy座標がそれぞれ加算される。If it is determined in step S79 that the pixel of interest is an edge pixel, that is, if the class of the pixel of interest is any of the 162 types of edge classes described above, the flow advances to step S80. , The result of the classification of the pixel of interest is registered in the class table.
That is, in step S80, the frequency f k of the class k of the target pixel in the class table as shown in FIG.
Is incremented by one, and the x coordinate or y coordinate of the pixel of interest is added to the integrated value Σx k of the x coordinate or the integrated value Σy k of the y coordinate, respectively.
【0094】なお、図13の実施の形態では、エッジク
ラスに属する注目画素についてのみ、クラステーブルへ
の登録が行われるから、例えば、上述したように、5画
素で構成されるクラスタップを2ビットADRC処理した後
にクラス分類を行い、エッジクラスのみをクラステーブ
ルに登録する場合には、クラステーブルのクラス数K
は、上述したエッジクラスの数である162となる。In the embodiment shown in FIG. 13, only the pixel of interest belonging to the edge class is registered in the class table. When performing class classification after ADRC processing and registering only edge classes in the class table, the number of classes in the class table is K
Is 162, which is the number of edge classes described above.
【0095】一方、5画素で構成されるクラスタップを
2ビットADRC処理した後にクラス分類を行い、すべての
クラスをクラステーブルに登録する場合には、注目画素
は、上述したように、1024クラスのうちのいずれか
に分類されるから、クラステーブルのクラス数Kは、1
024となる。On the other hand, when the class classification is performed after performing a 2-bit ADRC process on a class tap composed of five pixels and all the classes are registered in the class table, the target pixel is a 1024-class pixel as described above. The class number K in the class table is 1
024.
【0096】従って、図13の実施の形態においては、
図11の実施の形態における場合に比較して、クラステ
ーブルの大きさ(容量)を小さくすることができる。Therefore, in the embodiment of FIG.
The size (capacity) of the class table can be reduced as compared with the embodiment in FIG.
【0097】ステップS80の処理後は、ステップS7
6に戻り、以下、同様の処理が繰り返される。After the processing in step S80, step S7
6, the same process is repeated.
【0098】一方、ステップS74において、変数yが
Y未満でないと判定された場合、ステップS81に進
み、クラステーブルの各エッジクラスに属する画素の重
心が求められる。即ち、ステップS81では、クラステ
ーブルの各エッジクラスkにおけるx座標の積算値Σx
kまたはy座標の積算値Σykそれぞれが、その度数fk
で除算され、その除算値で表される座標(Σxk/fk,
Σyk/fk)が、各エッジクラスkに属する画素の重心
として求められる。On the other hand, if it is determined in step S74 that the variable y is not smaller than Y, the flow advances to step S81, and the barycenter of a pixel belonging to each edge class in the class table is obtained. That is, in step S81, the integrated value of the x coordinate in each edge class k of the class table Σx
The integrated value Σy k of the k or y coordinate is the frequency f k
And the coordinates (Σx k / f k ,
Σy k / f k ) is obtained as the center of gravity of the pixels belonging to each edge class k.
【0099】そして、ステップS82に進み、エッジク
ラス1乃至Kそれぞれに属する画素の重心の重心が、注
目フレームを構成する画素全体の重心として求められ、
リターンする。Then, the process proceeds to a step S82, wherein the center of gravity of the pixels belonging to each of the edge classes 1 to K is obtained as the center of gravity of all the pixels constituting the frame of interest.
To return.
【0100】即ち、ステップS82では、エッジクラス
1乃至Kそれぞれに属する画素の重心について、例え
ば、その度数f1乃至fKを重みとする重み付け平均値が
求められ、その重み付け平均値が、注目フレームを構成
する画素全体の重心として出力される。[0100] That is, in step S82, the on center of gravity of the pixels belonging to each edge class 1 to K, for example, the weighted average value of the frequency f 1 to f K and the weight is obtained, its weighted average value, the frame of interest Is output as the center of gravity of all the pixels that constitute.
【0101】ここで、注目フレームの重心を、注目フレ
ームを構成する画素のうち、エッジクラスに属するもの
のみを用いて求める場合には、動き検出範囲の重心も、
その動き検出範囲を構成する画素のうち、エッジクラス
に属するもののみを用いて求めるようにするのが望まし
い。Here, when the center of gravity of the frame of interest is obtained using only the pixels belonging to the edge class among the pixels constituting the frame of interest, the center of gravity of the motion detection range is also calculated as follows.
It is desirable to obtain the motion detection range using only the pixels belonging to the edge class among the pixels constituting the motion detection range.
【0102】なお、動き検出範囲の重心を、エッジクラ
スに属する画素のみを用いて求める場合には、図13の
フローチャートに示した処理において、そのステップS
71の処理に替えて、図10のフローチャートに示した
ステップS31およびS32の処理を行う他は、図13
に示した場合と同様であるため、その説明は省略する。When the barycenter of the motion detection range is obtained by using only the pixels belonging to the edge class, in the processing shown in the flowchart of FIG.
13 except that the processes of steps S31 and S32 shown in the flowchart of FIG. 10 are performed instead of the process of FIG.
The description is omitted because it is the same as the case shown in FIG.
【0103】次に、注目フレームが、その1フレーム前
のフレームに対して、カメラ動きのないものである場合
には、注目フレームのカメラ動きベクトルは、その1フ
レーム前のフレームのカメラ動きベクトルに等しくなる
べきである。しかしながら、上述したようにして、フレ
ームのカメラ動きベクトルを求める場合には、前景の動
きが影響することにより、注目フレームが、カメラ動き
のないものであっても、そのカメラ動きベクトルとし
て、その1フレーム前のフレームのカメラ動きベクトル
と異なるものが求まる可能性がある。Next, when the frame of interest has no camera motion with respect to the frame one frame before, the camera motion vector of the frame of interest is set to the camera motion vector of the frame one frame before. Should be equal. However, as described above, when the camera motion vector of a frame is obtained, even if the frame of interest does not have a camera motion, the first frame is used as the camera motion vector due to the influence of the foreground motion. There is a possibility that one different from the camera motion vector of the frame before the frame is obtained.
【0104】そこで、図5に示したカメラ動き検出部1
2には、同図に点線で示すように、注目フレームが、そ
の1フレーム前のフレームに対して、カメラ動きのない
ものであるかどうかを判定する動きなし判定部25を設
け、さらに、ベクトル検出部22において、注目フレー
ムがカメラ動きのないものである場合には、その1フレ
ーム前のフレームのカメラ動きベクトルを、注目フレー
ムのカメラ動きベクトルとして出力し、注目フレームが
カメラ動きのあるものである場合には、上述したように
して、注目フレームおよび動き検出範囲の重心から、注
目フレームのカメラ動きベクトルを求めるようにするこ
とができる。Therefore, the camera motion detector 1 shown in FIG.
2, a motionless determination unit 25 that determines whether or not the frame of interest has no camera motion with respect to the frame immediately before that frame, as shown by the dotted line in FIG. When the target frame has no camera motion, the detecting unit 22 outputs the camera motion vector of the frame immediately before the current frame as the camera motion vector of the target frame, and the target frame has the camera motion. In some cases, as described above, the camera motion vector of the target frame can be obtained from the center of gravity of the target frame and the motion detection range.
【0105】このようにすることで、注目フレームがカ
メラ動きのないものである場合には、注目フレームのカ
メラ動きベクトルを、その1フレーム前のフレームのカ
メラ動きベクトルと等しくすることができる。In this way, when the frame of interest has no camera motion, the camera motion vector of the frame of interest can be made equal to the camera motion vector of the frame one frame before.
【0106】そこで、図15のフローチャートを参照し
て、動きなし判定部25において行われる、注目フレー
ムがカメラ動きのないものであるかどうかを判定する処
理(動きなし判定処理)について説明する。The processing (no-motion determination processing) performed by the no-motion determination section 25 to determine whether or not the frame of interest has no camera motion will be described with reference to the flowchart of FIG.
【0107】動きなし判定処理では、ステップS91乃
至S99において、図13のステップS71乃至S79
における場合とそれぞれ同様の処理が行われる。In the no-motion determination process, in steps S91 to S99, steps S71 to S79 in FIG.
The same processing is performed as in the case of.
【0108】そして、ステップS99において、注目画
素がエッジ画素であると判定された場合、ステップS1
00に進み、注目画素の画素値p(x,y)が、その1
フレーム前の同一位置にある画素の画素値p’(x,
y)に等しいかどうかが判定される。If it is determined in step S99 that the pixel of interest is an edge pixel, the process proceeds to step S1.
00, the pixel value p (x, y) of the pixel of interest is
The pixel value p ′ (x, x) of the pixel at the same position before the frame
y) is determined.
【0109】ここで、ステップS100における、p
(x,y)がp’(x,y)に等しいとは、p(x,
y)がp’(x,y)にほぼ等しい場合、即ち、|p
(x,y)−p’(x,y)|が、所定の微小値以内で
ある場合を含むものとする。Here, p in step S100
(X, y) is equal to p ′ (x, y) if p (x, y)
y) is approximately equal to p ′ (x, y), ie, | p
(X, y) −p ′ (x, y) | is within a predetermined minute value.
【0110】ステップS100において、注目画素の画
素値p(x,y)が、その1フレーム前の同一位置にあ
る画素の画素値p’(x,y)に等しくないと判定され
た場合、ステップS101をスキップして、ステップS
96に戻る。If it is determined in step S100 that the pixel value p (x, y) of the pixel of interest is not equal to the pixel value p '(x, y) of the pixel at the same position one frame before, Skip S101 and skip to step S
Return to 96.
【0111】また、ステップS100において、注目画
素の画素値p(x,y)が、その1フレーム前の同一位
置にある画素の画素値p’(x,y)に等しいと判定さ
れた場合、即ち、エッジ画素である注目画素の画素値p
(x,y)が、空間的に同一位置にある1フレーム前の
画素の画素値p’(x,y)に等しい場合、ステップS
101に進み、変数cが1だけインクリメントされ、ス
テップS96に戻る。If it is determined in step S100 that the pixel value p (x, y) of the target pixel is equal to the pixel value p '(x, y) of the pixel at the same position one frame before, That is, the pixel value p of the pixel of interest which is an edge pixel
If (x, y) is equal to the pixel value p ′ (x, y) of the pixel one frame before at the same spatial position, step S
Proceeding to 101, the variable c is incremented by 1 and returning to step S96.
【0112】ここで、変数cは、図15の動きなし判定
処理が開始される前に0にクリアされるようになってい
る。Here, the variable c is cleared to 0 before the start of the no-motion determination process shown in FIG.
【0113】その後、ステップS94において、変数y
がY未満でないと判定された場合、即ち、注目フレーム
を構成する画素すべてを注目画素として処理を行った場
合、ステップS102に進み、変数cが、所定の閾値t
h以上であるか否かが判定される。ステップS102に
おいて、変数cが、所定の閾値th以上であると判定さ
れた場合、即ち、注目フレームのエッジ画素の中に、1
フレーム前の同一位置にある画素と同一(ほぼ同一)の
画素値となっている画素が、閾値th以上存在する場
合、ステップS103に進み、注目フレームが、その1
フレーム前のフレームに対して、カメラ動きのないもの
であるかどうかの判定結果として、動きがない旨のメッ
セージが、ベクトル検出部22に出力され、動きなし判
定処理を終了する。Thereafter, in step S94, the variable y
Is determined to be not less than Y, that is, when the processing is performed with all the pixels constituting the frame of interest set as the pixel of interest, the process proceeds to step S102, and the variable c is set to the predetermined threshold value t.
h is determined. In step S102, when it is determined that the variable c is equal to or larger than the predetermined threshold th, that is, 1 is included in the edge pixels of the frame of interest.
If there is a pixel having the same (substantially the same) pixel value as the pixel located at the same position before the frame, the threshold value th or more is present, the process proceeds to step S103, and the target frame is set to 1
A message indicating that there is no motion is output to the vector detection unit 22 as a result of the determination as to whether or not the frame before the frame has no camera motion, and the no-motion determination process ends.
【0114】また、ステップS102において、変数c
が、所定の閾値th以上でないと判定された場合、即
ち、注目フレームのエッジ画素の中に、1フレーム前の
同一位置にある画素と同一(ほぼ同一)の画素値となっ
ている画素が、閾値th以上存在しない場合、ステップ
S104に進み、注目フレームが、その1フレーム前の
フレームに対して、カメラ動きのないものであるかどう
かの判定結果として、動きがある旨のメッセージが、ベ
クトル検出部22に出力され、動きなし判定処理を終了
する。In step S102, the variable c
Is determined not to be equal to or larger than the predetermined threshold th, that is, a pixel having the same (substantially the same) pixel value as the pixel at the same position one frame before in the edge pixel of the frame of interest, If the frame does not exist at the threshold th or more, the process proceeds to step S104, and as a result of determining whether or not the frame of interest has no camera motion with respect to the frame immediately before the frame, a message indicating that there is motion is detected by the vector detection. The result is output to the unit 22 and the no-motion determination process ends.
【0115】なお、図15の動きなし判定処理は、重心
算出部21における、注目フレームおよび動き検出範囲
の重心を算出する処理に先だって行われ、さらに、第2
フレーム以降のフレームを対象に行われる。The motionless determination process of FIG. 15 is performed prior to the process of calculating the center of gravity of the frame of interest and the motion detection range in the center-of-gravity calculator 21.
This is performed for frames after the frame.
【0116】次に、図16は、図2の背景抽出部14の
構成例を示している。Next, FIG. 16 shows an example of the configuration of the background extraction unit 14 of FIG.
【0117】存在範囲検出部31には、カメラ動きベク
トル記憶部13(図2)に記憶された一連の画像として
の第1フレーム乃至第Nフレームのカメラ動きベクトル
v1乃至vNが供給されるようになっており、存在範囲検
出部31は、第1乃至第Nフレームの背景の位置合わせ
を行った状態で、基準座標系において、その第1乃至第
Nフレームの画像が存在する最小の矩形の領域(存在範
囲)を検出するようになっている。The camera motion vectors v 1 to v N of the first to Nth frames as a series of images stored in the camera motion vector storage unit 13 (FIG. 2) are supplied to the existence range detection unit 31. The presence range detection unit 31 performs the alignment of the backgrounds of the first to Nth frames, and in the reference coordinate system, the smallest rectangle in which the images of the first to Nth frames exist. (Existing range) is detected.
【0118】即ち、存在範囲検出部31は、第1フレー
ム乃至第Nフレームのカメラ動きベクトルv1乃至vNに
基づき、第1フレーム乃至第Nフレームについて、その
背景の位置合わせを行った状態を想定し、その位置合わ
せを行った状態で、第1乃至第Nフレームの画素が存在
する最小の矩形の領域である存在範囲を検出する。さら
に、存在範囲検出部31は、その存在範囲の、基準座標
系における、例えば、最も左上の頂点の座標(Xmin,
Ymin)と、最も右下の頂点の座標(Xmax,Ym ax)を
求め、読み出し部32および書き込み部35に供給す
る。[0118] That is, the existence range detection unit 31, based on the camera motion vector v 1 to v N of the first frame to the N-th frame, the first frame to the N-th frame, the state of performing the alignment of the background Assuming that the alignment has been performed, the existence range, which is the minimum rectangular area where the pixels of the first to Nth frames exist, is detected. Further, the existence range detection unit 31 outputs, for example, the coordinates (X min ,
And Y min), the most bottom right vertex coordinates (X max, Y m ax) a, and supplies the read section 32 and the write section 35.
【0119】なお、第1フレーム乃至第Nフレームの背
景の位置合わせを行った状態は、図17に示すように、
基準座標系において、第1フレーム乃至第Nフレーム
を、それぞれのカメラ動きベクトルv1乃至vNによって
示される座標に、フレームの左上の頂点が位置するよう
に配置することで想定することができる。The state in which the backgrounds of the first to Nth frames have been aligned is as shown in FIG.
In the reference coordinate system, it can be assumed that the first to N-th frames are arranged such that the upper left vertex of the frame is located at the coordinates indicated by the respective camera motion vectors v 1 to v N.
【0120】読み出し部32は、蓄積部11(図2)に
記憶されている第1フレーム乃至第Nフレームを構成す
る画素のうち、その第1フレーム乃至第Nフレームの背
景の位置合わせを行った状態で空間的に同一位置にある
画素を検出して読み出し、度数カウント部33および書
き込み部35に供給するようになっている。The read-out section 32 performs the background alignment of the first to N-th frames among the pixels constituting the first to N-th frames stored in the storage section 11 (FIG. 2). In this state, pixels at the same spatial position are detected and read, and supplied to the frequency counting unit 33 and the writing unit 35.
【0121】即ち、読み出し部32には、存在範囲検出
部21から座標(Xmin,Ymin)および(Xmax,
Ymax)が供給される他、カメラ動きベクトル記憶部1
3(図2)に記憶されたカメラ動きベクトルv1乃至vN
も供給されるようになっており、読み出し部32は、ま
ず、存在範囲検出部31と同様に、第1フレーム乃至第
Nフレームのカメラ動きベクトルv1乃至vNに基づき、
第1フレーム乃至第Nフレームについて、その背景の位
置合わせを行った状態を想定する。さらに、読み出し部
32は、基準座標系の、存在範囲検出部21から供給さ
れる座標(Xmin,Ym in)および(Xmax,Ymax)によ
って規定される存在範囲内の座標を順次スキャンしてい
き、図18に示すように、各座標(x,y)における、
背景の位置合わせを行った状態の第1フレーム乃至第N
フレームの画素を検出して読み出す。That is, the reading unit 32 sends the coordinates (X min , Y min ) and (X max ,
Y max ) and the camera motion vector storage unit 1
3 (FIG. 2) stored in the camera motion vectors v 1 to v N
Are also designed to be supplied, the read section 32, first, as the existence range detection unit 31, based on the camera motion vector v 1 to v N of the first frame to the N-th frame,
It is assumed that the backgrounds of the first to Nth frames have been aligned. Further, the read section 32, the reference coordinate system, the existence range detection portion 21 coordinates supplied from (X min, Y m in) and (X max, Y max) sequentially scans coordinates in the existing range defined by Then, as shown in FIG. 18, at each coordinate (x, y),
1st frame to Nth frame with background alignment
The pixels of the frame are detected and read.
【0122】なお、第1乃至第Nフレームの背景の位置
合わせを行った状態において、基準座標系の座標(x,
y)に位置する、第nフレームの画素の検出は、その第
nフレームの左上の画素を原点とした、いわばローカル
な座標系(以下、適宜、ローカル座標系という)を考え
た場合には、座標(x,y)から、カメラ動きベクトル
vnを減算した座標にある画素を検出することによって
行うことができる。In the state where the backgrounds of the first to N-th frames have been aligned, the coordinates (x,
The detection of the pixel of the n-th frame located in y) is based on a local coordinate system (hereinafter, appropriately referred to as a local coordinate system) with the origin at the upper left pixel of the n-th frame. from the coordinates (x, y), it can be performed by detecting the pixels in the camera motion vector v n in the coordinates obtained by subtracting.
【0123】度数カウント部33は、読み出し部32か
ら供給される、第1乃至第Nフレームを構成する画素の
うち、その背景の位置合わせを行った状態で空間的に同
一位置にある画素(以下、適宜、位置合わせ状態での同
一位置画素という)の集合ごとに、例えば、上述した画
素値の各レベルに属する画素の度数を計数し、その計数
結果に基づいて、その後段の度数テーブル記憶部34に
記憶された度数テーブルへの登録を行うようになってい
る。The frequency counting unit 33 supplies the pixels which are supplied from the reading unit 32 and which constitute the first to N-th frames and which are spatially located at the same position (hereinafter referred to as pixels) after the background is aligned. For example, for each set of pixels at the same position in the alignment state), for example, the frequency of the pixel belonging to each level of the pixel value described above is counted, and based on the counting result, the frequency table storage unit at the subsequent stage is counted. The registration in the frequency table stored in the storage 34 is performed.
【0124】度数テーブル記憶部34は、例えば、図1
9に示すような度数テーブルを記憶するようになってい
る。即ち、度数テーブル記憶部34は、存在範囲内の各
座標(x,y)について、位置合わせ状態での同一位置
画素の画素値の各レベルと、そのレベルに属する画素の
度数の、位置合わせ状態での同一位置画素の画素数に対
する割合とを対応付けて登録するための度数テーブルを
記憶している。The frequency table storage unit 34 stores, for example, the data shown in FIG.
A frequency table as shown in FIG. 9 is stored. That is, for each coordinate (x, y) within the existence range, the frequency table storage unit 34 determines the level of the pixel value of the pixel at the same position in the alignment state and the frequency of the pixels belonging to that level in the alignment state. A frequency table is stored for associating and registering the ratio of the same position pixel to the number of pixels in.
【0125】ここで、存在範囲内のある位置(座標)に
おける位置合わせ状態での同一位置画素の集合におい
て、度数のm番目に大きい画素値のレベルを、第m度数
レベルという。Here, in a set of pixels at the same position in a position (coordinate) within the existence range in the aligned state, the level of the pixel value having the m-th largest frequency is called the m-th frequency level.
【0126】図19の実施の形態では、度数テーブルに
は、第1度数レベルから第M度数レベルまでのM個のレ
ベルと、その度数の割合とが登録されるようになってい
る。従って、ここでは、度数カウント部33は、度数
が、M+1番目以降のレベルについては、度数の計数結
果を、度数テーブルに登録せず破棄するようになってい
る。但し、度数の計数結果は、すべてのレベルについ
て、度数テーブルに登録するようにすることも可能であ
る。In the embodiment shown in FIG. 19, in the frequency table, M levels from the first frequency level to the M-th frequency level and the ratio of the frequencies are registered. Therefore, here, the frequency counting unit 33 discards the frequency counting result for the level of the (M + 1) th frequency or later without registering the frequency counting result in the frequency table. However, the counting results of the frequencies can be registered in the frequency table for all the levels.
【0127】なお、上述したように、画素値としてとり
得る値の範囲を、K個のレベルに分割した場合には、上
述のMは、K以下の値となる。As described above, when the range of values that can be taken as pixel values is divided into K levels, M becomes a value equal to or less than K.
【0128】書き込み部35は、度数テーブル記憶部3
4に記憶された度数テーブルと、読み出し部32から供
給される画素とに基づき、背景メモリ15(図2)の、
存在範囲検出部31から供給される存在範囲内に相当す
る各アドレスに、全体背景を構成する背景画素を書き込
むようになっている。さらに、書き込み部35は、背景
フラグメモリ36への背景フラグの書き込みも行うよう
になっている。The writing section 35 stores the frequency table storage section 3
4 and the pixels supplied from the readout unit 32, based on the frequency table stored in the background memory 15 (FIG. 2).
A background pixel constituting the entire background is written at each address corresponding to the existing range supplied from the existing range detecting unit 31. Further, the writing unit 35 also writes a background flag into the background flag memory 36.
【0129】背景フラグメモリ36は、存在範囲内の各
画素について、背景画素が書き込まれているかどうかを
表す背景フラグを記憶するようになっている。即ち、書
き込み部35は、背景メモリ15のあるアドレスに背景
画素を書き込んだとき、そのアドレスに対応する、背景
フラグメモリ36のアドレスに背景フラグを書き込むよ
うになっている。ここで、背景フラグは、例えば、1ビ
ットのフラグであるとし、背景画素が書き込まれている
アドレスに対応する背景フラグは1とされ、まだ書き込
まれていないアドレスに対応する背景フラグは0とされ
るものとする。The background flag memory 36 stores a background flag indicating whether or not a background pixel has been written for each pixel within the existence range. That is, when writing a background pixel at a certain address in the background memory 15, the writing unit 35 writes a background flag at an address of the background flag memory 36 corresponding to the address. Here, the background flag is, for example, a 1-bit flag, the background flag corresponding to the address where the background pixel is written is set to 1, and the background flag corresponding to the address where the background pixel is not written is set to 0. Shall be.
【0130】次に、図20のフローチャートを参照し
て、図16の背景抽出部14において行われる、第1フ
レーム乃至第Nフレームから全体背景を抽出する背景抽
出処理について説明する。Next, with reference to the flowchart of FIG. 20, a description will be given of the background extraction processing performed by the background extraction unit 14 of FIG. 16 to extract the entire background from the first to Nth frames.
【0131】まず最初に、存在範囲検出部31は、ステ
ップS111において、カメラ動きベクトル記憶部13
からカメラ動きベクトルを読み出し、図17で説明した
ようにして、存在範囲を検出する。そして、その存在範
囲の、基準座標系における左上の点の座標(Xmin,Y
min)と、右下の点の座標(Xmax,Ymax)を、存在範
囲を特定するための情報として、読み出し部32および
書き込み部35に供給する。First, in step S111, the existence range detecting section 31 sets the camera motion vector storage section 13
, The camera motion vector is read out, and the existence range is detected as described with reference to FIG. Then, the coordinates (X min , Y
min ) and the coordinates (X max , Y max ) of the lower right point are supplied to the reading unit 32 and the writing unit 35 as information for specifying the existence range.
【0132】読み出し部31は、存在範囲を特定するた
めの座標(Xmin,Ymin)および(Xmax,Ymax)を受
信すると、ステップS112において、存在範囲を、基
準座標系のy軸方向にスキャンするための変数yに、初
期値としてのYmin−1をセットし、ステップS113
に進み、その変数yを1だけインクリメントして、ステ
ップS114に進む。ステップS114では、変数yが
Ymax以下であるかどうかが判定され、Ymax以下である
と判定された場合、ステップS115に進む。ステップ
S115では、読み出し部31は、存在範囲を、基準座
標系のx軸方向にスキャンするための変数xに、初期値
としてのXmin−1をセットし、ステップS116に進
み、その変数xを1だけインクリメントして、ステップ
S117に進む。ステップS117では、変数xがX
max以下であるかどうかが判定され、Xmax以下でないと
判定された場合、ステップS113に戻り、以下、同様
の処理が繰り返される。Upon receiving the coordinates (X min , Y min ) and (X max , Y max ) for specifying the existence range, the reading unit 31 converts the existence range into the y-axis direction of the reference coordinate system in step S112. The variable y for scanning is set to Y min -1 as an initial value, and step S113 is performed.
And the variable y is incremented by one, and the process proceeds to step S114. In step S114, the variable y is determined whether or less Y max, when it is determined to be equal to or less than Y max, the process proceeds to step S115. In step S115, the reading unit 31 sets X min -1 as an initial value as a variable x for scanning the existence range in the x-axis direction of the reference coordinate system, and proceeds to step S116. The value is incremented by one, and the process proceeds to step S117. In step S117, the variable x is set to X
It is determined whether or not it is equal to or less than max , and if it is determined that it is not equal to or less than X max , the process returns to step S113, and the same processing is repeated thereafter.
【0133】また、ステップS117において、変数x
がXmax以下であると判定された場合、ステップS11
8に進み、蓄積部11(図2)に記憶された一連の画像
としての第1フレーム乃至第Nフレームのフレーム数を
カウントするための変数nに、初期値としての0がセッ
トされ、ステップS119に進む。ステップS119で
は、変数nが1だけインクリメントされ、ステップS1
20に進み、変数nが、蓄積部11(図2)に記憶され
た一連の画像のフレーム数であるN以下であるかどうか
が判定される。In step S117, the variable x
If but which it is determined to be equal to or less than X max, step S11
8, the variable n for counting the number of frames from the first frame to the Nth frame as a series of images stored in the storage unit 11 (FIG. 2) is set to 0 as an initial value, and step S119 is performed. Proceed to. In step S119, the variable n is incremented by one, and in step S1
Proceeding to 20, it is determined whether the variable n is equal to or less than N, which is the number of frames of a series of images stored in the storage unit 11 (FIG. 2).
【0134】ステップS120において、変数nがN以
下であると判定された場合、ステップS121に進み、
読み出し部32において、第1フレーム乃至第Nフレー
ムの背景の位置合わせを行った状態で、基準座標系の座
標(x,y)の位置にある第nフレームの画素が、蓄積
部11(図2)から読み出される。即ち、読み出し部3
2は、第nフレームの左上の画素を原点としたローカル
座標系において、座標(x,y)から、カメラ動きベク
トルvnを減算した座標(x,y)−vnにある画素を、
蓄積部11(図2)から読み出す。If it is determined in step S120 that the variable n is equal to or smaller than N, the process proceeds to step S121,
In the reading unit 32, the pixels of the n-th frame at the coordinates (x, y) of the reference coordinate system are stored in the storage unit 11 (see FIG. ). That is, the reading unit 3
2, in the local coordinate system in which the upper left pixel of the n-th frame as the origin, the coordinates (x, y) from the camera motion vector v n subtracted coordinates (x, y) the pixel at the -v n,
It is read from the storage unit 11 (FIG. 2).
【0135】なお、カメラ動きベクトルvnのx座標ま
たはy座標を、それぞれxv#nまたはyv#nと表すととも
に、1フレームの横または縦の画素数を、それぞれXま
たはYと表すこととすると、読み出し部32は、第nフ
レームについてのローカル座標系における座標(x−x
v#n,y−yv#n)に位置する画素を読み出すこととなる
が、この場合、0≦x−xv#n<X、および0≦y−y
v#n<Yの範囲外における座標(x−xv#n,y−
yv#n)には、第nフレームの画素は存在しない。従っ
て、ステップS121における第nフレームの画素の読
み出しは、x−xv#nが、0≦x−xv#n<Xの範囲内で
あり、かつy−yv#nが、0≦y−yv#n<Yの範囲内で
あるときのみ行われる。[0135] Incidentally, the x-coordinate or y-coordinate of the camera motion vector v n, together represent the x v # n or y v # n, respectively, the number of horizontal or vertical pixels of one frame, that each represent a X or Y Then, the reading unit 32 reads the coordinates (xx) in the local coordinate system for the n-th frame.
v # n , y-y v # n ) is read out, in this case, 0≤xx v # n <X and 0≤yy
v # n <Coordinates outside the range of Y (xx v # n , y-
y v # n ), there is no pixel in the n-th frame. Therefore, in the reading of the pixels of the n-th frame in step S121, xx v # n is in the range of 0 ≦ xx v # n <X, and y−y v # n is 0 ≦ y This is performed only when −y v # n <Y.
【0136】読み出し部32は、ステップS121にお
いて、蓄積部11(図2)から、第nフレームの画素を
読み出すと、その画素を、度数カウント部33および書
き込み部35に供給し、ステップS119に戻る。そし
て、ステップS120において、変数nがN以下でない
と判定されるまで、ステップS119乃至S121の処
理が繰り返され、これにより、第1フレーム乃至第Nフ
レームの背景の位置合わせを行った状態で、基準座標系
の座標(x,y)の位置にある第1フレーム乃至第Nフ
レームの画素(位置合わせ状態での同一位置画素)が、
度数カウント部33および書き込み部35に供給され
る。但し、上述したように、フレームによっては、基準
座標系の座標(x,y)に画素が存在しない場合があ
り、この場合、そのフレームの画素は、度数カウント部
33および書き込み部35に供給される画素には含まれ
ない。When the reading section 32 reads the pixel of the n-th frame from the accumulation section 11 (FIG. 2) in step S121, it supplies the pixel to the frequency counting section 33 and the writing section 35, and returns to step S119. . Then, in step S120, the processes of steps S119 to S121 are repeated until it is determined that the variable n is not less than or equal to N, whereby the background of the first frame to the Nth frame is aligned, and Pixels of the first frame to the N-th frame located at the coordinates (x, y) of the coordinate system (pixels at the same position in the alignment state) are:
It is supplied to the frequency counting unit 33 and the writing unit 35. However, as described above, depending on the frame, a pixel may not exist at the coordinates (x, y) of the reference coordinate system. In this case, the pixel of the frame is supplied to the frequency counting unit 33 and the writing unit 35. Pixels are not included.
【0137】その後、ステップS120において、変数
nがN以下でないと判定されると、ステップS122に
進み、度数カウント部33は、読み出し部32から供給
される、基準座標系の座標(x,y)の位置にある、背
景の位置合わせを行った状態の第1乃至第Nフレームの
各画素を、その画素値が、例えば、レベル1乃至Kのう
ちのいずれの範囲に属するかによってレベル分類する。
さらに、度数カウント部33は、各レベルに属する画素
の度数を計数し、その度数の割合(各レベルに属する画
素の総数に対する割合)を求める。Thereafter, if it is determined in step S120 that the variable n is not smaller than N, the process proceeds to step S122, where the frequency counting unit 33 supplies the coordinates (x, y) of the reference coordinate system supplied from the reading unit 32. , The levels of the pixels of the first to N-th frames in which the background alignment has been performed are classified according to which of the levels 1 to K their pixel values belong to, for example.
Further, the frequency counting unit 33 counts the frequencies of the pixels belonging to each level, and obtains the ratio of the frequencies (the ratio to the total number of pixels belonging to each level).
【0138】そして、ステップS123に進み、度数カ
ウント部33は、度数の割合が第1位から第M位までの
レベル(第1度数レベル乃至第M度数レベル)と、その
各レベルに属する画素の度数の割合とを、度数テーブル
記憶部34の、図19に示したような度数テーブルにお
ける、座標(x,y)の欄(行)に登録し、ステップS
116に戻る。Then, proceeding to step S123, the frequency counting unit 33 determines the level of the frequency from the first to the M-th level (the first frequency level to the M-th frequency level) and the number of pixels belonging to each level. The frequency ratio is registered in the column (row) of the coordinates (x, y) in the frequency table as shown in FIG.
Return to 116.
【0139】一方、ステップS114において、変数y
がYmax以下でないと判定された場合、即ち、存在範囲
内のすべての座標について処理を行った場合、ステップ
S124に進み、書き込み部35は、度数テーブル記憶
部34に記憶された度数テーブルにおいて、第1度数レ
ベルに属する画素の割合が所定値以上になっている座標
を検出し、その座標に対応する背景メモリ15のアドレ
スに、その第1度数レベルに対応する画素値を、背景画
素の画素値として書き込む背景画素抽出処理を行い、ス
テップS125に進む。ステップS125では、書き込
み部35は、ステップS124の背景画素抽出処理にお
いて画素値が書き込まれなかった存在範囲内の座標につ
いて、背景画素としての画素値を書き込む背景拡張処理
を行い、背景抽出処理を終了する。On the other hand, in step S114, the variable y
Is determined not to be less than or equal to Y max , that is, when processing has been performed for all coordinates within the existence range, the process proceeds to step S124, and the writing unit 35 determines whether the frequency table in the frequency table storage unit 34 The coordinates at which the ratio of the pixels belonging to the first frequency level is equal to or more than a predetermined value are detected, and the pixel value corresponding to the first frequency level is stored in the address of the background memory 15 corresponding to the coordinates. A background pixel extraction process to be written as a value is performed, and the process proceeds to step S125. In step S125, the writing unit 35 performs a background extension process of writing a pixel value as a background pixel for the coordinates within the existence range where the pixel value was not written in the background pixel extraction process of step S124, and ends the background extraction process. I do.
【0140】次に、図21のフローチャートを参照し
て、図20のステップS124において書き込み部35
が行う背景画素抽出処理について説明する。Next, referring to the flowchart of FIG. 21, in step S124 of FIG.
Will be described.
【0141】背景画素抽出処理では、ステップS131
乃至S136において、図20のステップS112乃至
117における場合とそれぞれ同様の処理が行われ、ス
テップS136において、変数xがXmax以下であると
判定された場合、ステップS37に進み、度数テーブル
を参照することにより、座標(x,y)に対する第1度
数レベルの割合が所定の閾値Lth以上であるかどうかが
判定される。In the background pixel extraction processing, step S131
In steps S136 to S136, the same processes as those in steps S112 to S117 in FIG. 20 are performed. When it is determined in step S136 that the variable x is equal to or smaller than Xmax, the process proceeds to step S37, and the frequency table is referred to. Thus, it is determined whether the ratio of the first frequency level to the coordinates (x, y) is equal to or greater than a predetermined threshold Lth.
【0142】ステップS137において、座標(x,
y)に対する第1度数レベルの割合が所定の閾値Lth以
上でないと判定された場合、即ち、背景の位置合わせを
行った状態の第1フレーム乃至第Nフレームを構成する
画素のうち、座標(x,y)に位置する画素の最も度数
の多い画素値の、その度数の割合が高くない場合、ステ
ップS138およびS139をスキップして、ステップ
S135に戻る。In step S137, the coordinates (x,
If the ratio of the first frequency level for y) is determined not to be a predetermined threshold value L th or more, i.e., among the pixels constituting the first frame to the N-th frame of the state of performing the alignment of the background, the coordinates ( If the pixel value having the highest frequency of the pixel located at (x, y) does not have a high frequency ratio, steps S138 and S139 are skipped, and the process returns to step S135.
【0143】従って、この場合、存在範囲における座標
(x,y)に対応する背景メモリ15(図2)のアドレ
スには、背景画素の画素値は書き込まれない。Therefore, in this case, the pixel value of the background pixel is not written at the address of the background memory 15 (FIG. 2) corresponding to the coordinates (x, y) in the existence range.
【0144】一方、ステップS137において、座標
(x,y)に対する第1度数レベルの割合が所定の閾値
Lth以上であると判定された場合、即ち、背景の位置合
わせを行った状態の第1フレーム乃至第Nフレームを構
成する画素のうち、座標(x,y)に位置する画素の最
も度数の多い画素値の、その度数の割合が高い場合、ス
テップS138に進み、書き込み部35は、その度数の
割合が高い画素値を、座標(x,y)に位置する背景画
素の画素値として、背景メモリ15に書き込む。[0144] On the other hand, in step S137, the coordinates (x, y), the ratio of the first frequency level for is determined to a predetermined threshold L th or more, i.e., a first state in which were aligned background When the ratio of the pixel value having the highest frequency of the pixel located at the coordinates (x, y) among the pixels forming the frames to the Nth frame is higher, the process proceeds to step S138, and the writing unit 35 proceeds to step S138. A pixel value having a high frequency ratio is written to the background memory 15 as a pixel value of a background pixel located at coordinates (x, y).
【0145】即ち、書き込み部35は、背景の位置合わ
せを行った状態の第1フレーム乃至第Nフレームの、座
標(x,y)に位置する画素のうち、第1度数レベルに
属するものを、読み出し部32から供給される画素から
抽出し、例えば、その平均値を計算する。そして、書き
込み部35は、その平均値を、座標(x,y)に位置す
る背景画素の画素値として、背景メモリ15に書き込
む。That is, the writing unit 35 determines, among the pixels located at the coordinates (x, y) in the first to N-th frames in the state where the background has been aligned, those belonging to the first frequency level. It is extracted from the pixels supplied from the reading unit 32 and, for example, an average value is calculated. Then, the writing unit 35 writes the average value into the background memory 15 as the pixel value of the background pixel located at the coordinates (x, y).
【0146】ステップS138の処理後は、ステップS
139に進み、書き込み部35は、背景フラグメモリ3
6の、座標(x,y)に対応するアドレスに記憶された
背景フラグを1にし(背景フラグをたて)、ステップS
135に戻り、以下、ステップS133において、変数
yがYmax以下でないと判定されるまで、同様の処理が
繰り返される。After the process in step S138, the process proceeds to step S138.
Then, the processing proceeds to 139, and the writing unit 35 sets the background flag memory 3
6, the background flag stored at the address corresponding to the coordinates (x, y) is set to 1 (background flag is set), and step S
Returning to 135, below, in step S133, until the variable y is determined not to be less Y max, the same processing is repeated.
【0147】そして、ステップS133において、変数
yがYmax以下でないと判定されると、リターンする。If it is determined in step S133 that the variable y is not smaller than Ymax, the process returns.
【0148】ここで、背景フラグメモリ36の記憶値
は、例えば、図21の背景画素抽出処理が開始されると
きに、0にクリアされるようになっている。Here, the value stored in the background flag memory 36 is cleared to 0, for example, when the background pixel extraction processing of FIG. 21 is started.
【0149】次に、図21で説明した背景画素抽出処理
では、上述したように、背景の位置合わせを行った状態
の第1フレーム乃至第Nフレームを構成する画素のう
ち、座標(x,y)に位置する画素の最も度数の多い画
素値の、その度数の割合が高くない場合においては、座
標(x,y)には、背景としての画素値が書き込まれな
い。Next, in the background pixel extraction processing described with reference to FIG. 21, as described above, the coordinates (x, y) of the pixels constituting the first to N-th frames in a state where the background has been aligned. ), The pixel value as the background is not written in the coordinates (x, y) when the ratio of the frequency of the pixel value having the highest frequency of the pixel located in the parentheses is not high.
【0150】即ち、背景画素抽出処理では、背景の位置
合わせを行った状態の第1フレーム乃至第Nフレームを
構成する画素のうち、座標(x,y)に位置する画素の
最も度数の多い画素値の、その度数の割合が高い場合、
その度数の最も多い画素値が、座標(x,y)における
全体背景の画素値として確からしいものとして、背景メ
モリ15に書き込まれる。従って、度数の最も多い画素
値が、座標(x,y)における全体背景の画素値として
確からしいとはいえない場合、即ち、ここでは、背景の
位置合わせを行った状態の第1フレーム乃至第Nフレー
ムを構成する画素のうち、座標(x,y)に位置する画
素の最も度数の多い画素値の、その度数の割合が高くな
い場合には、背景画素抽出処理では、座標(x,y)に
対応する背景メモリ15のアドレスには、全体背景の画
素値は書き込まれない。That is, in the background pixel extraction processing, the pixel having the highest frequency of the pixel located at the coordinates (x, y) among the pixels constituting the first to N-th frames in the state where the background alignment has been performed. If the value has a high percentage of frequencies,
The pixel value having the highest frequency is written to the background memory 15 as a pixel value of the entire background at the coordinates (x, y) which is likely. Therefore, when the pixel value with the highest frequency is not likely to be reliable as the pixel value of the entire background at the coordinates (x, y), that is, in this case, the first frame to the first frame in a state where the background is aligned is performed. In the pixels constituting the N frame, if the pixel value having the highest frequency of the pixel located at the coordinates (x, y) does not have a high ratio of the frequency, the background pixel extraction process performs the processing at the coordinates (x, y). The pixel value of the entire background is not written into the address of the background memory 15 corresponding to ()).
【0151】その結果、背景画素抽出処理によって、背
景メモリ15に画素値が書き込まれることで構成される
全体背景は、いわば虫食い状態となっており、その虫食
い部分を埋めていく必要がある。このため、図20の背
景抽出処理では、ステップS124で背景画素抽出処理
(図21)が行われた後、ステップS125において、
虫食い部分を画素値で埋めることにより、いわば背景を
拡張していく背景拡張処理が行われるようになってい
る。As a result, the whole background constituted by writing pixel values into the background memory 15 by the background pixel extraction processing is in a so-called worm-eating state, and it is necessary to fill the worm-eating part. For this reason, in the background extraction processing of FIG. 20, after the background pixel extraction processing (FIG. 21) is performed in step S124, in step S125,
By filling the wormy part with the pixel value, a so-called background expansion process for expanding the background is performed.
【0152】そこで、図22のフローチャートを参照し
て、図20のステップS125における背景拡張処理に
ついて説明する。Now, the background extension processing in step S125 in FIG. 20 will be described with reference to the flowchart in FIG.
【0153】背景拡張処理では、ステップS141にお
いて、変数yに、初期値としてのY min−1がセットさ
れ、ステップS142に進み、その変数yが1だけイン
クリメントされ、ステップS143に進む。ステップS
143では、変数yがYmax以下であるかどうかが判定
され、Ymax以下であると判定された場合、ステップS
145に進む。ステップS145では、変数xに、初期
値としてのXmin−1がセットされ、ステップS146
に進み、その変数xが1だけインクリメントされて、ス
テップS147に進む。ステップS147では、変数x
がXmax以下であるかどうかが判定され、Xmax以下でな
いと判定された場合、ステップS142に戻り、以下、
同様の処理が繰り返される。In the background extension processing, the process proceeds to step S141.
And the variable y is set to Y as an initial value. min-1 is set
Then, the process proceeds to step S142, in which the variable y is incremented by one.
It is incremented, and the process proceeds to step S143. Step S
In 143, the variable y is YmaxDetermine if
And YmaxIf it is determined to be less than or equal to
Proceed to 145. In step S145, the variable x is set to the initial value.
X as valuemin-1 is set, and step S146 is set.
And the variable x is incremented by one,
Proceed to step S147. In step S147, the variable x
Is XmaxIt is determined whethermaxBelow
If it is determined that the above is true, the process returns to step S142.
A similar process is repeated.
【0154】また、ステップS147において、変数x
がXmax以下であると判定された場合、ステップS14
8に進み、座標(x,y)に対応する背景フラグメモリ
36のアドレスに記憶された背景フラグが0であるかど
うかが判定される。ステップS148において、座標
(x,y)に対応する背景フラグメモリ36のアドレス
に記憶された背景フラグが0でないと判定された場合、
即ち、その背景フラグが1であり、従って、座標(x,
y)に対応する背景メモリ15(図2)のアドレスに、
既に、全体背景としての画素値が書き込まれている場
合、ステップS146に戻り、以下、同様の処理が繰り
返される。In step S147, the variable x
Is smaller than or equal to Xmax, the process proceeds to step S14.
Proceeding to 8, it is determined whether the background flag stored at the address of the background flag memory 36 corresponding to the coordinates (x, y) is 0. If it is determined in step S148 that the background flag stored at the address of the background flag memory 36 corresponding to the coordinates (x, y) is not 0,
That is, the background flag is 1, and therefore, the coordinates (x,
In the address of the background memory 15 (FIG. 2) corresponding to y),
If the pixel value as the entire background has already been written, the process returns to step S146, and the same processing is repeated thereafter.
【0155】また、ステップS148において、座標
(x,y)に対応する背景フラグメモリ36のアドレス
に記憶された背景フラグが0であると判定された場合、
即ち、座標(x,y)に対応する背景メモリ15(図
2)のアドレスに、まだ、全体背景としての画素値が書
き込まれていない場合、ステップS149に進み、座標
(x,y)に位置する画素の周辺の画素としての、例え
ば、その上、下、左、右、左上、左下、右上、右下に隣
接する画素のうちのいずれかについての背景フラグが1
であるかどうかが、背景フラグメモリ36を参照するこ
とで判定される。If it is determined in step S148 that the background flag stored at the address of the background flag memory 36 corresponding to the coordinates (x, y) is 0,
That is, if the pixel value as the entire background has not yet been written at the address of the background memory 15 (FIG. 2) corresponding to the coordinates (x, y), the process proceeds to step S149, and the position at the coordinates (x, y) is determined. For example, the background flag of any of the pixels adjacent to the pixel above, below, left, right, upper left, lower left, upper right, and lower right is 1
Is determined by referring to the background flag memory 36.
【0156】ステップS149において、座標(x,
y)に位置する画素に隣接する画素のいずれの背景フラ
グも1でないと判定された場合、即ち、座標(x,y−
1),(x,y+1),(x−1,y),(x+1,
y),(x−1,y−1),(x−1,y+1),(x
+1,y−1),(x+1,y+1)それぞれに対応す
る背景メモリ15(図2)のアドレスのいずれにも、ま
だ、全体背景としての画素値が書き込まれていない場
合、ステップS146に戻る。In the step S149, the coordinates (x,
When it is determined that none of the background flags of the pixels adjacent to the pixel located at the position y) is 1, that is, the coordinates (x, y−
1), (x, y + 1), (x-1, y), (x + 1,
y), (x-1, y-1), (x-1, y + 1), (x
If the pixel value as the entire background has not yet been written to any of the addresses of the background memory 15 (FIG. 2) corresponding to (+1, y-1) and (x + 1, y + 1), the process returns to step S146.
【0157】また、ステップS149において、座標
(x,y)に位置する画素に隣接する画素のいずれかの
背景フラグが1であると判定された場合、即ち、座標
(x,y−1),(x,y+1),(x−1,y),
(x+1,y),(x−1,y−1),(x−1,y+
1),(x+1,y−1),(x+1,y+1)それぞ
れに対応する背景メモリ15(図2)のアドレスのいず
れかに、既に、全体背景としての画素値が書き込まれて
いる場合、ステップS150に進む。In step S149, when it is determined that one of the background flags of the pixels adjacent to the pixel located at the coordinates (x, y) is 1, ie, the coordinates (x, y-1), (X, y + 1), (x-1, y),
(X + 1, y), (x-1, y-1), (x-1, y +
1) If the pixel value as the entire background has already been written to any of the addresses of the background memory 15 (FIG. 2) corresponding to (x + 1, y-1), (x + 1, y + 1) Proceed to S150.
【0158】ここで、座標(x,y)に位置する画素に
隣接する画素(に対応する背景メモリ15(図2)のア
ドレス)のうち、全体背景としての画素値が書き込まれ
ているものを、以下、適宜、既書き込み隣接画素とい
う。Here, of the pixels adjacent to the pixel located at the coordinates (x, y) (the address of the background memory 15 (FIG. 2)) corresponding to the pixel in which the pixel value as the entire background is written. Hereinafter, it is referred to as an already written adjacent pixel as appropriate.
【0159】ステップS150では、既書き込み隣接画
素の画素値と連続性のある画素値のレベルが、座標
(x,y)に対する第1乃至第M度数レベルのうちのい
ずれかとして、度数テーブルに登録されているかどうか
が判定される。ここで、連続性のある画素値とは、値が
近い画素値(同一の画素値を含む)どうしを意味する。In step S150, the level of the pixel value having continuity with the pixel value of the written adjacent pixel is registered in the frequency table as any one of the first to M-th frequency levels for the coordinates (x, y). It is determined whether it has been performed. Here, the continuity pixel value means pixel values having similar values (including the same pixel value).
【0160】ステップS150において、既書き込み隣
接画素の画素値と連続性のある画素値のレベルが、座標
(x,y)に対する第1乃至第M度数レベルのうちのい
ずれかとして、度数テーブルに登録されていると判定さ
れた場合、即ち、背景の位置合わせを行った状態の第1
フレーム乃至第Nフレームを構成する、座標(x,y)
に位置する画素の中に、既書き込み隣接画素の画素値と
連続する画素値を有するものが、ある程度の割合以上存
在する場合、ステップS151に進み、その、ある程度
の割合以上存在する、既書き込み隣接画素の画素値と連
続する画素値に基づいて、座標(x,y)に位置する画
素の、全体背景としての画素値が算出され、背景メモリ
15(図2)の対応するアドレスに書き込まれる。In step S150, the level of the pixel value having continuity with the pixel value of the written adjacent pixel is registered in the frequency table as any one of the first to M-th frequency levels for the coordinates (x, y). Is determined, that is, the first state in the state where the background is aligned
Coordinates (x, y) constituting the frames to the N-th frame
If there is a certain percentage or more of pixels having pixel values that are continuous with the pixel value of the already written adjacent pixel among the pixels located at the position, the process proceeds to step S151, and the already written adjacent pixel having a certain value or more exists. A pixel value as a whole background of the pixel located at the coordinates (x, y) is calculated based on a pixel value continuous with the pixel value of the pixel, and is written to a corresponding address of the background memory 15 (FIG. 2).
【0161】即ち、既書き込み隣接画素の画素値と連続
性のある画素値のレベルが、座標(x,y)に対する第
1乃至第M度数レベルのうちの第m度数レベルとして、
度数テーブルに登録されていたとすると、ステップS1
51では、背景の位置合わせを行った状態の第1フレー
ム乃至第Nフレームを構成する、座標(x,y)に位置
する画素のうちの、第m度数レベルに属する画素値の、
例えば平均値が算出され、その平均値が、座標(x,
y)に位置する画素の、全体背景としての画素値とし
て、背景メモリ15(図2)の対応するアドレスに書き
込まれる。That is, the level of the pixel value having continuity with the pixel value of the written adjacent pixel is the m-th frequency level among the first to M-th frequency levels with respect to the coordinates (x, y).
If it is registered in the frequency table, step S1
At 51, of the pixel values belonging to the m-th frequency level among the pixels located at the coordinates (x, y) constituting the first frame to the N-th frame in the state where the background has been aligned,
For example, an average value is calculated, and the average value is calculated using coordinates (x,
The pixel value of the pixel located at y) is written to the corresponding address of the background memory 15 (FIG. 2) as the pixel value as the whole background.
【0162】ここで、上述したように、背景画素抽出処
理では、背景の位置合わせを行った状態の第1フレーム
乃至第Nフレームを構成する画素のうち、座標(x,
y)に位置する最も度数の多い画素値の、その度数の割
合が高い場合に、その度数の最も多い画素値が、座標
(x,y)における全体背景の画素値として確からしい
ものとして、背景メモリ15に書き込まれるが、この背
景画素抽出処理によれば、例えば、ある風景を背景と
し、かつ、ある物体が前景として移動していくような、
Nフレームでなる一連の画像を考えた場合に、前景によ
って隠されずに、Nフレームのほとんどに亘って背景が
表示されている画素については、そのほとんどのフレー
ムに亘って表示されている画素値の度数の割合が高くな
ることから、その画素値が、背景の画素値として書き込
まれる。Here, as described above, in the background pixel extraction processing, the coordinates (x,
If the ratio of the frequency of the pixel value with the highest frequency located at y) is high, the pixel value with the highest frequency is considered to be certain as the pixel value of the entire background at the coordinates (x, y), and According to this background pixel extraction processing, for example, a certain scene is set as a background and a certain object moves as a foreground.
When a series of images composed of N frames is considered, for a pixel in which the background is displayed over most of the N frames without being hidden by the foreground, the pixel value displayed over most of the frames is calculated. Since the frequency ratio increases, the pixel value is written as the background pixel value.
【0163】しかしながら、前景が移動することによ
り、前景が表示されたり、背景が表示されたりする画素
(以下、適宜、中間画素という)は、前景を構成する画
素値となったり、背景を構成する画素値となったりする
ことから、中間画素については、度数の割合が高くなる
画素値が存在しないため、背景画素抽出処理では、画素
値の書き込みが行われない。However, as the foreground moves, the pixels for which the foreground is displayed or the background is displayed (hereinafter, appropriately referred to as intermediate pixels) have the pixel values constituting the foreground or constitute the background. Since the pixel value becomes a pixel value, there is no pixel value having a high frequency ratio for the intermediate pixel, and therefore, the pixel value is not written in the background pixel extraction processing.
【0164】全体背景を得るためには、中間画素につい
ては、そこに背景が表示されているフレームの画素値を
書き込めば良いが、中間画素に背景が表示されているフ
レームを特定するのは困難である。そこで、背景拡張処
理では、中間画素に隣接する画素の中に、既に、全体背
景としての画素値が書き込まれているものがあり、か
つ、その画素値と近い画素値が、中間画素の画素値とし
て表示されたことがあれば、その表示されたことのある
画素値が、中間画素に背景が表示されたときの画素値と
して確からしいとして、背景メモリ15(図2)に書き
込まれる。To obtain the entire background, the pixel value of the frame in which the background is displayed may be written for the intermediate pixel, but it is difficult to specify the frame in which the background is displayed in the intermediate pixel. It is. Therefore, in the background extension processing, some of the pixels adjacent to the intermediate pixel have already been written with the pixel value as the entire background, and the pixel value close to that pixel value is the pixel value of the intermediate pixel. Is displayed in the background memory 15 (FIG. 2) as a pixel value that has been displayed as a pixel value when the background is displayed in the intermediate pixel.
【0165】従って、背景拡張処理によれば、極端に
は、ある1フレームにおいてだけ、背景が表示された画
素(中間画素)についても、その1フレームにおいて表
示された背景の画素値を書き込むことが可能となる。Therefore, according to the background extension processing, it is extremely possible to write the pixel value of the background displayed in one frame even for a pixel (intermediate pixel) in which the background is displayed only in one certain frame. It becomes possible.
【0166】一方、ステップS150において、既書き
込み隣接画素の画素値と連続性のある画素値のレベル
が、座標(x,y)に対する第1乃至第M度数レベルの
うちのいずれかとして、度数テーブルに登録されていな
いと判定された場合、即ち、背景の位置合わせを行った
状態の第1フレーム乃至第Nフレームを構成する、座標
(x,y)に位置する画素の中に、既書き込み隣接画素
の画素値と連続する画素値を有するものが存在しない場
合、ステップS152に進み、既書き込み隣接画素の画
素値に基づいて、座標(x,y)に位置する画素の、全
体背景としての画素値が算出され、背景メモリ15(図
2)の対応するアドレスに書き込まれる。On the other hand, in step S150, the level of the pixel value having continuity with the pixel value of the written adjacent pixel is set to one of the first to M-th frequency levels with respect to the coordinates (x, y), and the frequency table Is determined not to be registered in the first frame to the N-th frame in the state where the background has been aligned, that is, the pixels located at the coordinates (x, y) have already been written. If there is no pixel having a pixel value that is continuous with the pixel value of the pixel, the process proceeds to step S152, and based on the pixel value of the written adjacent pixel, the pixel located at the coordinate (x, y) as the entire background pixel The value is calculated and written to the corresponding address in the background memory 15 (FIG. 2).
【0167】即ち、中間画素に隣接する画素の中に、既
に、全体背景としての画素値が書き込まれているもの
(既書き込み隣接画素)があるが、その画素値と近い画
素値が、中間画素の画素値として表示されたことがない
場合には、ステップS152において、例えば、既書き
込み隣接画素の画素値(既書き込み隣接画素が複数存在
する場合には、例えば、その平均値)が、座標(x,
y)に位置する画素の、全体背景としての画素値とし
て、背景メモリ15(図2)に書き込まれる。That is, among the pixels adjacent to the intermediate pixel, there is a pixel in which the pixel value as the entire background has already been written (an already written adjacent pixel), and a pixel value close to that pixel value is the intermediate pixel. If no pixel value has been displayed, the pixel value of the already written adjacent pixel (for example, if there are a plurality of already written adjacent pixels, for example, the average value) is set to the coordinates (step S152). x,
The pixel value located at y) is written into the background memory 15 (FIG. 2) as a pixel value as the whole background.
【0168】ステップS151およびS152の処理後
は、いずれも、ステップS153に進み、ステップS1
51またはS152で全体背景としての画素値が書き込
まれた画素の背景フラグ、即ち、背景フラグメモリ36
の、座標(x,y)に対応するアドレスの背景フラグが
1にされ(たてられ)、ステップS146に戻り、以
下、同様の処理が繰り返される。After the processing in steps S151 and S152, the process proceeds to step S153, and the process proceeds to step S1.
51 or the background flag of the pixel in which the pixel value as the background is written in S152, that is, the background flag memory 36
, The background flag of the address corresponding to the coordinates (x, y) is set to 1 (set), the process returns to step S146, and the same processing is repeated thereafter.
【0169】一方、ステップS143において、変数y
がYmax以下でないと判定された場合、ステップS14
4に進み、前景フラグメモリ36に記憶された、存在範
囲内の各座標に対する背景フラグがすべて1であるかど
うかが判定される。ステップS143において、存在範
囲内の各座標に対応する背景フラグの中に、1でないも
のがあると判定された場合、即ち、存在範囲内の座標に
位置する画素の中に、まだ、全体背景としての画素値が
書き込まれていないものがある場合、ステップS141
に戻り、以下、同様の処理が繰り返される。On the other hand, in step S143, the variable y
If but it is determined not less Y max, step S14
Then, it is determined whether or not the background flags stored in the foreground flag memory 36 for the respective coordinates within the existence range are all "1". In step S143, when it is determined that there is a background flag corresponding to each coordinate in the existence range that is not 1, that is, among the pixels located at the coordinates in the existence range, the background flag is still set as the whole background. If there is a pixel in which the pixel value has not been written, Step S141
And the same processing is repeated thereafter.
【0170】また、ステップS144において、存在範
囲内の各座標に対応する背景フラグの中に、1でないも
のがないと判定された場合、即ち、存在範囲内の座標に
位置する画素すべてに、全体背景としての画素値が書き
込まれた場合、リターンする。If it is determined in step S144 that the background flag corresponding to each coordinate in the existence range does not have a value other than 1, that is, if all the pixels located at the coordinates in the existence range are determined to have When the pixel value as the background is written, the process returns.
【0171】図22で説明した処理によれば、図23に
示すように、既に、全体背景としての画素値が書き込ま
れた画素(同図において、●印で示す)に隣接する、ま
だ画素値が書き込まれていない画素P(x,y)(同図
において、斜線を付した○印で示す)が存在する場合に
は、その画素P(x,y)に隣接する既書き込み隣接画
素(同図においては、画素P(x−1,y),P(x−
1,y−1),P(x,y−1),P(x+1,y+
1))の画素値や、その画素値と連続性を有する画素値
等が、画素P(x,y)の全体背景としての画素値とし
て書き込まれ、これにより、全体背景が拡張されてい
く。このことから、図22の処理を、背景拡張処理と呼
んでいる。According to the processing described with reference to FIG. 22, as shown in FIG. 23, the pixel value which is already adjacent to the pixel in which the pixel value as the entire background has already been written (indicated by a circle in FIG. If there is a pixel P (x, y) in which is not written (indicated by a hatched circle in the figure), a written pixel adjacent to the pixel P (x, y) In the figure, pixels P (x−1, y), P (x−
1, y-1), P (x, y-1), P (x + 1, y +
The pixel value of 1)), a pixel value having continuity with the pixel value, and the like are written as a pixel value as a whole background of the pixel P (x, y), and thereby the whole background is expanded. For this reason, the processing in FIG. 22 is called background expansion processing.
【0172】次に、図24は、図2の前景符号化部16
の構成例を示している。FIG. 24 is a block diagram showing the foreground encoding unit 16 shown in FIG.
Is shown.
【0173】前景抽出部41には、蓄積部11(図2)
に記憶された一連の画像としての第1フレーム乃至第N
フレーム、背景メモリ15(図2)に記憶された全体背
景、およびカメラ動きベクトル記憶部13(図2)に記
憶されたカメラ動きベクトルが供給されるようになって
おり、前景抽出部41は、第1フレーム乃至第Nフレー
ムそれぞれから前景を抽出するようになっている。即
ち、前景抽出部41は、全体背景の、基準座標系におい
てカメラ動きベクトルvnだけずれた位置に、第nフレ
ームの左上の点が位置するように、第nフレームを配置
することで、全体背景と第nフレームとの位置合わせを
行い、第nフレームの各画素から、同一位置にある全体
背景の画素を減算することで、第nフレームから前景を
抽出する。The foreground extraction unit 41 includes the storage unit 11 (FIG. 2)
Frames N to N as a series of images stored in
The frame, the entire background stored in the background memory 15 (FIG. 2), and the camera motion vector stored in the camera motion vector storage unit 13 (FIG. 2) are supplied. Foreground is extracted from each of the first to Nth frames. That is, the foreground extraction unit 41 arranges the n-th frame such that the upper left point of the n-th frame is located at a position shifted by the camera motion vector v n in the reference coordinate system on the entire background. The foreground is extracted from the n-th frame by aligning the background with the n-th frame and subtracting the whole background pixel at the same position from each pixel of the n-th frame.
【0174】前景記憶部42は、前景抽出部41が抽出
した第1乃至第Nフレームの前景を記憶するようになっ
ている。The foreground storage unit 42 stores the foregrounds of the first to N-th frames extracted by the foreground extraction unit 41.
【0175】前景蓄積画像構成部43には、カメラ動き
ベクトル記憶部13(図2)に記憶されたカメラ動きベ
クトルが供給されるようになっており、前景蓄積画像構
成部43は、そのカメラ動きベクトルに基づき、前景記
憶部42に記憶された第1フレーム乃至第Nフレームの
前景を用いて、前方蓄積画像および後方蓄積画像を構成
するようになっている。即ち、前景蓄積画像構成部43
は、図25に示すように、カメラ動きベクトルに基づい
て、背景の位置合わせを行った状態の第1フレーム乃至
第Nフレームの前景を想定し、その第1フレーム乃至第
Nフレームの前景を、時間の進行方向に向かって見た場
合に得られる後方蓄積画像(過去から眺めた前景により
構成される画像)と、時間の進行方向と逆方向に向かっ
てみた場合に得られる前方蓄積画像(未来から眺めた前
景により構成される画像)とを構成する。The foreground accumulated image forming unit 43 is supplied with the camera motion vector stored in the camera motion vector storage unit 13 (FIG. 2). Based on the vectors, the foreground of the first frame to the Nth frame stored in the foreground storage unit 42 is used to form the forward accumulated image and the backward accumulated image. That is, the foreground accumulated image forming unit 43
As shown in FIG. 25, based on the camera motion vector, assuming the foreground of the first frame to the Nth frame in a state where the background is aligned, the foreground of the first frame to the Nth frame is A backward accumulated image (image composed of the foreground viewed from the past) obtained when viewed in the time traveling direction, and a forward accumulated image (future accumulated image) obtained when viewed in the direction opposite to the time traveling direction (An image composed of a foreground viewed from above).
【0176】なお、前方蓄積画像は、背景の位置合わせ
を行った状態の第1フレーム乃至第Nフレームの前景の
画素値を、第1フレームから第Nフレームの順番で、メ
モリ等に上書きしていくことで得ることができる。同様
に、後方蓄積画像は、背景の位置合わせを行った状態の
第1フレーム乃至第Nフレームの前景の画素値を、第N
フレームから第1フレームの順番で、メモリ等に上書き
していくことで得ることができる。The forward accumulated image is obtained by overwriting the pixel values of the foreground of the first frame to the N-th frame in the state where the background has been aligned in the memory from the first frame to the N-th frame in the order of the first frame. It can be obtained by going. Similarly, in the backward accumulated image, the pixel values of the foreground in the first frame to the Nth frame in a state where the background is aligned are replaced with the Nth frame.
It can be obtained by overwriting in a memory or the like in the order from the frame to the first frame.
【0177】前景蓄積画像記憶部44は、前景蓄積画像
構成部43において構成された前方蓄積画像および後方
蓄積画像を記憶するようになっている。The foreground stored image storage section 44 stores the forward stored image and the rear stored image formed by the foreground stored image forming section 43.
【0178】学習部45は、前景蓄積画像記憶部44に
記憶された前方蓄積画像および後方蓄積画像、さらに
は、必要に応じて、誤差画像記憶部49に記憶された、
後述する誤差画像を構成する画素から、第1フレーム乃
至第Nフレームそれぞれの前景を構成する画素を予測す
るための予測係数を求める学習処理を行うようになって
いる。The learning section 45 stores the forward stored image and the rear stored image stored in the foreground stored image storage section 44 and, if necessary, the error stored in the error image storage section 49.
A learning process for obtaining a prediction coefficient for predicting a pixel constituting a foreground of each of the first to Nth frames from a pixel constituting an error image, which will be described later, is performed.
【0179】予測係数記憶部46は、学習部45におい
て学習が行われることにより求められる予測係数を記憶
するようになっている。The prediction coefficient storage section 46 stores a prediction coefficient obtained by learning in the learning section 45.
【0180】適応処理部47は、前景蓄積画像記憶部4
4に記憶された前方蓄積画像および後方蓄積画像を構成
する画素、予測係数記憶部46に記憶された予測係数、
さらには、必要に応じて、誤差画像記憶部49に記憶さ
れた誤差画像を用いて、第1フレーム乃至第Nフレーム
それぞれの前景を予測する適応処理を行うようになって
いる。The adaptive processing section 47 is provided in the foreground accumulated image storage section 4
4, the pixels constituting the forward accumulated image and the backward accumulated image stored in the storage unit 4, the prediction coefficients stored in the prediction coefficient storage unit 46,
Further, if necessary, the adaptive processing for predicting the foreground of each of the first to Nth frames is performed using the error image stored in the error image storage unit 49.
【0181】ここで、学習部45において行われる学習
処理、および適応処理部47において行われる適応処理
について説明する。Here, the learning processing performed in the learning section 45 and the adaptive processing performed in the adaptive processing section 47 will be described.
【0182】適応処理では、例えば、いま存在する画像
(ここでは、前方蓄積画像および後方蓄積画像や、誤差
画像)を構成する画素と、所定の予測係数との線形結合
により、所望の画像(ここでは、第1フレーム乃至第N
フレームそれぞれの前景)を構成する画素の予測値が求
められる。In the adaptive processing, for example, a desired image (here, a predetermined image) is formed by a linear combination of pixels forming an existing image (here, a forward stored image, a backward stored image, and an error image) and a predetermined prediction coefficient. Then, the 1st frame to the Nth frame
The predicted values of the pixels constituting the foreground of each frame are obtained.
【0183】一方、学習処理では、所望の画像(以下、
適宜、所望画像という)を教師データとするとともに、
その所望画像を求めようとするときに存在する画像(以
下、適宜、存在画像という)を生徒データとして、所望
画像を構成する画素(以下、適宜、所望画素という)の
画素値yの予測値E[y]を、例えば、幾つかの存在画
素(存在画像を構成する画素)の画素値x1,x2,・・
・の集合と、所定の予測係数w1,w2,・・・の線形結
合により規定される線形1次結合モデルにより求めるた
めの予測係数が求められる。この場合、予測値E[y]
は、次式で表すことができる。In the learning process, on the other hand, a desired image
(Referred to as a desired image as appropriate) as teacher data,
An image existing at the time of obtaining the desired image (hereinafter, appropriately referred to as an existing image) is used as student data, and a predicted value E of a pixel value y of a pixel (hereinafter, appropriately referred to as a desired pixel) constituting the desired image is set. [Y] is replaced with pixel values x 1 , x 2 ,... Of some existing pixels (pixels constituting an existing image), for example.
And a prediction coefficient to be obtained by a linear linear combination model defined by a linear combination of a set of the predetermined prediction coefficients w 1 , w 2 ,... In this case, the predicted value E [y]
Can be expressed by the following equation.
【0184】 E[y]=w1x1+w2x2+・・・ ・・・(1)E [y] = w 1 x 1 + w 2 x 2 +... (1)
【0185】式(1)を一般化するために、予測係数w
jの集合でなる行列W、生徒データの集合でなる行列
X、および予測値E[y]の集合でなる行列Y’を、To generalize equation (1), the prediction coefficient w
A matrix W composed of a set of j , a matrix X composed of a set of student data, and a matrix Y ′ composed of a set of predicted values E [y] are
【数1】 で定義すると、次のような観測方程式が成立する。(Equation 1) Defines the following observation equation.
【0186】 XW=Y’ ・・・(2) ここで、行列Xの成分xijは、i件目の生徒データの集
合(i件目の教師データyiの予測に用いる生徒データ
の集合)の中のj番目の生徒データを意味し、行列Wの
成分wjは、生徒データの集合の中のj番目の生徒デー
タとの積が演算される予測係数を表す。また、yiは、
i件目の教師データを表し、従って、E[yi]は、i
件目の教師データの予測値を表す。なお、式(1)の左
辺におけるyは、行列Yの成分yiのサフィックスiを
省略したものであり、また、式(1)の右辺におけるx
1,x2,・・・も、行列Xの成分xijのサフィックスi
を省略したものである。XW = Y ′ (2) Here, the component x ij of the matrix X is a set of i-th student data (a set of student data used for predicting the i-th teacher data y i ). In the matrix W, and the component w j of the matrix W represents a prediction coefficient by which a product with the j-th student data in the set of the student data is calculated. Y i is
represents the i-th teacher data, so E [y i ] is i
Represents the predicted value of the teacher data of the subject. Note that y on the left side of the equation (1) is obtained by omitting the suffix i of the component y i of the matrix Y, and x on the right side of the equation (1).
1, x 2, · · · also, the component x ij of the matrix X suffix i
Is omitted.
【0187】そして、この観測方程式に最小自乗法を適
用して、所望画素の画素値yに近い予測値E[y]を求
めることを考える。この場合、教師データとなる所望画
素の真の画素値yの集合でなる行列Y、および所望画素
の画素値yに対する予測値E[y]の残差eの集合でな
る行列Eを、Then, it is considered that a least square method is applied to this observation equation to obtain a predicted value E [y] close to the pixel value y of the desired pixel. In this case, a matrix Y consisting of a set of true pixel values y of desired pixels serving as teacher data and a matrix E consisting of a set of residuals e of predicted values E [y] for the pixel values y of the desired pixels are given by:
【数2】 で定義すると、式(2)から、次のような残差方程式が
成立する。(Equation 2) From equation (2), the following residual equation is established.
【0188】 XW=Y+E ・・・(3)XW = Y + E (3)
【0189】この場合、所望画素の画素値yに近い予測
値E[y]を求めるための予測係数wjは、自乗誤差In this case, the prediction coefficient w j for obtaining the prediction value E [y] close to the pixel value y of the desired pixel is the square error
【数3】 を最小にすることで求めることができる。(Equation 3) Can be obtained by minimizing.
【0190】従って、上述の自乗誤差を予測係数wjで
微分したものが0になる場合、即ち、次式を満たす予測
係数wjが、所望画素の画素値yに近い予測値E[y]
を求めるため最適値ということになる。[0190] Therefore, when a differentiated square error described above by the prediction coefficient w j is zero, i.e., the prediction coefficient w j satisfying the following equation, the predicted value E close to the pixel value y of the desired pixels [y]
Is the optimum value.
【0191】[0191]
【数4】 ・・・(4)(Equation 4) ... (4)
【0192】そこで、まず、式(3)を、予測係数wj
で微分することにより、次式が成立する。Therefore, first, the equation (3) is calculated using the prediction coefficient w j
By differentiating with, the following equation is established.
【0193】[0193]
【数5】 ・・・(5)(Equation 5) ... (5)
【0194】式(4)および(5)より、式(6)が得
られる。From equations (4) and (5), equation (6) is obtained.
【0195】[0195]
【数6】 ・・・(6)(Equation 6) ... (6)
【0196】さらに、式(3)の残差方程式における生
徒データxij、予測係数wj、教師データyi、および残
差eiの関係を考慮すると、式(6)から、次のような
正規方程式を得ることができる。Further, considering the relationship among the student data x ij , the prediction coefficient w j , the teacher data y i , and the residual e i in the residual equation of the equation (3), the following equation is obtained from the equation (6). A normal equation can be obtained.
【0197】[0197]
【数7】 ・・・(7)(Equation 7) ... (7)
【0198】式(7)の正規方程式を構成する各式は、
生徒データxijおよび教師データy iのセットを、ある
程度の数だけ用意することで、求めるべき予測係数wj
の数Jと同じ数だけたてることができ、従って、式
(7)を解くことで(但し、式(7)を解くには、式
(7)において、予測係数wjにかかる係数で構成され
る行列が正則である必要がある)、最適な予測係数wj
を求めることができる。なお、式(7)を解くにあたっ
ては、例えば、掃き出し法(Gauss-Jordanの消去法)な
どを用いることが可能である。The equations constituting the normal equation of equation (7) are as follows:
Student data xijAnd teacher data y iThere is a set of
By preparing as many numbers as possible, the prediction coefficient wj
Can be set as many as the number J of
Solving equation (7) (however, to solve equation (7),
In (7), the prediction coefficient wjIs composed of coefficients
Matrix must be regular), the optimal prediction coefficient wj
Can be requested. In solving equation (7),
For example, the sweeping method (Gauss-Jordan elimination method)
It is possible to use any of them.
【0199】以上のようにして、最適な予測係数wjを
求めるのが学習処理であり、また、その予測係数wjを
用い、式(1)により、所望画素の画素値yに近い予測
値E[y]を求めるのが適応処理である。[0199] As described above, a learning process to determine the optimal prediction coefficient w j, also using the prediction coefficient w j, the equation (1), the predicted value close to the pixel value y of the desired pixels Finding E [y] is adaptive processing.
【0200】即ち、学習部45または適応処理部47で
は、前景蓄積画像記憶部44に記憶された前方蓄積画像
および後方蓄積画像、さらには、必要に応じて、誤差画
像記憶部49に記憶された誤差画像を、存在画像とする
とともに、第1フレーム乃至第Nフレームそれぞれの前
景を、所望画像として、学習処理または適応処理がそれ
ぞれ行われる。That is, in the learning section 45 or the adaptive processing section 47, the forward stored image and the backward stored image stored in the foreground stored image storage section 44 and, if necessary, the error stored in the error image storage section 49. The learning process or the adaptive process is performed using the error image as the existing image and the foreground of each of the first to Nth frames as the desired image.
【0201】なお、適応処理は、存在画像には含まれて
いないが、所望画像に含まれる成分が再現される点で、
例えば、単なる補間処理とは異なる。即ち、適応処理で
は、式(1)だけを見る限りは、いわゆる補間フィルタ
を用いての補間処理と同一であるが、その補間フィルタ
のタップ係数に相当する予測係数wが、教師データyを
用いての、いわば学習により求められるため、所望画像
に含まれる成分を再現することができる。このことか
ら、適応処理は、いわば画像の創造(解像度想像)作用
がある処理ということができる。The adaptive processing is performed in that components not included in the existing image but included in the desired image are reproduced.
For example, it is different from a simple interpolation process. That is, the adaptive processing is the same as the interpolation processing using the so-called interpolation filter as far as only the equation (1) is viewed, but the prediction coefficient w corresponding to the tap coefficient of the interpolation filter is obtained by using the teacher data y. Therefore, the components included in the desired image can be reproduced. From this, it can be said that the adaptive processing has a so-called image creation (resolution imagination) action.
【0202】誤差計算部48は、前景記憶部42から第
1フレーム乃至第Nフレームそれぞれの前景を読み出
し、適応処理部47で求められた、第1フレーム乃至第
Nフレームそれぞれの前景の予測値の予測誤差を計算す
るようになっている。即ち、誤差計算部48は、例え
ば、第nフレームの前景を構成する画素の予測値から、
その画素の画素値の真値を減算することにより、画素ご
とに、予測誤差を求めるようになっている。The error calculator 48 reads the foreground of each of the first to N-th frames from the foreground storage 42 and calculates the predicted values of the foreground of each of the first to N-th frames obtained by the adaptive processor 47. A prediction error is calculated. That is, the error calculating unit 48 calculates, for example, from the predicted values of the pixels constituting the foreground of the n-th frame,
By subtracting the true value of the pixel value of the pixel, a prediction error is obtained for each pixel.
【0203】誤差画像記憶部49は、誤差計算部48で
求められた、第1フレーム乃至第Nフレームの前景の予
測誤差でなる画像(以下、適宜、誤差画像という)を記
憶するようになっている。The error image storage unit 49 stores an image (hereinafter, appropriately referred to as an error image) which is a prediction error of the foreground of the first to Nth frames obtained by the error calculation unit 48. I have.
【0204】誤差判定部50は、誤差画像記憶部49に
記憶された誤差画像を構成する各画素の画素値としての
予測誤差の、例えば、絶対値和を演算し、その絶対値和
が所定の閾値以下(未満)になっているかどうかを判定
するようになっている。The error determination section 50 calculates, for example, the sum of absolute values of the prediction errors as the pixel values of the pixels constituting the error image stored in the error image storage section 49, and calculates the sum of the absolute values to a predetermined value. It is determined whether or not the value is equal to or less than (less than) the threshold value.
【0205】MUX(マルチプレクサ)51は、誤差判
定部50による判定結果に基づいて、前景蓄積画像記憶
部44に記憶された前方蓄積画像および後方蓄積画像、
予測係数記憶部46に記憶された予測係数、さらには、
必要に応じて、誤差画像記憶部49に記憶された誤差画
像を多重化し、その結果得られる多重化データを、第1
フレーム乃至第Nフレームそれぞれの前景の符号化結果
として、マルチプレクサ17(図2)に出力するように
なっている。The MUX (multiplexer) 51 determines the forward accumulated image and the backward accumulated image stored in the foreground accumulated image storage unit 44 based on the judgment result by the error judgment unit 50.
The prediction coefficient stored in the prediction coefficient storage unit 46, and further,
If necessary, the error images stored in the error image storage unit 49 are multiplexed, and the resulting multiplexed data is
The result of encoding the foreground of each of the frames to the N-th frame is output to the multiplexer 17 (FIG. 2).
【0206】次に、図26は、図24の学習部45の構
成例を示している。Next, FIG. 26 shows an example of the configuration of the learning section 45 in FIG.
【0207】予測タップ構成部61には、前景蓄積画像
記憶部44に記憶された前方蓄積画像および後方蓄積画
像(以下、適宜、両方含めて、前景蓄積画像という)、
さらには、必要に応じて、誤差画像記憶部49に記憶さ
れた誤差画像が供給されるようになっている。そして、
予測タップ構成部61は、背景の位置合わせを行った状
態での第1フレーム乃至第Nフレームそれぞれの前景を
構成する画素のうち、予測値を求めようとするものを、
注目画素として、基準座標系において、注目画素と空間
的に近い位置にある前方蓄積画像および後方蓄積画像の
画素や、誤差画像の画素を抽出し、注目画素の予測値を
適応処理により求めるのに用いる予測タップとして、正
規方程式構成部62に出力する。The prediction tap forming unit 61 includes a forward accumulated image and a backward accumulated image stored in the foreground accumulated image storage unit 44 (hereinafter, both are referred to as foreground accumulated images).
Further, the error image stored in the error image storage unit 49 is supplied as needed. And
The prediction tap forming unit 61 determines one of the pixels constituting the foreground of each of the first to N-th frames in a state where the background is aligned, for which a prediction value is to be obtained,
As a pixel of interest, a pixel of a forward accumulated image and a rear accumulated image and a pixel of an error image which are spatially close to the pixel of interest in the reference coordinate system are extracted, and a prediction value of the pixel of interest is obtained by adaptive processing. The prediction tap to be used is output to the normal equation construction unit 62.
【0208】正規方程式構成部62には、予測タップ構
成部61から予測タップが供給される他、前景記憶部4
2に記憶された第1フレーム乃至第Nフレームそれぞれ
の前景を構成する画素が供給されるようになっている。
そして、正規方程式構成部62は、注目画素となってい
る前景の画素(教師データ)と、予測タップ(生徒デー
タ)を対象とした足し込みを行う。The normal equation constructing section 62 is supplied with the prediction taps from the prediction tap constructing section 61 and the foreground storage section 4.
The pixels constituting the foreground of each of the first to Nth frames stored in the second frame are supplied.
Then, the normal equation constructing unit 62 performs addition for the foreground pixel (teacher data) serving as the pixel of interest and the prediction tap (student data).
【0209】即ち、正規方程式構成部62は、予測タッ
プを用い、式(7)の正規方程式の左辺における、予測
係数の乗数となっている、生徒データ(予測タップ)ど
うしの乗算(xijxi ’ j ’)と、サメーション(Σ)に
相当する演算を行う。That is, the normal equation constructing unit 62 uses the prediction taps and multiplies (x ij x) the student data (prediction taps), which is the multiplier of the prediction coefficient, on the left side of the normal equation of equation (7). i ' j ' ) and an operation equivalent to summation (Σ) is performed.
【0210】さらに、正規方程式構成部62は、予測タ
ップおよび注目画素を用い、式(7)の正規方程式の右
辺における、生徒データ(予測タップ)と教師データ
(注目画素)の乗算(xijyj)と、サメーション
(Σ)に相当する演算を行う。Further, the normal equation constructing section 62 uses the prediction tap and the pixel of interest to multiply (x ij y) the student data (prediction tap) and the teacher data (pixel of interest) on the right side of the normal equation of equation (7). j ) and an operation equivalent to summation (Σ) is performed.
【0211】正規方程式構成部62では、以上の処理
が、第1フレーム乃至第Nフレームそれぞれの前景を構
成する画素を、注目画素として行われ、これにより、式
(7)に示した正規方程式がたてられる。In the normal equation constructing section 62, the above processing is performed with the pixels constituting the foreground of each of the first to Nth frames as the pixel of interest, whereby the normal equation shown in equation (7) is obtained. Can be set up.
【0212】そして、その後、予測係数算出部63は、
正規方程式構成部62において生成された正規方程式を
解くことにより、予測係数を求め、予測係数記憶部46
(図24)に供給して記憶させる。Then, after that, the prediction coefficient calculating section 63
By solving the normal equation generated in the normal equation constructing section 62, a prediction coefficient is obtained, and the prediction coefficient storage section 46
(FIG. 24) for storage.
【0213】ここで、本実施の形態では、図24の適応
処理部47において、背景の位置合わせを行った状態で
の第1フレーム乃至第Nフレームのうち、第nフレーム
の、基準座標系の存在範囲内における位置(x,y)に
ある画素の画素値An(x,y)の予測値E[An(x,
y)]が、例えば、次式にしたがって求められるように
なっている。Here, in the present embodiment, in the adaptive processing unit 47 of FIG. 24, the nth frame among the first to Nth frames in the state where the background alignment has been performed is the nth frame of the reference coordinate system. position in the existing range (x, y) pixel value a n (x, y) of pixels in the predicted value E [a n (x,
y)] is obtained, for example, according to the following equation.
【0214】 E[An(x,y)]=g(F,B,E,n) ・・・(8) ここで、式(8)において、F,B,Eは、それぞれ前
方蓄積画像、後方蓄積画像、誤差画像を表し、関数g
(F,B,E,n)は、例えば、式(1)の線形一次式
に相当する次式で定義される。E [A n (x, y)] = g (F, B, E, n) (8) Here, in the equation (8), F, B, and E are the forward accumulated images, respectively. , Representing the backward accumulated image and the error image, and the function g
(F, B, E, n) is defined by, for example, the following equation corresponding to the linear linear equation of equation (1).
【0215】 g(F,B,E,n)=wF1×f1+wF2×f2+・・・ +wB1×b1+wB2×b2+・・・ +wE1×e1+wE2×e2+・・・ +w×n ・・・(9) ここで、式(9)において、wF1,wF2,・・・,
wB1,wB2,・・・,wE1,wE2,・・・,wは、予測
係数を表す。また、f1,f2,・・・は、前方蓄積画像
Fを構成する画素のうち、注目画素についての予測タッ
プを構成する画素を、b1,b2,・・・は、後方蓄積画
像Bを構成する画素のうち、注目画素についての予測タ
ップを構成する画素を、e1,e2,・・・は、誤差画像
Eを構成する画素のうち、注目画素についての予測タッ
プを構成する画素を、それぞれ表す。G (F, B, E, n) = w F1 × f 1 + w F2 × f 2 +... + W B1 × b 1 + w B2 × b 2 +... + W E1 × e 1 + w E2 × e 2 +... + w × n (9) Here, in equation (9), w F1 , w F2 ,.
w B1, w B2, ···, w E1, w E2, ···, w represents the prediction coefficient. .., F 1 , f 2 ,..., Represent the pixels forming the prediction tap for the target pixel among the pixels forming the forward storage image F, and b 1 , b 2 ,. Among the pixels constituting B, the pixels constituting the prediction tap for the pixel of interest, and e 1 , e 2 ,... Constitute the prediction taps for the pixel of interest among the pixels constituting the error image E Each pixel is represented.
【0216】関数g(F,B,E,n)が、式(9)に
よって定義される場合、図26の正規方程式構成部62
では、式(9)における予測係数wF1,wF2,・・・,
wB1,wB2,・・・,wE1,wE2,・・・,wを求める
ための正規方程式がたてられ、予測係数算出部63で
は、その正規方程式を解くことで、予測係数wF1,
wF2,・・・,wB1,wB2,・・・,wE1,wE2,・・
・,wが求められる。従って、この場合、第1フレーム
乃至第Nフレームすべての前景について、1セットの予
測係数wF1,wF2,・・・,wB1,wB2,・・・,
wE1,wE2,・・・,wが求められる。When the function g (F, B, E, n) is defined by the equation (9), the normal equation constructing unit 62 shown in FIG.
Then, the prediction coefficients w F1 , w F2 ,.
, w E1 , w E2 ,..., w are set, and the prediction coefficient calculation unit 63 solves the normal equation to obtain the prediction coefficients w B , w B2 ,. F1 ,
w F2, ···, w B1, w B2, ···, w E1, w E2, ··
・, W is required. Therefore, in this case, a set of prediction coefficients w F1 , w F2 ,..., W B1 , w B2,.
w E1 , w E2 ,..., w are obtained.
【0217】次に、図27は、図24の適応処理部47
の構成例を示している。Next, FIG. 27 shows the adaptive processing unit 47 shown in FIG.
Is shown.
【0218】予測タップ構成部71には、前景蓄積画像
記憶部44に記憶された前景蓄積画像、さらには、必要
に応じて、誤差画像記憶部49に記憶された誤差画像が
供給されるようになっている。そして、予測タップ構成
部71は、図26の予測タップ構成部61における場合
と同様に、背景の位置合わせを行った状態での第1フレ
ーム乃至第Nフレームそれぞれの前景を構成する画素の
うち、予測値を求めようとするものを、注目画素とし
て、基準座標系において、注目画素と空間的に近い位置
にある前方蓄積画像および後方蓄積画像の画素や、誤差
画像の画素を抽出し、予測タップとして、予測演算部7
2に出力する。The prediction tap forming unit 71 is supplied with the foreground stored image stored in the foreground stored image storage unit 44 and, if necessary, the error image stored in the error image storage unit 49. Has become. Then, as in the case of the prediction tap configuration unit 61 in FIG. 26, the prediction tap configuration unit 71 includes, among the pixels configuring the foreground of each of the first to N-th frames in a state where the background is aligned. A target pixel for which a prediction value is to be obtained is set as a target pixel, and pixels of a forward accumulated image and a rear accumulated image which are spatially close to the target pixel in the reference coordinate system, and a pixel of an error image are extracted. As the prediction calculation unit 7
Output to 2.
【0219】予測演算部72には、予測タップ構成部7
1から予測タップが供給される他、予測係数記憶部46
(図24)に記憶された予測係数が供給されるようにな
っている。そして、予測演算部72では、注目画素とな
っている前景の画素の予測値が、予測タップおよび予測
係数を用い、式(8)および(9)で定義される線形一
次式を演算することで求められ、誤差計算部48に出力
される。The prediction operation section 72 includes a prediction tap forming section 7
1 is supplied with a prediction tap, and a prediction coefficient storage unit 46
The prediction coefficients stored in (FIG. 24) are supplied. Then, the prediction calculation unit 72 calculates a linear linear expression defined by Expressions (8) and (9) using the prediction tap and the prediction coefficient, using the prediction value of the foreground pixel serving as the target pixel. It is obtained and output to the error calculator 48.
【0220】次に、図28のフローチャートを参照し
て、図24の前景符号化部16において行われる、第1
フレーム乃至第Nフレームそれぞれの前景を符号化する
前景符号化処理について説明する。Next, with reference to the flowchart of FIG. 28, the first foreground encoding unit 16 of FIG.
The foreground encoding process for encoding the foreground of each of the frames to the Nth frame will be described.
【0221】まず最初に、ステップS161において、
前景抽出部41は、カメラ動きベクトル記憶部13(図
2)に記憶されたカメラ動きベクトル、および背景メモ
リ15(図2)に記憶された全体背景を用いて、蓄積部
11(図2)に記憶された第1フレーム乃至第Nフレー
ムの画像それぞれから、上述したようにして前景を抽出
し、前景記憶部42に供給して記憶させる。First, in step S161,
The foreground extraction unit 41 uses the camera motion vector stored in the camera motion vector storage unit 13 (FIG. 2) and the entire background stored in the background memory 15 (FIG. 2) to store it in the storage unit 11 (FIG. 2). The foreground is extracted from each of the stored images of the first to Nth frames as described above, and supplied to the foreground storage unit 42 to be stored.
【0222】そして、ステップS162に進み、前景蓄
積画像構成部43は、前景記憶部42に記憶された第1
フレーム乃至第Nフレームそれぞれの前景から、図25
で説明したような前方蓄積画像および後方蓄積画像を構
成し、前景蓄積画像記憶部44に供給して記憶させ、ス
テップ163に進む。[0222] Then, the flow advances to step S162, where the foreground accumulated image composing unit 43 stores the first
From the foreground of each of the frames N to N,
The forward accumulation image and the rear accumulation image as described in (1) are formed and supplied to and stored in the foreground accumulation image storage unit 44, and the process proceeds to step 163.
【0223】ステップS163では、学習部45におい
て、前景蓄積画像記憶部44に記憶された前方蓄積画像
および後方蓄積画像、さらには、必要に応じて、誤差画
像記憶部49に記憶された誤差画像を構成する画素を用
いて学習が行われ、これにより、第1フレーム乃至第N
フレームそれぞれの前景を構成する画素を予測するため
の予測係数が求められる。In step S163, the learning section 45 stores the forward stored image and the backward stored image stored in the foreground stored image storage section 44, and further stores the error image stored in the error image storage section 49 as necessary. Learning is performed using the constituent pixels.
A prediction coefficient for predicting a pixel constituting a foreground of each frame is obtained.
【0224】ここで、ステップS163で最初に学習処
理が行われる場合においては、誤差画像記憶部49に
は、まだ、誤差画像が記憶されていないため、誤差画像
は用いずに(用いることができない)、学習が行われ
る。Here, in the case where the learning process is performed first in step S163, the error image is not yet stored in the error image storage unit 49, so that the error image is not used (cannot be used). ), Learning is performed.
【0225】ステップS163における学習の結果得ら
れた予測係数は、学習部45から予測係数記憶部46に
供給され、上書きする形で記憶される。予測係数記憶部
46に予測係数が記憶されると、ステップS164にお
いて、適応処理部47は、前景蓄積画像記憶部44に記
憶された前方蓄積画像および後方蓄積画像を構成する画
素、予測係数記憶部46に記憶された予測係数、さらに
は、必要に応じて、誤差画像記憶部49に記憶された誤
差画像を用いて、式(8)および(9)の線形一次式を
計算することにより、第1フレーム乃至第Nフレームそ
れぞれの前景を構成する各画素の予測値を求める適応処
理を行う。The prediction coefficient obtained as a result of the learning in step S163 is supplied from the learning section 45 to the prediction coefficient storage section 46 and stored in an overwritten form. When the prediction coefficients are stored in the prediction coefficient storage unit 46, in step S <b> 164, the adaptive processing unit 47 determines whether the pixels constituting the front accumulation image and the rear accumulation image stored in the foreground accumulation image storage unit 44 have the prediction coefficient storage unit By using the prediction coefficients stored in 46 and, if necessary, the error image stored in the error image storage unit 49, the linear linear expressions of Expressions (8) and (9) are calculated. An adaptive process is performed to obtain a predicted value of each pixel constituting the foreground of each of the first to Nth frames.
【0226】ここで、ステップS164で最初に適応処
理が行われる場合においても、誤差画像記憶部49に
は、まだ、誤差画像が記憶されていないため、誤差画像
は用いずに(用いることができない)、適応処理が行わ
れる。Here, even when the adaptive processing is performed first in step S164, the error image is not stored in the error image storage unit 49, so that the error image is not used (cannot be used). ), Adaptive processing is performed.
【0227】ステップS164における適応処理の結果
得られた第1フレーム乃至第Nフレームそれぞれの前景
を構成する各画素の予測値は、誤差計算部48に供給さ
れ、誤差計算部48では、ステップS165において、
前景記憶部42に記憶された第1フレーム乃至第Nフレ
ームそれぞれの前景を参照することで、その前景を構成
する各画素の予測値の予測誤差が求められる。The predicted value of each pixel constituting the foreground of each of the first frame to the Nth frame obtained as a result of the adaptive processing in step S164 is supplied to the error calculator 48. ,
By referring to the foreground of each of the first to Nth frames stored in the foreground storage unit 42, the prediction error of the predicted value of each pixel constituting the foreground is obtained.
【0228】そして、ステップS166に進み、誤差計
算部48は、基準座標系の存在範囲内における各位置に
ついて、その位置における予測誤差の絶対値が最大にな
っている画素を、第1フレーム乃至第Nフレームそれぞ
れの前景を構成する画素から抽出し、その抽出された画
素の予測誤差でなる画像を誤差画像として、誤差画像記
憶部49に供給する。誤差画像記憶部49では、誤差計
算部48からの誤差画像が記憶される。In step S166, the error calculating unit 48 determines, for each position within the existing range of the reference coordinate system, the pixel having the largest absolute value of the prediction error at that position in the first frame to the first frame. The image is extracted from the pixels constituting the foreground of each of the N frames, and an image formed by the prediction error of the extracted pixels is supplied to the error image storage unit 49 as an error image. The error image storage unit 49 stores the error image from the error calculation unit 48.
【0229】その後、ステップS167に進み、誤差判
定部50において、誤差画像記憶部49に記憶された誤
差画像を構成する各画素の画素値(予測誤差)の絶対値
の総和が求められ、その総和が、所定の閾値以下(未
満)であるかどうかが判定される。Thereafter, the flow advances to step S167, where the error determination section 50 calculates the sum of the absolute values of the pixel values (prediction errors) of the pixels constituting the error image stored in the error image storage section 49, and calculates the sum. Is less than or equal to (less than) a predetermined threshold.
【0230】ステップS167において、誤差画像を構
成する各画素の画素値(予測誤差)の絶対値の総和が、
所定の閾値以下でないと判定された場合、即ち、予測係
数と、前方蓄積画像および後方蓄積画像(さらには、必
要に応じて、誤差画像)とから得られる前景の予測値の
精度が高くない場合、ステップS163に戻り、以下、
同様の処理が繰り返される。In step S167, the sum of the absolute values of the pixel values (prediction errors) of the pixels constituting the error image is
When it is determined that it is not less than or equal to the predetermined threshold, that is, when the accuracy of the prediction value of the foreground obtained from the prediction coefficient and the forward accumulated image and the backward accumulated image (and, if necessary, the error image) is not high. Returning to step S163,
A similar process is repeated.
【0231】なお、この場合、誤差画像記憶部49に
は、誤差画像が記憶されているので、次回のステップS
163またはS164では、図29に示すように、前方
蓄積画像および後方蓄積画像の他、誤差画像も用いて予
測タップが構成され、学習処理または適応処理がそれぞ
れ行われる。In this case, since the error image is stored in the error image storage unit 49, the next step S
In 163 or S164, as shown in FIG. 29, a prediction tap is configured using an error image in addition to the forward accumulated image and the backward accumulated image, and the learning process or the adaptive process is performed.
【0232】一方、ステップS167において、誤差画
像を構成する各画素の画素値(予測誤差)の絶対値の総
和が、所定の閾値以下であると判定された場合、即ち、
予測係数と、前方蓄積画像および後方蓄積画像(さらに
は、必要に応じて、誤差画像)とから得られる前景の予
測値の精度が高い場合、ステップS168に進み、誤差
判定部50は、MUX51を制御し、前景蓄積画像記憶
部44に記憶された前方蓄積画像および後方蓄積画像、
予測係数記憶部46に記憶された予測係数、さらには、
誤差画像記憶部49に誤差画像が記憶されている場合に
は、その誤差画像を読み出して多重化させる。そして、
MUX51は、その多重化の結果得られた多重化データ
を、第1フレーム乃至第Nフレームそれぞれの前景の符
号化結果として、マルチプレクサ17(図2)に出力
し、前景符号化処理を終了する。On the other hand, when it is determined in step S167 that the sum of the absolute values of the pixel values (prediction errors) of the pixels constituting the error image is equal to or smaller than a predetermined threshold value,
When the accuracy of the foreground predicted value obtained from the prediction coefficient and the forward accumulated image and the backward accumulated image (and, if necessary, the error image) is high, the process proceeds to step S168, and the error determination unit 50 sets the MUX 51 to Controlling the forward accumulated image and the backward accumulated image stored in the foreground accumulated image storage unit 44;
The prediction coefficient stored in the prediction coefficient storage unit 46, and further,
When an error image is stored in the error image storage unit 49, the error image is read and multiplexed. And
The MUX 51 outputs the multiplexed data obtained as a result of the multiplexing to the multiplexer 17 (FIG. 2) as the foreground coding results of the first to N-th frames, respectively, and ends the foreground coding processing.
【0233】なお、誤差画像記憶部49には、ステップ
S166の処理が行われるごとに得られる新たな誤差画
像を、既に記憶されている誤差画像に上書きする形で記
憶させるようにしても良いし、既に記憶されている誤差
画像をそのまま残して記憶させるようにしても良い。The error image storage unit 49 may store a new error image obtained every time the processing in step S166 is performed, overwriting the already stored error image. Alternatively, the error image already stored may be left as it is and stored.
【0234】新たな誤差画像を、誤差画像記憶部49に
既に記憶されている誤差画像に上書きする形で記憶させ
る場合には、誤差画像は、予測係数の学習が繰り返し行
われても、常に、1枚であるため、前景の予測値の精度
の向上にある程度の限界があるが、多重化データのデー
タ量を少なくすることができる。In the case where a new error image is stored by overwriting the error image already stored in the error image storage unit 49, the error image is always stored in the error image even if the prediction coefficient learning is repeatedly performed. Since there is only one image, there is a certain limit in improving the accuracy of the foreground predicted value, but the amount of multiplexed data can be reduced.
【0235】一方、新たな誤差画像を、誤差画像記憶部
49に既に記憶されている誤差画像をそのまま残して記
憶させる場合には、誤差画像が複数枚になるため、多重
化データのデータ量が多少増加するが、図30に示すよ
うに、前方蓄積画像および後方蓄積画像、並びに2枚以
上の誤差画像を用いて予測タップが構成され、学習処理
または適応処理がそれぞれ行われるため、前景の予測値
の精度をより向上させることができる。なお、図30
は、誤差画像が2枚ある場合を示している。On the other hand, when storing a new error image while leaving the error image already stored in the error image storage section 49 as it is, a plurality of error images are required. Although slightly increased, as shown in FIG. 30, the prediction tap is configured using the forward accumulated image and the backward accumulated image, and two or more error images, and the learning process or the adaptive process is performed. The precision of the value can be further improved. Note that FIG.
Shows a case where there are two error images.
【0236】また、上述の場合においては、学習処理に
より求めた予測係数を用いて適応処理を行うことにより
予測値を求め、その予測誤差が大きい場合には、誤差画
像も用いて学習処理を再度行い、予測誤差を小さくする
予測係数を求めるようにしたが、予測誤差の大小にかか
わらず、学習部45による最初の学習処理の結果得られ
た予測係数を、前景蓄積画像記憶部44に記憶された前
方蓄積画像および後方蓄積画像とともに、前景の符号化
結果として出力するようにすることも可能である。この
場合、前景符号化部16は、適応処理部47、誤差計算
部48、誤差画像記憶部49、および誤差判定部50は
設けずに構成することが可能となる。In the above case, a prediction value is obtained by performing an adaptive process using the prediction coefficient obtained by the learning process, and when the prediction error is large, the learning process is performed again using the error image. The prediction coefficient for reducing the prediction error is obtained, but the prediction coefficient obtained as a result of the first learning process by the learning unit 45 is stored in the foreground accumulated image storage unit 44 regardless of the magnitude of the prediction error. It is also possible to output it as a foreground encoding result together with the forward accumulated image and the backward accumulated image. In this case, the foreground encoding unit 16 can be configured without the adaptive processing unit 47, the error calculation unit 48, the error image storage unit 49, and the error determination unit 50.
【0237】さらに、上述の場合には、前景の予測値を
求める関数g(F,B,E,n)を、式(9)によって
定義し、これにより、第1フレーム乃至第Nフレームす
べての前景の予測値を求めるのに共通に用いる1セット
の予測係数を求めるようにしたが、予測係数は、その
他、例えば、1フレームごとや、複数フレームごとに求
めることも可能である。Further, in the above case, the function g (F, B, E, n) for obtaining the predicted value of the foreground is defined by Expression (9), whereby the function of all the first to Nth frames is defined. Although a set of prediction coefficients commonly used for obtaining a foreground predicted value is obtained, the prediction coefficient may be obtained, for example, for each frame or for a plurality of frames.
【0238】即ち、1フレームごとに予測係数を求める
場合には、関数g(F,B,E,n)を、例えば、式
(10)に示すように定義し、各フレームごとに正規方
程式をたてて解くことにより、予測係数を求めるように
すれば良い。That is, when the prediction coefficient is obtained for each frame, the function g (F, B, E, n) is defined, for example, as shown in Expression (10), and the normal equation is defined for each frame. The prediction coefficient may be obtained by solving it upright.
【0239】 g(F,B,E,n)=wF1 n×f1+wF2n×f2+・・・ +wB1n×b1+wB2n×b2+・・・ +wE1n×e1+wE2n×e2+・・・ ・・・(10) ここで、式(10)において、wF1n,wF2n,・・・,
wB1n,wB2n,・・・,wE1n,wE2n,・・・は、第n
フレームの前景の予測値を求めるのに用いる予測係数を
表す。[0239] g (F, B, E, n) = w F1 n × f 1 + w F2n × f 2 + ··· + w B1n × b 1 + w B2n × b 2 + ··· + w E1n × e 1 + w E2n × e 2 + ... (10) Here, in equation (10), w F1n , w F2n,.
w B1n , w B2n ,..., w E1n , w E2n,.
Represents the prediction coefficient used to determine the predicted value of the foreground of the frame.
【0240】また、ここでは、線形一次予測によって、
前景の予測値を求めるようにしたが、前景の予測値は、
その他、2次以上の高次の予測式によって求めるように
することも可能である。Here, the linear primary prediction
The forecast value of the foreground is calculated, but the forecast value of the foreground is
In addition, it is also possible to obtain by a second or higher order prediction formula.
【0241】さらに、ここでは、第1フレーム乃至第N
フレームそれぞれの前景から構成された前方蓄積画像お
よび後方蓄積画像を用いて、第1フレーム乃至第Nフレ
ームそれぞれの前景の予測値を求めるための予測係数の
学習を行うようにしたが、予測係数の学習は、前方蓄積
画像および後方蓄積画像以外の画像を用いて行うように
することも可能である。即ち、予測係数の学習は、例え
ば、雑音でなる1枚以上の画像を用いて、前景の予測値
の予測誤差を小さくするように、その雑音でなる画像の
画素値を操作して行うようにすること等が可能である。Further, here, the first to Nth frames
Using the forward accumulated image and the backward accumulated image composed of the foreground of each frame, learning of the prediction coefficient for obtaining the predicted value of the foreground of each of the first to Nth frames is performed. The learning can be performed using an image other than the forward accumulated image and the backward accumulated image. That is, the learning of the prediction coefficient is performed, for example, by manipulating the pixel values of the image of noise so as to reduce the prediction error of the prediction value of the foreground using one or more images of noise. And so on.
【0242】次に、図31は、図1のデコーダ2の構成
例を示している。Next, FIG. 31 shows a configuration example of the decoder 2 of FIG.
【0243】伝送媒体3(図1)を介して伝送されてく
る符号化データ、あるいは記録媒体4(図1)から再生
された符号化データは、DMUX(デマルチプレクサ)
81に供給されるようになっており、DMUX81は、
そこに供給される符号化データを、前方蓄積画像、後方
蓄積画像、予測係数、全体背景、カメラ動きベクトルに
分離するようになっている。なお、符号化データに、誤
差画像が含まれる場合には、DMUX81は、その誤差
画像も、符号化データから分離するようになっている。The coded data transmitted via the transmission medium 3 (FIG. 1) or the coded data reproduced from the recording medium 4 (FIG. 1) is transmitted to a DMUX (demultiplexer).
81, and the DMUX 81
The encoded data supplied thereto is separated into a forward accumulated image, a backward accumulated image, a prediction coefficient, an entire background, and a camera motion vector. When the encoded data includes an error image, the DMUX 81 separates the error image from the encoded data.
【0244】前方蓄積画像および後方蓄積画像、さらに
は、符号化データに誤差画像が含まれる場合にはその誤
差画像は、DMUX81から画像記憶部86に供給され
るようになっている。また、予測係数、全体背景、また
はカメラ動きベクトルは、DMUX81から、予測係数
記憶部82、背景メモリ87、カメラ動きベクトル記憶
部88にそれぞれ供給されるようになっている。When an error image is included in the forward stored image, the rear stored image, and the encoded data, the error image is supplied from the DMUX 81 to the image storage unit 86. Further, the prediction coefficient, the entire background, or the camera motion vector is supplied from the DMUX 81 to the prediction coefficient storage unit 82, the background memory 87, and the camera motion vector storage unit 88, respectively.
【0245】予測係数記憶部82は、DMUX81から
の予測係数を記憶するようになっている。適応処理部8
3は、予測係数記憶部82に記憶された予測係数、並び
に画像記憶部86に記憶された前方蓄積画像および後方
蓄積画像、さらには必要に応じて誤差画像を用い、図2
4の適応処理部47における場合と同様の適応処理を行
うことで、第1フレーム乃至第Nフレームそれぞれの前
景の予測値を求めるようになっている。The prediction coefficient storage section stores the prediction coefficients from the DMUX 81. Adaptive processing unit 8
3 uses the prediction coefficients stored in the prediction coefficient storage unit 82, the forward accumulated image and the backward accumulated image stored in the image storage unit 86, and further, if necessary, the error image.
By performing the same adaptive processing as in the adaptive processing unit 47 of No. 4, the predicted values of the foreground in each of the first to Nth frames are obtained.
【0246】前景記憶部84は、適応処理部83によっ
て求められる、第1フレーム乃至第Nフレームそれぞれ
の前景の予測値を、第1フレーム乃至第Nフレームそれ
ぞれの前景の復号結果として記憶するようになってい
る。The foreground storage unit 84 stores the predicted values of the foreground of each of the first to Nth frames obtained by the adaptive processing unit 83 as decoding results of the foreground of each of the first to Nth frames. Has become.
【0247】合成部85は、背景メモリ87に記憶され
た全体背景から、カメラ動きベクトル記憶部88に記憶
された第nフレームのカメラ動きベクトルvnに基づい
て、第nフレームの背景を切り出し(抽出し)、その第
nフレームの背景と、前景記憶部84に記憶された第n
フレームの前景の復号結果とを合成することで、第nフ
レームの画像を復号して出力するようになっている。The combining section 85 cuts out the background of the n-th frame from the entire background stored in the background memory 87 based on the camera motion vector vn of the n- th frame stored in the camera motion vector storage section 88 ( Extracted), the background of the n-th frame and the n-th frame stored in the foreground storage unit 84.
By synthesizing the decoding result of the foreground of the frame, the image of the n-th frame is decoded and output.
【0248】画像記憶部86は、DMUX81から供給
される前方蓄積画像および後方蓄積画像、並びに誤差画
像を記憶するようになっている。背景メモリ87は、D
MUX81から供給される全体背景を記憶するようにな
っている。カメラ動きベクトル記憶部88は、DMUX
81から供給される第1フレーム乃至第Nフレームそれ
ぞれのカメラ動きベクトルを記憶するようになってい
る。[0248] The image storage section 86 stores the forward accumulated image and the backward accumulated image supplied from the DMUX 81, and the error image. The background memory 87 has D
The entire background supplied from the MUX 81 is stored. The camera motion vector storage unit 88 stores the DMUX
The camera motion vector of each of the first to Nth frames supplied from 81 is stored.
【0249】次に、図32のフローチャートを参照し
て、図31のデコーダ2において行われる、一連の画像
としての第1フレーム乃至第Nフレームの画像を復号す
る復号処理について説明する。Next, with reference to the flowchart of FIG. 32, the decoding process of decoding the first to N-th frames as a series of images, which is performed in the decoder 2 of FIG. 31, will be described.
【0250】まず最初に、ステップS171において、
DMUX81は、そこに供給される符号化データを、前
方蓄積画像、後方蓄積画像、必要な誤差画像、予測係
数、全体背景、カメラ動きベクトルに分離する。前方蓄
積画像、後方蓄積画像、および必要な誤差画像は、画像
記憶部86に供給されて記憶される。また、予測係数、
全体背景、またはカメラ動きベクトルは、予測係数記憶
部82、背景メモリ87、カメラ動きベクトル記憶部8
8にそれぞれ供給されて記憶される。First, in step S171,
The DMUX 81 separates the coded data supplied thereto into a forward accumulated image, a backward accumulated image, a necessary error image, a prediction coefficient, an entire background, and a camera motion vector. The forward accumulated image, the backward accumulated image, and the necessary error image are supplied to the image storage unit 86 and stored. Also, the prediction coefficient,
The entire background or camera motion vector is stored in the prediction coefficient storage unit 82, the background memory 87, the camera motion vector storage unit 8
8 and stored.
【0251】その後、ステップS172に進み、適応処
理部83は、予測係数記憶部82に記憶された予測係
数、並びに画像記憶部86に記憶された前方蓄積画像、
後方蓄積画像、および必要な誤差画像を用い、図24の
適応処理部47における場合と同様の適応処理を行うこ
とで、第1フレーム乃至第Nフレームそれぞれの前景の
予測値を求める。この予測値は、前景記憶部84に供給
され、第1フレーム乃至第Nフレームそれぞれの前景の
復号結果として記憶される。Thereafter, the flow proceeds to step S 172, where the adaptive processing section 83 executes the prediction coefficient stored in the prediction coefficient storage section 82 and the forward accumulated image stored in the image storage section 86,
Using the backward accumulated image and the necessary error image, the same adaptive processing as in the adaptive processing unit 47 in FIG. 24 is performed to obtain the predicted values of the foreground of each of the first to Nth frames. This predicted value is supplied to the foreground storage unit 84 and stored as a result of decoding the foreground of each of the first to Nth frames.
【0252】そして、ステップS173に進み、合成部
85において、背景メモリ87に記憶された全体背景か
ら、カメラ動きベクトル記憶部88に記憶された第nフ
レームのカメラ動きベクトルvnに基づいて、第nフレ
ームの背景が切り出され、その第nフレームの背景と、
前景記憶部84に記憶された第nフレームの前景の復号
結果とが合成される。合成部85では、以上の処理が、
第1フレーム乃至第Nフレームすべてについて行われ、
復号処理を終了する。Then, the flow proceeds to step S173. In the synthesizing unit 85, based on the camera motion vector vn of the n- th frame stored in the camera motion vector storage unit 88, the image data is extracted from the entire background stored in the background memory 87. The background of the nth frame is cut out, and the background of the nth frame,
The foreground decoding result of the n-th frame stored in the foreground storage unit 84 is synthesized. In the synthesizing unit 85, the above processing
Performed for all of the first to Nth frames,
The decoding process ends.
【0253】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
専用のハードウェアとしてのエンコーダ1やデコーダ2
に組み込まれているコンピュータ、または各種のプログ
ラムをインストールすることで各種の処理を行う汎用の
コンピュータ等にインストールされる。Next, the above-described series of processing can be performed by hardware or software. When a series of processing is performed by software, a program constituting the software is
Encoder 1 and decoder 2 as dedicated hardware
Or a general-purpose computer that performs various processes by installing various programs.
【0254】そこで、図33を参照して、上述した一連
の処理を実行するプログラムをコンピュータにインスト
ールし、コンピュータによって実行可能な状態とするた
めに用いられる媒体について説明する。With reference to FIG. 33, a description will be given of a medium used to install a program for executing the above-described series of processing in a computer and to make the computer executable.
【0255】プログラムは、図33(A)に示すよう
に、コンピュータ101に内蔵されている記録媒体とし
てのハードディスク102や半導体メモリ103に予め
インストールした状態でユーザに提供することができ
る。As shown in FIG. 33A, the program can be provided to the user in a state in which the program is previously installed in a hard disk 102 or a semiconductor memory 103 as a recording medium built in the computer 101.
【0256】あるいはまた、プログラムは、図33
(B)に示すように、フロッピーディスク111、CD-R
OM(Compact Disc Read Only Memory)112,MO(Magnet
o optical)ディスク113,DVD(Digital Versatile Di
sc)114、磁気ディスク115、半導体メモリ116
などの記録媒体に、一時的あるいは永続的に格納し、パ
ッケージソフトウエアとして提供することができる。Alternatively, the program is executed as shown in FIG.
As shown in (B), the floppy disk 111 and the CD-R
OM (Compact Disc Read Only Memory) 112, MO (Magnet
o optical) disc 113, DVD (Digital Versatile Di)
sc) 114, magnetic disk 115, semiconductor memory 116
And the like, can be temporarily or permanently stored in a recording medium such as a storage medium and provided as package software.
【0257】さらに、プログラムは、図33(C)に示
すように、ダウンロードサイト121から、ディジタル
衛星放送用の人工衛星122を介して、コンピュータ1
01に無線で転送したり、LAN(Local Area Network)、
インターネットといったネットワーク131を介して、
コンピュータ123に有線で転送し、コンピュータ10
1において、内蔵するハードディスク102などに格納
させるようにすることができる。Further, as shown in FIG. 33C, the program is transmitted from the download site 121 to the computer 1 via an artificial satellite 122 for digital satellite broadcasting.
01 wirelessly, LAN (Local Area Network),
Via a network 131 such as the Internet,
The data is transferred to the computer 123 by wire and the computer 10
1, it may be stored in a built-in hard disk 102 or the like.
【0258】本明細書における媒体とは、これら全ての
媒体を含む広義の概念を意味するものである。[0258] The medium in this specification means a broad concept including all these media.
【0259】また、本明細書において、媒体により提供
されるプログラムを記述するステップは、必ずしもフロ
ーチャートとして記載された順序に沿って時系列に処理
する必要はなく、並列的あるいは個別に実行される処理
(例えば、並列処理あるいはオブジェクトによる処理)
も含むものである。In this specification, the steps of describing a program provided by a medium need not necessarily be processed in chronological order according to the order described in the flowchart, but may be performed in parallel or individually. (For example, parallel processing or object processing)
Is also included.
【0260】次に、図34は、図33のコンピュータ1
01の構成例を示している。Next, FIG. 34 shows the computer 1 of FIG.
1 shows a configuration example.
【0261】コンピュータ101は、図34に示すよう
に、CPU(Central Processing Unit)142を内蔵してい
る。CPU142には、バス141を介して、入出力イン
タフェース145が接続されており、CPU142は、入
出力インタフェース145を介して、ユーザによって、
キーボードやマウス等で構成される入力部147が操作
されることにより指令が入力されると、それにしたがっ
て、図33(A)の半導体メモリ103に対応するROM
(Read Only Memory)143に格納されているプログラム
を実行する。あるいは、また、CPU142は、ハードデ
ィスク102に格納されているプログラム、衛星122
若しくはネットワーク131から転送され、通信部14
8で受信されてハードディスク102にインストールさ
れたプログラム、またはドライブ149に装着されたフ
ロッピディスク111、CD-ROM112、MOディスク11
3、DVD114、若しくは磁気ディスク115から読み
出されてハードディスク102にインストールされたプ
ログラムを、RAM(Random Access Memory)144にロー
ドして実行する。そして、CPU142は、その処理結果
を、例えば、入出力インタフェース145を介して、LC
D(Liquid CryStal Display)等で構成される表示部14
6に、必要に応じて出力する。As shown in FIG. 34, the computer 101 has a built-in CPU (Central Processing Unit) 142. An input / output interface 145 is connected to the CPU 142 via a bus 141, and the CPU 142 is connected to the CPU 142 by the user via the input / output interface 145.
When a command is input by operating the input unit 147 including a keyboard, a mouse, and the like, a ROM corresponding to the semiconductor memory 103 in FIG.
(Read Only Memory) The program stored in 143 is executed. Alternatively, the CPU 142 may execute a program stored in the hard disk 102,
Alternatively, the data is transferred from the network 131 and the communication unit 14
8, the program installed on the hard disk 102 or the floppy disk 111, the CD-ROM 112, and the MO disk 11 mounted on the drive 149.
3. A program read from the DVD 114 or the magnetic disk 115 and installed on the hard disk 102 is loaded into a RAM (Random Access Memory) 144 and executed. Then, the CPU 142 transmits the processing result to the LC via the input / output interface 145, for example.
Display unit 14 composed of D (Liquid CryStal Display) etc.
6 and output as necessary.
【0262】[0262]
【発明の効果】本発明の画像処理装置および画像処理方
法、並びに媒体によれば、一連の画像から、その各画面
の背景の位置合わせを行った状態で空間的に同一位置に
ある画素が検出され、その空間的に同一位置にある画素
の画素値の度数が計数される。そして、空間的に同一位
置にある画素の個数に対する度数の割合が所定値以上の
画素値が、背景画像を構成する背景画素の画素値とし
て、背景画像を記憶する背景画像記憶手段に記憶され、
画素値が記憶された背景画素に基づいて、背景画像記憶
手段に記憶された背景画像が拡張される。従って、一連
の画像から、背景を、精度良く抽出することが可能とな
る。According to the image processing apparatus, the image processing method, and the medium of the present invention, pixels at the same spatial position are detected from a series of images while the background of each screen is aligned. Then, the frequency of the pixel value of the pixel at the same spatial position is counted. Then, a pixel value in which the ratio of the frequency to the number of pixels at the same spatial position is equal to or greater than a predetermined value is stored as a pixel value of a background pixel forming the background image in a background image storage unit that stores the background image,
The background image stored in the background image storage unit is expanded based on the background pixel in which the pixel value is stored. Therefore, it is possible to accurately extract the background from a series of images.
【図1】本発明を適用した画像伝送装置の一実施の形態
の構成例を示す図である。FIG. 1 is a diagram illustrating a configuration example of an embodiment of an image transmission device to which the present invention has been applied.
【図2】図1のエンコーダ1の構成例を示すブロック図
である。FIG. 2 is a block diagram illustrating a configuration example of an encoder 1 of FIG.
【図3】図2の蓄積部11に記憶される一連の画像を示
す図である。FIG. 3 is a diagram showing a series of images stored in a storage unit 11 of FIG.
【図4】図2のカメラ動き検出部12の処理を説明する
ための図である。FIG. 4 is a diagram for explaining processing of a camera motion detection unit 12 in FIG. 2;
【図5】図2のカメラ動き検出部12の構成例を示すブ
ロック図である。FIG. 5 is a block diagram illustrating a configuration example of a camera motion detection unit 12 in FIG. 2;
【図6】図5のカメラ動き検出部12によるカメラ動き
ベクトルの求め方を説明するための図である。FIG. 6 is a diagram for explaining how to obtain a camera motion vector by the camera motion detection unit 12 in FIG. 5;
【図7】図5のカメラ動き検出部12の処理(カメラ動
き検出処理)を説明するためのフローチャートである。FIG. 7 is a flowchart illustrating a process (camera motion detection process) of the camera motion detection unit 12 in FIG. 5;
【図8】図7のステップS3における処理(注目フレー
ムの重心算出処理)の詳細の第1の例を説明するための
フローチャートである。FIG. 8 is a flowchart for explaining a first example of the details of the processing in step S3 in FIG. 7 (processing for calculating the center of gravity of the frame of interest).
【図9】レベルテーブルを示す図である。FIG. 9 is a diagram showing a level table.
【図10】図7のステップS4における処理(動き検出
範囲の重心算出処理)の詳細を説明するためのフローチ
ャートである。FIG. 10 is a flowchart for explaining details of a process (a process of calculating a center of gravity of a motion detection range) in step S4 of FIG. 7;
【図11】図7のステップS3における処理の詳細の第
2の例を説明するためのフローチャートである。FIG. 11 is a flowchart illustrating a second example of the details of the process in step S3 of FIG. 7;
【図12】クラステーブルを示す図である。FIG. 12 is a diagram showing a class table.
【図13】図7のステップS3における処理の詳細の第
3の例を説明するためのフローチャートである。FIG. 13 is a flowchart illustrating a third example of the details of the process in step S3 of FIG. 7;
【図14】エッジ画素を説明するための図である。FIG. 14 is a diagram for explaining edge pixels.
【図15】図5の動きなし判定部25の処理(動きなし
判定処理)の詳細を説明するためのフローチャートであ
る。FIG. 15 is a flowchart illustrating details of a process (no-motion determination process) of the no-motion determination unit 25 in FIG. 5;
【図16】図2の背景抽出部14の構成例を示すブロッ
ク図である。16 is a block diagram illustrating a configuration example of a background extraction unit 14 in FIG.
【図17】図16の存在範囲検出部31の処理を説明す
るための図である。FIG. 17 is a diagram for explaining processing of the existence range detection unit 31 in FIG. 16;
【図18】図16の読み出し部32の処理を説明するた
めの図である。FIG. 18 is a diagram for explaining processing of the reading unit 32 of FIG. 16;
【図19】度数テーブルを示す図である。FIG. 19 is a diagram showing a frequency table.
【図20】図16の背景抽出部14の処理(背景抽出処
理)を説明するためのフローチャートである。20 is a flowchart for explaining processing (background extraction processing) of the background extraction unit 14 in FIG.
【図21】図20のステップS124の処理(背景画素
抽出処理)の詳細を説明するためのフローチャートであ
る。FIG. 21 is a flowchart illustrating details of a process (background pixel extraction process) in step S124 of FIG. 20;
【図22】図20のステップS125の処理(背景拡張
処理)の詳細を説明するためのフローチャートである。FIG. 22 is a flowchart illustrating details of a process (background extension process) in step S125 of FIG. 20;
【図23】図22の背景拡張処理を説明するための図で
ある。FIG. 23 is a diagram for explaining the background extension processing in FIG. 22;
【図24】図2の前景符号化部16の構成例を示すブロ
ック図である。24 is a block diagram illustrating a configuration example of a foreground encoding unit 16 in FIG.
【図25】図24の前景蓄積画像構成部43の処理を説
明するための図である。FIG. 25 is a diagram for explaining processing of a foreground accumulated image forming unit 43 of FIG. 24;
【図26】図24の学習部45の構成例を示すブロック
図である。26 is a block diagram illustrating a configuration example of a learning unit 45 in FIG. 24.
【図27】図24の適応処理部47の構成例を示すブロ
ック図である。FIG. 27 is a block diagram illustrating a configuration example of an adaptive processing unit 47 of FIG. 24.
【図28】図24の前景符号化部16の処理(前景符号
化処理)の詳細を説明するためのフローチャートであ
る。FIG. 28 is a flowchart illustrating details of processing (foreground encoding processing) of foreground encoding section 16 in FIG. 24;
【図29】予測タップが、誤差画像を用いて構成される
様子を示す図である。FIG. 29 is a diagram illustrating a state in which a prediction tap is configured using an error image.
【図30】予測タップが、2枚の誤差画像を用いて構成
される様子を示す図である。FIG. 30 is a diagram illustrating a state in which a prediction tap is configured using two error images.
【図31】図1のデコーダ2の構成例を示すブロック図
である。FIG. 31 is a block diagram illustrating a configuration example of a decoder 2 in FIG. 1;
【図32】図31のデコーダ2の処理(復号処理)を説
明するためのフローチャートである。FIG. 32 is a flowchart illustrating the processing (decoding processing) of decoder 2 in FIG. 31;
【図33】本発明を適用した媒体を説明するための図で
ある。FIG. 33 is a diagram for explaining a medium to which the present invention is applied.
【図34】図33のコンピュータ101の構成例を示す
ブロック図である。34 is a block diagram illustrating a configuration example of a computer 101 in FIG.
1 エンコーダ, 2 デコーダ, 3 伝送媒体,
4 記録媒体, 11蓄積部, 12 カメラ動き検出
部, 13 カメラ動きベクトル記憶部,14 背景抽
出部, 15 背景メモリ, 16 前景符号化部,
17 MUX, 21 重心算出部, 22 ベクトル
検出部, 23 書き込み制御部,24 蓄積画像メモ
リ, 25 動きなし判定部, 31 存在範囲検出
部,32 読み出し部, 33 度数カウント部, 3
4 度数テーブル記憶部,35 書き込み部, 36
背景フラグメモリ, 41 前景抽出部, 42前景記
憶部, 43 前景蓄積画像構成部, 44 前景蓄積
画像記憶部,45 学習部, 46 予測係数記憶部,
47 適応処理部, 48 誤差計算部, 49 誤
差画像記憶部, 50 誤差判定部, 51 MUX,
61予測タップ構成部, 62 正規方程式構成部,
63 予測係数算出部,71 予測タップ構成部,
72 予測演算部, 81 DMUX, 82 予測係
数記憶部, 83 適応処理部, 84 前景記憶部,
85 合成部,86 画像記憶部, 87 背景メモ
リ, 88 カメラ動きベクトル記憶部,101 コン
ピュータ, 102 ハードディスク, 103 半導
体メモリ, 111 フロッピーディスク, 112
CD-ROM, 113 MOディスク,114 DVD, 11
5 磁気ディスク, 116 半導体メモリ, 121
ダウンロードサイト, 122 衛星, 131 ネッ
トワーク, 141バス, 142 CPU, 143 R
OM, 144 RAM, 145 入出力インタフェー
ス, 146 表示部, 147 入力部, 148
通信部, 149 ドライブ1 encoder, 2 decoder, 3 transmission medium,
4 recording medium, 11 storage unit, 12 camera motion detection unit, 13 camera motion vector storage unit, 14 background extraction unit, 15 background memory, 16 foreground encoding unit,
17 MUX, 21 center of gravity calculation unit, 22 vector detection unit, 23 writing control unit, 24 stored image memory, 25 no motion determination unit, 31 existing range detection unit, 32 reading unit, 33 frequency counting unit, 3
4 frequency table storage unit, 35 writing unit, 36
Background flag memory, 41 foreground extraction unit, 42 foreground storage unit, 43 foreground accumulation image construction unit, 44 foreground accumulation image storage unit, 45 learning unit, 46 prediction coefficient storage unit,
47 adaptive processing section, 48 error calculation section, 49 error image storage section, 50 error determination section, 51 MUX,
61 prediction tap component, 62 normal equation component,
63 prediction coefficient calculation unit, 71 prediction tap configuration unit,
72 prediction operation unit, 81 DMUX, 82 prediction coefficient storage unit, 83 adaptive processing unit, 84 foreground storage unit,
85 synthesis unit, 86 image storage unit, 87 background memory, 88 camera motion vector storage unit, 101 computer, 102 hard disk, 103 semiconductor memory, 111 floppy disk, 112
CD-ROM, 113 MO disk, 114 DVD, 11
5 magnetic disk, 116 semiconductor memory, 121
Download site, 122 satellites, 131 network, 141 bus, 142 CPU, 143 R
OM, 144 RAM, 145 input / output interface, 146 display unit, 147 input unit, 148
Communication unit, 149 drive
Claims (7)
背景画像を抽出する画像処理装置であって、 前記一連の画像から、その各画面の背景の位置合わせを
行った状態で空間的に同一位置にある画素を検出する画
素検出手段と、 前記空間的に同一位置にある画素の画素値の度数を計数
する度数計数手段と、 前記空間的に同一位置にある画素の個数に対する前記度
数の割合が所定値以上の画素値を、前記背景画像を構成
する背景画素の画素値として記憶する背景画像記憶手段
と、 画素値が記憶された前記背景画素に基づいて、前記背景
画像記憶手段に記憶された前記背景画像を拡張する背景
拡張手段とを含むことを特徴とする画像処理装置。An image processing apparatus for extracting a background image as a background image from a series of images, wherein the background image of each screen is spatially aligned from the series of images. Pixel detection means for detecting a pixel at the same position; frequency counting means for counting the frequency of a pixel value of the pixel at the spatially same position; and Background image storage means for storing a pixel value having a ratio equal to or greater than a predetermined value as a pixel value of a background pixel constituting the background image; and storing the pixel value in the background image storage means based on the background pixel in which the pixel value is stored. And a background extending means for extending the background image.
度数の前記割合が前記所定値以上の画素値を、前記背景
画像を構成する背景画素の画素値として記憶することを
特徴とする請求項1に記載の画像処理装置。2. The apparatus according to claim 1, wherein said background image storage means stores, as a pixel value of a background pixel forming said background image, a pixel value whose ratio of the highest frequency of pixel values is equal to or greater than said predetermined value. Item 2. The image processing device according to Item 1.
ていない前記背景画素の画素値を、それに近接する、画
素値が記憶されている前記背景画素に基づいて求め、前
記背景画像記憶手段に書き込むことを特徴とする請求項
1に記載の画像処理装置。3. The background image storing means obtains a pixel value of the background pixel having no stored pixel value based on the background pixel having a pixel value stored therein which is close to the background pixel. The image processing apparatus according to claim 1, wherein the image is written in the image data.
ていない前記背景画素である未登録背景画素の画素値
を、それに近接する、画素値が記憶されている前記背景
画素である既登録背景画素との連続性に基づいて求め、
前記背景画像記憶手段に書き込むことを特徴とする請求
項1に記載の画像処理装置。4. The background expansion unit changes a pixel value of an unregistered background pixel, which is the background pixel having no stored pixel value, with a registered pixel, which is adjacent to the unregistered background pixel and has stored a pixel value. Determined based on the continuity with the background pixel,
The image processing apparatus according to claim 1, wherein the image is written in the background image storage unit.
素と空間的に同一位置にある前記一連の画像の画素の画
素値の度数の割合が所定の順位内にある画素値が、前記
未登録背景画素に隣接する前記既登録背景画素の画素値
と連続性を有する場合、前記既登録背景画素の画素値と
連続性を有する、前記度数の割合が所定の順以内にある
画素値に基づいて、前記未登録背景画素の画素値を求
め、前記背景画像記憶手段に書き込むことを特徴とする
請求項4に記載の画像処理装置。5. The background extending means according to claim 1, wherein said pixel value having a frequency ratio of a pixel value of a pixel of the series of images at the same position spatially as the unregistered background pixel is within a predetermined order. When the pixel value of the registered background pixel adjacent to the registered background pixel has continuity with the pixel value of the registered background pixel, the pixel has a continuity with the pixel value of the registered background pixel. 5. The image processing apparatus according to claim 4, wherein a pixel value of the unregistered background pixel is obtained and written to the background image storage unit.
背景画像を抽出する画像処理方法であって、 前記一連の画像から、その各画面の背景の位置合わせを
行った状態で空間的に同一位置にある画素を検出する画
素検出ステップと、 前記空間的に同一位置にある画素の画素値の度数を計数
する度数計数ステップと、 前記空間的に同一位置にある画素の個数に対する前記度
数の割合が所定値以上の画素値を、前記背景画像を構成
する背景画素の画素値として、前記背景画像を記憶する
背景画像記憶手段に記憶させる背景画像記憶ステップ
と、 画素値が記憶された前記背景画素に基づいて、前記背景
画像記憶手段に記憶された前記背景画像を拡張する背景
拡張ステップとを含むことを特徴とする画像処理方法。6. An image processing method for extracting a background image which is a background image from a series of images, wherein the background of each screen is spatially aligned from the series of images. A pixel detecting step of detecting a pixel at the same position; a frequency counting step of counting a frequency of a pixel value of the pixel at the spatially same position; and a frequency counting step for the number of pixels at the spatially same position. A background image storing step of storing, as a pixel value of a background pixel constituting the background image, a pixel value whose ratio is equal to or greater than a predetermined value in a background image storing means for storing the background image; A background extension step of extending the background image stored in the background image storage means based on pixels.
背景画像を抽出する画像処理を行うためのプログラム
を、コンピュータに実行させる媒体であって、 前記一連の画像から、その各画面の背景の位置合わせを
行った状態で空間的に同一位置にある画素を検出する画
素検出ステップと、 前記空間的に同一位置にある画素の画素値の度数を計数
する度数計数ステップと、 前記空間的に同一位置にある画素の個数に対する前記度
数の割合が所定値以上の画素値を、前記背景画像を構成
する背景画素の画素値として、前記背景画像を記憶する
背景画像記憶手段に記憶させる背景画像記憶ステップ
と、 画素値が記憶された前記背景画素に基づいて、前記背景
画像記憶手段に記憶された前記背景画像を拡張する背景
拡張ステップとを含むことを特徴とするプログラムを、
前記コンピュータに実行させる媒体。7. A medium for causing a computer to execute a program for performing image processing for extracting a background image which is a background image from a series of images, comprising: A pixel detection step of detecting pixels at the same spatial position in a state where the alignment is performed; a frequency counting step of counting the frequency of a pixel value of the pixel at the spatially same position; Background image storage for storing a pixel value whose ratio of the frequency to the number of pixels at the same position is a predetermined value or more as a pixel value of a background pixel constituting the background image in background image storage means for storing the background image And a background extension step of extending the background image stored in the background image storage means based on the background pixel in which a pixel value is stored. A program that,
A medium to be executed by the computer.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25847399A JP4186093B2 (en) | 1999-09-13 | 1999-09-13 | Image processing apparatus, image processing method, and recording medium |
US10/854,851 US7133562B2 (en) | 1999-09-13 | 2004-05-27 | Image processing apparatus |
US10/855,753 US7003163B2 (en) | 1999-09-13 | 2004-05-27 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25847399A JP4186093B2 (en) | 1999-09-13 | 1999-09-13 | Image processing apparatus, image processing method, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001086388A true JP2001086388A (en) | 2001-03-30 |
JP4186093B2 JP4186093B2 (en) | 2008-11-26 |
Family
ID=17320721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25847399A Expired - Fee Related JP4186093B2 (en) | 1999-09-13 | 1999-09-13 | Image processing apparatus, image processing method, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4186093B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017092886A (en) * | 2015-11-17 | 2017-05-25 | 日本電信電話株式会社 | Video encoding method, video encoder and video encoding program |
-
1999
- 1999-09-13 JP JP25847399A patent/JP4186093B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017092886A (en) * | 2015-11-17 | 2017-05-25 | 日本電信電話株式会社 | Video encoding method, video encoder and video encoding program |
Also Published As
Publication number | Publication date |
---|---|
JP4186093B2 (en) | 2008-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2001086507A (en) | Image coder, image coding method, image decoder, image decoding method, medium and image processor | |
KR101108634B1 (en) | Image processing device and image processing method and recording medium | |
JP3679426B2 (en) | A system that encodes image data into multiple layers, each representing a coherent region of motion, and motion parameters associated with the layers. | |
KR101092287B1 (en) | Image processing apparatus and image processing method | |
JP5263565B2 (en) | Image processing apparatus, image processing method, and program | |
US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
JPH10285602A (en) | Dynamic sprite for encoding video data | |
US20050265443A1 (en) | Coding apparatus and method, decoding apparatus and method, data processing system, storage medium, and signal | |
KR20090006068A (en) | Method and apparatus for modifying a moving image sequence | |
WO2006043258A2 (en) | Dominant motion estimation for image sequence processing | |
JP2009212605A (en) | Information processing method, information processor, and program | |
JPH11112871A (en) | Image extraction device, image extraction method, image encoder, image encoding method, image decoder, image decoding method, image recorder, image recording method, image reproducing device and image producing method | |
KR20060121971A (en) | Method of visualizing a large still picture on a small-size display | |
JP2001084368A (en) | Data processor, data processing method and medium | |
JP2001086387A (en) | Motion-detecting device and method and medium | |
JPH10155139A (en) | Image processor and image processing method | |
JP2001086388A (en) | Image processor and image-processing method, and medium | |
US20070008342A1 (en) | Segmentation refinement | |
JP4507639B2 (en) | Image signal processing device | |
JP2000348019A (en) | Data processor, data processing method and medium | |
JPH08242454A (en) | Method for detecting global motion parameter | |
JP2010219715A (en) | Image processor, image processing method, and program | |
JP4329331B2 (en) | Image processing apparatus and method, recording medium, and program | |
JPH0937255A (en) | Motion parameter detector, motion parameter detection method and image coder | |
Bolin | Content Activity Based Video Summarization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080723 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080814 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080827 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130919 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |