WO2009102013A1 - 移動ベクトル検出装置 - Google Patents

移動ベクトル検出装置 Download PDF

Info

Publication number
WO2009102013A1
WO2009102013A1 PCT/JP2009/052403 JP2009052403W WO2009102013A1 WO 2009102013 A1 WO2009102013 A1 WO 2009102013A1 JP 2009052403 W JP2009052403 W JP 2009052403W WO 2009102013 A1 WO2009102013 A1 WO 2009102013A1
Authority
WO
WIPO (PCT)
Prior art keywords
edge
area
frame
feature
value
Prior art date
Application number
PCT/JP2009/052403
Other languages
English (en)
French (fr)
Inventor
Jun Takada
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to US12/865,174 priority Critical patent/US8681870B2/en
Priority to JP2009527635A priority patent/JP4471039B2/ja
Publication of WO2009102013A1 publication Critical patent/WO2009102013A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Definitions

  • the present invention relates to a movement vector detection apparatus, and more particularly to a movement vector detection apparatus that detects main movement vectors from drawing data on a computer screen.
  • drawing data of an application program executed on the server device is transferred to a terminal device on the client side through a network such as a LAN (Local Area Network) and displayed on the screen of the terminal apparatus.
  • a network such as a LAN (Local Area Network)
  • the load on the server device for transferring drawing data to the terminal device increases and the response time decreases. And problems such as significant restrictions on the number of connected terminal devices occur.
  • a technique called a full search method is generally used to detect a movement vector and a movement area.
  • a comparison is made between a template block as an image to be searched and all search windows as search targets. That is, the movement vector and the movement area are detected in units of blocks of 8 pixels ⁇ 8 pixels.
  • the difference absolute value sum of the pixel values is obtained in order while scanning the search window, and a motion with a place where the difference absolute value is minimized is detected as a movement vector.
  • the full search method requires a very large amount of computation. For this reason, a high-speed method is proposed in which a rough search is first performed broadly, and a narrow search is performed according to the evaluation result with high accuracy (see, for example, Patent Document 2).
  • An object of the present invention is to provide a movement vector detection apparatus capable of detecting a main movement vector at high speed and with high accuracy from drawing data on a computer screen.
  • the moving vector detection apparatus includes an edge extraction unit that extracts edge points from each of a current frame and a previous frame that is a frame before the current frame, and the edge extraction unit extracts the edge point.
  • the edge extraction unit extracts the edge point.
  • feature points that are edge points whose positional relationship with one or more other edge points in the frame is uniquely determined in the frame are extracted from each of the previous frame and the current frame.
  • the movement vector detecting apparatus uses the positional relationship between two edge points as a feature amount for an edge pair that is a combination of two edge points included in a frame, and features of the current frame.
  • the edge pair of the previous frame and the edge pair of the current frame, the position relationship of which is uniquely determined between the quantity and the feature quantity of the previous frame that is a frame before the current frame are feature point pairs, and the previous point in the feature point pair
  • a coordinate difference between an edge point of an edge pair of a frame and an edge point of the edge pair of the current frame in the feature point pair is detected as a movement vector of a movement region from the previous frame to the current frame.
  • a movement vector detection apparatus capable of detecting main movement vectors at high speed and with high accuracy from drawing data on a computer screen.
  • 1 is a block diagram of a video signal encoding device according to an embodiment of the present invention. It is a flowchart which shows the flow of a process of the video signal encoding apparatus which concerns on embodiment of this invention. It is explanatory drawing of the encoding process of the video signal by the video signal encoding apparatus which concerns on embodiment of this invention. It is a block diagram of the 1st Example of a movement vector detection part. It is a flowchart which shows the flow of a process of the movement vector detection part which concerns on a 1st Example. It is explanatory drawing of the edge extraction process in the movement vector detection part which concerns on a 1st Example.
  • FIG. 1 It is a figure which shows an example of the hash table of the present frame used with the movement vector detection part which concerns on a 1st Example. It is a figure which shows an example of the hash table of the previous frame used by the movement vector detection part which concerns on a 1st Example. It is a figure which shows an example of the detection result of the movement vector detection part which concerns on 1st Example. Relationship between an image obtained by plotting a pair of feature points included in a list of most frequent movement vector candidates detected by the movement vector detection unit according to the first embodiment in the previous frame and the current frame, and the estimated movement vector FIG. It is a block diagram of the 1st Example of a movement area
  • an example of a video signal encoding device 100 includes an image input device 101, a data storage device 102, a data processing device 103, and a code output device 104. ing.
  • the image input device 101 is a device for inputting a video signal to be encoded.
  • a color video signal on a display screen of a computer (not shown) is analog-captured or digitally captured and stored in the data storage device 102.
  • the captured video signal for one screen is called a frame or screen data.
  • the data storage device 102 stores an encoding target frame storage unit 111 that stores a frame input from the image input device 101, and a reference frame that stores a reference frame used for encoding the frame stored in the encoding target frame storage unit 111.
  • the storage unit 112 includes a work area 113 that holds various data that are appropriately referenced and updated in the process of frame encoding.
  • the data processing device 103 is a device that encodes the encoding target frame stored in the data storage device 102, and includes a movement vector detection unit 121, a movement region detection unit 122, a motion compensation unit 123, and an update region detection region setting unit. 124, an update region detection unit 125, and a region encoding unit 126. Each part has the following general functions.
  • the movement vector detection unit 121 has a function of detecting one main movement vector by comparing the encoding target frame with the immediately preceding frame.
  • the main movement vector means a dominant one of one or more movement vectors. For example, when map scrolling and mouse cursor movement occur simultaneously on the computer screen, the movement vector by the map scroll becomes the main movement vector because most of the movement area is occupied by the map scrolling.
  • the movement area detection unit 122 is the same or similar image area that exists in both the encoding target frame and the immediately preceding frame, and the movement vector detection unit 121 detects the position on the screen. It has a function of detecting an image area that changes only as a moving area.
  • the motion compensation unit 123 copies the movement region detected by the movement region detection unit 122 to the movement destination indicated by the movement vector in the reference frame used for encoding the frame to be encoded, and the reference frame after the motion compensation It has the function to generate.
  • the update area detection area setting unit 124 has a function of setting one or more update area detection areas on the frame.
  • the update region detection unit 125 has a function of detecting, as an update region, a region where the reference frame after motion compensation is different from the encoding target frame for each update region detection region set by the update region detection region setting unit 124. .
  • the region encoding unit 126 generates a code obtained by encoding the update region detected by the update region detection unit 125 as an image by an arbitrary encoding method.
  • the code output device 104 is a device that reads out and outputs the code generated for the encoding target frame from the work area 113 of the data storage device 102, and is configured by, for example, a communication device that communicates with a client terminal (not shown).
  • the code generated for one encoding target frame includes the update region code generated by the region encoding unit 126, the movement region information detected by the movement vector detection unit 121 and the movement region detection unit 122 (the movement source information). Area coordinates and movement vectors).
  • the movement vector detection unit 121, the movement region detection unit 122, the motion compensation unit 123, the update region detection region setting unit 124, the update region detection unit 125, and the region encoding unit 126 include a computer that constitutes the data processing device 103 and its computer It can be realized with the program that operates above.
  • the program is provided by being recorded on a computer-readable recording medium such as a CD-ROM, and read by the computer when the computer is started up, etc., and controls the operation of the computer, thereby realizing the above-described units on the computer.
  • the image input device 101 of the video signal encoding device 100 captures a frame to be encoded and stores it as a current frame in the encoding target frame storage unit 111 of the data storage device 102 (step S101 in FIG. 2).
  • the motion vector detection unit 121 compares the current frame with a frame (reference frame) that has already been encoded and stored in the reference frame storage unit 112, and detects one main motion vector. (Step S102). For example, if the movement vector 134 illustrated from the comparison between the current frame 131 and the reference frame 132 in FIG. 3 is dominant, the movement vector 134 is detected as the main movement vector. Information on the detected movement vector 134 is temporarily stored in the work area 113.
  • the movement area detection unit 122 is the same or similar image area that exists in both the current frame and the reference frame,
  • the image area where the position at is changed by the movement vector detected by the movement vector detection unit 121 is detected as the movement area (step S104).
  • the areas 135 and 136 are detected as moving areas.
  • the detected coordinate information of the moving areas 135 and 136 is temporarily stored in the work area 113.
  • the motion compensation unit 123 performs motion compensation for copying the image of the movement area before movement on the reference frame to the position after movement indicated by the movement vector.
  • the reference frame storage unit 112 is updated (step S106). For example, in the case of FIG. 3, the area 136 is copied to a position corresponding to the area 135 in the current frame 131 on the reference frame 132. Thereby, the reference frame 137 after motion compensation in FIG. 3 is generated.
  • step S103 if the movement vector is not detected (NO in step S103), the detection of the movement area and the motion compensation are not executed. Further, even if the movement vector is detected, if the detection of the movement area fails (NO in step S105), motion compensation is not executed.
  • the update area detection area setting unit 124 sets one or more update area detection areas for detecting the update area on the frame (step S107).
  • the update region detection unit 125 detects a region where the reference frame is different from the current frame for each update region detection region set by the update region detection region setting unit 124 (step S108). Thereby, for example, in the case of FIG. 3, the update areas 138 and 139 are detected.
  • the detected coordinate information of the update areas 138 and 139 is temporarily stored in the work area 113.
  • the region encoding unit 126 generates a code obtained by encoding the update region detected by the update region detection unit 125 as an image (step S109).
  • the generated code is temporarily stored in association with the coordinate information of the update area stored in the work area 113.
  • the code output device 104 receives the information generated for the current frame from the work area 113 of the data storage device 102, that is, the coordinate information of each update area and its code and movement area information (coordinate information and movement vector of the movement source area). Read and output (step S110). For example, in the case of FIG. 3, the coordinate information and code of the update area 138, the coordinate information and code of the update area 139, the coordinate information of the movement area 136, and the movement vector 134 are output as code information regarding the current frame.
  • the procedure is the reverse of encoding.
  • the movement region 136 of the reference frame 132 is copied to the location indicated by the movement vector 134 to generate a reference frame 137 after motion compensation.
  • the current frame 131 is generated by reflecting the update area 138 and the update area 139 decoded from the code information with respect to the reference frame.
  • the motion compensation unit 123 can be realized by a copy unit
  • the region encoding unit 126 can be realized by a known image encoding technique such as predictive encoding, transform encoding, vector quantization, entropy encoding, etc.
  • the movement vector detection unit 121, the movement region detection unit 122, the update region detection region setting unit 124, and the update region detection unit 125 will be described in detail.
  • the first example of the movement vector detection unit 121 includes an edge extraction unit 201, a feature point extraction unit 202, a feature point pair extraction unit 203, and a movement vector calculation unit 204. Each has the following functions in general.
  • the edge extraction unit 201 has a function of extracting, as an edge point, a point with a large change in pixel value in the current frame and the reference frame.
  • Edge points are two predetermined orthogonal directions (up and left, left and bottom, bottom and right, right and top, diagonal top left and diagonal bottom left, diagonal bottom left and diagonal bottom right, diagonal bottom right and diagonal top right,
  • the pixel values are different from each other by a predetermined threshold or more in the difference between the pixel values of the diagonally upper right and diagonally upper left adjacent pixels.
  • the difference between the pixel values is obtained for each of R, G, and B components, and if the difference between any of the components is equal to or greater than the threshold, it is determined that the difference between the pixel values of the two pixels is equal to or greater than the threshold. .
  • the feature point extraction unit 202 has edge points that are unique (also referred to as unique) in the frame among the edge points extracted from the current frame and the reference frame. (The edge point whose positional relationship with the one or more edge points only appears once in the frame) as a feature point.
  • one edge point that appears immediately before in the raster scan order of the frame is used as the other one or more edge points.
  • a plurality of edge points such as the immediately preceding first edge point and the immediately preceding second edge point may be used.
  • using a plurality of immediately preceding edge points can reduce the number of edge points having a unique positional relationship with other edge points in the frame, rather than using only one immediately preceding edge point. There is an advantage that the number of bits of the hash value can be reduced when using the hash value.
  • a value expressing the distance between the edge points by the number of pixels can be used. Further, not the distance itself but the number of lower bits of the bit string representing the distance may be used as a hash value, and an edge point having this unique hash value may be extracted as a feature point. In the present embodiment, for example, the lower 11 bits of the bit string representing the distance are used as the hash value.
  • the feature point pair extraction unit 203 has a function of extracting a pair of feature points having the same positional relationship with other edge points from the current frame and the reference frame. Preferably, the feature point pair extraction unit 203 extracts a pair of feature points having the same positional relationship with other edge points and having a pixel value difference equal to or less than a threshold value.
  • the movement vector calculation unit 204 has a function of calculating the difference between the coordinate values of the feature point pairs extracted from the current frame and the reference frame as a movement vector.
  • the movement vector calculation unit 204 includes a movement vector candidate generation unit 205 and a movement vector selection unit 206.
  • the movement vector candidate generation unit 205 has a function of generating a difference between coordinate values as a movement vector candidate for each feature point pair when there are a plurality of pairs of feature points extracted from the current frame and the reference frame.
  • the movement vector selection unit 206 has a function of selecting a movement vector candidate that appears most frequently among movement vector candidates as a movement vector.
  • the edge extraction unit 201 of the movement vector detection unit 121 pays attention to the top pixel of the current frame stored in the encoding target frame storage unit 111 (step S201 in FIG. 5), and determines whether the pixel under attention is an edge point. Determination is made (step S202). If it is not an edge point, attention is shifted to the next pixel in the order of the raster scan direction (step S206), and it is determined whether the pixel being noticed is an edge point (step S202).
  • step S202 If the pixel of interest is an edge point (YES in step S202), the set of the coordinate value and pixel value of the pixel of interest is temporarily stored in the work area 113 as edge point information (step S203). Next, the distance to the immediately preceding edge point stored in the work area 113 is obtained, and the lower 11 bits of the distance are calculated as a hash value (step S204), corresponding to the current frame stored in the work area 113.
  • the hash table to be updated is updated (step S205). For example, as illustrated in FIG.
  • an example of a hash table corresponding to the current frame has an entry corresponding to each hash value from 0 to 2047 in a one-to-one correspondence, and each entry has an appearance frequency, a final appearance coordinate, and a pixel value. be registered.
  • the initial value of the appearance frequency is 0, and the initial values of the final appearance coordinates and the pixel value are NULL.
  • the edge extraction unit 201 increments the appearance frequency of the entry having the calculated hash value by 1, and sets the detected edge point coordinate value and pixel value to the final appearance coordinate and pixel value. Record in the column.
  • the appearance frequency in the entry of the hash value 4 in FIG. 7 is incremented by 1, and the coordinate value and the pixel value of the pixel P (5, 1) are recorded in the same entry. Is done.
  • the edge extraction unit 201 repeatedly executes the above processing up to the last pixel of the current frame.
  • the feature point extraction unit 202 refers to the hash table corresponding to the current frame and sets the coordinate value and the pixel value to the entry whose appearance frequency is 1. Are extracted as feature points (step S208). For example, when the hash table corresponding to the current frame at the time when the processing of the edge extraction unit 201 is completed is the one shown in FIG. 7, the pixel P (5, 1) is extracted as one feature point.
  • the feature point pair extraction unit 203 refers to the hash table corresponding to the current frame and the hash table corresponding to the previous frame, and extracts all pairs of feature points having the same hash value (step S209).
  • the hash table corresponding to the previous frame is created by the edge extraction unit 201 when the previous frame is processed as the current frame, and is stored in the work area 113.
  • the hash value is the same as the pixel P (5,1) extracted as the feature point from the current frame shown in FIG. Since the pixel P (5, 8) exists in the previous frame, the pair of the pixel P (5, 8) in the previous frame and the pixel P (5, 1) in the current frame is extracted as one feature point pair. .
  • the feature point pair extraction unit 203 has a high possibility of correspondence among pairs of feature points extracted in step S209, in which the difference between the R, G, and B color components is less than or equal to a preset threshold value. Therefore, the remaining feature point pairs are excluded (step S210).
  • the feature point pair extraction unit 203 records the remaining feature point pair information in the work area 113.
  • the movement vector candidate generation unit 205 of the movement vector calculation unit 204 reads feature point pair information from the work area 113, and generates a coordinate value difference as a movement vector candidate for each pair (step S211). For example, in the case of the above-described pair of feature points P (5, 8) and P (5, 1), (0, -7) is generated as a motion vector candidate. Since still vectors are ignored, they are excluded from candidates when the difference is (0, 0).
  • the movement vector candidate generation unit 205 records movement vector candidate information in the work area 113.
  • the movement vector selection unit 206 reads out information on the movement vector candidates from the work area 113, counts the total number of the same movement vector candidates, obtains the appearance frequency of each movement vector candidate, and determines the most frequent movement vector candidate. It selects as an estimated value of the main movement vector (step S212).
  • the movement vector selection unit 206 records the movement vector detection result in the work area 113 (step S213).
  • FIG. 10 shows the relationship between an image obtained by plotting pairs of feature points included in the detection result in the previous frame and the current frame, and the estimated movement vector.
  • the motion vector estimated from the most frequent motion vector candidate is the main motion vector among one or more motion vectors existing in the current frame.
  • the movement vector detection unit 121 of the present embodiment it is possible to detect main movement vectors at high speed and with high accuracy from the video signal of the computer screen.
  • the reason is that, firstly, it is not necessary to search various vectors in each pixel block, and the movement vector is obtained by extracting and comparing edge points and feature points, and secondly, the raster scan order in the frame. Because of this processing, the locality of memory access is high, and thirdly, since a comparison is made not on a block basis but on the entire screen, a movement vector in a relatively large object unit such as a window can be detected as a main movement vector. Fourthly, since the vector is detected based on the edge point, it is not necessary to accurately match the pixel value between the movement source and the movement destination, and it is possible to deal with a noisy video signal captured in analog. .
  • the movement vector detection unit 121 of the present embodiment (1) does not detect a plurality of vectors at the same time, (2) does not detect a movement vector of an object accompanied by a sub-pixel unit or deformation, and (3) an object with few edges. There is a restriction that no motion vector is detected. However, (1) and (2) are unlikely to occur on a computer screen, and even if a region such as (3) is encoded as an image as it is, the amount of code becomes small, so that there is no big problem.
  • the first example of the moving area detecting unit 122 includes an initial candidate determining unit 301 and a moving area determining unit 302. Each has the following functions in general.
  • the initial candidate determination unit 301 has a function of determining an initial candidate for a moving area.
  • the moving region determining unit 302 moves the motion compensation unit 123 from among the initial moving region candidate determined by the initial candidate determining unit 301 and one or more other moving region candidates whose sizes are changed. It has a function of determining a moving area to be used for compensation.
  • the initial candidate determining unit 301 of the moving region detecting unit 122 determines the moving region of the initial candidate (step S301 in FIG. 12).
  • a method for determining an initial candidate there is a method in which a rectangle circumscribing a feature point group that is a source of calculation of the motion vector candidate used by the motion vector detection unit 121 for estimating the motion vector is used as an initial candidate for the motion region. .
  • the movement vector selection unit 206 of the movement vector detection unit 121 generates a detection result as illustrated in FIG. 9, the movement region detection unit 122 extracts the feature points described in the detection result from the work area 113. Read every previous frame and current frame.
  • the movement area detection unit 122 sets a rectangle circumscribing the feature point group as the movement area before movement as shown in the previous frame of FIG. Then, the movement area detection unit 122 detects a rectangle circumscribing the feature point group as the movement area after movement as shown in the current frame in FIG. Information on the detected moving area of the initial candidate is temporarily recorded in the work area 113.
  • a rectangle circumscribing any three or more feature points in the feature point group included in the motion vector candidate used by the motion vector detection unit 121 for estimating the motion vector is used.
  • the moving region determining unit 302 of the moving region detecting unit 122 determines a moving region to be used for motion compensation from among the initial candidates and other candidates (step S302).
  • a configuration example of the movement area determination unit 302 will be described in detail.
  • Example 1 of the movement area determination unit 302 An example of processing performed by the movement region determination unit 302 in Example 1 is illustrated in FIGS. 14A and 14B.
  • the moving region determination unit 302 actually performs motion compensation based on the determined moving region and moving vector of the initial candidate, compares the pixel values, and confirms whether or not they are correctly translated. Specifically, whether the code amount reduced by motion compensation or the code amount increased by motion compensation increases depends on whether the moving region is suitable as a moving region used for motion compensation or not. Using the merit values and demerit values shown as evaluation scales, estimation is performed by the following method (steps S311 and S312).
  • the merit value is an evaluation scale indicating the degree to which the moving area is suitable as a moving area used for motion compensation
  • the demerit value is an evaluation scale indicating the degree to which the moving area is not suitable as a moving area used for motion compensation.
  • the initial value is 0.
  • the reason for adding the condition that there is a luminance gradient equal to or greater than the threshold value between adjacent pixels is that a portion including a point having a luminance gradient generally increases the amount of code in encoding by difference. .
  • the above-mentioned processes (a) and (b) are performed on the entire moving area of the initial candidate, and if the merit value is larger than the demerit value, it is adopted as the moving area, otherwise it is rejected.
  • the process of adding the merit value and the demerit value according to the comparison result of the pixel value and comparing the final merit value and the demerit value is the addition using only one of the merit value and the demerit value. It is equivalent to using subtraction properly. Specifically, first, every time a pixel in which the difference between the pixel value after motion compensation and the true pixel value is equal to or greater than a predetermined threshold is detected, the merit value is subtracted by the predetermined value (or the demerit value is decreased by the predetermined value). to add. Next, every time a pixel is detected that has a difference between the pixel value after motion compensation and the true pixel value that is smaller than a predetermined threshold and has a luminance gradient greater than or equal to the threshold between adjacent pixels. A process of adding a value by a predetermined value (or subtracting a demerit value by a predetermined value) is performed. Thereby, the positive or negative value of the final merit value (or demerit value) may be determined.
  • Step S312 When the initial candidate for the moving area is rejected (NO in step S312), the detection of the moving area is no longer performed in this example and the detection result indicating that the detection of the moving area has failed is recorded in the work area 113 ( Step S323), the processing of FIG. 14A and FIG. 14B ends.
  • step S312 when the initial candidate for the moving area is adopted (YES in step S312), it is checked whether the area can be further expanded vertically and horizontally by the following procedure.
  • step S313 For each line of the moving area, when the area is expanded to the right, the number of continuous pixels in which the “pixel value after motion compensation” and the “true pixel value” match (the difference is equal to or less than the threshold) is checked.
  • the right end is determined by setting the minimum value of the number of continuous pixels as the maximum enlargement width to the right (step S313). For example, as shown in FIG. 15, when the right end of the initial candidate is expanded to the right, the first line and the third line are continuously 3 pixels, and all the remaining lines are 2 pixels consecutively. If the “pixel value” and the “true pixel value” match, the maximum enlargement width to the right is two pixels, which is the minimum value of the number of continuous pixels.
  • step S315 to S318 The area is further expanded one line at a time with respect to the moving area after the processing of (I) and (II) described above (steps S315 to S318).
  • the merit value and demerit value when one line is enlarged are calculated in the same manner as in the above (a) and (b) (steps S315 and S316), and if the merit value is larger than the demerit value ( YES in step S317), the process returns to step S315, and the same processing is performed for the next line. If the merit value is not larger than the demerit value, the upper end before the enlargement of one line is determined as the upper end of the moving area (step S318).
  • the moving area determining unit 302 records the detection result including the coordinate information of the enlarged moving area in the work area 113 (step S323), and finishes the processes of FIGS. 14A and 14B.
  • the reason for adopting different methods for the left and right expansion of the moving area and the vertical expansion is that the memory access to a plurality of pixels on the same line can be performed at a high speed, but the pixels on different lines can be accessed. This is because it takes time to access the memory. In other words, if the horizontal expansion is performed sequentially one column at a time in the same manner as the top and bottom, memory access over all lines of the moving area is required even if only one column is expanded. However, under such a situation where the memory access time does not become a problem, the movement region may be expanded to the left and right by the same method as the vertical expansion. On the contrary, the movement region may be enlarged up and down by a simple method used for right and left enlargement.
  • the moving region determination unit 302 of Example 1 since the validity of the initial candidate determined by the initial candidate determination unit 301 can be quantitatively determined, motion compensation using an inappropriate moving region is prevented. can do. In addition, when the initial candidate is valid, it is possible to search for a moving region having a larger size and having a large code amount reduction effect.
  • Example 2 of moving area determination unit 302 A processing example of the movement area determination unit 302 of Example 2 is shown in FIGS. 16A and 16B.
  • the difference between Example 2 and Example 1 is as follows. In Example 1, only a moving region having a size larger than the initial candidate was searched. On the other hand, in Example 2, considering the possibility that the moving area is excessively detected as an area larger than the true moving area, first, the possibility of area reduction is determined for each side. Sides that have not been detected are enlarged as in Example 1.
  • the moving area determination unit 302 determines the validity of the moving area of the initial candidate by the same method as in Example 1 (Steps S331 and S332).
  • the initial candidate for the moving area is rejected (NO in step S332)
  • the moving area is no longer detected in this example as in Example 1, and the detection result indicating that the moving area has failed to be detected is displayed in the work area 113. (Step S357), and the processing of FIGS. 16A and 16B is terminated.
  • step S332 when the initial candidate for the moving area is adopted (YES in step S332), it is checked whether the area can be further reduced from the top, bottom, left, and right, and whether it can be expanded from top to bottom, left, and right by the following procedure.
  • the moving area determination unit 302 calculates the maximum reduction width from the right of the moving area of the initial candidate (step S333). Specifically, for each line of the moving region, the number of consecutive pixels in which the “pixel value after motion compensation” does not match the “true pixel value” when the region is narrowed from the right (the difference is greater than or equal to the threshold value). And the right end is determined with the minimum value of the number of continuous pixels as the maximum reduction width from the right. For example, as shown in FIG. 17, when the right edge of the initial candidate is narrowed from the right, the first line, the fourth line, and the fifth line are three consecutive pixels, and the remaining lines are two consecutive pixels. If the “pixel value after motion compensation” and the “true pixel value” do not match, the maximum reduction width from the right is set to two pixels, which is the minimum value of the number of continuous pixels.
  • the moving area determination unit 302 determines whether or not the maximum reduction width is 0 (step S334). If the maximum reduction width is not 0, for example, as shown in FIG. 17, the maximum reduction width is determined from the right end of the initial candidate. The portion narrowed by the distance is determined as the right end of the movement area (step S335). If the maximum reduction width is 0, the maximum enlargement width to the right of the moving area is calculated in the same manner as in Example 1, and the right end is determined (step S336).
  • the moving area determination unit 302 calculates the maximum reduction width from the left end of the initial area in the same manner as the right end (step S337). If the maximum reduction width is not 0, the left end is determined from the maximum reduction width (step S338). 339). If the maximum reduction width is 0, the maximum extension width from the left end is calculated in the same manner as in Example 1, and the left end is determined (step S340).
  • the moving area determination unit 302 reduces the moving area by one line from the top, and calculates the merit value and the demerit value when the line is reduced by the same method as the above-described (a) and (b) (steps). S341, S342). If the merit value is smaller than the demerit value (YES in step S343), the same reduction process is repeated for the next line (steps S344 to S346). If it is detected that the merit value is not smaller than the demerit value, the upper end before the reduction of one line is determined as the upper end of the movement region (step S347). On the other hand, if it is determined in step S343 that the merit value is not smaller than the demerit value, the maximum extension width above the moving region is calculated by the same method as in Example 1 and the upper end is determined (step S348).
  • the movement area determination unit 302 performs the same process from the bottom of the movement area as from the top (steps S349 to S356).
  • the moving area determination unit 302 records the detection result including the coordinate information of the moving area in which the upper, lower, left and right ends are determined in the work area 113 (step S357), and finishes the processes of FIGS. 16A and 16B.
  • the reason why different methods are adopted for the reduction from the left and right of the moving region and the reduction from the top and bottom is that memory access to a plurality of pixels on the same line can be performed at a high speed, but to the pixels on different lines. This is because it takes time to access the memory. In other words, if the horizontal reduction is performed one column at a time in the same manner as the top and bottom, memory access over all the lines of the moving area is required even by reducing one column. However, under such a situation where the memory access time does not become a problem, the movement area may be reduced from the left and right by the same method as the reduction from the top and bottom. Conversely, reduction from the top and bottom of the moving area may be performed by a simple method used for reduction from the left and right.
  • the moving region determination unit 302 of Example 2 since the validity of the initial candidate determined by the initial candidate determination unit 301 can be quantitatively determined, motion compensation using an inappropriate moving region is prevented. can do.
  • the initial candidate when the initial candidate is valid, it tries to reduce from the top, bottom, left, and right, so if the initial candidate's moving area is excessively detected as a larger area than the true moving area, the excess detection amount should be reduced. Is possible.
  • the side where there is no possibility of excessive detection can be expanded to a larger moving region with a large code amount reduction effect.
  • Example 3 of moving area determination unit 302 A processing example of the movement area determination unit 302 of Example 3 is shown in FIG. The difference between Example 3 and Example 2 is that in Example 3, when the merit value calculated for the initial candidate was lower than the demerit value, detection of the moving region was no longer given, whereas in Example 3, the move In consideration of the possibility that the area is detected to be extremely larger than the true moving area, the possibility of reducing the area is determined for each side.
  • the moving area determination unit 302 determines the validity of the moving area of the initial candidate by the same method as in Example 2 (Steps S361 and S362). Processing step S363 when the initial candidate for the moving area is not rejected (YES in step S362) is the same as steps S333 to S356 in example 2.
  • step S362 if the initial candidate for the moving area is rejected (NO in step S362), it is checked whether the area can be further reduced from the top, bottom, left, and right by the following procedure.
  • the moving area determination unit 302 calculates the maximum reduction width from the right of the moving area of the initial candidate by the same method as in Example 2 (step S364).
  • the moving area determination unit 302 determines whether or not the maximum reduction width is equal to the horizontal width of the moving area (step S365). If the maximum reduction width is equal to the horizontal width of the moving area, it is determined that the detection of the moving area has failed. Then, a detection result to that effect is generated (YES in step S365, step S372), and the process in FIG. If the maximum reduction width is not equal to the horizontal width of the moving area, a portion narrowed by the maximum reduction width from the right end of the initial candidate is determined as the right end of the moving area (step S366).
  • the moving area determination unit 302 calculates the maximum reduction width from the left end of the initial area in the same manner as the right end, and determines the left end (step S367).
  • the movement area determination unit 302 calculates the maximum reduction width from above the movement area by the same method as in Example 2 (step S368). If the maximum reduction width is equal to the vertical width of the moving area, the detection result indicating that the moving area has failed is generated (YES in step S369, step S372), and the process in FIG. 18 is terminated. If the maximum reduction width is not equal to the vertical width of the movement area, the upper end of the movement area is determined from the maximum reduction width (step S370).
  • the movement area determination unit 302 calculates the maximum reduction width from the bottom of the movement area in the same manner as above, and determines the lower end (step S371).
  • the moving area determination unit 302 records the detection result including the coordinate information of the moving area in which the upper, lower, left, and right ends are determined in the work area 113 (step S372), and ends the process of FIG.
  • the moving region determination unit 302 of Example 3 since the validity of the initial candidate determined by the initial candidate determination unit 301 can be quantitatively determined, motion compensation using an inappropriate moving region is prevented. can do. Even if the initial candidate is rejected, in order to search for the possibility of reduction, even if the moving area of the initial candidate is detected to be excessively larger than the true moving area, the moving area is set as much as possible. It becomes possible to detect. Further, as in Example 2, when the initial candidate is valid, first, the reduction from the top, bottom, left, and right is attempted. Therefore, if the initial candidate moving area is excessively detected as an area larger than the true moving area, excessive It is possible to reduce the amount of detection. Similarly, the side where there is no possibility of excessive detection can be expanded to a larger moving region that has a large code amount reduction effect.
  • Example 4 of moving area determination unit 302 An example of processing performed by the movement region determination unit 302 in Example 4 is shown in FIGS. 19A and 19B.
  • the difference between Example 4 and Example 2 is that in Example 2, the validity of the initial candidate is determined, and when it is determined to be valid, the moving region is reduced and expanded, whereas in Example 4, the initial candidate is It is in the point of omitting the determination of the validity of and trying to reduce or expand the initial candidate.
  • the moving area determination unit 302 calculates the maximum reduction width from the right of the moving area of the initial candidate by the same method as in Example 2 (step S381). Next, the movement area determination unit 302 determines whether or not the maximum reduction width is equal to the horizontal width of the movement area (step S382). If the maximum reduction width is equal to the horizontal width of the movement area (NO in step S382), the movement area is determined. Is detected (step S399), the processing of FIGS. 19A and 19B is terminated.
  • the movement area determination unit 302 determines whether the maximum reduction width is 0 (step S383). Then, the portion narrowed by the maximum reduction width is determined as the right end of the moving region (step S384). If the maximum reduction width is 0, the moving region determination unit 302 calculates the maximum enlargement width to the right by the same method as in Example 2 and determines the right end (step S385).
  • the moving area determination unit 302 calculates the maximum reduction width from the left of the moving area of the initial candidate by the same method as in Example 2 (step S386), and if the maximum reduction width is not 0 (NO in step S387). Then, a portion narrowed by the maximum reduction width from the left end of the initial candidate is determined as the left end of the moving region (step S388). If the maximum reduction width is 0, the moving area determination unit 302 calculates the maximum enlargement width to the left by the same method as in Example 2 and determines the left end (step S389).
  • the movement area determination unit 302 calculates the maximum reduction width from above the movement area by the same method as in Example 2 (step S390). If the maximum reduction width is equal to the vertical width of the moving area, it is determined that the detection of the moving area has failed, and a detection result to that effect is generated (YES in step S391, S399), and the processes in FIGS. 19A and 19B are terminated. To do. If the maximum reduction width is not equal to the vertical width of the moving area, it is determined whether or not the maximum reduction width is 0 (NO in step S391, step S392). If not, the maximum reduction width is narrowed from the upper end of the initial candidate by the maximum reduction width. The location is determined as the upper end of the movement area (step S393). If the maximum reduction width is 0, the moving area determination unit 302 calculates the maximum enlargement width upward using the same method as in Example 2 and determines the upper end (step S394).
  • the movement area determination unit 302 calculates the maximum reduction width from the bottom of the movement area by the same method as in Example 2 (step S395). If it is not 0, a position narrowed by the maximum reduction width from the lower end of the initial candidate Is determined as the lower end of the movement area (NO in step S396, S397). If the maximum reduction width is 0, the moving area determination unit 302 calculates the maximum downward expansion width by the same method as in Example 2 and determines the lower end (step S398).
  • the movement area determination unit 302 records the detection result including the coordinate information of the movement area where the end portions of the upper, lower, left, and right are determined in the work area 113 (step S399), and ends the processes of FIGS. 19A and 19B.
  • the processing amount can be reduced. Further, since the reduction from the top, bottom, left, and right is first attempted, it is possible to reduce the amount of excess detection when the initial candidate movement area is excessively detected as a larger area than the true movement area. Similarly, the side where there is no possibility of excessive detection can be expanded to a larger moving region that has a large code amount reduction effect. However, since the validity of the moving area of the initial candidate is not determined, there is a possibility that an area where the donut-shaped hole part is completely different before and after the movement is detected as the moving area, for example.
  • Update area detection area setting unit 124 includes a movement area presence / absence determination unit 401, a movement direction determination unit 402, and a division unit 403. Each has the following functions in general.
  • the moving area presence / absence determining unit 401 has a function of determining whether or not a moving area is detected by the moving area detecting unit 122.
  • the movement direction determination unit 402 has a function of determining the movement direction of the movement area detected by the movement area detection unit 122.
  • the division unit 403 has a function of determining the necessity of screen division and setting an update region detection area by screen division according to the determination results of the movement region presence / absence determination unit 401 and the movement direction determination unit 402.
  • the movement area presence / absence determination unit 401 of the update area detection area setting unit 124 reads out and analyzes the detection result of the movement area detection unit 122 from the work area 113 to determine whether or not a movement area has been detected, and determines the determination result. Notification is made to the moving direction determination unit 402 and the dividing unit 403 (step S501 in FIG. 21).
  • the moving direction determination unit 402 determines the moving direction (step S502). Specifically, the movement direction determination unit 402 first receives a notification from the movement region presence determination unit 401 that a movement region has been detected. Next, the movement direction determination unit 402 compares the movement area coordinates before movement included in the detection result of the movement area detection unit 122 read from the work area 113 with the coordinates of the movement area after movement. Is a direction including a component from the top to the bottom of the screen (hereinafter referred to as “downward direction”) or a direction including a component from the bottom of the screen to the top (hereinafter referred to as “upward direction”). Then, the moving direction determination unit 402 notifies the division unit 403 of the determination result.
  • the determination result includes the coordinates of the upper end of the movement area after movement in the case of the downward direction, and the coordinates of the lower end of the movement area after the movement in the case of the upward direction.
  • a method of handling in the left-right direction that is neither downward nor upward for example, it can be considered to include either the downward or upward direction.
  • the dividing unit 403 When the dividing unit 403 receives notification from the moving region presence / absence determining unit 401 that the moving region has not been detected, the dividing unit 403 sets the entire screen as one update region detecting region (step S503).
  • the screen is divided in accordance with the notification from the moving direction determining unit 402 (steps S504 to S506). Specifically, if the movement direction is downward, the screen is divided into two at the upper end of the moved area after movement, and each divided area is set as one update area detection area. If the moving direction is upward, the screen is divided into two at the lower end of the moving area after movement, and each divided area is set as one update area detection area. Thereafter, the update area detection unit 125 detects the update area for each update area detection area.
  • the upper left of FIG. 22 shows that the movement area R11 has moved to the movement area R12 on the screen R1, that is, the movement area has moved downward.
  • the upper right of FIG. 22 shows the case where the entire screen R2 is set as the update region detection area. At this time, the entire area corresponding to the movement area R21 before movement is detected as the update area. In addition, the movement region R20 after the movement is not detected.
  • the screen R3 is divided into two by the dividing line L221 at the upper end of the moving area R30 after movement, and the update areas R31 and R32 are detected in each update area detection area. As a result, the total area of the update region can be minimized and the amount of codes can be reduced.
  • the moving region presence / absence determining unit 401 of the update region detecting region setting unit 124 determines whether or not a moving region has been detected, as in the first processing example, and notifies the moving direction determining unit 402 and the dividing unit 403 of the determination result. (Step S511 in FIG. 23).
  • the movement direction determination unit 402 determines whether the movement direction is downward or upward. The determination is made and the determination result is notified to the dividing unit 403 (step S512).
  • the determination result includes the coordinates of the upper and lower ends of the movement area after the movement in both the downward direction and the upward direction.
  • the dividing unit 403 When the dividing unit 403 receives a notification from the moving region presence / absence determining unit 401 that the moving region has not been detected, the dividing unit 403 sets the entire screen as one update region detecting region as in the first processing example (step S513). ).
  • the screen is divided in accordance with the notification from the moving direction determining unit 402 (steps S514 to S516). Specifically, the screen is divided into three at the upper and lower ends of the moving area after movement in both the downward direction and the upward direction, and each divided area is set as one update area detection area. Thereafter, the update area detection unit 125 detects the update area for each update area detection area.
  • the upper left and upper right in FIG. 24 are the same as the upper left and upper right in FIG.
  • the screen R3 is divided into three by dividing lines L241 and L242 at the upper and lower ends of the moving area R30 after the movement, and the update areas R31 and R32 in the respective update area detection areas. Therefore, the total area of the update region can be minimized, and the amount of codes can be reduced.
  • the upper left of FIG. 25 shows a case where the moving area R13 detected on the screen R1 is smaller than the actual moving area R12.
  • the upper right of FIG. 25 shows a case where the first processing example of FIG. 21 is applied and the screen R2 is divided into two by the dividing line L251 only at the upper end after the movement.
  • the update areas R22 and R23 that are unnecessarily large are detected, including the movement area R20a detected as shown in the upper right of FIG.
  • the screen R3 is divided into three by the dividing lines L252 and L253 at the upper and lower ends of the moving area R30a after the movement, and the update areas R331 and R332 in the respective update area detection areas. , R333 and R334 are detected, the total area of the update region can be reduced, and the amount of code can be reduced accordingly.
  • the moving region presence / absence determining unit 401 of the update region detecting region setting unit 124 determines whether or not a moving region has been detected as in the second processing example, and notifies the moving direction determining unit 402 and the dividing unit 403 of the determination result. (Step S521 in FIG. 26).
  • the movement direction determination unit 402 determines whether the movement direction is downward or upward. The determination is made and the determination result is notified to the dividing unit 403 (step S522).
  • the judgment result includes the coordinates of the upper and lower ends of the moving area after moving and the lower end of the moving area before moving if the moving direction is downward. If the moving direction is upward, The coordinates of the upper and lower ends of the movement area after movement and the upper end of the movement area before movement are included.
  • the dividing unit 403 When the dividing unit 403 receives a notification from the moving region presence / absence determining unit 401 that the moving region has not been detected, the dividing unit 403 sets the entire screen as one update region detecting region as in the second processing example (step S523). ).
  • the screen is divided in accordance with the notification from the moving direction determining unit 402 (steps S524 to S526). Specifically, when the moving direction is downward, the screen is divided into four at the upper and lower ends of the moving area after moving and the lower end of the moving area before moving, and each divided area is set as one update area detection area. .
  • the screen When the moving direction is upward, the screen is divided into four at the upper and lower ends of the moving area after moving and the upper end of the moving area before moving, and each divided area is set as one update area detecting area. Thereafter, the update area detection unit 125 detects the update area for each update area detection area.
  • the upper left and upper right in FIG. 27 are the same as the upper left and upper right in FIG.
  • the screen R3 is divided into four by dividing lines L271, L272, and L273 at the upper and lower ends of the moving region R30 after movement and the lower end of the moving region before movement. Since the update areas R31 and R32 are detected in the update area detection area, the total area of the update areas can be minimized and the code amount can be reduced.
  • the upper left of FIG. 28 is the same as the upper left of FIG.
  • the upper right of FIG. 28 shows a case where the first processing example of FIG. 21 is applied and the screen R2 is divided into two by the dividing line L281 only at the upper end after movement.
  • the update areas R22 and R23 that are unnecessarily large are detected, including the movement area R20a detected as shown in the upper right of FIG.
  • the screen R3 is divided into four by dividing lines L281, L282, and L283 at the upper and lower ends of the moving area R30b after movement and the lower end of the moving area before movement. Since the update area is detected in the update area detection area, the total area of the update area can be reduced, and the code amount can be reduced accordingly.
  • the upper left of FIG. 29 shows a case where the movement area R14 detected on the screen R1 is larger than the actual movement area R12.
  • the upper right of FIG. 29 shows a case where the first processing example of FIG. 21 is applied and the screen R2 is divided into two by the dividing line L291 only at the upper end after the movement.
  • the update areas R24 and R25 that are unnecessarily large are detected, including the movement area R20b detected as shown in the upper right of FIG.
  • the lower right part of FIG. 29 shows a case where the second processing example of FIG. 23 is applied and the screen R3 is divided into three by dividing lines L292 and L293 only at the upper and lower ends of the movement area R30c after movement.
  • the update areas R351 and R352 are somewhat redundant, including the detected movement area R30c as shown in the lower right of FIG.
  • the screen R4 is divided into four by dividing lines L294, L295, and L296 at the upper and lower ends of the moving area R40 after movement and the lower end of the moving area before movement. Since the update areas R41, R42, and R43 are detected in the area detection area, the total area of the update areas can be reduced compared to the second processing example, and the code amount can be reduced correspondingly. However, if the area of the excessively detected region is not so large, the second processing example has an advantage that the number of update regions is reduced.
  • the second embodiment of the update region detection region setting unit 124 includes a moving region presence / absence determining unit 411, a moving region overlap determining unit 412, a moving direction determining unit 413, and a dividing unit 414. Is done. Each has the following functions in general.
  • the movement region presence / absence determination unit 411 and the movement direction determination unit 413 have the same functions as the movement region presence / absence determination unit 401 and the movement direction determination unit 402 in the first embodiment of the update region detection area setting unit 124.
  • the movement area overlap determination unit 412 has a function of determining whether or not there is a possibility of overlapping of the movement areas before and after the movement detected by the movement area detection unit 122.
  • the dividing unit 414 has a function of determining the necessity of screen division and setting an update region detection area by screen division according to the determination results of the moving region presence / absence determining unit 411, the moving region overlap determining unit 412 and the moving direction determining unit 413. .
  • the moving region presence / absence determination unit 411 of the update region detection region setting unit 124 determines whether or not a moving region has been detected in the same manner as the moving region presence / absence determination unit 401 of the first embodiment, and determines the determination result as a moving region overlap determination unit. 412 and the dividing unit 414 (step S531 in FIG. 31).
  • the movement area overlap determination unit 412 determines whether or not the movement areas before and after the movement overlap (step S532). Specifically, the moving region overlap determination unit 412 first receives a notification from the moving region presence determination unit 401 that a moving region has been detected. Next, the movement area overlap determination unit 412 reads the coordinates of the movement area before the movement and the coordinates of the movement area after the movement included in the detection result of the movement area detection unit 122 from the work area 113. Then, the movement area overlap determination unit 412 includes at least a part of an area obtained by enlarging the movement area before movement vertically and horizontally by a predetermined width ⁇ and an area obtained by enlarging the movement area after movement vertically and horizontally by a predetermined width ⁇ .
  • the moving region overlap determination unit 412 notifies the moving direction determination unit 413 and the dividing unit 414 of the determination result that there is overlapping of moving regions when they overlap, and the determination result that there is no overlapping of moving regions when they do not overlap.
  • the predetermined width ⁇ is set in advance in accordance with the degree of insufficient detection of the moving area.
  • the moving direction determination unit 413 determines the moving direction (step S533). Specifically, the movement direction determination unit 413 first receives from the movement region overlap determination unit 412 a notification that there is no overlap of movement regions. Next, the movement direction determination unit 413 compares the coordinates of the movement area before the movement included in the detection result of the movement area detection unit 122 read from the work area 113 with the coordinates of the movement area after the movement. Then, it is determined whether the moving direction is the downward direction or the upward direction. Then, the moving direction determination unit 413 notifies the determination unit 414 of the determination result (step S533).
  • the determination result includes coordinates for dividing the screen in addition to the movement direction, as in the movement direction determination unit 402 in the first embodiment.
  • the dividing unit 414 When the dividing unit 414 receives a notification that the moving region is not detected from the moving region presence / absence determining unit 411 and when the moving unit overlap determining unit 412 receives a notification indicating no overlapping of moving regions, the dividing unit 414 displays the entire screen.
  • One update area detection area is set (step S534).
  • the notification from the moving direction determining unit 413 is followed.
  • the screen is divided and the update area detection area is set (steps S535 to S537). ). Thereafter, the update area detection unit 125 detects the update area for each update area detection area.
  • the screen is not divided when there is no possibility that the movement areas before and after the movement overlap, so that an increase in the number of divisions of the update area is suppressed. Can do.
  • the third embodiment of the update area detection area setting unit 124 includes a moving area presence / absence determination unit 501 and a division unit 502. Each has the following functions in general.
  • the moving area presence / absence determining unit 501 has a function of determining whether or not a moving area is detected by the moving area detecting unit 122.
  • the division unit 502 has a function of determining the necessity of screen division and setting an update region detection area by screen division according to the determination result of the moving region presence / absence determination unit 501.
  • the moving region presence / absence determining unit 501 of the update region detecting region setting unit 124 reads out and analyzes the detection result of the moving region detecting unit 122 from the work area 113 to determine whether or not a moving region has been detected, and determines the determination result.
  • the division unit 502 is notified (step S601 in FIG. 33).
  • the dividing unit 502 When the dividing unit 502 receives a notification that the moving area has not been detected from the moving area presence / absence determining unit 501, the dividing unit 502 sets the entire screen as one update area detecting area (step S602). In addition, when the notification that the moving area is detected is received from the moving area presence / absence determining unit 401, the coordinates of the moving area after the movement included in the detection result of the moving area detecting unit 122 are read from the work area 113, and after the movement The screen is divided into three at the upper and lower ends of the moving area (step S603), and each divided area is set as one update area detection area (step S604). Thereafter, the update area detection unit 125 detects the update area for each update area detection area.
  • the screen R3 is divided into three by dividing lines L341 and L342 at the upper and lower ends of the moving area R30 after the movement, and the update areas R31 and R32 in the respective update area detection areas. Therefore, the total area of the update region can be minimized, and the amount of codes can be reduced.
  • the upper left of FIG. 35 is the same as the upper left of FIG.
  • the upper right of FIG. 35 shows a case where the entire screen R2 is set as the update region detection area.
  • the moving region R26 including the moving region R20c detected as shown in the upper right of FIG. 35 and including the moving region before and after the movement is detected.
  • the screen R3 is divided into three by dividing lines L351 and L352 at the upper and lower ends of the moving area R30a after the movement, and the update areas R331 and R332 in the respective update area detection areas. , R333 and R334 are detected, the total area of the update region can be reduced, and the amount of code can be reduced accordingly.
  • the moving region presence / absence determination unit 501 of the update region detection region setting unit 124 determines whether a moving region has been detected as in the first processing example, and notifies the division unit 502 of the determination result (step S611 in FIG. 36). ).
  • the division unit 502 When the division unit 502 receives a notification from the movement region presence / absence determination unit 501 that the movement region has not been detected, the division unit 502 sets the entire screen as one update region detection region as in the first processing example (step S612). ). Further, when the notification that the moving area has been detected is received from the moving area presence / absence determining unit 501, the coordinates of the moving area before and after the movement included in the detection result of the moving area detecting unit 122 are read from the work area 113, and before the movement. The upper and lower ends of the moving area and the upper and lower ends of the moved moving area are divided into five (step S613), and each divided area is set as one update area detecting area (step S614). Thereafter, the update area detection unit 125 detects the update area for each update area detection area.
  • the upper left and upper right of FIG. 37 are the same as the upper left and upper right of FIG.
  • the screen R3 is divided into five by dividing lines L371, L372, L373 and L374 at the upper and lower ends of the moving area R30 before and after the movement, and updated in each update area detection area. Since the areas R31 and R32 are detected, the total area of the update area can be minimized and the code amount can be reduced.
  • the upper left and upper right of FIG. 38 are the same as the upper left and upper right of FIG.
  • the screen R3 is divided into five by dividing lines L381, L382, L383, and L384 at the upper and lower ends of the moving area R30d before and after the movement, and updated in each update area detection area. Since the areas R361, R362, R363, R364, R365, R366, and R367 are detected, the total area of the update area can be reduced, and the code amount can be reduced accordingly.
  • the upper left of FIG. 39 is the same as the upper left of FIG.
  • the upper right of FIG. 39 is the same as the upper right of FIG. 39 shows a case where the first processing example is applied and the screen R3 is divided into three by dividing lines L391 and L392 at the upper and lower ends of the moving area R30c after movement. In this case, redundant update areas R351 and R352 are detected including the movement area R30c detected as shown in the lower right of FIG.
  • the screen R4 is divided into five by dividing lines L393, L394, L395, and L396 at the upper and lower ends of the moving region R40 before and after the movement, and the update region is detected in each update region detection region. Since R41, R42, and R43 are detected, the total area of the update region can be reduced, and the amount of code can be reduced accordingly.
  • the fourth embodiment of the update area detection area setting unit 124 includes a movement area presence / absence determination unit 511, a movement area overlap determination unit 512, and a division unit 513. Each has the following functions in general.
  • the moving area presence / absence determination unit 511 has the same function as the moving area presence / absence determination unit 501 in the third embodiment of the update area detection area setting unit 124.
  • the movement area overlap determination unit 512 has a function of determining whether or not there is a possibility of overlapping of the movement areas before and after the movement detected by the movement area detection unit 122.
  • the dividing unit 513 has a function of determining the necessity of screen division and setting an update region detection region by screen division according to the determination results of the moving region presence / absence determining unit 511 and the moving region overlap determining unit 512.
  • the moving region presence / absence determination unit 511 of the update region detection region setting unit 124 determines whether or not a moving region has been detected in the same manner as the moving region presence / absence determination unit 501 of the third embodiment, and determines the determination result as a moving region overlap determination unit. 512 and the dividing unit 513 (step S621 in FIG. 41).
  • the movement area overlap determination unit 512 determines whether or not the movement areas before and after the movement overlap (step S622). Specifically, the movement region overlap determination unit 512 first receives a notification that a movement region has been detected from the movement region presence / absence determination unit 511. Next, the movement area overlap determination unit 512 reads out the coordinates of the movement area before and after movement included in the detection result of the movement area detection unit 122 from the work area 113.
  • the movement area overlap determination unit 512 includes at least a part of an area obtained by enlarging the movement area before movement vertically and horizontally by a predetermined width ⁇ and an area obtained by enlarging the movement area after movement vertically and horizontally by a predetermined width ⁇ . Check if they overlap.
  • the moving region overlap determination unit 512 notifies the dividing unit 513 of the determination result that there is overlap of moving regions when they overlap, and the determination result that there is no overlap of moving regions when they do not overlap.
  • the predetermined width ⁇ is set in advance in accordance with the degree of insufficient detection of the moving area.
  • the dividing unit 513 When the dividing unit 513 receives a notification that the moving region has not been detected from the moving region presence / absence determining unit 512 and receives a notification that there is no overlapping of moving regions from the moving region overlap determining unit 512, the dividing unit 513 One update area detection area is set (step S623). On the other hand, when the notification that the moving area is detected is received from the moving area presence / absence determining unit 512 and the moving area overlap determining unit 512 is notified that the moving area is overlapped, the dividing unit 502 of the third embodiment. As in either of the first processing example and the second processing example, an update area detection area is set by dividing the screen into three or five (steps S624 and S625). Thereafter, the update area detection unit 125 detects the update area for each update area detection area.
  • the screen is not divided when there is no possibility that the movement areas before and after the movement overlap, so that an increase in the number of divisions of the update area is suppressed. Can do.
  • the first embodiment of the update region detection unit 125 includes a pixel comparison unit 601 and an update region extraction unit 602, and each update region detection region set by the update region detection region setting unit 124. Every time, an update area which is a difference area between the reference frame after motion compensation and the current frame is detected.
  • the pixel comparison unit 601 and the update region extraction unit 602 generally have the following functions.
  • the pixel comparison unit 601 increases, for each update region detection area to be processed, a difference between pixel values at the same position in the reference frame after motion compensation and the current frame, which is larger than the first threshold value and the first threshold value. It has a function of comparing with a second threshold value.
  • the update area extraction unit 602 includes, for each update area detection area to be processed, a block including pixels in which a difference greater than the second threshold is detected among pixels in which a difference greater than the first threshold is detected. Is extracted as an update area.
  • the update area detection unit 125 reads the update area detection area information set by the update area detection area setting unit 124 from the work area 113, and pays attention to one of the update area detection areas (step S701 in FIG. 43). Next, an update area is extracted from the update area detection area under attention, and the extraction result is stored in the work area 113 (step S702). When the update area detection unit 125 finishes the process of extracting the update area from one update area detection area, the update area detection unit 125 moves attention to the next one update area detection area (step S703), and repeats the same process as described above. . When the update area extraction process from all the update area detection areas is finished (YES in step S704), the process of FIG. 43 is finished.
  • step S702 the process executed in step S702 will be described in detail with reference to the flowcharts of FIGS. 44A and 44B.
  • the update area detection unit 125 initializes the upper end buffer, the lower end buffer, and the flag buffer used for the update area extraction process (step S711).
  • Each buffer has a one-to-one entry in each column of the frame.
  • the upper end buffer is used to hold the row number of the highest row in which a difference larger than the first threshold is detected for each column
  • the lower end buffer detects a difference larger than the first threshold. It is used to hold the row number of the lowest row for each column.
  • the flag buffer holds a flag indicating whether or not a difference larger than the second threshold is detected for each column.
  • the pixel comparison unit 601 pays attention to the first pixel pair among a plurality of pixel pairs included in the update region detection area of the reference frame after the motion compensation and the current frame (S712). For example, as shown in FIG. 45, when the update area detection area under attention starts from the first row of the frame, the pixel P (0,0) of the reference frame after motion compensation and the pixel P (0,0) of the current frame )
  • the pixel comparison unit 601 calculates the difference between the pixel values of the pixel pair of interest (step S713).
  • the difference is compared with a first threshold (step S714), and if the difference is larger than the first threshold, the upper end buffer and the lower end buffer are updated (step S715).
  • the upper end buffer if the upper end buffer entry corresponding to the column in which the pixel of interest is located is NULL, the number of the row in which the pixel of interest is located is recorded in the entry, not NULL If the line number has already been recorded, leave it as it is.
  • the lower end buffer the number of the row where the pixel of interest is unconditionally recorded is recorded in the entry of the lower end buffer corresponding to the column where the pixel of interest is located.
  • the pixel comparison unit 601 compares the difference with the second threshold (step S716), and updates the flag buffer if the difference is greater than the second threshold (step S717). Specifically, 1 is unconditionally recorded in the entry of the flag buffer corresponding to the column where the pixel of interest is located.
  • the pixel comparison unit 601 shifts attention to the pixel pair of the next column in the same row in both frames (step S718), and returns to step S713. If the difference is not greater than the first threshold, the upper end buffer and the lower end buffer are not updated. If the difference is greater than the first threshold but not greater than the second threshold, the flag buffer is not updated.
  • the calculation of the difference between the pixel values is performed for each of R, G, and B components, for example.
  • the comparison with the first and second threshold values is performed for each component difference, and if the difference between at least one component is greater than the threshold value, it is determined that the pixel value difference is greater than the threshold value.
  • the pixel comparison unit 601 finishes the processing for the pixel pair for one row in the update region detection area under attention (YES in step S719). Then, if the pixel comparison unit 601 has called the process start time or the update region extraction unit 602 in the past, the pixel comparison unit 601 does not detect any difference from the previous call time that is larger than the first threshold at all, that is, the non-continuation number. The number of consecutive update rows is counted (step S720). Subsequently, the pixel comparison unit 601 compares the preset threshold value L with the number of consecutive non-updated rows (step S721).
  • the threshold value L is set to a value of 1 or more (for example, 8) in order to avoid excessive division of the update area.
  • the update region extraction unit 602 is called by designating the first row and the last row of the update region extraction range, and update region detection processing by column division is performed. This is performed (step S722). If the update area extraction unit 602 has not been called in the past, the first line of the update area extraction range is the first line of the frame, and if it has been called, it is the next line after the last line specified at the previous call. In addition, the last row of the update area extraction range is a row that has been processed for the pixels in the last column at the present time.
  • the pixel comparison unit 601 shifts attention to the first pixel pair in the next row of the frame (step S723), and returns to step S713.
  • step S723 the pixel comparison unit 601 moves attention to the first pixel pair of the next row in the frame without calling the update region extraction unit 602 (step S723), the process returns to step S713.
  • the pixel comparison unit 601 finishes the process up to the last pixel pair in the last row of the update area detection area under attention (YES in step S724). Then, the pixel comparison unit 601 determines whether there is a row in which a difference greater than the first threshold is detected after the previous call time if the process start time or the update region extraction unit 602 has been called in the past. (Step S725). Here, if it does not exist, the processing in FIGS. 44A and 44B is terminated. If the update region extraction range exists, the update region extraction unit 602 is designated and the update region extraction unit 602 is called (step S726). The process of FIG. 44B is terminated.
  • the first line of the update area extraction range is the first line of the frame, and if it has been called, it is the next line after the last line specified at the previous call.
  • the last row of the update area extraction range is the last row of the frame.
  • the matrix drawn on the upper side of FIG. 45 shows an example of the difference situation between the reference frame after motion compensation and the current frame, and one square shows the difference situation of one pixel pair.
  • a blank cell has a difference smaller than the first threshold
  • a hatched cell has a difference larger than the first threshold and smaller than the second threshold
  • a black cell has a difference. Indicates that it is greater than the second threshold.
  • numerical values in the upper end buffer and the lower end buffer indicate row numbers, and a symbol “ ⁇ ” indicates NULL.
  • 0 and 1 in the flag buffer indicate flag values, and a value 1 indicates that the second threshold value has been exceeded. For example, if the threshold L is 3 rows, the number of consecutive non-updated rows becomes 4 when the processing up to the 9th row is finished, and exceeds the threshold L, so the update region extraction unit 602 is called. .
  • update region detection processing by column division executed by the update region extraction unit 602 will be described with reference to the flowchart of FIG.
  • the update region extraction unit 602 refers to the upper end buffer or the lower end buffer, and updates columns (a group of columns in which difference pixels exist) and non-update columns (difference pixels exist) from the update region extraction range specified in the current call.
  • a group of columns that have not been performed is extracted (step S731). For example, in the case of FIG. 45, when referring to the entries in the upper end buffer in order from column 0, since one NULL is consecutive, 0 column is extracted as a non-update column (0-0), and then the numerical value is recorded. Since five entries are continuous, the first column to the fifth column are extracted as the update column (1-5). Similarly, a non-update column (6-7), an update column (8-9), a non-update column (10-14), an update column (15-16), etc. are extracted.
  • the update region extraction unit 602 combines adjacent update columns into one update column with non-update columns having a predetermined number W or less in order to avoid over-division of the update regions (step S732). For example, when W is 3, in the case of FIG. 45, the update sequence (1-5) and the update sequence (8-9) are combined as the update sequence (1-9).
  • the update area extraction unit 602 refers to the flag buffer and changes the update sequence in which the flag values are all 0 to a non-update sequence (step S733).
  • the flags corresponding to columns 1 to 9 in the flag buffer for the combined update column (1-9) the value 1 is included, so the update column (1-9) Is left as is.
  • the flag corresponding to the column 15-16 in the flag buffer with respect to the update column (15-16) since all values are 0, it is determined that the update column (15-16) is likely to be caused by noise. Changed to a non-updated column.
  • the update region extraction unit 602 examines the uppermost and lowermost rows where the difference pixels are generated, and determines the update rectangle that defines the update region, together with the left and right ends of the update column. (Step S734).
  • the top end buffer is 2 when referring to the top buffer
  • the bottom end is 5 when referring to the bottom buffer
  • the left end of the update column is 1, and the right end is 9, so the update rectangle is When defined by the upper left and lower right end points, the upper left end point (2, 1) and the lower right end point (5, 9) are obtained.
  • the information of the update area thus obtained (coordinates of the update rectangle) is recorded in the work area 113 as a part of the update area detection result.
  • the update area extraction unit 602 initializes the upper end buffer, the lower end buffer, and the flag buffer (step S735), and ends the processing of FIG.
  • the update area extraction unit 602 after updating columns adjacent to each other with a non-update column having a predetermined number of columns W or less are combined into one update column, an update column in which there is no pixel exceeding the second threshold value is not stored. Changed to update column. However, on the contrary, after changing an update column in which no pixel exceeding the second threshold exists to a non-update column, one update column adjacent to each other with a non-update column of the predetermined number W or less in between is updated. You may make it perform the process joined to a column.
  • the update area of the analog captured computer screen can be detected with high accuracy.
  • the reason is that, using two types of threshold values, a first threshold value and a second threshold value larger than the first threshold value, a difference larger than the second threshold value among the pixel clusters in which a difference larger than the first threshold value is detected.
  • This is because a block including the pixels in which the detection is detected is extracted as an update region. Accordingly, it is possible to prevent excessive detection of the update area that is likely to occur when only the first threshold is used to detect the update area, and it is likely to occur when the update area is detected using only the second threshold. Insufficient detection of the update area can be prevented.
  • the detection of the update area in the moving image may fail with a single threshold value.
  • a single threshold value For example, in the experimental example shown in FIG. 47 in which only the moving image window at the center of the screen is updated in the preceding and following frames 1 and 2, it is desirable that the entire moving image window at the center is detected as the update region. However, if only a small value threshold is used, the detection area becomes excessive as shown in the lower left of FIG. 47.
  • the detection area is insufficient as shown in the lower right of FIG. . If the detection becomes excessive, the amount of code increases even when the screen update is slight. Further, when a detection failure occurs over a plurality of frames, a boundary with a discontinuous luminance is perceived between a region where detection is successful and a region where detection is lost.
  • the update area detection unit 125 of the present embodiment the update area is detected unnecessarily large compared to the method of detecting the update area with one rectangle circumscribing all the update areas existing in the update area detection area. Can be prevented.
  • the update area of the computer screen can be detected at high speed.
  • the reason is that the top and bottom buffers that hold the coordinates of the top and bottom edges of the difference pixels for each column of the frame, and the pixels of the reference frame and the current frame are compared in raster scan order, and the difference is greater than or equal to the first threshold.
  • a pixel comparison unit 601 that rewrites the coordinates of the upper and lower ends of the corresponding column in the upper and lower end buffers when a pixel is found, and an update region extraction unit that determines an update region with reference to the upper and lower end buffers when a predetermined number of non-updated rows continue. This is because the update area can be detected by so-called one-pass processing.
  • An edge point that is unique in the frame with respect to one or more other edge points is extracted from the previous frame and the current frame as a feature point, and a pair of feature points having the same unique positional relation in the previous frame and the current frame is extracted.
  • a movement vector detection device that detects a coordinate difference as a movement vector.
  • Edge extraction means for extracting edge points in the previous frame and the current frame;
  • a feature point extracting means for extracting, as a feature point, an edge point having a unique positional relationship with one or more other edge points among edge points extracted from the previous frame and the current frame;
  • Feature point pair extraction means for extracting a pair of feature points having the same positional relationship with other edge points from the previous frame and the current frame;
  • the movement vector detection apparatus according to attachment 1, further comprising movement vector calculation means for calculating a difference between coordinate values of a pair of feature points extracted from the previous frame and the current frame as a movement vector.
  • the edge extraction means extracts an edge point from the previous frame and the current frame, the corresponding point in the hash table of the previous frame and the current frame is updated according to the hash value and the appearance coordinates of the edge point,
  • the feature point extracting means extracts an edge point paired with a hash value whose appearance frequency is 1 in the hash table of the current frame and the hash table of the previous frame as a feature point.
  • the edge extraction means extracts an edge point from the previous frame and the current frame, the corresponding point in the hash table of the previous frame and the current frame is updated according to the hash value, the appearance coordinates, and the pixel value of the edge point.
  • the feature point extracting means extracts an edge point paired with a hash value whose appearance frequency is 1 in the hash table of the current frame and the hash table of the previous frame as a feature point.
  • the feature point pair extracting unit further selects a feature point pair that satisfies the condition that the difference in pixel values is equal to or less than a threshold value, and the previous frame and the current frame.
  • the movement vector detection device according to attachment 2 wherein the movement vector detection device is extracted from the movement vector detection device.
  • the movement vector detection device according to attachment 2 wherein the feature point extraction unit uses one or more edge points that appear immediately before as the other one or more edge points.
  • the movement vector calculation means when there are a plurality of pairs of feature points extracted from the previous frame and the current frame, a movement vector candidate generation means for generating a difference of coordinate values as a movement vector candidate for each feature point pair;
  • the movement vector detection device further comprising movement vector selection means for selecting a movement vector candidate that appears most frequently among the movement vector candidates as a movement vector.
  • An edge point that is unique in the frame with respect to one or more other edge points is extracted from the previous frame and the current frame as a feature point, and a pair of feature points having the same unique positional relation in the previous frame and the current frame is extracted.
  • a movement vector detection method for detecting a coordinate difference as a movement vector.
  • (Appendix 12) a) an edge extracting means extracting edge points in the previous frame and the current frame; b) a step in which the feature point extracting means extracts an edge point having a unique positional relationship with one or more other edge points among the edge points extracted from the previous frame and the current frame as a feature point; c) a feature point pair extraction unit that extracts a pair of feature points having the same positional relationship with other edge points from the previous frame and the current frame; and d) a movement vector calculating means calculating a difference between coordinate values of feature point pairs extracted from the previous frame and the current frame as a movement vector. . (Appendix 13) 13.
  • the movement vector detection method wherein the edge extraction unit extracts, as an edge point, a point where a difference in pixel value between adjacent pixels in two directions orthogonal to each other exceeds a threshold value.
  • Appendix 14 13.
  • the movement vector detecting method according to appendix 12, wherein the feature point extracting means extracts an edge point having a unique distance within one frame from one or more other edge points as a feature point.
  • Appendix 15 13.
  • the movement according to appendix 12, wherein the feature point extraction means extracts, as a feature point, an edge point at which a hash value calculated from a distance from one or more other edge points is a unique value within a frame.
  • the edge extraction means extracts an edge point from the previous frame and the current frame, the corresponding point in the hash table of the previous frame and the current frame is updated according to the hash value and the appearance coordinates of the edge point, Item 15.
  • the supplementary note 15 is characterized in that the feature point extracting means extracts, as a feature point, an edge point paired with a hash value whose appearance frequency is 1 in the hash table of the current frame and the hash table of the previous frame.
  • Moving vector detection method is characterized in that the feature point extracting means extracts, as a feature point, an edge point paired with a hash value whose appearance frequency is 1 in the hash table of the current frame and the hash table of the previous frame.
  • the edge extraction means extracts an edge point from the previous frame and the current frame, the corresponding point in the hash table of the previous frame and the current frame is updated according to the hash value, the appearance coordinates, and the pixel value of the edge point, Item 15.
  • the supplementary note 15 is characterized in that the feature point extracting means extracts, as a feature point, an edge point paired with a hash value whose appearance frequency is 1 in the hash table of the current frame and the hash table of the previous frame.
  • Moving vector detection method is characterized in that the feature point extracting means extracts, as a feature point, an edge point paired with a hash value whose appearance frequency is 1 in the hash table of the current frame and the hash table of the previous frame.
  • the feature point pair extracting unit further selects a feature point pair that satisfies the condition that the difference in pixel values is equal to or less than a threshold value, and the previous frame and the current frame.
  • the movement vector calculation means When there are a plurality of pairs of feature points extracted from the previous frame and the current frame, the movement vector calculation means generates a difference of coordinate values for each pair of feature points as a movement vector candidate, and the generated movement vector 13.
  • Appendix 21 Computer An edge point that is unique in the frame with respect to one or more other edge points is extracted from the previous frame and the current frame as a feature point, and a pair of feature points having the same unique positional relation in the previous frame and the current frame is extracted.
  • a program recording medium for recording a movement vector detection program for functioning as a means for detecting a coordinate difference as a movement vector in a readable manner on the computer.
  • the computer Edge extraction means for extracting edge points in the previous frame and the current frame;
  • a feature point extracting means for extracting, as a feature point, an edge point having a unique positional relationship with one or more other edge points among edge points extracted from the previous frame and the current frame;
  • Feature point pair extraction means for extracting a pair of feature points having the same positional relationship with other edge points from the previous frame and the current frame;
  • a program recording medium for recording the movement vector detection program according to attachment 21 for functioning as movement vector calculation means for calculating a difference between coordinate values of a pair of feature points extracted from a previous frame and a current frame as a movement vector.
  • (Appendix 23) 23 The movement vector detection program according to appendix 22, wherein the edge extraction means extracts, as an edge point, a point where the difference in pixel value between adjacent pixels in two directions orthogonal to each other exceeds a threshold value. Program recording medium. (Appendix 24) 23. The movement vector detection program according to appendix 22, wherein the feature point extraction means extracts an edge point whose distance from one or more other edge points is a unique value within the frame as a feature point Program recording medium. (Appendix 25) 23. The movement according to appendix 22, wherein the feature point extracting means extracts, as a feature point, an edge point at which a hash value calculated from a distance from one or more other edge points is a unique value within a frame.
  • a program recording medium for recording a vector detection program includes a hash table of a current frame and a previous frame in which a set of a hash value, an appearance frequency of an edge point having the hash value, and a final appearance coordinate value is registered, Each time the edge extraction means extracts an edge point from the previous frame and the current frame, the corresponding point in the hash table of the previous frame and the current frame is updated according to the hash value and the appearance coordinates of the edge point, Item 26.
  • a program recording medium for recording a moving vector detection program includes a hash table of a current frame and a previous frame in which a set of a hash value and an appearance frequency of an edge point having the hash value, a final appearance coordinate, and a pixel value are registered, Each time the edge extraction means extracts an edge point from the previous frame and the current frame, the corresponding point in the hash table of the previous frame and the current frame is updated according to the hash value, the appearance coordinates, and the pixel value of the edge point, Item 26.
  • the supplementary note 25 wherein the feature point extracting means extracts, as a feature point, an edge point paired with a hash value whose appearance frequency is 1 in the hash table of the current frame and the hash table of the previous frame.
  • a program recording medium for recording a moving vector detection program. (Appendix 28)
  • the feature point pair extracting unit further selects a feature point pair that satisfies the condition that the difference in pixel values is equal to or less than a threshold value, and the previous frame and the current frame.
  • the movement vector calculation means When there are a plurality of pairs of feature points extracted from the previous frame and the current frame, the movement vector calculation means generates a difference of coordinate values for each pair of feature points as a movement vector candidate, and the generated movement vector.
  • Moving area detecting means for detecting; Motion compensation means for copying the movement area detected by the movement area detection means to the movement destination indicated by the movement vector on the previous frame; Update region detection means for detecting a region where the previous frame after motion compensation is different from the current frame as an update region;
  • a video signal encoding device comprising: an area encoding means for encoding the update area detected by the update area detecting means as an image;
  • the video signal encoding apparatus according to supplementary note 31 further comprising update area detection area setting means for setting an update area detection area in which the update area detection means detects an update area on a frame.
  • the present invention can be widely applied as a server device in a thin client system.
  • the moving vector detection apparatus of the present invention can be used in various fields such as detection of moving objects in addition to encoding.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

　コンピュータ画面の描画データから高速かつ高精度に主要な移動ベクトルを検出することのできる移動ベクトル検出装置を提供する。エッジ抽出部２０１は、前フレームおよび現フレームのそれぞれからエッジ点を抽出する。特徴点抽出部２０２は、エッジ点を特徴点として抽出する前フレームおよび現フレームのそれぞれについて、抽出された複数のエッジ点のうち、当該エッジ点が属するフレーム内の他の１以上のエッジ点との相対的な位置関係から一意に定まるエッジ点を特徴点として抽出する。特徴点ペア抽出部２０３は、前フレームの特徴点と現フレームの特徴点との組み合わせの内、位置関係が共通する特徴点の組み合わせを特徴点のペアとして抽出する。移動ベクトル算出部２０４は、前フレームおよび現フレームから抽出された特徴点のペアの座標値の差分を移動ベクトルとして算出する。

Description

移動ベクトル検出装置
　本発明は移動ベクトル検出装置に関し、特にコンピュータ画面の描画データから主要な移動ベクトルを検出する移動ベクトル検出装置に関する。
　近年、コンピュータの端末装置からの情報の漏洩の防止と端末側でのアプリケーション管理の容易性を図るため等を目的として、端末装置にて入出力および表示される全てのアプリケーションをサーバ装置で実行させ、これに伴う全ての生成ファイルもサーバ装置で管理するようにしたシン・クライアント・システムが導入されるようになってきた。
　このようなシン・クライアント・システムでは、サーバ装置で実行されるアプリケーションプログラムの描画データが、ＬＡＮ（Local Area Network）などのネットワークを通じてクライアント側の端末装置へ転送され、端末装置の画面に表示される。このため、描画データの処理量が大きくなる、又は、サーバ装置に接続される端末装置の台数が多くなると、描画データを端末装置に転送するためのサーバ装置の負荷が増大し、応答時間の低下や端末装置の接続台数の大幅な制限などの問題が生じる。
　そこで、ソフトウェアによる描画データの表示制御技術として、１画面内で描画更新された描画データ部分を含む矩形の描画領域のみを切り出し、さらにこれを必要に応じて圧縮して転送することで、コンピュータ画面の描画データの転送に伴うデータ量を削減してサーバ装置の負荷を軽減することが考えられている（例えば特許文献１参照）。しかし、描画データの高精細化やモニタ解像度の飛躍的な向上によって、コンピュータ画面の描画処理量は益々増大しているため、描画品質を低下させることなしにさらなる処理負荷の軽減が求められている。
特表２００４－５０３８６２号公報 特開２００４－１２９０９９号公報
　ＭＰＥＧ（Moving Picture Experts Group）などの動画像符号化方式では、符号化すべき画素ブロックが参照画像のどの位置と似ているかを示す移動ベクトルを用いて動き補償を行うことにより、伝送符号量の削減を図っている。移動ベクトルおよび移動領域の検出には、全探索法と呼ばれる手法が一般的に使用される。全探索法では、探したい画像となるテンプレートブロックと探索対象となるサーチウィンドウ全てとの比較を行う。つまり、移動ベクトルと移動領域の検出は８画素×８画素といったブロック単位で行う。比較は、サーチウィンドウをスキャンしながら画素値の差分絶対値和を順に求め、差分絶対値が最小となる場所との動きを移動ベクトルとして検出する。しかし、全探索法は非常に大きな演算量を必要とする。このため、最初に粗く、広く探索し、その評価結果に応じて狭く、高精度に探索する高速化手法も提案されている（例えば特許文献２参照）。
　シン・クライアント・システムにおけるサーバ装置から端末装置へのコンピュータ画面の描画データの転送においても、ウィンドウ等のオブジェクトの移動を検出し、動き補償を行うことで転送データ量の大幅な削減が期待できる。しかし、コンピュータ画面は一般的な動画像よりも更に解像度が高いため、移動ベクトルをリアルタイムに探索するには、全探索法はもとより、前述した高速化手法を用いたとしても演算負荷が高い。また、コンピュータ画面には単色領域が多く、さらに文字などのように同一形状のオブジェクトが画面内の複数箇所に存在する場合も多い。このため、画素ブロック単位で探索すると局所解に陥り易い。結果として、例えば単一のウィンドウを移動しただけでも多数の異なる移動領域が検出されてしまうという課題がある。
　本発明の目的は、コンピュータ画面の描画データから高速かつ高精度に主要な移動ベクトルを検出することのできる移動ベクトル検出装置を提供することにある。
　本発明の第１の実施の形態にかかる移動ベクトル検出装置は、現フレーム及び当該現フレーム以前のフレームである前フレームのそれぞれからエッジ点を抽出するエッジ抽出手段と、前記エッジ抽出手段により抽出された複数のエッジ点の内、フレーム内の他の１以上のエッジ点との位置関係が当該フレーム内で一意に定まるエッジ点である特徴点を、前記前フレーム及び前記現フレームのそれぞれから抽出する特徴点抽出手段と、前記前フレームの特徴点と前記現フレームの特徴点との組み合わせの内、前記位置関係が共通する特徴点の組み合わせを特徴点のペアとして抽出する特徴点ペア抽出手段と、前記特徴点ペア抽出手段により抽出された特徴点のペアの座標値の差分を移動ベクトルとして算出する移動ベクトル算出手段とを備える。
　本発明の第２の実施の形態にかかる移動ベクトル検出装置は、フレームに含まれる二つのエッジ点の組み合わせであるエッジペアについて、前記二つのエッジ点間の位置関係を特徴量とし、現フレームの特徴量と当該現フレーム以前のフレームである前フレームの特徴量との間で前記位置関係が一意に定まる前記前フレームのエッジペア及び前記現フレームのエッジペアを特徴点ペアとし、前記特徴点ペアにおける前記前フレームのエッジペアのエッジ点と、前記特徴点ペアにおける前記現フレームのエッジペアのエッジ点との座標差を、前記前フレームから前記現フレームへの移動領域の移動ベクトルとして検出する。
　本発明によれば、コンピュータ画面の描画データから高速かつ高精度に主要な移動ベクトルを検出することのできる移動ベクトル検出装置が得られる。
本発明の実施の形態に係る映像信号符号化装置のブロック図である。 本発明の実施の形態に係る映像信号符号化装置の処理の流れを示すフローチャートである。 本発明の実施の形態に係る映像信号符号化装置による映像信号の符号化処理の説明図である。 移動ベクトル検出部の第１の実施例のブロック図である。 第１の実施例に係る移動ベクトル検出部の処理の流れを示すフローチャートである。 第１の実施例に係る移動ベクトル検出部におけるエッジ抽出処理の説明図である。 第１の実施例に係る移動ベクトル検出部で使用する現フレームのハッシュテーブルの一例を示す図である。 第１の実施例に係る移動ベクトル検出部で使用する前フレームのハッシュテーブルの一例を示す図である。 第１の実施例に係る移動ベクトル検出部の検出結果の一例を示す図である。 第１の実施例に係る移動ベクトル検出部で検出された最頻出の移動ベクトル候補のリストに含まれる特徴点のペアを前フレームおよび現フレームにプロットしたイメージと、推定された移動ベクトルとの関係を示す図である。 移動領域検出部の第１の実施例のブロック図である。 第１の実施例に係る移動領域検出部の処理の流れを示すフローチャートである。 第１の実施例に係る移動領域検出部において特徴点群に外接する矩形を移動領域とする例を示す図である。 第１の実施例に係る移動領域検出部における移動領域決定部の第１の処理例を示すフローチャートである。 第１の実施例に係る移動領域検出部における移動領域決定部の第１の処理例を示すフローチャートである。 第１の実施例に係る移動領域検出部において移動領域の右への拡大幅を決定する方法の説明図である。 第１の実施例に係る移動領域検出部における移動領域決定部の第２の処理例を示すフローチャートである。 第１の実施例に係る移動領域検出部における移動領域決定部の第２の処理例を示すフローチャートである。 第１の実施例に係る移動領域検出部において移動領域の右からの縮小幅を決定する方法の説明図である。 第１の実施例に係る移動領域検出部における移動領域決定部の第３の処理例を示すフローチャートである。 第１の実施例に係る移動領域検出部における移動領域決定部の第４の処理例を示すフローチャートである。 第１の実施例に係る移動領域検出部における移動領域決定部の第４の処理例を示すフローチャートである。 更新領域検出域設定部の第１の実施例のブロック図である。 第１の実施例に係る更新領域検出域設定部の第１の処理例を示すフローチャートである。 第１の実施例に係る更新領域検出域設定部の第１の処理例による効果の説明図である。 第１の実施例に係る更新領域検出域設定部の第２の処理例を示すフローチャートである。 第１の実施例に係る更新領域検出域設定部の第２の処理例による効果の説明図である。 第１の実施例に係る更新領域検出域設定部の第２の処理例による効果の説明図である。 第１の実施例に係る更新領域検出域設定部の第３の処理例を示すフローチャートである。 第１の実施例に係る更新領域検出域設定部の第３の処理例による効果の説明図である。 第１の実施例に係る更新領域検出域設定部の第３の処理例による効果の説明図である。 第１の実施例に係る更新領域検出域設定部の第３の処理例による効果の説明図である。 更新領域検出域設定部の第２の実施例のブロック図である。 第２の実施例に係る更新領域検出域設定部の処理例を示すフローチャートである。 更新領域検出域設定部の第３の実施例のブロック図である。 第３の実施例に係る更新領域検出域設定部の第１の処理例を示すフローチャートである。 第３の実施例に係る更新領域検出域設定部の第１の処理例による効果の説明図である。 第３の実施例に係る更新領域検出域設定部の第１の処理例による効果の説明図である。 第３の実施例に係る更新領域検出域設定部の第２の処理例を示すフローチャートである。 第３の実施例に係る更新領域検出域設定部の第２の処理例による効果の説明図である。 第３の実施例に係る更新領域検出域設定部の第２の処理例による効果の説明図である。 第３の実施例に係る更新領域検出域設定部の第２の処理例による効果の説明図である。 更新領域検出域設定部の第４の実施例のブロック図である。 第４の実施例に係る更新領域検出域設定部の処理例を示すフローチャートである。 更新領域検出部の第１の実施例のブロック図である。 第１の実施例に係る更新領域検出部の処理の流れを示すフローチャートである。 第１の実施例に係る更新領域検出部における画素比較部による処理例を示すフローチャートである。 第１の実施例に係る更新領域検出部における画素比較部による処理例を示すフローチャートである。 第１の実施例に係る更新領域検出部で使用する上端バッファ、下端バッファおよびフラグバッファが、動き補償後の参照フレームと現フレームとの差分状況に応じて更新される例を示す図である。 第１の実施例に係る更新領域検出部における更新領域抽出部による処理例を示すフローチャートである。 単一の閾値による更新領域検出の実験例を示す図である。 第１の実施例に係る更新領域検出部による更新領域検出の実験例を示す図である。
符号の説明
　１００　映像信号符号化装置
　１０１　画像入力装置
　１０２　データ記憶装置
　１０３　データ処理装置
　１０４　符号出力装置
　１１１　符号化対象フレーム記憶部
　１１２　参照フレーム記憶部
　１１３　作業域
　１２１　移動ベクトル検出部
　１２２　移動領域検出部
　１２３　動き補償部
　１２４　更新領域検出域設定部
　１２５　更新領域検出部
　１２６　領域符号化部
　１３１　現フレーム
　１３２　参照フレーム
　１３４　移動ベクトル
　１３５　領域
　１３６　領域
　１３７　参照フレーム
　１３８　更新領域
　１３９　更新領域
　２０１　エッジ抽出部
　２０２　特徴点抽出部
　２０３　特徴点ペア抽出部
　２０４　移動ベクトル算出部
　２０５　移動ベクトル候補生成部
　２０６　移動ベクトル選択部
　３０１　初期候補決定部
　３０２　移動領域決定部
　４０１　移動領域有無判定部
　４０２　移動方向判定部
　４０３　分割部
　４１１　移動領域有無判定部
　４１２　移動領域重複判定部
　４１３　移動方向判定部
　４１４　分割部
　５０１　移動領域有無判定部
　５０２　分割部
　５１１　移動領域有無判定部
　５１２　移動領域重複判定部
　５１３　分割部
　６０１　画素比較部
　６０２　更新領域抽出部
　Ｒ１、Ｒ２、Ｒ３、Ｒ４　画面
　Ｒ１１、Ｒ１２、Ｒ１３、Ｒ１４、Ｒ２０、Ｒ２０ａ、Ｒ２０ｂ、Ｒ２０ｃ、Ｒ２１、Ｒ３０、Ｒ３０ａ、Ｒ３０ｂ、Ｒ３０ｃ、Ｒ３０ｄ　移動領域
　Ｒ２２、Ｒ２３、Ｒ２４、Ｒ２５、Ｒ２６、Ｒ３１、Ｒ３２、Ｒ３３１、Ｒ３３２、Ｒ３３３、Ｒ３３４、Ｒ３４１、Ｒ３４２、Ｒ３４３、Ｒ３４４、Ｒ３４５、Ｒ３４６、Ｒ３５１、Ｒ３５２、Ｒ３６１、Ｒ３６２、Ｒ３６３、Ｒ３６４、Ｒ３６５、Ｒ３６６、Ｒ３６７、Ｒ４０、Ｒ４１、Ｒ４２、Ｒ４３　更新領域
　Ｌ２２１、Ｌ２４１、Ｌ２４２、Ｌ２５１、Ｌ２５２、Ｌ２５３、Ｌ２８１、Ｌ２８２、Ｌ２８３、Ｌ２９１、Ｌ２９２、Ｌ２９３、Ｌ２９４、Ｌ２９５、Ｌ２９６、Ｌ３４１、Ｌ３４２、Ｌ３５１、Ｌ３５２、Ｌ３７１、Ｌ３７２、Ｌ３７３、Ｌ３７４、Ｌ３８１、Ｌ３８２、Ｌ３８３、Ｌ３８４、Ｌ３９１、Ｌ３９２、Ｌ３９３、Ｌ３９４、Ｌ３９５、Ｌ３９６　分割線
　図１を参照すると、本発明の実施の形態に係る映像信号符号化装置１００の一例は、画像入力装置１０１と、データ記憶装置１０２と、データ処理装置１０３と、符号出力装置１０４とから構成されている。
　画像入力装置１０１は、符号化の対象となる映像信号を入力する装置であり、例えば図示しないコンピュータのディスプレイ画面のカラー映像信号をアナログキャプチャあるいはディジタルキャプチャし、データ記憶装置１０２に記憶する。キャプチャされた１画面分の映像信号は、フレームあるいは画面データと呼ぶ。
　データ記憶装置１０２は、画像入力装置１０１から入力されたフレームを記憶する符号化対象フレーム記憶部１１１、符号化対象フレーム記憶部１１１に記憶したフレームの符号化に使用する参照フレームを記憶する参照フレーム記憶部１１２、フレームの符号化の過程で適宜参照更新される各種データを保持する作業域１１３を有する。
　データ処理装置１０３は、データ記憶装置１０２に記憶された符号化対象フレームの符号化を行う装置であり、移動ベクトル検出部１２１、移動領域検出部１２２、動き補償部１２３、更新領域検出域設定部１２４、更新領域検出部１２５および領域符号化部１２６を備えている。各部は、概略以下のような機能を有する。
　移動ベクトル検出部１２１は、符号化対象フレームとその直前のフレームとを比較して、主要な１つの移動ベクトルを検出する機能を有する。主要な移動ベクトルとは、換言すれば、１以上の移動ベクトルの内の支配的なものを意味する。例えば、コンピュータの画面で地図スクロールとマウスカーソル移動が同時に発生した場合、移動領域の大部分は地図スクロールによるものが占めるため、地図スクロールによる移動ベクトルが主要な移動ベクトルとなる。
　移動領域検出部１２２は、符号化対象フレームとその直前のフレームとの何れにも存在する同一または類似の画像領域であって、画面上での位置が移動ベクトル検出部１２１で検出された移動ベクトルだけ変化している画像領域を移動領域として検出する機能を有する。
　動き補償部１２３は、移動領域検出部１２２で検出された移動領域について、符号化対象フレームの符号化に使用する参照フレーム内で移動ベクトルが示す移動先へ複写を行い、動き補償後の参照フレームを生成する機能を有する。
　更新領域検出域設定部１２４は、フレーム上に１以上の更新領域検出域を設定する機能を有する。
　更新領域検出部１２５は、更新領域検出域設定部１２４により設定された更新領域検出域毎に、動き補償後の参照フレームと符号化対象フレームとが相違する領域を更新領域として検出する機能を有する。
　領域符号化部１２６は、更新領域検出部１２５で検出された更新領域を画像として任意の符号化方式によって符号化した符号を生成する。
　符号出力装置１０４は、データ記憶装置１０２の作業域１１３から符号化対象フレームについて生成された符号を読み出して出力する装置であり、例えば図示しないクライアント端末と通信する通信装置などで構成される。１つの符号化対象フレームについて生成された符号には、領域符号化部１２６で生成された更新領域の符号、移動ベクトル検出部１２１と移動領域検出部１２２で検出された移動領域情報（移動元の領域の座標と移動ベクトル）とが含まれる。
　上記の移動ベクトル検出部１２１、移動領域検出部１２２、動き補償部１２３、更新領域検出域設定部１２４、更新領域検出部１２５および領域符号化部１２６は、データ処理装置１０３を構成するコンピュータとその上で動作するプログラムとで実現することができる。プログラムは、ＣＤ－ＲＯＭ等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、コンピュータの動作を制御することにより、コンピュータ上に上記の各部を実現する。
　次に本実施の形態に係る映像信号符号化装置１００の全体的な動作を説明する。
　映像信号符号化装置１００の画像入力装置１０１は、符号化対象となるフレームをキャプチャし、データ記憶装置１０２の符号化対象フレーム記憶部１１１に現フレームとして記憶する（図２のステップＳ１０１）。
　次に、移動ベクトル検出部１２１は、現フレームと、参照フレーム記憶部１１２に記憶された既に符号化を終えた直前のフレーム（参照フレーム）とを比較し、主要な１つの移動ベクトルを検出する（ステップＳ１０２）。例えば、図３の現フレーム１３１と参照フレーム１３２との比較から図示した移動ベクトル１３４が支配的であれば、移動ベクトル１３４が主要な移動ベクトルとして検出される。検出された移動ベクトル１３４の情報は作業域１１３に一時的に保存される。
　次に移動領域検出部１２２は、現フレームから移動ベクトルが検出された場合（ステップＳ１０３でＹＥＳ）、現フレームと参照フレームとの何れにも存在する同一または類似の画像領域であって、画面上での位置が移動ベクトル検出部１２１で検出された移動ベクトルだけ変化している画像領域を移動領域として検出する（ステップＳ１０４）。例えば、図３の現フレーム１３１と参照フレーム１３２とにおいて、領域１３５と領域１３６とが同一または類似の画像領域であった場合、領域１３５、１３６が移動領域として検出される。検出された移動領域１３５、１３６の座標情報は作業域１１３に一時的に保存される。
　次に動き補償部１２３は、移動領域が検出された場合（ステップＳ１０５でＹＥＳ）、参照フレーム上で移動前の移動領域の画像を移動ベクトルが示す移動後の位置へ複写する動き補償を行うことにより、参照フレーム記憶部１１２を更新する（ステップＳ１０６）。例えば図３の場合、参照フレーム１３２上で、領域１３６を現フレーム１３１における領域１３５に相当する位置にコピーする。これにより、図３の動き補償後の参照フレーム１３７が生成される。
　ただし、移動ベクトルが検出されなかった場合（ステップＳ１０３でＮＯ）、移動領域の検出と動き補償は実行されない。また、移動ベクトルが検出されても移動領域の検出に失敗した場合（ステップＳ１０５でＮＯ）、動き補償は実行されない。
　次に更新領域検出域設定部１２４は、更新領域を検出する１以上の更新領域検出域をフレーム上に設定する（ステップＳ１０７）。次に、更新領域検出部１２５は、更新領域検出域設定部１２４により設定された更新領域検出域毎に、参照フレームと現フレームとが相違する領域を更新領域として検出する（ステップＳ１０８）。これにより、例えば図３の場合、更新領域１３８及び１３９が検出される。検出された更新領域１３８及び１３９の座標情報は作業域１１３に一時的に保存される。
　次に領域符号化部１２６は、更新領域検出部１２５で検出された更新領域を画像として符号化した符号を生成する（ステップＳ１０９）。生成された符号は、作業域１１３に記憶された更新領域の座標情報に対応付けて一時的に保存される。
　符号出力装置１０４は、データ記憶装置１０２の作業域１１３から現フレームについて生成された情報、すなわち各更新領域の座標情報とその符号および移動領域情報（移動元の領域の座標情報と移動ベクトル）を読み出し、出力する（ステップＳ１１０）。例えば、図３の場合、更新領域１３８の座標情報とその符号、更新領域１３９の座標情報とその符号、移動領域１３６の座標情報と移動ベクトル１３４が、現フレームに関する符号情報として出力される。
　符号情報からフレームを復号する場合、符号化と逆の手順で行う。例えば図３の現フレーム１３１を参照フレーム１３２と符号情報とから復号する場合、まず、参照フレーム１３２の移動領域１３６を移動ベクトル１３４が示す場所へ複写して動き補償後の参照フレーム１３７を生成する。その後、この参照フレームに対して、符号情報から復号した更新領域１３８および更新領域１３９を反映することにより、現フレーム１３１を生成する。
　次にデータ処理装置１０３が備える各部について説明する。ここで、動き補償部１２３はコピー手段で実現でき、また領域符号化部１２６は、予測符号化、変換符号化、ベクトル量子化、エントロピー符号化など周知の画像符号化技術で実現できるため、以下では、移動ベクトル検出部１２１、移動領域検出部１２２、更新領域検出域設定部１２４および更新領域検出部１２５について詳細に説明する。
（１）移動ベクトル検出部１２１
　図４を参照すると、移動ベクトル検出部１２１の第１の実施例は、エッジ抽出部２０１、特徴点抽出部２０２、特徴点ペア抽出部２０３および移動ベクトル算出部２０４から構成される。各々は、概ね以下のような機能を有する。
　エッジ抽出部２０１は、現フレームおよび参照フレーム内で画素値の変化が大きい点をエッジ点として抽出する機能を有する。エッジ点とは、予め定められた直交する２方向（上と左、左と下、下と右、右と上、斜め左上と斜め左下、斜め左下と斜め右下、斜め右下と斜め右上、斜め右上と斜め左上）の隣接画素との画素値の差分が共に予め設定された閾値以上相違している画素である。画素値の差分は例えばＲ、Ｇ、Ｂの各成分毎に求め、その何れかの成分の差分が閾値以上であれば、２つの画素の画素値の差分が閾値以上相違していると判断する。
　特徴点抽出部２０２は、現フレームおよび参照フレーム中から抽出されたエッジ点のうち、他の１以上のエッジ点との位置関係が当該フレームにおいて一意（ユニークとも言う）なエッジ点（すなわち、他の１以上のエッジ点との位置関係が当該フレームにおいて唯一度しか現れないエッジ点）を特徴点として抽出する機能を有する。本実施例では、他の１以上のエッジ点として、フレームのラスタスキャン順で直前に現れた１つのエッジ点を用いる。しかし、他の実施例として、直前１つ目のエッジ点と直前２つ目のエッジ点のように複数のエッジ点を用いても良い。一般に、直前１つのエッジ点だけを用いるよりも直前複数のエッジ点を用いた方が、当該フレームにおいて他のエッジ点との位置関係がユニークになるエッジ点の個数を少なくできるため、後述するようにハッシュ値を使う場合のハッシュ値のビット数を少なくできる利点がある。
　エッジ点と他のエッジ点との位置関係を規定するデータとしては、エッジ点同士の距離を画素数で表現した値を使用することができる。また、距離そのものでなく、距離を表すビット列の下位何ビットかをハッシュ値とし、このハッシュ値がユニークなエッジ点を特徴点として抽出するようにしても良い。本実施例では、距離を表すビット列のたとえば下位１１ビットをハッシュ値として使用する。
　特徴点ペア抽出部２０３は、他のエッジ点との位置関係が同一の特徴点のペアを現フレームおよび参照フレームから抽出する機能を有する。好ましくは、特徴点ペア抽出部２０３は、他のエッジ点との位置関係が同一かつ画素値の差が閾値以下の特徴点のペアを抽出する。
　移動ベクトル算出部２０４は、現フレームおよび参照フレームから抽出された特徴点のペアの座標値の差分を移動ベクトルとして算出する機能を有する。好ましくは、移動ベクトル算出部２０４は、移動ベクトル候補生成部２０５と移動ベクトル選択部２０６とで構成される。
　移動ベクトル候補生成部２０５は、現フレームと参照フレームから抽出された特徴点のペアが複数存在する場合、各特徴点のペア毎に座標値の差分を移動ベクトル候補として生成する機能を有する。
　移動ベクトル選択部２０６は、移動ベクトル候補のうち最も頻出する移動ベクトル候補を移動ベクトルとして選定する機能を有する。
　次に本実施例の移動ベクトル検出部１２１の動作を説明する。
　移動ベクトル検出部１２１のエッジ抽出部２０１は、符号化対象フレーム記憶部１１１に記憶された現フレームの先頭の画素に注目し（図５のステップＳ２０１）、注目中の画素がエッジ点かどうかを判定する（ステップＳ２０２）。エッジ点でなければ、ラスタスキャン方向の順で次の画素に注目を移し（ステップＳ２０６）、注目中の画素がエッジ点かどうかを判定する（ステップＳ２０２）。
　注目中の画素がエッジ点であれば（ステップＳ２０２でＹＥＳ）、注目中の画素の座標値と画素値の組をエッジ点情報として作業域１１３に一時的に保存する（ステップＳ２０３）。次に、作業域１１３に保存されている直前のエッジ点との距離を求め、その距離の下位１１ビットをハッシュ値として算出し（ステップＳ２０４）、作業域１１３に記憶されている現フレームに対応するハッシュテーブルを更新する（ステップＳ２０５）。例えば図６に示すように、ラスタスキャン順に処理を進めて、画素Ｐ（１，１）に続き画素Ｐ（５，１）がエッジ点として検出された場合、画素Ｐ（５，１）と画素Ｐ（１，１）の距離は画素数にして４なので、値４のハッシュ値が算出され、当該エッジ点の情報がハッシュテーブルに登録される。
　図７を参照すると、現フレームに対応するハッシュテーブルの一例は、０～２０４７の各ハッシュ値に１対１に対応するエントリを有し、各エントリに、出現頻度、最終出現座標、画素値が登録される。出現頻度の初期値は０、最終出現座標および画素値の初期値はＮＵＬＬである。エッジ抽出部２０１は、ステップＳ２０５のハッシュテーブルの更新処理において、算出したハッシュ値を持つエントリの出現頻度を１だけインクリメントし、検出したエッジ点の座標値と画素値を最終出現座標および画素値の欄に記録する。例えば前述した画素Ｐ（５，１）の場合、図７のハッシュ値４のエントリにおける出現頻度が１だけインクリメントされ、また画素Ｐ（５，１）の座標値と画素値とが同エントリに記録される。
　エッジ抽出部２０１は、以上のような処理を現フレームの最後の画素まで繰り返し実行する。
　エッジ抽出部２０１の処理が完了すると（ステップＳ２０７でＹＥＳ）、特徴点抽出部２０２は、現フレームに対応するハッシュテーブルを参照して、出現頻度が１になっているエントリに座標値と画素値とが記録されているエッジ点を特徴点としてすべて抽出する（ステップＳ２０８）。例えば、エッジ抽出部２０１の処理完了時点の現フレームに対応するハッシュテーブルが図７に示したものであった場合、画素Ｐ（５，１）が１つの特徴点として抽出される。
　次に特徴点ペア抽出部２０３は、現フレームに対応するハッシュテーブルおよび前フレームに対応するハッシュテーブルを参照して、ハッシュ値が同一の特徴点のペアをすべて抽出する（ステップＳ２０９）。ここで、前フレームに対応するハッシュテーブルは、前フレームが現フレームとして処理された際にエッジ抽出部２０１により作成され、作業域１１３に記憶されている。例えば前フレームに対応するハッシュテーブルが図８に示すような内容になっている場合、図７に示した現フレームから特徴点として抽出された画素Ｐ（５，１）とハッシュ値が同じ４の画素Ｐ（５，８）が前フレームに存在するため、前フレームにおける画素Ｐ（５，８）と現フレームにおける画素Ｐ（５，１）のペアが、１つの特徴点のペアとして抽出される。
　次に特徴点ペア抽出部２０３は、ステップＳ２０９で抽出した特徴点のペアのうち、Ｒ、Ｇ、Ｂの各色成分の差分が何れも予め設定された閾値以下となるペアは対応可能性が高いので残し、それ以外の特徴点のペアは除外する（ステップＳ２１０）。特徴点ペア抽出部２０３は、残した特徴点のペアの情報を作業域１１３に記録する。
　次に移動ベクトル算出部２０４の移動ベクトル候補生成部２０５は、作業域１１３から特徴点のペアの情報を読み出し、各ペア毎に座標値の差分を移動ベクトル候補として生成する（ステップＳ２１１）。例えば前述したＰ（５，８）とＰ（５，１）の特徴点のペアの場合、（０，－７）が移動ベクトル候補として生成される。なお、静止ベクトルは無視するため、差分が（０，０）となる場合は候補から外す。移動ベクトル候補生成部２０５は、移動ベクトル候補の情報を作業域１１３に記録する。
　次に、移動ベクトル選択部２０６は、作業域１１３から移動ベクトル候補の情報を読み出し、同じ移動ベクトル候補の総数をカウントすることにより各移動ベクトル候補の出現頻度を求め、最も頻出する移動ベクトル候補を主要な移動ベクトルの推定値として選択する（ステップＳ２１２）。そして、移動ベクトル選択部２０６は、移動ベクトルの検出結果を作業域１１３に記録する（ステップＳ２１３）。
　移動ベクトル選択部２０６が作業域１１３に記録した検出結果の一例を図９に示す。この例では、推定した移動ベクトル以外に最頻出の移動ベクトル候補の算出元となった特徴点のペアのリストが検出結果に含まれている。図１０は、検出結果に含まれる特徴点のペアを前フレームおよび現フレームにプロットしたイメージと、推定された移動ベクトルとの関係を示す。このように、最頻出の移動ベクトル候補から推定される移動ベクトルは、現フレームに存在する１以上の移動ベクトルのうちの主要な移動ベクトルとなる。
　このように本実施例の移動ベクトル検出部１２１によれば、コンピュータ画面の映像信号から高速かつ高精度に主要な移動ベクトルを検出することができる。その理由は、第１に、各画素ブロックで様々なベクトルを探索する必要がなく、エッジ点や特徴点の抽出と比較により移動ベクトルを求めていること、第２に、フレーム内ではラスタスキャン順の処理となるためにメモリアクセスの局所性が高いこと、第３に、ブロック単位ではなく画面全体で比較するため、ウィンドウ等、比較的大きなオブジェクト単位での移動ベクトルが主要な移動ベクトルとして検出できること、第４に、エッジ点を元にベクトルを検出しているため移動元と移動先で画素値が正確に一致する必要はなく、アナログキャプチャしたノイズの多い映像信号にも対応可能であることによる。
　反面、本実施例の移動ベクトル検出部１２１は、（１）同時に複数のベクトルは検出しない、（２）サブピクセル単位や変形を伴うオブジェクトの移動ベクトルは検出しない、（３）エッジの少ないオブジェクトの移動ベクトルは検出しないという制約がある。しかし、（１）と（２）はコンピュータ画面で生じる可能性は低く、（３）のような領域はそのまま画像として符号化しても符号量が小さくなるため大きな問題とはならない。
（２）移動領域検出部１２２
　図１１を参照すると、移動領域検出部１２２の第１の実施例は、初期候補決定部３０１と移動領域決定部３０２とから構成される。各々は、概ね以下のような機能を有する。
　初期候補決定部３０１は、移動領域の初期候補を決定する機能を有する。
　移動領域決定部３０２は、初期候補決定部３０１で決定された移動領域の初期候補および初期候補の移動領域のサイズを変更した１以上の他の移動領域の候補のうちから動き補償部１２３の動き補償に使用する移動領域を決定する機能を有する。
　次に本実施例の移動領域検出部１２２の動作を説明する。
　移動領域検出部１２２の初期候補決定部３０１は、初期候補の移動領域を決定する（図１２のステップＳ３０１）。初期候補を決定する方法の一例として、移動ベクトル検出部１２１が移動ベクトルの推定に使用した移動ベクトル候補の算出元となった特徴点群に外接する矩形を移動領域の初期候補とする方法がある。例えば、移動ベクトル検出部１２１の移動ベクトル選択部２０６が図９に示したような検出結果を生成した場合、移動領域検出部１２２は、作業域１１３から上記の検出結果に記述された特徴点を前フレームおよび現フレーム毎に読み出す。例えば、移動領域検出部１２２は、図１３の前フレームに示すように特徴点群に外接する矩形を移動前の移動領域とする。そして、移動領域検出部１２２は、図１３の現フレームに示すように特徴点群に外接する矩形を移動後の移動領域として検出する。検出した初期候補の移動領域の情報は作業域１１３に一時的に記録される。
　初期候補を決定する方法の他の例としては、移動ベクトル検出部１２１が移動ベクトルの推定に使用した移動ベクトル候補に含まれる特徴点群中の何れか３つ以上の特徴点に外接する矩形を移動領域の初期候補とする方法、フレーム全体を移動領域の初期候補とする方法などがある。
　次に移動領域検出部１２２の移動領域決定部３０２は、初期候補および他の候補のうちから動き補償に使用する移動領域を決定する（ステップＳ３０２）。以下、移動領域決定部３０２の構成例について詳細に説明する。
（Ａ）移動領域決定部３０２の例１
　この例１の移動領域決定部３０２の処理例を図１４Ａ及び図１４Ｂに示す。まず移動領域決定部３０２は、決定された初期候補の移動領域および移動ベクトルに基づいて実際に動き補償を行って各画素値を比較し、正しく平行移動したものであるかどうかを確認する。具体的には、動き補償によって低減される符号量と、動き補償によって増加する符号量のどちらが大きくなるかを、移動領域が動き補償に使用する移動領域として適している程度および適していない程度をそれぞれ示すメリット値およびデメリット値を評価尺度として使用して、以下のような手法で推定する（ステップＳ３１１、Ｓ３１２）。ここで、メリット値は、移動領域が動き補償に使用する移動領域として適している程度を示す評価尺度、デメリット値は、移動領域が動き補償に使用する移動領域として適していない程度を示す評価尺度であり、何れも初期値は０である。
（ア）「動き補償後の画素値」と「真の画素値」とが異なる場合（例えばＲ、Ｇ、Ｂの各成分毎の差分の何れかが予め設定された閾値以上異なる場合）、動き補償によって符号量が増える可能性があると見做し、デメリット値を１増やす。
（イ）「動き補償後の画素値」と「真の画素値」とが異ならない場合（例えばＲ、Ｇ、Ｂの各成分毎の差分の何れもが予め設定された閾値以上異ならない場合）で、かつ、その座標の画素とその隣接する画素との間に閾値以上の輝度勾配がある場合（例えば、上画素および左画素との差分の合計値が閾値以上になる場合や、上画素または左画素との差分が閾値以上になる場合など）、動き補償によって符号量が低減できる可能性があると見做し、メリット値を１増やす。ここで、隣接する画素との間に閾値以上の輝度勾配があることを条件に加えている理由は、輝度勾配がある点が含まれる箇所は差分による符号化では一般に符号量が増えるためである。
（ウ）初期候補の移動領域全体に対して、上記のア、イの処理を行い、メリット値がデメリット値より大きければ、移動領域として採用し、そうでなければ棄却する。
　なお、メリット値およびデメリット値を画素値の比較結果に応じて加算し、最終的なメリット値とデメリット値とを比較する処理は、メリット値およびデメリット値の何れか一方だけを使用して加算と減算を使い分ける方法と等価である。具体的には、まず、動き補償後の画素値と真の画素値との差分が所定の閾値以上となる画素が検出される毎にメリット値を所定値だけ減算（またはデメリット値を所定値だけ加算）する。次に、動き補償後の画素値と真の画素値との差分が所定の閾値より小さな画素であって且つ隣接する画素との間に閾値以上の輝度勾配がある画素が検出される毎にメリット値を所定値だけ加算（またはデメリット値を所定値だけ減算）する処理を行う。これにより、最終的なメリット値（またはデメリット値）の値の正、負を判定するようにしても良い。
　移動領域の初期候補が棄却された場合（ステップＳ３１２でＮＯ）、本例ではもはや移動領域の検出は一切行われず、移動領域の検出が失敗した旨の検出結果を作業域１１３に記録して（ステップＳ３２３）、図１４Ａ及び図１４Ｂの処理を終了する。
　他方、移動領域の初期候補が採用された場合（ステップＳ３１２でＹＥＳ）、以下の手順により、領域を更に上下左右へ拡張可能かどうかを調べる。
（Ｉ）移動領域の各ラインについて、領域を右に広げた際に「動き補償後の画素値」と「真の画素値」とが一致する（差分が閾値以下になる）連続画素数を調べ、連続画素数の最小値を右への最大拡大幅として、右端を確定する（ステップＳ３１３）。例えば図１５に示すように、初期候補の右端を右に広げた際、１ライン目と３ライン目は３画素連続して、残りの全ラインは２画素連続して、それぞれ「動き補償後の画素値」と「真の画素値」とが一致したとすると、右への最大拡大幅は連続画素数の最小値である２画素とする。
（ＩＩ）右への拡大方法と同様の方法で、移動領域の左への最大拡大幅を算出し、左端を確定する（ステップＳ３１４）。
（ＩＩＩ）上記の（Ｉ）および（ＩＩ）の処理を行った後の移動領域に対して、更に、領域を１ラインずつ上に拡大していく（ステップＳ３１５～Ｓ３１８）。具体的には、前述の（ア）、（イ）と同様の方式で、１ライン拡大した場合のメリット値、デメリット値を計算し（ステップＳ３１５、Ｓ３１６）、メリット値がデメリット値より大きければ（ステップＳ３１７でＹＥＳ）、ステップＳ３１５に戻って、更に次のラインについても同様の処理を行う。また、メリット値がデメリット値よりも大きくなければ、１ライン拡大前の上端を移動領域の上端に確定する（ステップＳ３１８）。
（ＩＶ）上への拡大と同様の方法で、移動領域を下に拡大していって、下端を確定する（図１４ＢのステップＳ３１９～Ｓ３２２）。
　最後に移動領域決定部３０２は、拡大後の移動領域の座標情報を含む検出結果を作業域１１３に記録し（ステップＳ３２３）、図１４Ａ及び図１４Ｂの処理を終える。
　ここで、移動領域の左右への拡大と上下への拡大とで異なる手法を採用している理由は、同じライン上の複数の画素へのメモリアクセスは高速に行えるが、異なるライン上の画素へのメモリアクセスには時間がかかるためである。つまり、左右への拡大を上下と同様に１列ずつ順に拡大していくと、１列拡大するだけでも移動領域の全ラインにわたるメモリアクセスが必要になるためである。しかし、このようなメモリアクセス時間が問題とならない状況の下では、移動領域の左右への拡大を上下への拡大と同じ手法で行っても良い。逆に、移動領域の上下への拡大を、左右への拡大に使用した簡易な手法で行うようにしても良い。
　この例１の移動領域決定部３０２によれば、初期候補決定部３０１で決定された初期候補の妥当性を定量的に判定することができるため、不適切な移動領域を使った動き補償を防止することができる。また、初期候補が妥当な場合、符号量の削減効果が大きい、よりサイズの大きな移動領域を探索することができる。
（Ｂ）移動領域決定部３０２の例２
　この例２の移動領域決定部３０２の処理例を図１６Ａ及び図１６Ｂに示す。例２が例１と相違するところは、次の通りである。例１では初期候補よりサイズの大きな移動領域だけを探索した。これに対して、例２では、移動領域が真の移動領域よりも大きな領域として過剰に検出されている可能性を考慮して、まず各辺毎に領域の縮小の可能性を判定し、過剰検出されていない辺については例１と同様に拡大していくようにした。
　まず移動領域決定部３０２は、例１と同様の方法により初期候補の移動領域の妥当性を判定する（ステップＳ３３１、Ｓ３３２）。移動領域の初期候補が棄却された場合（ステップＳ３３２でＮＯ）、本例でも例１と同様にもはや移動領域の検出は一切行われず、移動領域の検出が失敗した旨の検出結果を作業域１１３に記録して（ステップＳ３５７）、図１６Ａ及び図１６Ｂの処理を終了する。
　他方、移動領域の初期候補が採用された場合（ステップＳ３３２でＹＥＳ）、以下の手順により、領域を更に上下左右から縮小可能かどうか、上下左右へ拡張可能かどうかを調べる。
　まず移動領域決定部３０２は、初期候補の移動領域の右からの最大縮小幅を算出する（ステップＳ３３３）。具体的には、移動領域の各ラインについて、領域を右から狭めた際に「動き補償後の画素値」と「真の画素値」とが一致しない（差分が閾値以上になる）連続画素数を調べ、連続画素数の最小値を右からの最大縮小幅として、右端を確定する。例えば図１７に示すように、初期候補の右端を右から狭めた際、１ライン目と４ライン目と５ライン目は３画素連続して、残りの全ラインは２画素連続して、それぞれ「動き補償後の画素値」と「真の画素値」とが一致しなかったとすると、右からの最大縮小幅は連続画素数の最小値である２画素とする。
　次に移動領域決定部３０２は、最大縮小幅が０か否かを判定し（ステップＳ３３４）、最大縮小幅が０でなければ、例えば図１７に示すように、初期候補の右端から最大縮小幅だけ狭めた箇所を移動領域の右端として確定する（ステップＳ３３５）。また、最大縮小幅が０であれば、例１と同様の方法で移動領域の右への最大拡大幅を算出し、右端を確定する（ステップＳ３３６）。
　次に移動領域決定部３０２は、初期領域の左端からも右端と同様に最大縮小幅を算出し（ステップＳ３３７）、最大縮小幅が０でなければ、最大縮小幅から左端を確定する（ステップＳ３３８、３３９）。また、最大縮小幅が０であれば、例１と同様の方法で左端からの最大拡張幅を算出して、左端を確定する（ステップＳ３４０）。
　次に移動領域決定部３０２は、移動領域を上から１ライン縮小し、前述の（ア）、（イ）と同様の方式で、１ライン縮小した場合のメリット値、デメリット値を計算する（ステップＳ３４１、Ｓ３４２）。メリット値がデメリット値より小さければ（ステップＳ３４３でＹＥＳ）、更に次のラインについても同様の縮小処理を繰り返す（ステップＳ３４４～Ｓ３４６）。そして、メリット値がデメリット値よりも小さくないことが検出された場合、１ライン縮小前の上端を移動領域の上端に確定する（ステップＳ３４７）。他方、ステップＳ３４３でメリット値がデメリット値より小さくないと判定した場合、例１と同様の方法で移動領域の上への最大拡張幅を算出し、上端を確定する（ステップＳ３４８）。
　次に移動領域決定部３０２は、移動領域の下からも上からと同様の処理を行う（ステップＳ３４９～Ｓ３５６）。
　最後に移動領域決定部３０２は、上下左右の端部が確定した移動領域の座標情報を含む検出結果を作業域１１３に記録し（ステップＳ３５７）、図１６Ａ及び図１６Ｂの処理を終える。
　ここで、移動領域の左右からの縮小と上下からの縮小とで異なる手法を採用している理由は、同じライン上の複数の画素へのメモリアクセスは高速に行えるが、異なるライン上の画素へのメモリアクセスには時間がかかるためである。つまり、左右への縮小を上下と同様に１列ずつ順に行っていくと、１列縮小するだけでも移動領域の全ラインにわたるメモリアクセスが必要になるためである。しかし、このようなメモリアクセス時間が問題とならない状況の下では、移動領域の左右からの縮小を上下からの縮小と同じ手法で行っても良い。逆に、移動領域の上下からの縮小を、左右からの縮小に使用した簡易な手法で行うようにしても良い。
　この例２の移動領域決定部３０２によれば、初期候補決定部３０１で決定された初期候補の妥当性を定量的に判定することができるため、不適切な移動領域を使った動き補償を防止することができる。また、初期候補が妥当な場合、まず上下左右からの縮減を試みるため、初期候補の移動領域が真の移動領域よりも大きな領域として過剰に検出されていた場合に、過剰検出分を削減することが可能になる。更に、過剰検出の可能性がない辺については、符号量の削減効果が大きい、よりサイズの大きな移動領域へと拡大していくことが可能となる。
（Ｃ）移動領域決定部３０２の例３
　この例３の移動領域決定部３０２の処理例を図１８に示す。例３が例２と相違するところは、例２では初期候補について計算したメリット値がデメリット値を下回っていた場合にもはや移動領域の検出を断念していたのに対して、例３では、移動領域が真の移動領域よりも極めて過大に検出されている可能性を考慮して、各辺毎に領域の縮小の可能性を判定していくようにした点にある。
　まず移動領域決定部３０２は、例２と同様の方法により初期候補の移動領域の妥当性を判定する（ステップＳ３６１、Ｓ３６２）。移動領域の初期候補が棄却されなかった場合（ステップＳ３６２でＹＥＳ）の処理ステップＳ３６３は、例２のステップＳ３３３～Ｓ３５６と同じである。
　他方、移動領域の初期候補が棄却された場合（ステップＳ３６２でＮＯ）、以下の手順により、領域を更に上下左右から縮小可能かどうかを調べる。
　まず移動領域決定部３０２は、例２と同様の方法で、初期候補の移動領域の右からの最大縮小幅を算出する（ステップＳ３６４）。次に移動領域決定部３０２は、最大縮小幅が移動領域の横幅に等しいか否かを判定し（ステップＳ３６５）、最大縮小幅が移動領域の横幅に等しければ、移動領域の検出に失敗したとして、その旨の検出結果を生成し（ステップＳ３６５でＹＥＳ、ステップＳ３７２）、図１８の処理を終了する。最大縮小幅が移動領域の横幅に等しくなければ、初期候補の右端から最大縮小幅だけ狭めた箇所を移動領域の右端として確定する（ステップＳ３６６）。
　次に移動領域決定部３０２は、初期領域の左端からも右端と同様に最大縮小幅を算出し、左端を確定する（ステップＳ３６７）。
　次に移動領域決定部３０２は、移動領域の上からの最大縮小幅を例２と同様の方法で算出する（ステップＳ３６８）。もし、最大縮小幅が移動領域の縦幅に等しければ、移動領域の検出に失敗したとして、その旨の検出結果を生成し（ステップＳ３６９でＹＥＳ、ステップＳ３７２）、図１８の処理を終了する。最大縮小幅が移動領域の縦幅に等しくなければ、最大縮小幅から移動領域の上端を確定する（ステップＳ３７０）。
　次に移動領域決定部３０２は、移動領域の下からも上からと同様に最大縮小幅を算出し、下端を確定する（ステップＳ３７１）。
　最後に移動領域決定部３０２は、上下左右の端部が確定した移動領域の座標情報を含む検出結果を作業域１１３に記録し（ステップＳ３７２）、図１８の処理を終える。
　この例３の移動領域決定部３０２によれば、初期候補決定部３０１で決定された初期候補の妥当性を定量的に判定することができるため、不適切な移動領域を使った動き補償を防止することができる。また、初期候補が棄却された場合であっても、縮小の可能性を探索するため、初期候補の移動領域が真の移動領域よりも極めて過大に検出されていた場合でも移動領域を可能な限り検出することが可能になる。さらに、例２と同様に、初期候補が妥当な場合、まず上下左右からの縮小を試みるため、初期候補の移動領域が真の移動領域よりも大きな領域として過剰に検出されていた場合に、過剰検出分を削減することが可能になる。同様に、過剰検出の可能性がない辺については、符号量の削減効果が大きい、よりサイズの大きな移動領域へと拡大していくことが可能となる。
（Ｄ）移動領域決定部３０２の例４
　この例４の移動領域決定部３０２の処理例を図１９Ａ及び図１９Ｂに示す。例４が例２と相違するところは、例２では初期候補について妥当性の判定を行い、妥当と判定した場合に移動領域の縮小、拡大を試行するのに対して、例４では、初期候補の妥当性の判定を省略し、初期候補の縮小、拡大を試行する点にある。
　まず移動領域決定部３０２は、例２と同様の方法で、初期候補の移動領域の右からの最大縮小幅を算出する（ステップＳ３８１）。次に移動領域決定部３０２は、最大縮小幅が移動領域の横幅に等しいか否かを判定し（ステップＳ３８２）、最大縮小幅が移動領域の横幅に等しければ（ステップＳ３８２でＮＯ）、移動領域の検出に失敗したとして、その旨の検出結果を生成し（ステップＳ３９９）、図１９Ａ及び図１９Ｂの処理を終了する。
　最大縮小幅が移動領域の横幅に等しくなければ（ステップＳ３８２でＹＥＳ）、移動領域決定部３０２は、最大縮小幅が０かどうかを判定し（ステップＳ３８３）、０でなければ、初期候補の右端から最大縮小幅だけ狭めた箇所を移動領域の右端として確定する（ステップＳ３８４）。また、最大縮小幅が０であれば、移動領域決定部３０２は、例２と同様の方法で右への最大拡大幅を算出し、右端を確定する（ステップＳ３８５）。
　次に移動領域決定部３０２は、例２と同様の方法で初期候補の移動領域の左からの最大縮小幅を算出し（ステップＳ３８６）、最大縮小幅が０でなければ（ステップＳ３８７でＮＯ）、初期候補の左端から最大縮小幅だけ狭めた箇所を移動領域の左端として確定する（ステップＳ３８８）。また、最大縮小幅が０であれば、移動領域決定部３０２は、例２と同様の方法で左への最大拡大幅を算出し、左端を確定する（ステップＳ３８９）。
　次に移動領域決定部３０２は、移動領域の上からの最大縮小幅を例２と同様の方法で算出する（ステップＳ３９０）。もし、最大縮小幅が移動領域の縦幅に等しければ、移動領域の検出に失敗したとして、その旨の検出結果を生成し（ステップＳ３９１でＹＥＳ、Ｓ３９９）、図１９Ａ及び図１９Ｂの処理を終了する。最大縮小幅が移動領域の縦幅に等しくなければ、最大縮小幅が０かどうかを判定し（ステップＳ３９１でＮＯ、ステップＳ３９２）、０でなければ、初期候補の上端から最大縮小幅だけ狭めた箇所を移動領域の上端として確定する（ステップＳ３９３）。また、最大縮小幅が０であれば、移動領域決定部３０２は、例２と同様の方法で上への最大拡大幅を算出し、上端を確定する（ステップＳ３９４）。
　次に移動領域決定部３０２は、移動領域の下からの最大縮小幅を例２と同様の方法で算出し（ステップＳ３９５）、０でなければ、初期候補の下端から最大縮小幅だけ狭めた箇所を移動領域の下端として確定する（ステップＳ３９６でＮＯ、Ｓ３９７）。また、最大縮小幅が０であれば、移動領域決定部３０２は、例２と同様の方法で下への最大拡大幅を算出し、下端を確定する（ステップＳ３９８）。
　最後に移動領域決定部３０２は、上下左右の端部が確定した移動領域の座標情報を含む検出結果を作業域１１３に記録し（ステップＳ３９９）、図１９Ａ及び図１９Ｂの処理を終える。
　この例４の移動領域決定部３０２によれば、初期候補決定部３０１で決定された初期候補の妥当性を定量的に判定していないので、処理量を削減することができる。また、まず上下左右からの縮小を試みるため、初期候補の移動領域が真の移動領域よりも大きな領域として過剰に検出されていた場合に、過剰検出分を削減することが可能になる。同様に、過剰検出の可能性がない辺については、符号量の削減効果が大きい、よりサイズの大きな移動領域へと拡大していくことが可能となる。ただし、初期候補の移動領域の妥当性を判定していないため、例えばドーナツ型の穴の部分が移動前後で全く相違するような領域を移動領域として検出する可能性がある。
（３）更新領域検出域設定部１２４
　図２０を参照すると、更新領域検出域設定部１２４の第１の実施例は、移動領域有無判定部４０１と、移動方向判定部４０２と、分割部４０３とから構成される。各々は、概ね以下のような機能を有する。
　移動領域有無判定部４０１は、移動領域検出部１２２で移動領域が検出されたか否かを判定する機能を有する。
　移動方向判定部４０２は、移動領域検出部１２２で検出された移動領域の移動方向を判定する機能を有する。
　分割部４０３は、移動領域有無判定部４０１および移動方向判定部４０２の判定結果に従って画面分割の必要性の判定および画面分割による更新領域検出域の設定を行う機能を有する。
　次に本実施例の更新領域検出域設定部１２４の第１の処理例を説明する。
　更新領域検出域設定部１２４の移動領域有無判定部４０１は、移動領域検出部１２２の検出結果を作業域１１３から読み出して解析することにより、移動領域が検出されたかどうかを判定し、判定結果を移動方向判定部４０２および分割部４０３へ通知する（図２１のステップＳ５０１）。
　移動方向判定部４０２は、移動方向を判定する（ステップＳ５０２）。具体的には、移動方向判定部４０２は、まず、移動領域が検出された旨の通知を移動領域有無判定部４０１から受け取る。次に、移動方向判定部４０２は、作業域１１３から読み出された移動領域検出部１２２の検出結果に含まれる移動前の移動領域の座標と移動後の移動領域の座標とを比較する移動方向が、画面の上から下へ向かう成分を含む方向（以下、下方向と言う）、画面の下から上へ向かう成分を含む方向（以下、上方向と言う）の何れであるかを判定する。そして、移動方向判定部４０２は、判定結果を分割部４０３に通知する。判定結果には、移動方向以外に、下方向の場合には移動後の移動領域の上端の座標、上方向の場合には移動後の移動領域の下端の座標が含まれる。なお、下方向でもなく、上方向でもない左右方向の場合の扱い方としては、例えば、下方向あるいは上方向の何れかに含めることが考えられる。
　分割部４０３は、移動領域有無判定部４０１から移動領域が検出されなかった旨の通知を受けた場合、画面全体を１つの更新領域検出域に設定する（ステップＳ５０３）。また、移動領域有無判定部４０１から移動領域が検出された旨の通知を受けた場合、移動方向判定部４０２からの通知に従って画面を分割する（ステップＳ５０４～Ｓ５０６）。具体的には、移動方向が下方向であれば、移動後の移動領域の上端で画面を２分割し、各分割領域をそれぞれ１つの更新領域検出域に設定する。また、移動方向が上方向であれば、移動後の移動領域の下端で画面を２分割し、各分割領域をそれぞれ１つの更新領域検出域に設定する。その後、更新領域検出域毎に更新領域検出部１２５による更新領域の検出が行われる。
　第１の処理例の更新領域検出域設定部１２４による効果を説明する。以下では、移動方向が下方向の場合について説明しているが、上方向の場合も同様の効果が得られる。また、以降の効果を説明する図において、斜線部は差分画素を示す。また、以降の効果を説明する図において、同一の要素については同一の符号を付し、重複した説明は省略する。
　図２２の左上は、画面Ｒ１において移動領域Ｒ１１から移動領域Ｒ１２へ移動したこと、つまり、移動領域が下方向に移動したことを示す。図２２の右上は、画面Ｒ２全体を更新領域検出域に設定した場合を示す。このとき、移動前の移動領域Ｒ２１に相当する領域全体が更新領域として検出される。また、移動後の移動領域Ｒ２０は、検出されない。これに対して本例にかかる図２２の右下は、移動後の移動領域Ｒ３０の上端で画面Ｒ３が分割線Ｌ２２１により２分割され、各々の更新領域検出域で更新領域Ｒ３１及びＲ３２の検出が行われるため、更新領域の合計面積を最小限に抑えることができ、符号量の削減が可能になる。
　次に本実施例の更新領域検出域設定部１２４の第２の処理例を説明する。
　更新領域検出域設定部１２４の移動領域有無判定部４０１は、第１の処理例と同様に移動領域が検出されたかどうかを判定し、判定結果を移動方向判定部４０２および分割部４０３へ通知する（図２３のステップＳ５１１）。
　移動方向判定部４０２は、第１の処理例と同様に、移動領域が検出された旨の通知を移動領域有無判定部４０１から受け取ると、移動方向が下方向、上方向の何れであるかを判定し、判定結果を分割部４０３に通知する（ステップＳ５１２）。判定結果には、移動方向以外に、移動方向が下方向の場合も上方向の場合も共に、移動後の移動領域の上下端の座標が含まれる。
　分割部４０３は、移動領域有無判定部４０１から移動領域が検出されなかった旨の通知を受けた場合、第１の処理例と同様に画面全体を１つの更新領域検出域に設定する（ステップＳ５１３）。また、移動領域有無判定部４０１から移動領域が検出された旨の通知を受けた場合、移動方向判定部４０２からの通知に従って画面を分割する（ステップＳ５１４～Ｓ５１６）。具体的には、移動方向が下方向および上方向とも、移動後の移動領域の上下端で画面を３分割し、各分割領域をそれぞれ１つの更新領域検出域に設定する。その後、更新領域検出域毎に更新領域検出部１２５による更新領域の検出が行われる。
　次に、本処理例の更新領域検出域設定部１２４による効果を説明する。以下では、移動方向が下方向の場合について説明しているが、上方向の場合も同様の効果が得られる。
　図２４の左上及び右上は、図２２の左上及び右上と同様である。これに対して本例にかかる図２４の右下は、移動後の移動領域Ｒ３０の上下端で画面Ｒ３が分割線Ｌ２４１及びＬ２４２により３分割され、各々の更新領域検出域で更新領域Ｒ３１及びＲ３２の検出が行われるため、更新領域の合計面積を最小限に抑えることができ、符号量の削減が可能になる。
　また、図２５の左上は、画面Ｒ１において検出された移動領域Ｒ１３が実際の移動領域Ｒ１２よりも小さかった場合を示す。図２５の右上は、図２１の第１の処理例を適用し、移動後の上端のみで画面Ｒ２を分割線Ｌ２５１により２分割した場合を示す。この場合、図２５の右上に示すように検出された移動領域Ｒ２０ａを含み、無駄に大きな更新領域Ｒ２２及びＲ２３が検出されてしまう。これに対して本例にかかる図２５の右下は、移動後の移動領域Ｒ３０ａの上下端で画面Ｒ３が分割線Ｌ２５２及びＬ２５３により３分割され、各々の更新領域検出域で更新領域Ｒ３３１、Ｒ３３２、Ｒ３３３及びＲ３３４の検出が行われるため、更新領域の合計面積を小さくでき、その分、符号量の削減が可能になる。
　次に本実施例の更新領域検出域設定部１２４の第３の処理例を説明する。
　更新領域検出域設定部１２４の移動領域有無判定部４０１は、第２の処理例と同様に移動領域が検出されたかどうかを判定し、判定結果を移動方向判定部４０２および分割部４０３へ通知する（図２６のステップＳ５２１）。
　移動方向判定部４０２は、第２の処理例と同様に、移動領域が検出された旨の通知を移動領域有無判定部４０１から受け取ると、移動方向が下方向、上方向の何れであるかを判定し、判定結果を分割部４０３に通知する（ステップＳ５２２）。判定結果には、移動方向以外に、移動方向が下方向の場合には移動後の移動領域の上下端および移動前の移動領域の下端の座標が含まれ、移動方向が上方向の場合には移動後の移動領域の上下端および移動前の移動領域の上端の座標が含まれる。
　分割部４０３は、移動領域有無判定部４０１から移動領域が検出されなかった旨の通知を受けた場合、第２の処理例と同様に画面全体を１つの更新領域検出域に設定する（ステップＳ５２３）。また、移動領域有無判定部４０１から移動領域が検出された旨の通知を受けた場合、移動方向判定部４０２からの通知に従って画面を分割する（ステップＳ５２４～Ｓ５２６）。具体的には、移動方向が下方向の場合、移動後の移動領域の上下端と移動前の移動領域の下端で画面を４分割し、各分割領域をそれぞれ１つの更新領域検出域に設定する。また、移動方向が上方向の場合、移動後の移動領域の上下端と移動前の移動領域の上端で画面を４分割し、各分割領域をそれぞれ１つの更新領域検出域に設定する。その後、更新領域検出域毎に更新領域検出部１２５による更新領域の検出が行われる。
　次に、本処理例の更新領域検出域設定部１２４による効果を説明する。以下では、移動方向が下方向の場合について説明しているが、上方向の場合も同様の効果が得られる。
　図２７の左上及び右上は、図２２の左上及び右上と同様である。これに対して本例にかかる図２７の右下は、移動後の移動領域Ｒ３０の上下端および移動前の移動領域の下端で画面Ｒ３が分割線Ｌ２７１、Ｌ２７２及びＬ２７３により４分割され、各々の更新領域検出域で更新領域Ｒ３１及びＲ３２の検出が行われるため、更新領域の合計面積を最小限に抑えることができ、符号量の削減が可能になる。
　また、図２８の左上は、図２５の左上と同様である。図２８の右上は、図２１の第１の処理例を適用し、移動後の上端のみで画面Ｒ２を分割線Ｌ２８１により２分割した場合を示す。この場合、図２８の右上に示すように検出された移動領域Ｒ２０ａを含み、無駄に大きな更新領域Ｒ２２及びＲ２３が検出されてしまう。これに対して本例にかかる図２８の右下は、移動後の移動領域Ｒ３０ｂの上下端および移動前の移動領域の下端で画面Ｒ３が分割線Ｌ２８１、Ｌ２８２及びＬ２８３により４分割され、各々の更新領域検出域で更新領域の検出が行われるため、更新領域の合計面積を小さくでき、その分、符号量の削減が可能になる。
　さらに、図２９の左上は、画面Ｒ１において検出された移動領域Ｒ１４が実際の移動領域Ｒ１２よりも大きかった場合を示す。図２９の右上は、図２１の第１の処理例を適用し、移動後の上端のみで画面Ｒ２を分割線Ｌ２９１により２分割した場合を示す。この場合、図２９の右上に示すように検出された移動領域Ｒ２０ｂを含み、無駄に大きな更新領域Ｒ２４及びＲ２５が検出されてしまう。また、図２９の右下は、図２３の第２の処理例を適用し、移動後の移動領域Ｒ３０ｃの上下端のみで画面Ｒ３を分割線Ｌ２９２及びＬ２９３により３分割した場合を示す。この場合、図２９の右下に示すように検出された移動領域Ｒ３０ｃを含み、更新領域Ｒ３５１及びＲ３５２がやや冗長になる。これに対して本例にかかる図２９の左下は、移動後の移動領域Ｒ４０の上下端および移動前の移動領域の下端で画面Ｒ４が分割線Ｌ２９４、Ｌ２９５及びＬ２９６により４分割され、各々の更新領域検出域で更新領域Ｒ４１、Ｒ４２及びＲ４３の検出が行われるため、第２の処理例に比べて更新領域の合計面積を小さくでき、その分、符号量の削減が可能になる。ただし、過剰検出される領域の面積がそれほど大きくないならば、第２の処理例の方が更新領域の個数が少なくなる利点がある。
　図３０を参照すると、更新領域検出域設定部１２４の第２の実施例は、移動領域有無判定部４１１と、移動領域重複判定部４１２と、移動方向判定部４１３と、分割部４１４とから構成される。各々は、概ね以下のような機能を有する。
　移動領域有無判定部４１１および移動方向判定部４１３は、更新領域検出域設定部１２４の第１の実施例における移動領域有無判定部４０１および移動方向判定部４０２と同じ機能を有する。
　移動領域重複判定部４１２は、移動領域検出部１２２で検出された移動前後の移動領域の重なりの可能性の有無を判定する機能を有する。
　分割部４１４は、移動領域有無判定部４１１、移動領域重複判定部４１２および移動方向判定部４１３の判定結果に従って画面分割の必要性の判定および画面分割による更新領域検出域の設定を行う機能を有する。
　次に本実施例の更新領域検出域設定部１２４の処理例を説明する。
　更新領域検出域設定部１２４の移動領域有無判定部４１１は、第１の実施例の移動領域有無判定部４０１と同様に移動領域が検出されたかどうかを判定し、判定結果を移動領域重複判定部４１２および分割部４１４へ通知する（図３１のステップＳ５３１）。
　移動領域重複判定部４１２は、移動前後の移動領域が重なっていないかを判定する（ステップＳ５３２）。具体的には、移動領域重複判定部４１２は、まず、移動領域が検出された旨の通知を移動領域有無判定部４０１から受け取る。次に、移動領域重複判定部４１２は、作業域１１３から移動領域検出部１２２の検出結果に含まれる移動前の移動領域の座標と移動後の移動領域の座標とを読み出す。そして、移動領域重複判定部４１２は、移動前の移動領域を上下左右に所定幅Δだけ拡大した領域と、移動後の移動領域を上下左右に所定幅Δだけ拡大した領域とが少なくとも一部で重なるかどうかを調べる。その後、移動領域重複判定部４１２は、重なる場合には移動領域の重複ありの判定結果を、重ならない場合には移動領域の重複なしの判定結果を移動方向判定部４１３および分割部４１４に通知する。ここで、所定幅Δは、移動領域の検出不足の生じる程度に応じて事前に設定される。
　移動方向判定部４１３は、移動方向を判定する（ステップＳ５３３）。具体的には、移動方向判定部４１３は、まず、移動領域の重複なしの通知を移動領域重複判定部４１２から受け取る。次に、移動方向判定部４１３は、作業域１１３から読み出された移動領域検出部１２２の検出結果に含まれる移動前の移動領域の座標と移動後の移動領域の座標とを比較することにより、移動方向が下方向、上方向の何れであるかを判定する。そして、移動方向判定部４１３は、判定結果を分割部４１４に通知する（ステップＳ５３３）。判定結果には、第１の実施例における移動方向判定部４０２と同様に移動方向以外に、画面を分割する座標が含まれる。
　分割部４１４は、移動領域有無判定部４１１から移動領域が検出されなかった旨の通知を受けた場合、および移動領域重複判定部４１２から移動領域の重複なしの通知を受けた場合、画面全体を１つの更新領域検出域に設定する（ステップＳ５３４）。他方、移動領域有無判定部４１１から移動領域が検出された旨の通知を受けると共に、移動領域重複判定部４１２から移動領域の重複ありの通知を受けた場合、移動方向判定部４１３からの通知に従って第１の実施例の分割部４０３の第１の処理例、第２の処理例および第３の処理例の何れかと同じように画面を分割して更新領域検出域を設定する（ステップＳ５３５～Ｓ５３７）。その後、更新領域検出域毎に更新領域検出部１２５による更新領域の検出が行われる。
　この第２の実施例の更新領域検出域設定部１２４によれば、移動前後の移動領域が重なっている可能性がない場合には画面を分割しないので、更新領域の分割数の増加を抑えることができる。
　図３２を参照すると、更新領域検出域設定部１２４の第３の実施例は、移動領域有無判定部５０１と、分割部５０２とから構成される。各々は、概ね以下のような機能を有する。
　移動領域有無判定部５０１は、移動領域検出部１２２で移動領域が検出されたか否かを判定する機能を有する。
　分割部５０２は、移動領域有無判定部５０１の判定結果に従って画面分割の必要性の判定および画面分割による更新領域検出域の設定を行う機能を有する。
　次に本実施例の更新領域検出域設定部１２４の第１の処理例を説明する。
　更新領域検出域設定部１２４の移動領域有無判定部５０１は、移動領域検出部１２２の検出結果を作業域１１３から読み出して解析することにより、移動領域が検出されたかどうかを判定し、判定結果を分割部５０２へ通知する（図３３のステップＳ６０１）。
　分割部５０２は、移動領域有無判定部５０１から移動領域が検出されなかった旨の通知を受けた場合、画面全体を１つの更新領域検出域に設定する（ステップＳ６０２）。また、移動領域有無判定部４０１から移動領域が検出された旨の通知を受けた場合、作業域１１３から移動領域検出部１２２の検出結果に含まれる移動後の移動領域の座標を読み出し、移動後の移動領域の上下端で画面を３分割し（ステップＳ６０３）、各分割領域をそれぞれ１つの更新領域検出域に設定する（ステップＳ６０４）。その後、更新領域検出域毎に更新領域検出部１２５による更新領域の検出が行われる。
　第３の実施例の更新領域検出域設定部１２４の第１の処理例による効果を説明する。以下では、移動方向が下方向の場合について説明しているが、上方向の場合も同様の効果が得られる。
　図３４の左上及び右上は、図２２の左上及び右上と同様である。これに対して本例にかかる図３４の右下は、移動後の移動領域Ｒ３０の上下端で画面Ｒ３が分割線Ｌ３４１及びＬ３４２により３分割され、各々の更新領域検出域で更新領域Ｒ３１及びＲ３２の検出が行われるため、更新領域の合計面積を最小限に抑えることができ、符号量の削減が可能になる。
　また、図３５の左上は、図２５の左上と同様である。図３５の右上は、画面Ｒ２全体を更新領域検出域に設定した場合を示す。この場合、図３５の右上に示すように検出された移動領域Ｒ２０ｃを含み、移動前後の移動領域を包含するような移動領域Ｒ２６が検出されてしまう。これに対して本例にかかる図３５の右下は、移動後の移動領域Ｒ３０ａの上下端で画面Ｒ３が分割線Ｌ３５１及びＬ３５２により３分割され、各々の更新領域検出域で更新領域Ｒ３３１、Ｒ３３２、Ｒ３３３及びＲ３３４の検出が行われるため、更新領域の合計面積を小さくでき、その分、符号量の削減が可能になる。
　次に本実施例の更新領域検出域設定部１２４の第２の処理例を説明する。
　更新領域検出域設定部１２４の移動領域有無判定部５０１は、第１の処理例と同様に移動領域が検出されたかどうかを判定し、判定結果を分割部５０２へ通知する（図３６のステップＳ６１１）。
　分割部５０２は、移動領域有無判定部５０１から移動領域が検出されなかった旨の通知を受けた場合、第１の処理例と同様に画面全体を１つの更新領域検出域に設定する（ステップＳ６１２）。また、移動領域有無判定部５０１から移動領域が検出された旨の通知を受けた場合、作業域１１３から移動領域検出部１２２の検出結果に含まれる移動前後の移動領域の座標を読み出し、移動前の移動領域の上下端と移動後の移動領域の上下端とで画面を５分割し（ステップＳ６１３）、各分割領域をそれぞれ１つの更新領域検出域に設定する（ステップＳ６１４）。その後、更新領域検出域毎に更新領域検出部１２５による更新領域の検出が行われる。
　第３の実施例の更新領域検出域設定部１２４の第２の処理例による効果を説明する。以下では、移動方向が下方向の場合について説明しているが、上方向の場合も同様の効果が得られる。
　図３７の左上及び右上は、図２２の左上及び右上と同様である。これに対して本例にかかる図３７の右下は、移動前後の移動領域Ｒ３０の上下端で画面Ｒ３が分割線Ｌ３７１、Ｌ３７２、Ｌ３７３及びＬ３７４により５分割され、各々の更新領域検出域で更新領域Ｒ３１及びＲ３２の検出が行われるため、更新領域の合計面積を最小限に抑えることができ、符号量の削減が可能になる。
　また、図３８の左上及び右上は、図３５の左上及び右上と同様である。これに対して本例にかかる図３８の右下は、移動前後の移動領域Ｒ３０ｄの上下端で画面Ｒ３が分割線Ｌ３８１、Ｌ３８２、Ｌ３８３及びＬ３８４により５分割され、各々の更新領域検出域で更新領域Ｒ３６１、Ｒ３６２、Ｒ３６３、Ｒ３６４、Ｒ３６５、Ｒ３６６及びＲ３６７の検出が行われるため、更新領域の合計面積を小さくでき、その分、符号量の削減が可能になる。
　さらに、図３９の左上は、図２９の左上と同様である。図３９の右上は、図３５の右上と同様である。また、図３９の右下は、第１の処理例を適用し、移動後の移動領域Ｒ３０ｃの上下端で画面Ｒ３を分割線Ｌ３９１及びＬ３９２により３分割した場合を示す。この場合、図３９の右下に示すように検出された移動領域Ｒ３０ｃを含み、冗長な更新領域Ｒ３５１及びＲ３５２が検出される。これに対して本例にかかる図３９の左下は、移動前後の移動領域Ｒ４０の上下端で画面Ｒ４が分割線Ｌ３９３、Ｌ３９４、Ｌ３９５及びＬ３９６により５分割され、各々の更新領域検出域で更新領域Ｒ４１、Ｒ４２及びＲ４３の検出が行われるため、更新領域の合計面積を小さくでき、その分、符号量の削減が可能になる。
　図４０を参照すると、更新領域検出域設定部１２４の第４の実施例は、移動領域有無判定部５１１と、移動領域重複判定部５１２と、分割部５１３とから構成される。各々は、概ね以下のような機能を有する。
　移動領域有無判定部５１１は、更新領域検出域設定部１２４の第３の実施例における移動領域有無判定部５０１と同じ機能を有する。
　移動領域重複判定部５１２は、移動領域検出部１２２で検出された移動前後の移動領域の重なりの可能性の有無を判定する機能を有する。
　分割部５１３は、移動領域有無判定部５１１および移動領域重複判定部５１２の判定結果に従って画面分割の必要性の判定および画面分割による更新領域検出域の設定を行う機能を有する。
　次に本実施例の更新領域検出域設定部１２４の処理例を説明する。
　更新領域検出域設定部１２４の移動領域有無判定部５１１は、第３の実施例の移動領域有無判定部５０１と同様に移動領域が検出されたかどうかを判定し、判定結果を移動領域重複判定部５１２および分割部５１３へ通知する（図４１のステップＳ６２１）。
　移動領域重複判定部５１２は、移動前後の移動領域が重なっていないかを判定する（ステップＳ６２２）。具体的には、移動領域重複判定部５１２は、まず、移動領域が検出された旨の通知を移動領域有無判定部５１１から受け取る。次に、移動領域重複判定部５１２は、作業域１１３から移動領域検出部１２２の検出結果に含まれる移動前後の移動領域の座標を読み出す。そして、移動領域重複判定部５１２は、移動前の移動領域を上下左右に所定幅Δだけ拡大した領域と、移動後の移動領域を上下左右に所定幅Δだけ拡大した領域とが少なくとも一部で重なるかどうかを調べる。その後、移動領域重複判定部５１２は、重なる場合には移動領域の重複ありの判定結果を、重ならない場合には移動領域の重複なしの判定結果を分割部５１３に通知する。ここで、所定幅Δは、移動領域の検出不足の生じる程度に応じて事前に設定される。
　分割部５１３は、移動領域有無判定部５１２から移動領域が検出されなかった旨の通知を受けた場合、および移動領域重複判定部５１２から移動領域の重複なしの通知を受けた場合、画面全体を１つの更新領域検出域に設定する（ステップＳ６２３）。他方、移動領域有無判定部５１２から移動領域が検出された旨の通知を受けると共に、移動領域重複判定部５１２から移動領域の重複ありの通知を受けた場合、第３の実施例の分割部５０２の第１の処理例および第２の処理例の何れかと同じように画面を３分割または５分割して更新領域検出域を設定する（ステップＳ６２４、Ｓ６２５）。その後、更新領域検出域毎に更新領域検出部１２５による更新領域の検出が行われる。
　この第４の実施例の更新領域検出域設定部１２４によれば、移動前後の移動領域が重なっている可能性がない場合には画面を分割しないので、更新領域の分割数の増加を抑えることができる。
（４）更新領域検出部１２５
　図４２を参照すると、更新領域検出部１２５の第１の実施例は、画素比較部６０１および更新領域抽出部６０２から構成され、更新領域検出域設定部１２４により設定された各々の更新領域検出域毎に、動き補償後の参照フレームと現フレームとの差分領域である更新領域を検出する。画素比較部６０１および更新領域抽出部６０２は、概ね以下のような機能を有する。
　画素比較部６０１は、処理対象とする更新領域検出域毎に、動き補償後の参照フレームと現フレームとにおける同じ位置の画素の値の差分を、第１の閾値および第１の閾値よりも大きな値の第２の閾値と比較する機能を有する。
　更新領域抽出部６０２は、処理対象とする更新領域検出域毎に、第１の閾値より大きな差分が検出された画素の塊のうち、第２の閾値より大きな差分が検出された画素を含む塊を更新領域として抽出する機能を有する。
　次に本実施例の更新領域検出部１２５の動作を説明する。
　更新領域検出部１２５は、更新領域検出域設定部１２４が設定した更新領域検出域の情報を作業域１１３から読み出し、そのうちの１つの更新領域検出域に注目する（図４３のステップＳ７０１）。次に、注目中の更新領域検出域から更新領域の抽出を行い、抽出結果を作業域１１３に保存する（ステップＳ７０２）。更新領域検出部１２５は、１つの更新領域検出域からの更新領域の抽出処理を終えると、次の１つの更新領域検出域に注目を移し（ステップＳ７０３）、上述した処理と同様の処理を繰り返す。全ての更新領域検出域からの更新領域の抽出処理を終えると（ステップＳ７０４でＹＥＳ）、図４３の処理を終える。
　次にステップＳ７０２で実行される処理について、図４４Ａ及び図４４Ｂのフローチャートを参照して詳細に説明する。
　まず更新領域検出部１２５は、更新領域の抽出処理に使用する上端バッファ、下端バッファおよびフラグバッファの初期化を行う（ステップＳ７１１）。各バッファはフレームの各列に１対１に対応するエントリを有する。このうち、上端バッファは、第１の閾値より大きな差分が検出された最上位行の行番号を各列毎に保持するために使用し、下端バッファは、第１の閾値より大きな差分が検出された最下位行の行番号を各列毎に保持するために使用する。また、フラグバッファは、第２の閾値より大きな差分が検出されたか否かを示すフラグを各列毎に保持する。
　以降、更新領域検出部１２５の画素比較部６０１によって以下のような処理が実行される。
　まず画素比較部６０１は、動き補償後の参照フレームと現フレームとの更新領域検出域に含まれる複数の画素のペアのうち、先頭の画素のペアに注目する（Ｓ７１２）。例えば、図４５に示すように、注目中の更新領域検出域がフレームの１行目から始まる場合、動き補償後の参照フレームの画素Ｐ（０，０）と現フレームの画素Ｐ（０，０）のペアに注目する。
　次に画素比較部６０１は、注目中の画素のペアの画素値の差分を計算する（ステップＳ７１３）。次に、差分を第１の閾値と比較し（ステップＳ７１４）、差分が第１の閾値より大きければ、上端バッファおよび下端バッファを更新する（ステップＳ７１５）。具体的には、上端バッファについては、注目中の画素が位置する列に対応する上端バッファのエントリがＮＵＬＬであれば当該エントリに注目中の画素が位置する行の番号を記録し、ＮＵＬＬでなく既に行番号が記録されていればそのままにする。他方、下端バッファについては、注目中の画素が位置する列に対応する下端バッファのエントリに無条件に注目中の画素が位置する行の番号を記録する。
　次に画素比較部６０１は、差分を第２の閾値と比較し（ステップＳ７１６）、差分が第２の閾値より大きければ、フラグバッファを更新する（ステップＳ７１７）。具体的には、注目中の画素が位置する列に対応するフラグバッファのエントリに無条件に１を記録する。
　次に画素比較部６０１は、双方のフレームにおける同じ行の次の列の画素のペアに注目を移し（ステップＳ７１８）、ステップＳ７１３に戻る。差分が第１の閾値より大きくない場合、上端バッファおよび下端バッファの更新は行わない。また、差分が第１の閾値より大きくても第２の閾値より大きくなければ、フラグバッファの更新は行わない。
　ここで、画素値の差分の計算は、例えばＲ、Ｇ、Ｂの各成分毎に行う。また、第１および第２の閾値との比較は、各成分の差分毎に行い、少なくとも１つの成分の差分が閾値より大きければ、画素値の差分が閾値より大きいと判定する。
　その後、画素比較部６０１は、注目中の更新領域検出域の１行分の画素のペアについての処理を終える（ステップＳ７１９でＹＥＳ）。そして、画素比較部６０１は、処理の開始時点または更新領域抽出部６０２を過去に呼び出していれば前回の呼び出し時点から第１の閾値より大きな差分が全く検出されなかった行の連続数、つまり非更新行の連続数をカウントする（ステップＳ７２０）。続いて、画素比較部６０１は、予め設定された閾値Ｌと非更新行の連続数とを比較する（ステップＳ７２１）。ここで、閾値Ｌは更新領域の過分割を避けるために１以上の値（例えば８）に設定される。もし、非更新行の連続数が閾値Ｌを超えていれば、更新領域抽出範囲の先頭行と最終行とを指定して、更新領域抽出部６０２を呼び出し、列分割による更新領域の検出処理を行わせる（ステップＳ７２２）。更新領域の抽出範囲の先頭行は、更新領域抽出部６０２を過去に呼び出していなければフレームの先頭行であり、呼び出していれば、前回の呼び出し時に指定した最終行の次の行である。また、更新領域の抽出範囲の最終行は、現時点において最後の列の画素の処理を終えた行である。
　画素比較部６０１は、更新領域抽出部６０２の処理が完了すると、フレームの次の行の先頭の画素のペアに注目を移し（ステップＳ７２３）、ステップＳ７１３に戻る。
　なお、画素比較部６０１は、非更新行の連続数が閾値Ｌを超えていなければ、更新領域抽出部６０２は呼び出さずに、フレームの次の行の先頭の画素のペアに注目を移し（ステップＳ７２３）、ステップＳ７１３に戻る。
　さらに、画素比較部６０１は、注目中の更新領域検出域の最後の行の最後の画素のペアまで処理を終える（ステップＳ７２４でＹＥＳ）。そして、画素比較部６０１は、処理の開始時点または更新領域抽出部６０２を過去に呼び出していれば前回の呼び出し時点から後に第１の閾値より大きな差分が検出された行が存在したかどうかを判定する（ステップＳ７２５）。ここで、存在しなかった場合には図４４Ａ及び図４４Ｂの処理を終了する。また、存在した場合には、更新領域抽出範囲の先頭行と最終行とを指定して、更新領域抽出部６０２を呼び出し（ステップＳ７２６）、列分割による更新領域の検出処理の完了後に図４４Ａ及び図４４Ｂの処理を終了する。更新領域の抽出範囲の先頭行は、更新領域抽出部６０２を過去に呼び出していなければフレームの先頭行であり、呼び出していれば、前回の呼び出し時に指定した最終行の次の行である。また更新領域の抽出範囲の最終行はフレームの最終行である。
　図４５の上側に描いたマトリクスは、動き補償後の参照フレームと現フレームとの差分状況の一例を示しており、１つの枡目が１つの画素のペアの差分状況を示す。また、空白の枡目は差分が第１の閾値よりも小さいことを、ハッチングを施した枡目は差分が第１の閾値より大きく第２の閾値より小さいことを、黒く塗りつぶした枡目は差分が第２の閾値より大きいことをそれぞれ示す。このような状況の下に、フレームの９行目までの範囲について画素比較部６０１で上述したような動作が行われると、上端バッファ、下端バッファおよびフラグバッファには、図４５の下側に示すような内容が記録される。ここで、上端バッファおよび下端バッファ中の数値は行の番号を示し、記号「－」はＮＵＬＬを示す。また、フラグバッファ中の０、１はフラグの値を示し、第２の閾値を超えたことは値１で示される。そして、上記閾値Ｌを例えば３行とすると、９行目までの処理を終えた時点で非更新行の連続数が４となり、閾値Ｌを超えるので、更新領域抽出部６０２が呼び出されることになる。
　次に、更新領域抽出部６０２が実行する列分割による更新領域の検出処理について、図４６のフローチャートを参照して説明する。
　更新領域抽出部６０２は、上端バッファまたは下端バッファを参照して、今回の呼び出しで指定された更新領域抽出範囲から更新列（差分画素が存在した列のまとまり）と非更新列（差分画素が存在しなかった列のまとまり）を抽出する（ステップＳ７３１）。例えば図４５の場合、上端バッファのエントリを列０から順に参照すると、ＮＵＬＬが１つ連続しているので、０列を非更新列（０－０）として抽出し、次に数値が記録されたエントリが５つ連続しているので、１列から５列までを更新列（１－５）として抽出する。以下同様に、非更新列（６－７）、更新列（８－９）、非更新列（１０－１４）、更新列（１５－１６）等を抽出する。
　次に更新領域抽出部６０２は、更新領域の過分割を避けるために、所定列数Ｗ以下の非更新列を間にして互いに隣接する更新列を１つの更新列に結合する（ステップＳ７３２）。例えば、Ｗを３とすると、図４５の場合、更新列（１－５）と更新列（８－９）は更新列（１－９）として結合される。
　次に更新領域抽出部６０２は、フラグバッファを参照して、フラグの値が全て０の更新列を非更新列に変更する（ステップＳ７３３）。例えば図４５の場合、結合後の更新列（１－９）についてフラグバッファ中の列１～列９に対応するフラグを参照すると、値１が含まれているので、更新列（１－９）はそのままとする。他方、更新列（１５－１６）についてフラグバッファ中の列１５－１６に対応するフラグを参照すると、すべて値０なので、更新列（１５－１６）はノイズによって生じた可能性が高いと判断して非更新列に変更される。
　次に更新領域抽出部６０２は、各更新列毎に、差分画素が発生する最上端と最下端の行を調べ、その更新列の左端と右端と合わせて、更新領域を定める更新矩形を確定する（ステップＳ７３４）。この処理により、更新列（１－９）については、上端バッファを参照すると最上端は２、下端バッファを参照すると最下端は５、その更新列の左端は１、右端は９なので、更新矩形を左上および右下の端点で規定する場合、左上端点（２，１）、右下端点（５，９）として求められる。こうして求められた更新領域の情報（更新矩形の座標）は、更新領域検出結果の一部として作業域１１３に記録される。
　次に更新領域抽出部６０２は、上端バッファ、下端バッファおよびフラグバッファの初期化を行い（ステップＳ７３５）、図４６の処理を終了する。なお、図４６の処理では、所定列数Ｗ以下の非更新列を間にして互いに隣接する更新列を１つの更新列に結合した後、第２の閾値を超える画素が存在しない更新列を非更新列に変更した。しかし、それとは逆に、第２の閾値を超える画素が存在しない更新列を非更新列に変更した後、所定列数Ｗ以下の非更新列を間にして互いに隣接する更新列を１つの更新列に結合する処理を行うようにしても良い。
　次に本実施例の更新領域検出部１２５の効果を説明する。
　本実施例の更新領域検出部１２５によれば、アナログキャプチャされたコンピュータ画面の更新領域を精度良く検出することができる。その理由は、第１の閾値とそれより大きな第２の閾値との２種類の閾値を使用し、第１の閾値より大きな差分が検出された画素の塊のうち、第２の閾値より大きな差分が検出された画素を含む塊を更新領域として抽出するためである。これにより、第１の閾値だけを使用して更新領域を検出した場合に起こり易い更新領域の過度検出が防止でき、かつ、第２の閾値だけを使用して更新領域を検出した場合に起こり易い更新領域の検出不足が防止できる。
　具体的には、例えば動画などのグラデーション部に画素変化があった場合、単一の画素値の変化量だけを参照しても、画素が描画更新されたのか、アナログキャプチャに伴うノイズによる画素値変動なのかを識別することは難しい。こうした理由から単一の閾値では、動画において更新領域の検出に失敗する場合があった。例えば、画面中央の動画ウィンドウのみが前後フレーム１、２で更新されている図４７に示す実験例では、更新領域として中央の動画ウィンドウ全体が検出されることが望ましい。しかし、小さな値の閾値だけを使用すると、図４７の左下に示すように検出領域が過大となり、逆に大きな値の閾値だけを使用すると、図４７の右下に示すように検出領域が不足した。検出が過大になると、画面更新が僅かな場合にも符号量が増大してしまう。また、検出漏れが複数フレームにわたって発生すると、検出に成功した領域と検出漏れした領域との間で、輝度不連続な境界が知覚されるようになる。
　これに対して、差分判定用の閾値を２種類（大と小）設定した本実施例の更新領域検出部１２５によれば、図４８の実験例に示すように、中央の動画ウィンドウ全体を過不足なく更新領域として検出することができた。
　また本実施例の更新領域検出部１２５によれば、更新領域検出域内に存在する全ての更新領域に外接する１つの矩形で更新領域を検出する手法に較べて、更新領域を無駄に大きく検出することを防止できる。
　また本実施例の更新領域検出部１２５によれば、コンピュータ画面の更新領域を高速に検出することができる。その理由は、フレームの各列について差分画素の上端および下端の座標を保持する上端および下端バッファと、参照フレームと現フレームの画素をラスタスキャン順に比較して、差分が第１の閾値以上となる画素が見つかったら上端および下端バッファの該当列の上端および下端の座標を書き換える画素比較部６０１と、非更新行が所定行連続したら上端および下端バッファを参照して更新領域を確定する更新領域抽出部６０２とを備えており、いわゆる１パス処理で更新領域の検出が行えるためである。
　以上、本発明の移動ベクトル検出装置を映像信号符号化装置に適用した実施の形態及び実施例について説明したが、本発明は、上述した実施の形態及び実施例に限定されるものではない。本発明の構成や詳細には、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
　尚、本発明の他の実施の形態には、以下のものも含まれる。
（付記１）
　他の１以上のエッジ点との位置関係がフレーム内で一意なエッジ点を特徴点として前フレームおよび現フレームから抽出し、前フレームおよび現フレームにおいて同じ一意な位置関係を持つ特徴点のペアの座標差を移動ベクトルとして検出する移動ベクトル検出装置。
（付記２）
　前フレームおよび現フレーム内でエッジ点を抽出するエッジ抽出手段と、
　前フレームおよび現フレームから抽出されたエッジ点のうち、他の１以上のエッジ点との位置関係が一意なエッジ点を特徴点として抽出する特徴点抽出手段と、
　他のエッジ点との位置関係が同一の特徴点のペアを前フレームおよび現フレームから抽出する特徴点ペア抽出手段と、
　前フレームおよび現フレームから抽出された特徴点のペアの座標値の差分を移動ベクトルとして算出する移動ベクトル算出手段とを備えることを特徴とする付記１に記載の移動ベクトル検出装置。
（付記３）
　前記エッジ抽出手段は、互いに直交する２方向の隣接画素との画素値の差分が何れも閾値を超える点をエッジ点として抽出することを特徴とする付記２に記載の移動ベクトル検出装置。
（付記４）
　前記特徴点抽出手段は、他の１以上のエッジ点との距離がフレーム内で一意な値となるエッジ点を特徴点として抽出することを特徴とする付記２に記載の移動ベクトル検出装置。
（付記５）
　前記特徴点抽出手段は、他の１以上のエッジ点との距離から計算したハッシュ値がフレーム内で一意な値となるエッジ点を特徴点として抽出することを特徴とする付記２に記載の移動ベクトル検出装置。
（付記６）
　ハッシュ値と該ハッシュ値を持つエッジ点の出現頻度および最終出現座標値との組が登録される現フレームおよび前フレームのハッシュテーブルを備え、
　前記エッジ抽出手段は、前フレームおよび現フレームからエッジ点を抽出する毎に、そのエッジ点のハッシュ値および出現座標に従って、前フレームおよび現フレームのハッシュテーブルの該当個所を更新し、
　前記特徴点抽出手段は、現フレームのハッシュテーブルと前フレームのハッシュテーブルとにおける出現頻度が１のハッシュ値と組になっているエッジ点を特徴点として抽出することを特徴とする付記５に記載の移動ベクトル検出装置。
（付記７）
　ハッシュ値と該ハッシュ値を持つエッジ点の出現頻度、最終出現座標および画素値との組が登録される現フレームおよび前フレームのハッシュテーブルを備え、
　前記エッジ抽出手段は、前フレームおよび現フレームからエッジ点を抽出する毎に、そのエッジ点のハッシュ値、出現座標および画素値に従って、前フレームおよび現フレームのハッシュテーブルの該当個所を更新し、
　前記特徴点抽出手段は、現フレームのハッシュテーブルと前フレームのハッシュテーブルとにおける出現頻度が１のハッシュ値と組になっているエッジ点を特徴点として抽出することを特徴とする付記５に記載の移動ベクトル検出装置。
（付記８）
　前記特徴点ペア抽出手段は、他のエッジ点との位置関係が同一であるという条件に加えて更に、画素値の差が閾値以下であるという条件を満たす特徴点のペアを前フレームおよび現フレームから抽出することを特徴とする付記２に記載の移動ベクトル検出装置。
（付記９）
　前記特徴点抽出手段は、他の１以上のエッジ点として、直前に出現した１つ或いは複数のエッジ点を使用することを特徴とする付記２に記載の移動ベクトル検出装置。
（付記１０）
　前記移動ベクトル算出手段は、前フレームおよび現フレームから抽出された特徴点のペアが複数存在する場合、各特徴点のペア毎に座標値の差分を移動ベクトル候補として生成する移動ベクトル候補生成手段と、移動ベクトル候補のうち最も頻出する移動ベクトル候補を移動ベクトルとして選定する移動ベクトル選定手段とを有することを特徴とする付記２に記載の移動ベクトル検出装置。
（付記１１）
　他の１以上のエッジ点との位置関係がフレーム内で一意なエッジ点を特徴点として前フレームおよび現フレームから抽出し、前フレームおよび現フレームにおいて同じ一意な位置関係を持つ特徴点のペアの座標差を移動ベクトルとして検出する移動ベクトル検出方法。
（付記１２）
　ａ）エッジ抽出手段が、前フレームおよび現フレーム内でエッジ点を抽出するステップと、
　ｂ）特徴点抽出手段が、前フレームおよび現フレームから抽出されたエッジ点のうち、他の１以上のエッジ点との位置関係が一意なエッジ点を特徴点として抽出するステップと、
　ｃ）特徴点ペア抽出手段が、他のエッジ点との位置関係が同一の特徴点のペアを前フレームおよび現フレームから抽出するステップと、
　ｄ）移動ベクトル算出手段が、前フレームおよび現フレームから抽出された特徴点のペアの座標値の差分を移動ベクトルとして算出するステップとを含むことを特徴とする付記１１に記載の移動ベクトル検出方法。
（付記１３）
　前記エッジ抽出手段は、互いに直交する２方向の隣接画素との画素値の差分が何れも閾値を超える点をエッジ点として抽出することを特徴とする付記１２に記載の移動ベクトル検出方法。
（付記１４）
　前記特徴点抽出手段は、他の１以上のエッジ点との距離がフレーム内で一意な値となるエッジ点を特徴点として抽出することを特徴とする付記１２に記載の移動ベクトル検出方法。
（付記１５）
　前記特徴点抽出手段は、他の１以上のエッジ点との距離から計算したハッシュ値がフレーム内で一意な値となるエッジ点を特徴点として抽出することを特徴とする付記１２に記載の移動ベクトル検出方法。
（付記１６）
　ハッシュ値と該ハッシュ値を持つエッジ点の出現頻度および最終出現座標値との組が登録される現フレームおよび前フレームのハッシュテーブルを備え、
　前記エッジ抽出手段は、前フレームおよび現フレームからエッジ点を抽出する毎に、そのエッジ点のハッシュ値および出現座標に従って、前フレームおよび現フレームのハッシュテーブルの該当個所を更新し、
　前記特徴点抽出手段は、現フレームのハッシュテーブルと前フレームのハッシュテーブルとにおける出現頻度が１のハッシュ値と組になっているエッジ点を特徴点として抽出することを特徴とする付記１５に記載の移動ベクトル検出方法。
（付記１７）
　ハッシュ値と該ハッシュ値を持つエッジ点の出現頻度、最終出現座標および画素値との組が登録される現フレームおよび前フレームのハッシュテーブルを備え、
　前記エッジ抽出手段は、前フレームおよび現フレームからエッジ点を抽出する毎に、そのエッジ点のハッシュ値、出現座標および画素値に従って、前フレームおよび現フレームのハッシュテーブルの該当個所を更新し、
　前記特徴点抽出手段は、現フレームのハッシュテーブルと前フレームのハッシュテーブルとにおける出現頻度が１のハッシュ値と組になっているエッジ点を特徴点として抽出することを特徴とする付記１５に記載の移動ベクトル検出方法。
（付記１８）
　前記特徴点ペア抽出手段は、他のエッジ点との位置関係が同一であるという条件に加えて更に、画素値の差が閾値以下であるという条件を満たす特徴点のペアを前フレームおよび現フレームから抽出することを特徴とする付記１２に記載の移動ベクトル検出方法。
（付記１９）
　前記特徴点抽出手段は、他の１以上のエッジ点として、直前に出現した１つ或いは複数のエッジ点を使用することを特徴とする付記１２に記載の移動ベクトル検出方法。
（付記２０）
　前記移動ベクトル算出手段は、前フレームおよび現フレームから抽出された特徴点のペアが複数存在する場合、各特徴点のペア毎に座標値の差分を移動ベクトル候補として生成し、該生成した移動ベクトル候補のうち最も頻出する移動ベクトル候補を移動ベクトルとして選定することを特徴とする付記１２に記載の移動ベクトル検出方法。
（付記２１）
　コンピュータを、
　他の１以上のエッジ点との位置関係がフレーム内で一意なエッジ点を特徴点として前フレームおよび現フレームから抽出し、前フレームおよび現フレームにおいて同じ一意な位置関係を持つ特徴点のペアの座標差を移動ベクトルとして検出する手段として機能させるための移動ベクトル検出プログラムを前記コンピュータに読取可能に記録するプログラム記録媒体。
（付記２２）
　前記コンピュータを、
　前フレームおよび現フレーム内でエッジ点を抽出するエッジ抽出手段と、
　前フレームおよび現フレームから抽出されたエッジ点のうち、他の１以上のエッジ点との位置関係が一意なエッジ点を特徴点として抽出する特徴点抽出手段と、
　他のエッジ点との位置関係が同一の特徴点のペアを前フレームおよび現フレームから抽出する特徴点ペア抽出手段と、
　前フレームおよび現フレームから抽出された特徴点のペアの座標値の差分を移動ベクトルとして算出する移動ベクトル算出手段として機能させるための付記２１に記載の移動ベクトル検出プログラムを記録するプログラム記録媒体。
（付記２３）
　前記エッジ抽出手段は、互いに直交する２方向の隣接画素との画素値の差分が何れも閾値を超える点をエッジ点として抽出することを特徴とする付記２２に記載の移動ベクトル検出プログラムを記録するプログラム記録媒体。
（付記２４）
　前記特徴点抽出手段は、他の１以上のエッジ点との距離がフレーム内で一意な値となるエッジ点を特徴点として抽出することを特徴とする付記２２に記載の移動ベクトル検出プログラムを記録するプログラム記録媒体。
（付記２５）
　前記特徴点抽出手段は、他の１以上のエッジ点との距離から計算したハッシュ値がフレーム内で一意な値となるエッジ点を特徴点として抽出することを特徴とする付記２２に記載の移動ベクトル検出プログラムを記録するプログラム記録媒体。
（付記２６）
　前記コンピュータは、ハッシュ値と該ハッシュ値を持つエッジ点の出現頻度および最終出現座標値との組が登録される現フレームおよび前フレームのハッシュテーブルを備え、
　前記エッジ抽出手段は、前フレームおよび現フレームからエッジ点を抽出する毎に、そのエッジ点のハッシュ値および出現座標に従って、前フレームおよび現フレームのハッシュテーブルの該当個所を更新し、
　前記特徴点抽出手段は、現フレームのハッシュテーブルと前フレームのハッシュテーブルとにおける出現頻度が１のハッシュ値と組になっているエッジ点を特徴点として抽出することを特徴とする付記２５に記載の移動ベクトル検出プログラムを記録するプログラム記録媒体。
（付記２７）
　前記コンピュータは、ハッシュ値と該ハッシュ値を持つエッジ点の出現頻度、最終出現座標および画素値との組が登録される現フレームおよび前フレームのハッシュテーブルを備え、
　前記エッジ抽出手段は、前フレームおよび現フレームからエッジ点を抽出する毎に、そのエッジ点のハッシュ値、出現座標および画素値に従って、前フレームおよび現フレームのハッシュテーブルの該当個所を更新し、
　前記特徴点抽出手段は、現フレームのハッシュテーブルと前フレームのハッシュテーブルとにおける出現頻度が１のハッシュ値と組になっているエッジ点を特徴点として抽出することを特徴とする付記２５に記載の移動ベクトル検出プログラムを記録するプログラム記録媒体。
（付記２８）
　前記特徴点ペア抽出手段は、他のエッジ点との位置関係が同一であるという条件に加えて更に、画素値の差が閾値以下であるという条件を満たす特徴点のペアを前フレームおよび現フレームから抽出することを特徴とする付記２２に記載の移動ベクトル検出プログラムを記録するプログラム記録媒体。
（付記２９）
　前記特徴点抽出手段は、他の１以上のエッジ点として、直前に出現した１つ或いは複数のエッジ点を使用することを特徴とする付記２２に記載の移動ベクトル検出プログラムを記録するプログラム記録媒体。
（付記３０）
　前記移動ベクトル算出手段は、前フレームおよび現フレームから抽出された特徴点のペアが複数存在する場合、各特徴点のペア毎に座標値の差分を移動ベクトル候補として生成し、該生成した移動ベクトル候補のうち最も頻出する移動ベクトル候補を移動ベクトルとして選定することを特徴とする付記２２に記載の移動ベクトル検出プログラムを記録するプログラム記録媒体。
（付記３１）
　前フレームと現フレームを比較して移動ベクトルを検出する移動ベクトル検出手段と、
　前フレームと現フレームとの何れにも存在する同一または類似の画像領域であって、画面上での位置が前記移動ベクトル検出手段で検出された移動ベクトルだけ変化している画像領域を移動領域として検出する移動領域検出手段と、
　前記移動領域検出手段で検出された移動領域を前フレーム上の移動ベクトルが示す移動先に複写する動き補償手段と、
　動き補償後の前フレームと現フレームとが相違する領域を更新領域として検出する更新領域検出手段と、
　前記更新領域検出手段で検出された更新領域を画像として符号化する領域符号化手段とを備えた映像信号符号化装置であって、
　前記移動ベクトル検出手段として、付記１に記載の移動ベクトル検出装置を使用した映像信号符号化装置。
（付記３２）
　前記更新領域検出手段が更新領域を検出する更新領域検出域を、フレーム上に設定する更新領域検出域設定手段を備えることを特徴とする付記３１記載の映像信号符号化装置。
　この出願は、２００８年２月１４日に出願された日本出願特願２００８－０３３０４１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、シン・クライアント・システムにおけるサーバ装置として広く適用することができる。また、本発明の移動ベクトル検出装置は符号化以外にも移動物体の検出など各種の分野に利用することが可能である。

Claims (32)

  1. 　現フレーム及び当該現フレーム以前のフレームである前フレームのそれぞれからエッジ点を抽出するエッジ抽出手段と、
    　前記エッジ抽出手段により抽出された複数のエッジ点の内、フレーム内の他の１以上のエッジ点との位置関係が当該フレーム内で一意に定まるエッジ点である特徴点を、前記前フレーム及び前記現フレームのそれぞれから抽出する特徴点抽出手段と、
    　前記前フレームの特徴点と前記現フレームの特徴点との組み合わせの内、前記位置関係が共通する特徴点の組み合わせを特徴点のペアとして抽出する特徴点ペア抽出手段と、
    　前記特徴点ペア抽出手段により抽出された特徴点のペアの座標値の差分を移動ベクトルとして算出する移動ベクトル算出手段と
    を備える移動ベクトル検出装置。
  2. 　前記エッジ抽出手段は、互いに直交する２方向の隣接画素との画素値の差分が何れも閾値を超える点をエッジ点として抽出することを特徴とする請求項１に記載の移動ベクトル検出装置。
  3. 　前記特徴点抽出手段は、前記位置関係としてエッジ点間の距離を用いて前記特徴点を抽出することを特徴とする請求項１に記載の移動ベクトル検出装置。
  4. 　前記特徴点抽出手段は、前記位置関係としてエッジ点間の距離のハッシュ値を用いて前記特徴点を抽出することを特徴とする請求項１に記載の移動ベクトル検出装置。
  5. 　ハッシュ値と該ハッシュ値に対応するエッジ点の出現頻度及び最終出現座標値との組が格納されるハッシュテーブルをフレーム毎に備え、
    　前記エッジ抽出手段は、前記前フレーム及び前記現フレームから抽出されるエッジ点毎に前記ハッシュ値を算出し、前記ハッシュテーブル内の当該ハッシュ値に対応する前記出現頻度を更新し、当該ハッシュ値に対応する最終出現座標値に当該エッジ点の出現座標を格納し、
    　前記特徴点抽出手段は、前記現フレームのハッシュテーブルと前記前フレームのハッシュテーブルとにおける出現頻度が１のハッシュ値と組になっているエッジ点を特徴点として抽出する
    ことを特徴とする請求項４に記載の移動ベクトル検出装置。
  6. 　前記特徴点ペア抽出手段は、他のエッジ点との位置関係が同一であるという条件に加えて更に、特徴点の画素値の差の絶対値が閾値以下であるという条件を満たす特徴点のペアを前記前フレーム及び前記現フレームから抽出することを特徴とする請求項１に記載の移動ベクトル検出装置。
  7. 　ハッシュ値と該ハッシュ値に対応するエッジ点の出現頻度、最終出現座標値及び画素値との組が格納されるハッシュテーブルをフレーム毎に備え、
    　前記エッジ抽出手段は、前記前フレーム及び前記現フレームから抽出されるエッジ点毎に前記ハッシュ値を算出し、前記ハッシュテーブル内の当該ハッシュ値に対応する前記出現頻度を更新し、当該ハッシュ値に対応する最終出現座標値に当該エッジ点の出現座標を格納し、当該ハッシュ値に対応する画素値に当該エッジ点の画素値を格納し、
    　前記特徴点抽出手段は、前記現フレームのハッシュテーブルと前記前フレームのハッシュテーブルとにおける出現頻度が１のハッシュ値と組になっているエッジ点を特徴点として抽出し、
    　前記特徴点ペア抽出手段は、前記前フレームの特徴点と前記現フレームの特徴点との組み合わせの内、前記位置関係が同一であり、かつ、画素値の差の絶対値が閾値以下である特徴点の組み合わせを特徴点のペアとして抽出する、
    ことを特徴とする請求項４に記載の移動ベクトル検出装置。
  8. 　前記位置関係算出手段は、他の１以上のエッジ点として、直前に出現した１つ或いは複数のエッジ点を使用することを特徴とする請求項１に記載の移動ベクトル検出装置。
  9. 　前記移動ベクトル算出手段は、前記前フレーム及び前記現フレームから抽出された特徴点のペアが複数存在する場合、各特徴点のペア毎に座標値の差分を移動ベクトル候補として生成する移動ベクトル候補生成手段と、移動ベクトル候補のうち最も頻出する移動ベクトル候補を移動ベクトルとして選定する移動ベクトル選定手段とを有することを特徴とする請求項１に記載の移動ベクトル検出装置。
  10. 　フレームに含まれる二つのエッジ点の組み合わせであるエッジペアについて、前記二つのエッジ点間の位置関係を特徴量とし、現フレームの特徴量と当該現フレーム以前のフレームである前フレームの特徴量との間で前記位置関係が一意に定まる前記前フレームのエッジペア及び前記現フレームのエッジペアを特徴点ペアとし、前記特徴点ペアにおける前記前フレームのエッジペアのエッジ点と、前記特徴点ペアにおける前記現フレームのエッジペアのエッジ点との座標差を、前記前フレームから前記現フレームへの移動領域の移動ベクトルとして検出する移動ベクトル検出装置。
  11. 　前記前フレーム及び前記現フレームのそれぞれからエッジ点を抽出するエッジ抽出ステップと、
    　前記エッジ抽出手段により抽出された複数のエッジ点の内、フレーム内の他の１以上のエッジ点との位置関係が当該フレーム内で一意に定まるエッジ点である特徴点を、前記前フレーム及び前記現フレームのそれぞれから抽出する特徴点抽出ステップと、
    　前記前フレームの特徴点と前記現フレームの特徴点との組み合わせの内、前記位置関係が共通する特徴点の組み合わせを特徴点のペアとして抽出する特徴点ペア抽出ステップと、
    　前記特徴点ペア抽出ステップにより抽出された特徴点のペアの座標値の差分を移動ベクトルとして算出する移動ベクトル算出ステップと
    を含む移動ベクトル検出方法。
  12. 　前記エッジ抽出ステップは、互いに直交する２方向の隣接画素との画素値の差分が何れも閾値を超える点をエッジ点として抽出することを特徴とする請求項１１に記載の移動ベクトル検出方法。
  13. 　前記特徴点抽出ステップは、前記位置関係としてエッジ点間の距離を用いて前記特徴点を抽出することを特徴とする請求項１１に記載の移動ベクトル検出方法。
  14. 　前記特徴点抽出ステップは、前記位置関係としてエッジ点間の距離のハッシュ値を用いて前記特徴点を抽出することを特徴とする請求項１１に記載の移動ベクトル検出方法。
  15. 　前記エッジ抽出ステップは、ハッシュ値と該ハッシュ値に対応するエッジ点の出現頻度及び最終出現座標値との組が格納されるフレーム毎のハッシュテーブルに対して、前記前フレーム及び前記現フレームから抽出されるエッジ点毎に前記ハッシュ値を算出し、前記ハッシュテーブル内の当該ハッシュ値に対応する前記出現頻度を更新し、当該ハッシュ値に対応する最終出現座標値に当該エッジ点の出現座標を格納し、
    　前記特徴点抽出ステップは、前記現フレームのハッシュテーブルと前記前フレームのハッシュテーブルとにおける出現頻度が１のハッシュ値と組になっているエッジ点を特徴点として抽出する
    ことを特徴とする請求項１４に記載の移動ベクトル検出方法。
  16. 　前記特徴点ペア抽出ステップは、他のエッジ点との位置関係が同一であるという条件に加えて更に、特徴点の画素値の差の絶対値が閾値以下であるという条件を満たす特徴点のペアを前記前フレーム及び前記現フレームから抽出することを特徴とする請求項１１に記載の移動ベクトル検出方法。
  17. 　前記エッジ抽出ステップは、ハッシュ値と該ハッシュ値に対応するエッジ点の出現頻度、最終出現座標値及び画素値との組が格納されるフレーム毎のハッシュテーブルに対して、前記前フレーム及び前記現フレームから抽出されるエッジ点毎に前記ハッシュ値を算出し、前記ハッシュテーブル内の当該ハッシュ値に対応する前記出現頻度を更新し、当該ハッシュ値に対応する最終出現座標値に当該エッジ点の出現座標を格納し、当該ハッシュ値に対応する画素値に当該エッジ点の画素値を格納し、
    　前記特徴点抽出ステップは、前記現フレームのハッシュテーブルと前記前フレームのハッシュテーブルとにおける出現頻度が１のハッシュ値と組になっているエッジ点を特徴点として抽出し、
    　前記特徴点ペア抽出ステップは、
    前記前フレームの特徴点と前記現フレームの特徴点との組み合わせの内、前記位置関係が同一であり、かつ、画素値の差の絶対値が閾値以下である特徴点の組み合わせを特徴点のペアとして抽出する、
    ことを特徴とする請求項１４に記載の移動ベクトル検出方法。
  18. 　前記位置関係算出ステップは、他の１以上のエッジ点として、直前に出現した１つ或いは複数のエッジ点を使用することを特徴とする請求項１１に記載の移動ベクトル検出方法。
  19. 　前記移動ベクトル算出ステップは、前記前フレーム及び前記現フレームから抽出された特徴点のペアが複数存在する場合、各特徴点のペア毎に座標値の差分を移動ベクトル候補として生成し、移動ベクトル候補のうち最も頻出する移動ベクトル候補を移動ベクトルとして選定することを特徴とする請求項１１に記載の移動ベクトル検出方法。
  20. 　フレームに含まれる二つのエッジ点の組み合わせであるエッジペアについて、前記二つのエッジ点間の位置関係を特徴量とするステップと、
    　現フレームの特徴量と当該現フレーム以前のフレームである前フレームの特徴量との間で前記位置関係が一意に定まる前記前フレームのエッジペア及び前記現フレームのエッジペアを特徴点ペアとするステップと、
    　前記特徴点ペアにおける前記前フレームのエッジペアのエッジ点と、前記特徴点ペアにおける前記現フレームのエッジペアのエッジ点との座標差を、前記前フレームから前記現フレームへの移動領域の移動ベクトルとして検出するステップとを含む移動ベクトル検出方法。
  21. 　コンピュータを、
    　前記前フレーム及び前記現フレームのそれぞれからエッジ点を抽出するエッジ抽出手段と、
    　前記エッジ抽出手段により抽出された複数のエッジ点の内、フレーム内の他の１以上のエッジ点との位置関係が当該フレーム内で一意に定まるエッジ点である特徴点を、前記前フレーム及び前記現フレームのそれぞれから抽出する特徴点抽出手段と、
    　前記前フレームの特徴点と前記現フレームの特徴点との組み合わせの内、前記位置関係が共通する特徴点の組み合わせを特徴点のペアとして抽出する特徴点ペア抽出手段と、
    　前記特徴点ペア抽出手段により抽出された特徴点のペアの座標値の差分を移動ベクトルとして算出する移動ベクトル算出手段として機能させるための移動ベクトル検出プログラムを前記コンピュータに読み取り可能に記録するプログラム記録媒体。
  22. 　前記エッジ抽出手段は、互いに直交する２方向の隣接画素との画素値の差分が何れも閾値を超える点をエッジ点として抽出することを特徴とする請求項２１に記載のプログラム記録媒体。
  23. 　前記特徴点抽出手段は、前記位置関係としてエッジ点間の距離を用いて前記特徴点を抽出することを特徴とする請求項２１に記載のプログラム記録媒体。
  24. 　前記特徴点抽出手段は、前記位置関係としてエッジ点間の距離のハッシュ値を用いて前記特徴点を抽出することを特徴とする請求項２１に記載のプログラム記録媒体。
  25. 　ハッシュ値と該ハッシュ値に対応するエッジ点の出現頻度及び最終出現座標値との組が格納されるハッシュテーブルをフレーム毎に備え、
    　前記エッジ抽出手段は、前記前フレーム及び前記現フレームから抽出されるエッジ点毎に前記ハッシュ値を算出し、前記ハッシュテーブル内の当該ハッシュ値に対応する前記出現頻度を更新し、当該ハッシュ値に対応する最終出現座標値に当該エッジ点の出現座標を格納し、
    　前記特徴点抽出手段は、前記現フレームのハッシュテーブルと前記前フレームのハッシュテーブルとにおける出現頻度が１のハッシュ値と組になっているエッジ点を特徴点として抽出する
    ことを特徴とする請求項２４に記載のプログラム記録媒体。
  26. 　前記特徴点ペア抽出手段は、他のエッジ点との位置関係が同一であるという条件に加えて更に、特徴点の画素値の差の絶対値が閾値以下であるという条件を満たす特徴点のペアを前記前フレーム及び前記現フレームから抽出することを特徴とする請求項２１に記載のプログラム記録媒体。
  27. 　ハッシュ値と該ハッシュ値に対応するエッジ点の出現頻度、最終出現座標値及び画素値との組が格納されるハッシュテーブルをフレーム毎に備え、
    　前記エッジ抽出手段は、前記前フレーム及び前記現フレームから抽出されるエッジ点毎に前記ハッシュ値を算出し、前記ハッシュテーブル内の当該ハッシュ値に対応する前記出現頻度を更新し、当該ハッシュ値に対応する最終出現座標値に当該エッジ点の出現座標を格納し、当該ハッシュ値に対応する画素値に当該エッジ点の画素値を格納し、
    　前記特徴点抽出手段は、前記現フレームのハッシュテーブルと前記前フレームのハッシュテーブルとにおける出現頻度が１のハッシュ値と組になっているエッジ点を特徴点として抽出し、
    　前記特徴点ペア抽出手段は、前記前フレームの特徴点と前記現フレームの特徴点との組み合わせの内、前記位置関係が同一であり、かつ、画素値の差の絶対値が閾値以下である特徴点の組み合わせを特徴点のペアとして抽出する、
    ことを特徴とする請求項２４に記載のプログラム記録媒体。
  28. 　前記位置関係算出手段は、他の１以上のエッジ点として、直前に出現した１つ或いは複数のエッジ点を使用することを特徴とする請求項２１に記載のプログラム記録媒体。
  29. 　前記移動ベクトル算出手段は、前記前フレーム及び前記現フレームから抽出された特徴点のペアが複数存在する場合、各特徴点のペア毎に座標値の差分を移動ベクトル候補として生成する移動ベクトル候補生成手段と、移動ベクトル候補のうち最も頻出する移動ベクトル候補を移動ベクトルとして選定する移動ベクトル選定手段とを有することを特徴とする請求項２１に記載のプログラム記録媒体。
  30. 　コンピュータを、
    　フレームに含まれる二つのエッジ点の組み合わせであるエッジペアについて、前記二つのエッジ点間の位置関係を特徴量とし、現フレームの特徴量と当該現フレーム以前のフレームである前フレームの特徴量との間で前記位置関係が一意に定まる前記前フレームのエッジペア及び前記現フレームのエッジペアを特徴点ペアとし、前記特徴点ペアにおける前記前フレームのエッジペアのエッジ点と、前記特徴点ペアにおける前記現フレームのエッジペアのエッジ点との座標差を、前記前フレームから前記現フレームへの移動領域の移動ベクトルとして検出する手段として機能させるための移動ベクトル検出プログラムを前記コンピュータに読み取り可能に記録するプログラム記録媒体。
  31. 　現フレームと当該現フレーム以前のフレームである前フレームとを比較して移動ベクトルを検出する移動ベクトル検出手段と、
    　前記前フレームと前記現フレームとの何れにも存在する同一または類似の画像領域であって、画面上での位置が前記移動ベクトル検出手段で検出された移動ベクトルだけ変化している画像領域を移動領域として検出する移動領域検出手段と、
    　前記移動領域検出手段で検出された移動領域を前記前フレーム上の移動ベクトルが示す移動先に複写する動き補償手段と、
    　動き補償後の前記前フレームと前記現フレームとが相違する領域を更新領域として検出する更新領域検出手段と、
    　前記更新領域検出手段で検出された更新領域を画像として符号化する領域符号化手段とを備えた映像信号符号化装置であって、
    　前記移動ベクトル検出手段として、請求項１に記載の移動ベクトル検出装置を使用した映像信号符号化装置。
  32. 　前記更新領域検出手段が更新領域を検出する更新領域検出域を、フレーム上に設定する更新領域検出域設定手段を備えることを特徴とする請求項３１記載の映像信号符号化装置。
PCT/JP2009/052403 2008-02-14 2009-02-13 移動ベクトル検出装置 WO2009102013A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US12/865,174 US8681870B2 (en) 2008-02-14 2009-02-13 Motion vector detection device
JP2009527635A JP4471039B2 (ja) 2008-02-14 2009-02-13 移動ベクトル検出装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-033041 2008-02-14
JP2008033041 2008-02-14

Publications (1)

Publication Number Publication Date
WO2009102013A1 true WO2009102013A1 (ja) 2009-08-20

Family

ID=40957044

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/052403 WO2009102013A1 (ja) 2008-02-14 2009-02-13 移動ベクトル検出装置

Country Status (3)

Country Link
US (1) US8681870B2 (ja)
JP (1) JP4471039B2 (ja)
WO (1) WO2009102013A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817071B2 (en) * 2009-11-17 2014-08-26 Seiko Epson Corporation Context constrained novel view interpolation
WO2012142620A1 (en) * 2011-04-15 2012-10-18 Kevin Smith Systems and methods for balanced power and thermal management of mission critical environments
US20140133554A1 (en) * 2012-04-16 2014-05-15 New Cinema Advanced video coding method, apparatus, and storage medium
US9247271B2 (en) * 2012-10-08 2016-01-26 Inria Institut National De Recherche En Informatique Et En Automatique Method and device for motion information prediction in multi-view video coding
CN103854292B (zh) * 2012-11-28 2018-02-23 中兴通讯股份有限公司 一种人数及人群运动方向的计算方法及装置
CN103533384B (zh) * 2013-09-30 2016-09-28 广州华多网络科技有限公司 图像处理方法、图像复原方法、装置及***
EP3061233B1 (en) 2013-10-25 2019-12-11 Microsoft Technology Licensing, LLC Representing blocks with hash values in video and image coding and decoding
EP3061253A1 (en) 2013-10-25 2016-08-31 Microsoft Technology Licensing, LLC Hash-based block matching in video and image coding
TWI528790B (zh) * 2013-12-13 2016-04-01 瑞昱半導體股份有限公司 多媒體系統之視窗偵測裝置與方法
JP6468703B2 (ja) * 2013-12-20 2019-02-13 キヤノン株式会社 動き検出装置、動き検出方法及びプログラム
US10368092B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Encoder-side decisions for block flipping and skip mode in intra block copy prediction
WO2015131325A1 (en) 2014-03-04 2015-09-11 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
CN105706450B (zh) 2014-06-23 2019-07-16 微软技术许可有限责任公司 根据基于散列的块匹配的结果的编码器决定
KR102358276B1 (ko) 2014-09-30 2022-02-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 코딩을 위한 해시 기반 인코더 결정
CN105096321B (zh) * 2015-07-24 2018-05-18 上海小蚁科技有限公司 一种基于图像边缘的低复杂度视频移动侦测方法
US9875552B1 (en) 2016-07-26 2018-01-23 Teradici Corporation Content independent method of motion determination using sparse matrices
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
TWI721670B (zh) 2017-04-21 2021-03-11 美商時美媒體公司 用於藉由預測運動向量及/或快取重複運動向量的玩家輸入運動補償的系統及方法
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
US11367271B2 (en) * 2020-06-19 2022-06-21 Adobe Inc. Similarity propagation for one-shot and few-shot image segmentation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149459A (ja) * 1994-11-18 1996-06-07 Sony Corp 動画像処理装置および動画像符号化装置
JP2006350618A (ja) * 2005-06-15 2006-12-28 Kddi Corp 動画像処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4951140A (en) * 1988-02-22 1990-08-21 Kabushiki Kaisha Toshiba Image encoding apparatus
EP0557007A2 (en) * 1992-02-15 1993-08-25 Sony Corporation Picture processing apparatus
US6020925A (en) * 1994-12-30 2000-02-01 Daewoo Electronics Co., Ltd. Method and apparatus for encoding a video signal using pixel-by-pixel motion prediction
KR0181063B1 (ko) * 1995-04-29 1999-05-01 배순훈 특징점을 이용한 움직임 보상에서의 그리드 형성방법 및 장치
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
JP2004503862A (ja) 2000-06-12 2004-02-05 プレワークス　（プロプライエタリー）　リミテッド ソフトウェアアプリケーションのユーザインタフェース表示を制御するシステム
US6983020B2 (en) * 2002-03-25 2006-01-03 Citrix Online Llc Method and apparatus for fast block motion detection
JP2004129099A (ja) 2002-10-07 2004-04-22 Nec Corp 動きベクトル探索方法および装置
EP1589763A2 (en) * 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149459A (ja) * 1994-11-18 1996-06-07 Sony Corp 動画像処理装置および動画像符号化装置
JP2006350618A (ja) * 2005-06-15 2006-12-28 Kddi Corp 動画像処理装置

Also Published As

Publication number Publication date
US8681870B2 (en) 2014-03-25
JPWO2009102013A1 (ja) 2011-06-16
US20110026598A1 (en) 2011-02-03
JP4471039B2 (ja) 2010-06-02

Similar Documents

Publication Publication Date Title
JP4471039B2 (ja) 移動ベクトル検出装置
JP5446878B2 (ja) 更新領域検出装置
JP5471449B2 (ja) 移動領域検出装置
TWI555387B (zh) 視訊解碼裝置、視訊編碼裝置、視訊解碼方法、視訊編碼方法、及儲存媒體（二）
JP5522174B2 (ja) 動画像符号化装置
JP5003521B2 (ja) 動き補償に伴う更新領域検出装置
JP2003324743A (ja) 動きベクトル探索装置及び動きベクトル探索方法
US6169766B1 (en) Method and apparatus for detecting motion vector and image coding apparatus
JP2006518157A (ja) オブジェクトベースの動き補償の方法及び装置
JP4804238B2 (ja) 動きベクトル検出装置
JP4935705B2 (ja) 動き補償に伴う更新領域検出装置
JP2008263391A (ja) 映像処理装置
WO2022172341A1 (ja) 物体検出装置、方法、及びプログラム
JP5662896B2 (ja) 映像静止判定方法、映像静止判定装置、及びプログラム
JPH05236452A (ja) 動ベクトル検出方法及び検出装置
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP2004179906A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP2008245016A (ja) 画像符号化装置、画像符号化方法、及びプログラム
JP4473736B2 (ja) カメラワークパラメータ算出方法、この方法を実施する装置、プログラムおよびその記憶媒体
JP2008098796A (ja) 映像符号化方法，映像符号化装置，映像符号化プログラムおよびその記録媒体
JP3020299B2 (ja) 動きベクトル検出装置
US10063880B2 (en) Motion detecting apparatus, motion detecting method and program
WO2023275941A1 (en) Image processing apparatus, feature map generating apparatus, learning model generation apparatus, image processing method, and computer-readable recording medium
JP2007151169A (ja) 動ベクトル検出装置および記録媒体
US20230316732A1 (en) Learning system, object detection system, learning method, and computer program

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2009527635

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09711440

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12865174

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 09711440

Country of ref document: EP

Kind code of ref document: A1