WO2011074189A1 - 画像符号化方法及び画像符号化装置 - Google Patents
画像符号化方法及び画像符号化装置 Download PDFInfo
- Publication number
- WO2011074189A1 WO2011074189A1 PCT/JP2010/006837 JP2010006837W WO2011074189A1 WO 2011074189 A1 WO2011074189 A1 WO 2011074189A1 JP 2010006837 W JP2010006837 W JP 2010006837W WO 2011074189 A1 WO2011074189 A1 WO 2011074189A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- motion
- subject
- parallax
- motion vector
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Definitions
- the present invention relates to an image encoding method and an image encoding device, and more particularly to an image encoding method and an image encoding device that encode images captured by a main camera and a slave camera.
- MPEG-4 Part 10 Advanced Video Coding (hereinafter, referred to as MPEG-4 AVC) formulated by MPEG (Moving Picture Experts Group) of ISO / IEC JTC1. Based on this MPEG-4 AVC, standardization of MVC (Multiview Video Coding) extended to efficiently encode moving images taken from a plurality of cameras is in progress.
- MPEG-4 AVC Advanced Video Coding
- Patent Document 1 when encoding images taken from a plurality of cameras, camera motion such as panning is detected based on a motion vector obtained by motion search, and the detected motion direction is detected. A method of selecting to refer to an image of a camera located is described.
- an image captured by which camera that is, an image of which channel is selected as a reference image is determined. For example, when the motion is large, a different channel is referred to, and when the motion is small, the same channel is referenced, thereby generating a more accurate predicted image and improving the coding efficiency.
- the motion vector obtained by motion search when referring to different channels includes the effect of parallax and the effect of subject or camera motion. Therefore, it is impossible to distinguish between motion and parallax. Therefore, since a reference image cannot be selected based on movement, an appropriate reference image cannot be selected.
- an object of the present invention is to solve the above-described conventional problems, and to provide an image encoding method and an image encoding apparatus capable of selecting an appropriate reference image.
- an image encoding method is an image encoding method for alternately encoding images in which a subject is photographed by each of a first camera and a second camera, A first local decoded image generating step for generating a first local decoded image by encoding and decoding a past image from the first target image taken by the first camera; and the first local decoded image generated by the second camera A second local decoded image generating step for generating a second local decoded image by encoding and decoding a past image from the second target image; and a first region including the image of the subject from the first target image A first region detecting step of detecting the first local decoded image, a first motion detecting step of detecting a motion of the first target image by referring to the first local decoded image, and the subject image from the second target image.
- a first region including a human face image as the subject image is detected from the first target image, and in the second region detection step, the second target image is detected.
- the second area including the human face image as the subject image may be detected.
- the reference image selection step it is determined whether or not the parallax of the subject is larger than a predetermined threshold, and when the parallax is larger than the threshold, the second local decoded image is selected as the reference image, When the parallax is equal to or less than the threshold value, the first local decoded image may be selected as the reference image.
- the reference image selection step it is determined whether or not the motion of the subject is larger than a predetermined threshold, and when the motion is larger than the threshold, the first local decoded image is selected as the reference image, When the motion is equal to or less than the threshold, the second local decoded image may be selected as the reference image.
- the images between the channels are similar to each other, so that the prediction error can be reduced and the encoding efficiency can be increased.
- a first motion vector for each block in the first region is calculated as the first motion information
- a second motion vector for each block in the second region is calculated as the second motion information.
- the parallax of the subject may be calculated by comparing the first motion vector and the second motion vector for each corresponding block in the first region and the second region.
- a first period that is a time interval between the first target image and the first local decoded image, and a second period that is a time interval between the second target image and the first local decoded image And normalizing the first motion vector and the second motion vector, and comparing the normalized first motion vector with the normalized second motion vector, so that the parallax of the subject May be calculated.
- the larger the time interval between the images the larger the motion. Therefore, by normalizing the motion vector, the first motion vector and the second motion vector can be compared on the same scale.
- a difference between the normalized first motion vector and the normalized second motion vector is calculated for each block corresponding to the first region and the second region,
- the parallax of the subject may be calculated based on a motion vector distribution indicating the calculated difference for each block.
- an average value of the motion vector distribution may be calculated as the parallax of the subject.
- the first motion vector distribution of the entire frame generated by weighting the first motion vector for each block in the first region is calculated as the first motion information
- a second motion vector distribution of the entire frame generated by weighting the second motion vector for each block in the second region is calculated as the second motion information
- the first motion vector distribution and the second motion vector are calculated.
- the parallax of the subject may be calculated by comparing the distribution.
- a first period that is a time interval between the first target image and the first local decoded image, and a second period that is a time interval between the second target image and the first local decoded image and normalizing the first motion vector distribution and the second motion vector distribution, and comparing the normalized first motion vector distribution with the normalized second motion vector distribution, The parallax of the subject may be calculated.
- the larger the time interval between the images the larger the motion. Therefore, by normalizing the motion vector, the first motion vector and the second motion vector can be compared on the same scale.
- a difference between the normalized first motion vector distribution and the normalized second motion vector distribution is calculated, and based on a third motion vector distribution that is the calculated difference.
- the parallax of the subject may be calculated.
- an average value of the third motion vector distribution may be calculated as the parallax of the subject.
- the image encoding device is an image encoding device that alternately encodes images in which a subject is captured by each of the first camera and the second camera, and is captured by the first camera.
- a first local decoded image is generated by encoding and decoding a past image from the first target image, and a past image is encoded and decoded from the second target image taken by the second camera.
- a local decoded image generation unit for generating a second local decoded image, a first region including the image of the subject is detected from the first target image, and the subject is detected from the second target image.
- An area detection unit that detects a second area including an image, and a movement of the first target image by referring to the first local decoded image, and the first local decoded image or the second local decoded image Refer to the decoded image
- the motion First motion information indicating the motion of the first region is calculated based on the motion of the first target image detected by the detection unit, and based on the motion of the second target image detected by the motion detection unit.
- a parallax calculating unit that calculates parallax of the subject by calculating second motion information indicating the motion of the second region and comparing the first motion information and the second motion information; and the motion detecting unit
- the motion of the second region is determined based on the motion of the second target image detected by the motion detection unit.
- a motion calculation unit that calculates the motion of the subject based on the second motion information, and the second target image captured by the second camera based on the parallax of the subject or the motion of the subject.
- a reference image selection unit that selects a reference image when the image is encoded as the second target image.
- An imaging system includes an image processing circuit including the image encoding device, an optical system that forms an image of light from the subject, photoelectric conversion of light from the optical system, and photoelectric conversion.
- a sensor that outputs the generated image signal to the image processing circuit as the first target image and the second target image;
- an appropriate reference image can be selected.
- FIG. 1 is a block diagram illustrating an example of a configuration of an image encoding device according to the present embodiment.
- FIG. 2 is a block diagram showing details of a part of the configuration of the image coding apparatus according to the present embodiment.
- FIG. 3 is a schematic diagram showing an example of the channel reference.
- FIG. 4 is a schematic diagram illustrating an example of different channel reference.
- FIG. 5 is a flowchart showing an example of reference image selection in the image coding apparatus according to the present embodiment.
- FIG. 6A is a schematic diagram for explaining a method of calculating a parallax from a motion vector distribution when there is a motion in the background.
- FIG. 6B is a schematic diagram illustrating an example of a motion vector for each block included in the face area.
- FIG. 7 is a schematic diagram for explaining that movement and parallax cannot be distinguished when there is movement in the background.
- FIG. 8 is a block diagram showing an example of an imaging system using the image coding apparatus according to the present
- the image encoding method is an image encoding method for encoding a first target image obtained by photographing a subject with a first camera and a second target image obtained by photographing the subject with a second camera. Then, referring to the first local decoded image or the second local decoded image, the motion detection step for detecting the motion of the second target image, and the first local decoded image is referred to in the motion detection step, the subject The first motion information indicating the motion of the first region including the image of the subject, the second motion information indicating the motion of the second region including the image of the subject are calculated, and the first motion information and the second motion information are calculated.
- the second motion information indicating the motion of the second region when the second local decoded image is referred to in the parallax calculation step for calculating the parallax of the subject and the motion detection step by comparing the information with the information, Based on the second movement information And selecting a reference image for encoding the next image captured by the second camera as the second target image based on the motion calculation step for calculating the motion of the subject and the parallax of the subject or the motion of the subject. And a reference image selection step.
- FIG. 1 is a block diagram showing an example of the configuration of the image encoding device 100 according to the present embodiment.
- the master camera and the slave camera are arranged at different positions and shoot the same subject from different viewpoints.
- the master camera is disposed on the left side of the slave camera toward the subject
- the slave camera is disposed on the right side of the master camera toward the subject.
- the first video and the second video are stereoscopic images.
- the first video is a video for the left eye to be input to the viewer's left eye
- the second video is the viewer's left eye. This is an image for the right eye to be input to the right eye.
- Each of the first video and the second video is composed of a plurality of pictures.
- the image encoding device 100 encodes the first video and the second video alternately for each picture.
- an image coding apparatus 100 includes an input frame buffer 101, a differentiator 102, an orthogonal transform unit 103, a quantization unit 104, an entropy coding unit 105, Inverse quantization unit 106, inverse orthogonal transform unit 107, adder 108, first frame memory 109, second frame memory 110, intra prediction unit 111, inter prediction unit 112, selector 113, intra An inter determination unit 114, an object area detection unit 115, and a reference image selection unit 116 are provided.
- the input frame buffer 101 is an example of a memory that stores an input image.
- the input frame buffer 101 stores a first input image (left eye image) input from the main camera and a second input image (right eye image) input from the slave camera.
- each of the first input image and the second input image is an image for one frame.
- the input frame buffer 101 may be a physically divided memory including a first memory area for storing a first input image and a second memory area for storing a second input image, or a time May be physically divided into one memory.
- the input frame buffer 101 may be two physically different memories.
- the difference unit 102 calculates a difference between the first input image or the second input image and the predicted image output from the selector 113. For example, the differentiator 102 generates a difference image by subtracting the predicted image from the first input image or the second input image. The difference image is output to the orthogonal transform unit 103.
- the orthogonal transform unit 103 transforms the difference image in the spatial domain into a transform coefficient in the frequency domain by performing orthogonal transform on the difference image. For example, the orthogonal transform unit 103 generates a transform coefficient by performing discrete cosine transform (DCT) on the difference image as an example of orthogonal transform.
- DCT discrete cosine transform
- the transform coefficient is output to the quantization unit 104.
- the quantization unit 104 generates a quantized coefficient by quantizing the transform coefficient.
- the quantization coefficient is output to the entropy encoding unit 105 and the inverse quantization unit 106.
- the entropy encoding unit 105 generates a bit stream by entropy encoding the quantization coefficient.
- the entropy encoding unit 105 uses the first encoded image generated based on the first input image and the second encoded image generated based on the second input image as one bit stream. Output.
- the entropy encoding unit 105 may output the first encoded image and the second encoded image as different bit streams.
- the inverse quantization unit 106 inversely quantizes the quantized coefficient to generate a dequantized transform coefficient.
- the inversely quantized transform coefficient is output to the inverse orthogonal transform unit 107.
- the inverse orthogonal transform unit 107 performs inverse orthogonal transform on the inversely quantized transform coefficient, thereby transforming the frequency domain transform coefficient into a spatially decoded differential image. For example, the inverse orthogonal transform unit 107 generates a locally decoded difference image by performing inverse DCT on the inversely quantized transform coefficient. The locally decoded difference image is output to the adder 108.
- the adder 108 generates a locally decoded image by adding the locally decoded difference image and the predicted image output from the selector 113.
- the locally decoded image is stored in the first frame memory 109 and the second frame memory 110.
- the first frame memory 109 is an example of a memory that stores a locally decoded image as a reference image used for intra prediction.
- the second frame memory 110 is an example of a memory that stores a locally decoded image as a reference image used for inter prediction.
- Each of the first frame memory 109 and the second frame memory 110 may be two physically different memories, or may be one physical memory that is logically space-divided or time-divided. .
- the intra prediction unit 111 generates an intra predicted image by performing intra prediction with reference to a locally decoded image stored in the first frame memory 109 as a reference image.
- the intra-predicted image is output to the selector 113.
- the inter prediction unit 112 generates an inter prediction image by performing inter prediction with reference to a locally decoded image stored in the second frame memory 110 as a reference image. For example, the inter prediction unit 112 generates an inter prediction image by performing motion detection and motion compensation. The inter predicted image is output to the selector 113. Further, the inter prediction unit 112 outputs the motion information generated by the motion detection to the reference image selection unit 116.
- the selector 113 selects either an intra prediction image or an inter prediction image based on the determination result by the intra / inter determination unit 114, and outputs the selected image to the difference unit 102 and the adder 108 as a prediction image.
- the intra / inter determination unit 114 determines an image to be selected from the intra prediction image and the inter prediction image based on the information output from each of the intra prediction unit 111 and the inter prediction unit 112. Then, the intra / inter determination unit 114 causes the selector 113 to select an image determined to be selected as a predicted image.
- the information output from each of the intra prediction unit 111 and the inter prediction unit 112 is, for example, the code amount (or the prediction value of the code amount) of the intra prediction image and the inter prediction image.
- the intra prediction unit 111 and the inter prediction unit 112 determine an image with a smaller code amount as an image to be selected as a predicted image.
- the object area detection unit 115 reads the first input image or the second input image from the input frame buffer 101, and an area including an image of a predetermined subject (hereinafter also referred to as an object area) from the read image, that is, the subject Detect the captured area. For example, the object area detection unit 115 detects a face area including an image of a human face as an image of a predetermined subject. Then, the object area detection unit 115 outputs area information indicating the position, size, and the like of the detected object area to the reference image selection unit 116.
- the reference image selection unit 116 selects a reference image based on the region information output from the object region detection unit 115 and the motion information output from the inter prediction unit 112.
- FIG. 2 is a block diagram showing in detail a part of the configuration of the image coding apparatus 100 according to the present embodiment.
- the second frame memory 110 includes a main camera frame memory 201 and a slave camera frame memory 202.
- the main camera frame memory 201 is a memory for storing a first local decoded image generated by encoding and decoding a first input image taken by the main camera. Specifically, the subtractor 102, the orthogonal transform unit 103, the quantization unit 104, the inverse quantization unit 106, the inverse orthogonal transform unit 107, and the adder 108 encode and decode the first input image, so that the first A locally decoded image is generated. The main camera frame memory 201 stores the generated first local decoded image.
- the slave camera frame memory 202 is a memory for storing a second local decoded image generated by encoding and decoding a second input image photographed by the slave camera. Specifically, the subtractor 102, the orthogonal transform unit 103, the quantization unit 104, the inverse quantization unit 106, the inverse orthogonal transform unit 107, and the adder 108 encode and decode the second input image, so that the second A locally decoded image is generated. The slave camera frame memory 202 stores the generated second local decoded image.
- main camera frame memory 201 and the slave camera frame memory 202 may be two physically different memories, or may be physically one memory that is logically space-divided or time-divided. May be.
- the inter prediction unit 112 includes a motion search unit 211 and a motion compensation unit 212.
- the motion search unit 211 is an example of a motion detection unit.
- the motion search unit 211 refers to the first local decoded image stored in the main camera frame memory 201 as a reference image. The movement of the first input image is detected.
- the motion search unit 211 performs the first local decoded image stored in the main camera frame memory 201 or the second local image stored in the slave camera frame memory 202. By referring to the locally decoded image as a reference image, the motion of the second input image is detected.
- the motion compensation unit 212 generates an inter prediction image by performing motion compensation on the first input image or the second input image based on the motion detected by the motion search unit 211.
- the object region detection unit 115 detects a region including an image of a predetermined subject (for example, a human face) from the first input image or the second input image as described above. Specifically, the object area detection unit 115 detects a first area including an image of a predetermined subject from the first input image when the target image is the first input image. Further, when the target image is the second input image, the object region detection unit 115 detects the second region including the subject image from the second input image.
- a predetermined subject for example, a human face
- first area and the second area include one or more blocks.
- the block includes one or more pixels.
- the first region and the second region are detected by the object region detection unit 115 so that the first region and the second region include the same subject image. Therefore, the corresponding blocks in the first area and the second area mean a block at a predetermined position in the first area and a block in the second area at the same position as the block. For example, when the first area and the second area are rectangular, the block on the left end of the first area and the block on the left end of the second area are the corresponding blocks.
- the reference image selection unit 116 includes a parallax calculation unit 221, a motion calculation unit 222, and a selection unit 223.
- the parallax calculation unit 221 performs the motion of the first input image detected by the motion search unit 211 when the motion search unit 211 selects the first local decoded image as a reference image during the motion search of the second input image. Based on the above, the first motion information indicating the motion of the first region detected by the object region detection unit 115 is calculated. Further, the parallax calculation unit 221 calculates second motion information indicating the motion of the second region detected by the object region detection unit 115 based on the motion of the second input image detected by the motion search unit 211. Then, the parallax calculation unit 221 calculates the parallax of the subject included in the first area and the second area by comparing the first motion information and the second motion information.
- the first motion information is, for example, a first motion vector indicating a motion vector for each block in the first region.
- the second motion information is, for example, a second motion vector indicating a motion vector for each block in the second region. Therefore, the parallax calculation unit 221 calculates the parallax of the subject by comparing the first motion vector and the second motion vector for each block corresponding to the first area and the second area.
- the parallax calculation unit 221 may normalize the first motion vector and the second motion vector, and compare the normalized first motion vector with the normalized second motion vector. Specifically, the parallax calculation unit 221 calculates a first period, which is a time interval between the first local decoded image and the first input image, used when calculating the first motion vector, and a second motion vector. The first motion vector and the second motion vector are normalized based on the ratio between the first local decoded image and the second period that is the time interval between the second input images. The time interval at this time is the time between the frames in the shooting order.
- the disparity calculating unit 221 calculates the difference between the normalized first motion vector and the normalized second motion vector for each block, and indicates the calculated difference for each block.
- the parallax of the subject is calculated based on the vector distribution.
- the difference motion vector distribution is a distribution in which a difference between motion vectors is associated with a frequency thereof.
- the parallax calculation unit 221 calculates the average value of the motion vector distribution indicating the difference as the parallax of the subject.
- the motion calculation unit 222 performs the motion of the second input image detected by the motion search unit 211 when the motion search unit 211 selects the second local decoded image as a reference image during the motion search of the second input image. Based on the second motion information, the second motion information indicating the motion of the second region detected by the object region detection unit 115 is calculated. Then, the motion calculation unit 222 calculates the motion of the subject based on the second motion information.
- the selection unit 223 codes the next image captured by the slave camera as the second input image based on the parallax of the subject calculated by the parallax calculation unit 221 or the motion of the subject calculated by the motion calculation unit 222. Select a reference image for conversion. In other words, the selection unit 223 determines which of the same channel reference and the different channel reference is selected when the next second input image is encoded.
- the selection unit 223 determines whether or not the parallax of the subject is larger than a predetermined first threshold, and when the parallax is larger than the first threshold, selects the second local decoded image as a reference image, When the parallax is less than or equal to the first threshold, the first local decoded image is selected as a reference image. That is, the selection unit 223 selects the same channel reference when the parallax is larger than the first threshold, and selects the different channel reference when the parallax is equal to or smaller than the first threshold.
- the selection unit 223 determines whether or not the motion of the subject is larger than a predetermined second threshold value. If the motion is larger than the second threshold value, the first local decoded image is selected as a reference image, and the motion is If the threshold value is 2 or less, the second local decoded image is selected as a reference image. That is, the selection unit 223 selects the different channel reference when the motion is larger than the second threshold value, and selects the same channel reference when the motion is equal to or smaller than the second threshold value.
- the image coding apparatus 100 calculates the first motion information indicating the motion of the first region based on the motion of the first input image, and the motion of the second input image. Based on this, second motion information indicating the motion of the second region is calculated, and the first motion information and the second motion information are compared to calculate the parallax of the subject included in the first region and the second region. As a result, the parallax of the subject and the motion of the subject can be distinguished, so that an appropriate reference image can be selected.
- the image coding apparatus 100 selects a different channel reference when the motion is large or the parallax is small, and selects the same channel reference when the motion is small or the parallax is large. Can be selected, and the prediction error can be reduced. Therefore, encoding efficiency can be improved.
- a reference relationship between pictures in motion search executed when a stereoscopic stereo image is encoded will be described. Specifically, it is included in a left eye image (hereinafter also referred to as a left channel image or an Lch image) included in a left eye image captured by a main camera and a right eye image captured by a slave camera.
- a reference relationship between the image for the right eye hereinafter also referred to as a right channel image or an Rch image
- the Lch image included in the video for the left eye photographed by the main camera is encoded with reference to only the image of the same channel, that is, the Lch image.
- the Rch image included in the right-eye video imaged by the slave camera is encoded with reference to the same channel image, that is, the Rch image, or the image of the different channel, that is, the Lch image.
- the image encoding apparatus 100 according to the present embodiment can encode an image captured by the slave camera with reference to the image captured by the main camera.
- the same channel reference refers to the Rch image when encoding the Rch image
- the different channel reference refers to the Lch image when encoding the Rch image.
- FIG. 3 is a schematic diagram showing an example of the channel reference. As shown in FIG. 3, the Rch image photographed by the slave camera is encoded with reference to the past Rch image photographed by the slave camera.
- the channel reference is used, for example, when the distance between the main camera and the slave camera and the subject is close and the shift amount of the same subject, that is, the parallax (offset) is large between the Lch image and the Rch image.
- the image coding apparatus 100 can reduce the prediction error in motion prediction by selecting the same channel reference when the difference between the Lch image and the Rch image is large.
- FIG. 4 is a schematic diagram showing an example of different channel reference. As shown in FIG. 4, the Rch image shot by the slave camera is encoded with reference to the Lch image shot by the main camera.
- the different channel reference is used when, for example, the subject or the primary camera and the secondary camera are moving because an image that is closer in time than the same channel reference is selected as the reference image.
- the image coding apparatus 100 can reduce a prediction error in motion prediction by selecting a different channel reference when the motion of an image is large.
- the image coding apparatus 100 selects the different channel reference when the image motion is larger than the predetermined threshold, and performs the same channel reference when the image motion is smaller than the threshold. select. Thereby, since the prediction error in motion prediction can be made small, the precision of prediction can be improved and encoding efficiency can be improved.
- FIG. 5 is a flowchart showing an example of reference image selection processing in the image coding apparatus 100 according to the first embodiment.
- the image encoding device 100 generates a first local decoded image by encoding and locally decoding a first input image input from the main camera, and the generated first local decoded image is used as a main camera frame.
- the data is stored in the memory 201 (S101).
- the first input image here is an image taken by the main camera, and is an image past the first input image (first target image) to be encoded next.
- the image encoding device 100 generates a second local decoded image by encoding and locally decoding the second input image input from the slave camera, and the generated second local decoded image is used for the slave camera. It is stored in the frame memory 202 (S102). Note that the second input image here is an image taken by the slave camera, and is a past image from the second input image (second target image) to be encoded next.
- motion search is performed by selecting either the same channel reference or the different channel reference according to the method described below.
- the object area detection unit 115 detects a first face area including a human face by performing face area detection processing on the first input image input from the main camera (S103). Then, the object area detection unit 115 outputs face area information indicating the detected first face area.
- face area detection processing for example, there is a method using template matching.
- the motion search unit 211 detects the motion of the first input image by performing a motion search process on the first input image input from the main camera using the first local decoded image as a reference image (S104). ).
- Examples of the motion search processing method include a method using block matching.
- the motion search unit 211 generates motion vector information indicating a motion vector for each block by performing a motion search process for each block constituting the first input image.
- the object area detection unit 115 performs a face area detection process on the second input image input from the slave camera, whereby a second face area that includes the same face as the face included in the first face area. Is detected (S105). Then, the object area detection unit 115 outputs face area information indicating the detected second face area.
- the motion search unit 211 performs a motion search process on the second input image input from the slave camera using either the first local decoded image or the second local decoded image as a reference image, and the second input image Is detected (S106). That is, the motion search unit 211 selects either the same channel reference or the different channel reference, and performs a motion search process based on the selected reference method. For example, the motion search unit 211 generates motion vector information indicating a motion vector for each block by performing a motion search process for each block constituting the second input image. Note that the reference image selection unit 116 determines which of the first local decoded image and the second local decoded image the motion search unit 211 selects.
- the reference image selection unit 116 makes a determination based on the reference method selected by the motion search unit 211 (S107).
- the motion calculation unit 222 calculates the motion of the second input image (S108). Specifically, the motion calculation unit 222 includes the motion vector information obtained by the motion search process (S106) of the second input image and the face area information obtained by the face area detection process (S105) of the second input image. Based on the above, the motion information of the face area is calculated.
- the motion calculation unit 222 generates a motion vector distribution of the face area based on the motion vector information and the face area information, and calculates the motion of the subject and the camera.
- a motion calculation method based on the motion vector distribution for example, there is a method of taking an average value of the motion vector distribution and outputting the magnitude of the average value as motion information.
- the motion vector distribution is a graph showing the frequency (number of appearances) of the motion vector for each block indicated by the motion vector information output from the motion detection unit 211 for each magnitude and direction of the motion vector (see FIG. 6A). ).
- the selection unit 223 determines whether there is a motion based on the motion information indicating the motion calculated by the motion calculation unit 222 (S110).
- the selection unit 223 selects a different channel reference as a reference method in the motion search of the second input image that is the next target image (S112).
- the selection unit 223 selects the same channel reference as a reference method in the motion search of the second input image that is the next target image (S113).
- the average value of the output motion vector distribution is predetermined. There is a method of determining “with motion” when the threshold value is larger than the threshold value, and “no motion” when the threshold value is less than the predetermined threshold value.
- the parallax calculation unit 221 calculates the parallax of the second input image (S109). Specifically, first, the parallax calculation unit 221 is based on the face area information detected from the first input image by the object area detection unit 115 and the motion vector information of the first input image output by the motion search unit 211. The first motion vector distribution of the face area in the first input image on the main camera side is calculated. Next, the parallax calculation unit 221 uses the face region information detected from the second input image by the object region detection unit 115 and the motion vector information of the second input image output by the motion search unit 211 to determine the side of the slave camera. The second motion vector distribution of the face area in the second input image is calculated.
- the parallax calculation unit 221 calculates the parallax of the subject by comparing the first motion vector distribution and the second motion vector distribution.
- the first motion vector distribution indicates, for example, a motion vector for each block constituting the face area of the first input image and its frequency.
- the second motion vector distribution indicates, for example, a motion vector for each block constituting the face area of the second input image and its frequency.
- the parallax calculation unit 221 calculates a difference between the first motion vector and the second motion vector for each corresponding block, and generates a motion vector distribution indicating the calculated difference for each block, thereby generating a motion vector distribution of the subject. Parallax is calculated. Then, for example, the parallax calculation unit 221 calculates the magnitude of the average value of the generated difference motion vector distribution as the parallax.
- the selection unit 223 determines whether there is a parallax based on the parallax information indicating the parallax calculated by the parallax calculation unit 221 (S111).
- the selection unit 223 selects the channel reference method as a reference method in the motion search of the second input image that is the next target image (S113).
- the selection unit 223 selects a different channel reference method as a reference method in the motion search of the second input image that is the next target image (S112). .
- the image coding apparatus 100 can distinguish between the parallax of the subject and the motion of the subject, so that an appropriate reference image can be selected.
- FIG. 6A is a schematic diagram for explaining a method of calculating a parallax from a motion vector distribution when there is a motion in the background.
- the left camera facing the subject is the primary camera
- the right camera is the slave camera.
- Lch represents an image input from the main camera
- Rch represents an image input from the slave camera
- Rch (N) is the Nth image (frame) 304 input from the slave camera
- Lch (N ⁇ 1) is images 302 and 303 input from the main camera one frame before the image 304
- Lch (N-3) is an image 301 input from the main camera three frames before the image 304.
- the parallax calculation unit 221 uses the face region 305 detected as the first face region from the image 302 by the object region detection unit 115 in step S103 and the motion vector information detected by the motion search unit 211 in step S104. A motion vector distribution 307 is calculated. Similarly, the parallax calculation unit 221 uses the face area 306 detected as the second face area from the image 304 by the object area detection unit 115 in step S105 and the motion vector information detected by the motion search unit 211 in step S106. The second motion vector distribution 308 is calculated.
- FIG. 6B is a schematic diagram showing motion vectors for each block included in the face area 305 and the face area 306.
- the face regions 305 and 306 each include 16 blocks.
- the motion vector in the left direction is detected in many blocks (12 blocks) included in the face area 305. Since the image 301 and the image 302 are images of the same channel, the detected leftward motion vector corresponds to the motion of the subject.
- a first motion vector distribution 307 as shown in FIG. 6A is generated. That is, the left peak of the first motion vector distribution 307 corresponds to the motion vector of the subject's face.
- the face of the subject included in the face area 306 of the image 304 that is the target image is on the left side of the face of the subject of the image 303 that is the reference image. Exists. Therefore, as shown in FIG. 6B, the motion vector in the left direction is detected in many blocks (10 blocks) included in the face region 306.
- the second motion vector distribution 308 as shown in FIG. 6A is generated. That is, the peak on the right side of the second motion vector distribution 308 corresponds to the amount of motion of the subject's face, and the peak on the left side of the second motion vector distribution 308 corresponds to the motion vector of the background of the subject.
- the detected motion vector includes an influence due to the motion of the subject and an influence due to parallax.
- the parallax calculation unit 221 generates the differential motion vector distribution 309 by subtracting the first motion vector distribution 307 and the second motion vector distribution 308 generated as described above. That is, the parallax calculation unit 221 subtracts the motion vector for each block corresponding to the face area 305 and the face area 306. Thereby, as shown in FIG. 6B, a differential motion vector of the face region 310 is generated. This distribution of the difference motion vectors corresponds to the difference motion vector distribution 309 shown in FIG. 6A.
- the motion search unit 211 performs motion search of the image 302 with reference to the image 301 two frames before the image 302 when generating motion information of the image 302.
- the motion search unit 211 refers to the image 303 one frame before the image 304 and performs a motion search of the image 304. Therefore, the first motion vector distribution 307 and the second motion vector distribution 308 have different time intervals between the target image and the reference image.
- the parallax calculation unit 221 determines the first motion vector distribution based on the ratio between the first period that is the time interval between the image 302 and the image 301 and the second period that is the time interval between the image 304 and the image 303. 307 and the second motion vector distribution 308 are normalized. Then, the parallax calculation unit 221 calculates a difference between the normalized first motion vector distribution 307 and the normalized second motion vector distribution.
- each motion vector of the first motion vector distribution 307 is multiplied by 1 ⁇ 2 before the difference is calculated to obtain a motion vector for one frame.
- a difference motion vector distribution 309 is generated by calculating a difference between the first motion vector distribution 307 and the second motion vector distribution 308 multiplied by 1 ⁇ 2.
- the parallax calculation unit 221 calculates the average value of the generated difference motion vector distribution 309 as the parallax.
- FIG. 7 is a schematic diagram for explaining that movement and parallax cannot be distinguished when there is movement in the background.
- the image coding apparatus 100 since the movement of the subject and the parallax can be distinguished, appropriate reference is made based on the presence or absence and the presence or absence of the parallax. An image can be selected.
- the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, the form which carried out the various deformation
- the parallax calculation unit 221 performs the parallax calculation using only the motion vector information of the face area, but the present invention is not limited to this, and the motion vector information of the face area is the parallax. It is considered that the reliability is high in the calculation. For this reason, the motion vector information of the face area may be weighted, and the parallax calculation may be performed using the motion vector information of the entire frame.
- the left camera facing the subject has been described as the primary camera and the right camera as the secondary camera, but the present invention is not limited to this, and the right camera is the primary camera.
- the left camera may be a slave camera.
- the present invention can also be realized as an imaging system using the above-described image encoding method.
- An example of an imaging system (video system) such as a digital still camera or a video conference system camera will be described below.
- FIG. 8 is a block diagram showing an example of an imaging system using the image coding apparatus according to the present embodiment.
- a main camera 512 includes a main camera 512, a slave camera 513, an image processing circuit 507, a recording / transfer unit 508, a playback unit 509, a timing control circuit 510, and a system control circuit 511.
- the main camera 512 includes an optical system 501, a sensor 502, and an A / D conversion circuit 503.
- light incident through the optical system 501 such as a lens is imaged on the sensor 502.
- incident light is photoelectrically converted, and an electric signal obtained by the photoelectric conversion is converted into a digital value by an A / D conversion circuit 503.
- the image signal converted into the digital value is input to, for example, an image processing circuit 507 including the image encoding device 100 illustrated in FIG.
- the slave camera 513 includes an optical system 504, a sensor 505, and an A / D conversion circuit 506.
- the slave camera 513 similarly to the main camera 512, light incident through the optical system 504 such as a lens is imaged on the sensor 505.
- incident light is photoelectrically converted, and an electric signal obtained by the photoelectric conversion is converted into a digital value by the A / D conversion circuit 506.
- the image signal converted into the digital value is input to the image processing circuit 507.
- Y / C processing In the image processing circuit 507, Y / C processing, edge processing, image enlargement / reduction, image compression / decompression processing such as JPEG and MPEG by the image encoding device 100, control of the image compressed stream, and the like are performed. .
- the recording / transfer unit 508 records the image-processed signal on a medium or transmits it via the Internet or the like.
- the playback unit 509 plays back the recorded or transferred signal.
- the timing control circuit 510 controls processing by the sensors 502 and 505 and the image processing circuit 507.
- the system control circuit 511 controls the optical systems 501 and 504, the recording / transfer unit 508, the reproduction unit 509, and the timing control circuit 510.
- the present invention can also be realized as an imaging system having the above-described configuration.
- the image encoding apparatus 100 is typically realized as an LSI (Large Scale Integration) that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
- LSI Large Scale Integration
- LSI is used, but it may be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
- the present invention can be realized not only as an image encoding device and an image encoding method, but also as a program for causing a computer to execute the image encoding method of the present embodiment. Further, it may be realized as a computer-readable recording medium such as a CD-ROM for recording the program. Furthermore, it may be realized as information, data, or a signal indicating the program. These programs, information, data, and signals may be distributed via a communication network such as the Internet.
- the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
- an FPGA Field Programmable Gate Array
- a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
- the image coding method and the image coding apparatus according to the present invention have an effect that an appropriate reference image can be selected, and can be used for a camera system that captures a stereo image.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
第1カメラで撮影された第1対象画像及び第2カメラで撮影された第2対象画像を符号化する画像符号化方法であって、第1局所復号画像又は第2局所復号画像を参照することで、第2対象画像の動きを検出する動き検出ステップ(S106)と、第1局所復号画像を参照した場合に、被写体の像を含む第1対象画像の第1領域の動きを示す第1動き情報を算出し、かつ、上記被写体の像を含む第2対象画像の第2領域の動きを示す第2動き情報を算出し、比較することで、被写体の視差を算出する視差算出ステップ(S109)と、第2局所復号画像を参照した場合に、第2領域の動きを示す第2動き情報を算出し、被写体の動きを算出する動き算出ステップ(S108)と、被写体の視差又は動きに基づいて第2カメラによって撮影された次の画像を符号化する際の参照画像を選択する選択ステップ(S112、S113)とを含む。
Description
本発明は、画像符号化方法及び画像符号化装置に関し、特に、主カメラ及び従カメラのそれぞれによって撮影された画像を符号化する画像符号化方法及び画像符号化装置に関する。
近年、立体視を用いた映像表現が注目を浴びている。なかでも、立体視を用いた映画が多数上映されるようになってきており、今後本格的な普及が見込まれている。立体視は、2台のカメラ(主カメラと従カメラ)で撮影された映像(ステレオ画像)をそれぞれ左右の目で見ることにより実現される。このとき、ステレオ画像は、通常の映像に比べ2倍のデータ量になるため、効率良くステレオ画像を符号化する符号化技術が必要になる。
動画像データを符号化する標準技術として、ISO/IEC JTC1のMPEG(Moving Picture Experts Group)が策定した、MPEG-4 Part10:Advanced Video Coding(以下では、MPEG-4 AVCと記載する)がある。このMPEG-4 AVCをベースに、複数のカメラから撮影された動画像を効率的に符号化するために拡張した、MVC(Multiview Video Coding)の規格化が進められている。
このMVCでは、ステレオ画像の符号化効率を高めるために、フレーム間予測の参照画像として、符号化対象画像と同じカメラで撮影された時間的に前の画像を符号化及び復号した画像だけでなく(同チャンネル参照)、異なるカメラで撮影された画像を符号化及び復号した画像を参照することも可能である(異チャンネル参照)。
特許文献1には、複数のカメラから撮影された画像を符号化する際に、動き探索で得られた動きベクトルを元に、パニングなどのカメラの動きを検出し、検出された動きの方向に位置するカメラの画像を参照するように選択する方法が記載されている。
このように、従来は、撮影された画像の動きに基づいて、どのカメラによって撮影された画像、すなわち、どのチャンネルの画像を参照画像として選択するかを判定する。例えば、動きが大きい場合には異チャンネル参照を行い、動きが小さい場合には同チャンネル参照を行うことで、より正確な予測画像を生成し、符号化効率を高めている。
しかしながら、上記従来技術では、適切な参照画像を選択することができないという課題がある。
撮影する時刻が主カメラ及び従カメラで異なる場合には、異チャンネル参照をした場合の動き探索で得られる動きベクトルには、視差の影響と、被写体又はカメラの動きによる影響とが含まれているため、動きと視差とを区別することができない。したがって、動きに基づいた参照画像の選択を行うことができないので、適切な参照画像を選択することができない。
そこで、本発明は、上記従来の問題を解決するもので、適切な参照画像を選択することができる画像符号化方法及び画像符号化装置を提供することを目的とする。
上記従来の課題を解決するために、本発明に係る画像符号化方法は、第1カメラ及び第2カメラのそれぞれによって被写体が撮影された画像を交互に符号化する画像符号化方法であって、前記第1カメラによって撮影された第1対象画像より過去の画像を符号化及び復号することで、第1局所復号画像を生成する第1局所復号画像生成ステップと、前記第2カメラによって撮影された第2対象画像より過去の画像を符号化及び復号することで、第2局所復号画像を生成する第2局所復号画像生成ステップと、前記第1対象画像から、前記被写体の像を含む第1領域を検出する第1領域検出ステップと、前記第1局所復号画像を参照することで、前記第1対象画像の動きを検出する第1動き検出ステップと、前記第2対象画像から、前記被写体の像を含む第2領域を検出する第2領域検出ステップと、前記第1局所復号画像又は前記第2局所復号画像を参照することで、前記第2対象画像の動きを検出する第2動き検出ステップと、前記第2動き検出ステップにおいて前記第1局所復号画像を参照した場合に、前記第1動き検出ステップにおいて検出された第1対象画像の動きに基づいて前記第1領域の動きを示す第1動き情報を算出し、かつ、前記第2動き検出ステップにおいて検出された第2対象画像の動きに基づいて前記第2領域の動きを示す第2動き情報を算出し、前記第1動き情報と前記第2動き情報とを比較することで、前記被写体の視差を算出する視差算出ステップと、前記第2動き検出ステップにおいて前記第2局所復号画像を参照した場合に、前記第2動き検出ステップにおいて検出された第2対象画像の動きに基づいて前記第2領域の動きを示す第2動き情報を算出し、当該第2動き情報に基づいて前記被写体の動きを算出する動き算出ステップと、前記被写体の視差、又は、前記被写体の動きに基づいて、前記第2カメラによって撮影された前記第2対象画像の次の画像を前記第2対象画像として符号化する際の参照画像を選択する参照画像選択ステップとを含む。
これにより、異チャンネル参照を選択した場合には、第1動き情報と第2動き情報とを比較することで、動きと視差とを区別することが可能となるので、適切な参照画像を選択することができる。
また、前記第1領域検出ステップでは、前記第1対象画像から、前記被写体の像として人の顔の像を含む第1領域を検出し、前記第2領域検出ステップでは、前記第2対象画像から、前記被写体の像として前記人の顔の像を含む第2領域を検出してもよい。
また、前記参照画像選択ステップでは、前記被写体の視差が所定の閾値より大きいか否かを判定し、前記視差が前記閾値より大きい場合に、前記第2局所復号画像を前記参照画像として選択し、前記視差が前記閾値以下の場合に、前記第1局所復号画像を前記参照画像として選択してもよい。
これにより、視差が小さい場合には異チャンネル間の画像は互いに類似した画像であるため、予測誤差を小さくすることができ、符号化効率を高めることができる。
また、前記参照画像選択ステップでは、前記被写体の動きが所定の閾値より大きいか否かを判定し、前記動きが前記閾値より大きい場合に、前記第1局所復号画像を前記参照画像として選択し、前記動きが前記閾値以下の場合に、前記第2局所復号画像を前記参照画像として選択してもよい。
これにより、動きが小さい場合には同チャンネル間の画像は互いに類似した画像であるため、予測誤差を小さくすることができ、符号化効率を高めることができる。
また、前記視差算出ステップでは、前記第1領域のブロック毎の第1動きベクトルを前記第1動き情報として算出し、かつ、前記第2領域のブロック毎の第2動きベクトルを前記第2動き情報として算出し、前記第1領域と前記第2領域とにおいて対応するブロック毎に前記第1動きベクトルと前記第2動きベクトルとを比較することで、前記被写体の視差を算出してもよい。
これにより、ブロック毎の動きベクトルを比較するので、動きと視差とをより精度良く区別することができる。
また、前記視差算出ステップでは、前記第1対象画像及び前記第1局所復号画像の時間間隔である第1期間と、前記第2対象画像及び前記第1局所復号画像の時間間隔である第2期間との比率に基づいて、前記第1動きベクトル及び前記第2動きベクトルを正規化し、正規化された第1動きベクトルと正規化された第2動きベクトルとを比較することで、前記被写体の視差を算出してもよい。
これにより、画像間の時間間隔が大きい程、動きが大きくなるので、動きベクトルを正規化することにより、同じスケールで第1動きベクトルと第2動きベクトルとを比較することができる。
また、前記視差算出ステップでは、前記第1領域と前記第2領域とにおいて対応するブロック毎に前記正規化された第1動きベクトルと前記正規化された第2動きベクトルとの差分を算出し、算出された差分をブロック毎に示す動きベクトル分布に基づいて前記被写体の視差を算出してもよい。
また、前記視差算出ステップでは、前記動きベクトル分布の平均値を前記被写体の視差として算出してもよい。
また、前記視差算出ステップでは、前記第1領域のブロック毎の第1動きベクトルに重み付けを行うことで生成されるフレーム全体の第1動きベクトル分布を前記第1動き情報として算出し、かつ、前記第2領域のブロック毎の第2動きベクトルに重み付けを行うことで生成されるフレーム全体の第2動きベクトル分布を前記第2動き情報として算出し、前記第1動きベクトル分布と前記第2動きベクトル分布とを比較することで、前記被写体の視差を算出してもよい。
これにより、第1領域及び第2領域のブロック毎の動きベクトルが重み付けられているので、動きと視差とをより精度良く区別することができる。
また、前記視差算出ステップでは、前記第1対象画像及び前記第1局所復号画像の時間間隔である第1期間と、前記第2対象画像及び前記第1局所復号画像の時間間隔である第2期間との比率に基づいて、前記第1動きベクトル分布及び前記第2動きベクトル分布を正規化し、正規化された第1動きベクトル分布と正規化された第2動きベクトル分布とを比較することで、前記被写体の視差を算出してもよい。
これにより、画像間の時間間隔が大きい程、動きが大きくなるので、動きベクトルを正規化することにより、同じスケールで第1動きベクトルと第2動きベクトルとを比較することができる。
また、前記視差算出ステップでは、前記正規化された第1動きベクトル分布と前記正規化された第2動きベクトル分布との差分を算出し、算出された差分である第3動きベクトル分布に基づいて前記被写体の視差を算出してもよい。
また、前記視差算出ステップでは、前記第3動きベクトル分布の平均値を前記被写体の視差として算出してもよい。
また、本発明に係る画像符号化装置は、第1カメラ及び第2カメラのそれぞれによって被写体が撮影された画像を交互に符号化する画像符号化装置であって、前記第1カメラによって撮影された第1対象画像より過去の画像を符号化及び復号することで、第1局所復号画像を生成し、かつ、前記第2カメラによって撮影された第2対象画像より過去の画像を符号化及び復号することで、第2局所復号画像を生成する局所復号画像生成部と、前記第1対象画像から、前記被写体の像を含む第1領域を検出し、かつ、前記第2対象画像から、前記被写体の像を含む第2領域を検出する領域検出部と、前記第1局所復号画像を参照することで、前記第1対象画像の動きを検出し、かつ、前記第1局所復号画像又は前記第2局所復号画像を参照することで、前記第2対象画像の動きを検出する動き検出部と、前記動き検出部において、前記第2対象画像の動きを検出する際に前記第1局所復号画像を参照した場合に、前記動き検出部において検出された第1対象画像の動きに基づいて前記第1領域の動きを示す第1動き情報を算出し、かつ、前記動き検出部において検出された第2対象画像の動きに基づいて前記第2領域の動きを示す第2動き情報を算出し、前記第1動き情報と前記第2動き情報とを比較することで、前記被写体の視差を算出する視差算出部と、前記動き検出部において、前記第2対象画像の動きを検出する際に前記第2局所復号画像を参照した場合に、前記動き検出部において検出された第2対象画像の動きに基づいて前記第2領域の動きを示す第2動き情報を算出し、当該第2動き情報に基づいて前記被写体の動きを算出する動き算出部と、前記被写体の視差、又は、前記被写体の動きに基づいて、前記第2カメラによって撮影された前記第2対象画像の次の画像を前記第2対象画像として符号化する際の参照画像を選択する参照画像選択部とを備える。
また、本発明に係る撮像システムは、上記の画像符号化装置を含む画像処理回路と、前記被写体からの光を結像する光学系と、前記光学系からの光を光電変換し、光電変換により生成された画像信号を前記画像処理回路に、前記第1対象画像及び前記第2対象画像として出力するセンサーとを備える。
本発明に係る画像符号化方法及び画像符号化装置によれば、適切な参照画像を選択することができる。
以下、本発明に係る画像符号化方法及び画像符号化装置の実施の形態について、図面を参照しながら詳細に説明する。
(実施の形態1)
本実施の形態に係る画像符号化方法は、第1カメラで被写体が撮影された第1対象画像及び第2カメラで上記被写体が撮影された第2対象画像を符号化する画像符号化方法であって、第1局所復号画像又は第2局所復号画像を参照することで、第2対象画像の動きを検出する動き検出ステップと、動き検出ステップにおいて第1局所復号画像を参照した場合に、上記被写体の像を含む第1領域の動きを示す第1動き情報を算出し、かつ、上記被写体の像を含む第2領域の動きを示す第2動き情報を算出し、第1動き情報と第2動き情報とを比較することで、被写体の視差を算出する視差算出ステップと、動き検出ステップにおいて第2局所復号画像を参照した場合に、上記第2領域の動きを示す第2動き情報を算出し、当該第2動き情報に基づいて被写体の動きを算出する動き算出ステップと、被写体の視差、又は、被写体の動きに基づいて、第2カメラによって撮影された次の画像を第2対象画像として符号化する際の参照画像を選択する参照画像選択ステップとを含むことを特徴とする。
本実施の形態に係る画像符号化方法は、第1カメラで被写体が撮影された第1対象画像及び第2カメラで上記被写体が撮影された第2対象画像を符号化する画像符号化方法であって、第1局所復号画像又は第2局所復号画像を参照することで、第2対象画像の動きを検出する動き検出ステップと、動き検出ステップにおいて第1局所復号画像を参照した場合に、上記被写体の像を含む第1領域の動きを示す第1動き情報を算出し、かつ、上記被写体の像を含む第2領域の動きを示す第2動き情報を算出し、第1動き情報と第2動き情報とを比較することで、被写体の視差を算出する視差算出ステップと、動き検出ステップにおいて第2局所復号画像を参照した場合に、上記第2領域の動きを示す第2動き情報を算出し、当該第2動き情報に基づいて被写体の動きを算出する動き算出ステップと、被写体の視差、又は、被写体の動きに基づいて、第2カメラによって撮影された次の画像を第2対象画像として符号化する際の参照画像を選択する参照画像選択ステップとを含むことを特徴とする。
図1は、本実施の形態に係る画像符号化装置100の構成の一例を示すブロック図である。
図1に示す画像符号化装置100は、主カメラから入力される第1映像と、従カメラから入力される第2映像とを符号化する。主カメラ及び従カメラは、互いに異なる位置に配置され、同一の被写体を異なる視点から撮影する。例えば、主カメラは、被写体に向かって従カメラの左側に配置され、従カメラは、被写体に向かって主カメラの右側に配置される。
第1映像及び第2映像は、立体視用の映像であり、例えば、第1映像は、視聴者の左眼に入力されるべき左眼用の映像であり、第2映像は、視聴者の右眼に入力されるべき右眼用の映像である。第1映像及び第2映像はそれぞれ、複数のピクチャから構成されている。画像符号化装置100は、第1映像と第2映像とをピクチャ毎に交互に符号化する。
図1に示すように、本実施の形態に係る画像符号化装置100は、入力フレームバッファ101と、差分器102と、直交変換部103と、量子化部104と、エントロピー符号化部105と、逆量子化部106と、逆直交変換部107と、加算器108と、第1フレームメモリ109と、第2フレームメモリ110と、イントラ予測部111と、インター予測部112と、セレクタ113と、イントラ・インター判定部114と、オブジェクト領域検出部115と、参照画像選択部116とを備える。
入力フレームバッファ101は、入力画像を格納するメモリの一例である。入力フレームバッファ101は、主カメラから入力される第1入力画像(左眼用画像)と、従カメラから入力される第2入力画像(右眼用画像)とを格納する。
なお、第1入力画像及び第2入力画像はそれぞれ、1フレーム分の画像である。入力フレームバッファ101は、第1入力画像を格納する第1メモリ領域と第2入力画像を格納する第2メモリ領域とを含む論理的に分割された物理的に1つのメモリでもよく、あるいは、時間的に分割された物理的に1つのメモリでもよい。また、入力フレームバッファ101は、物理的に異なる2つのメモリでもよい。
差分器102は、第1入力画像又は第2入力画像と、セレクタ113から出力される予測画像との差分を算出する。例えば、差分器102は、第1入力画像又は第2入力画像から予測画像を減算することで、差分画像を生成する。差分画像は、直交変換部103へ出力される。
直交変換部103は、差分画像に直交変換を行うことで、空間領域の差分画像を周波数領域の変換係数に変換する。例えば、直交変換部103は、直交変換の一例として、離散コサイン変換(DCT:Discrete Cosine Transform)を差分画像に対して行うことで、変換係数を生成する。変換係数は、量子化部104へ出力される。
量子化部104は、変換係数を量子化することで、量子化係数を生成する。量子化係数は、エントロピー符号化部105と逆量子化部106とへ出力される。
エントロピー符号化部105は、量子化係数をエントロピー符号化することで、ビットストリームを生成する。なお、エントロピー符号化部105は、例えば、第1入力画像を元に生成される第1符号化画像と第2入力画像を元に生成される第2符号化画像とを、1つのビットストリームとして出力する。あるいは、エントロピー符号化部105は、第1符号化画像と第2符号化画像とを、それぞれ異なるビットストリームとして出力してもよい。
逆量子化部106は、量子化係数を逆量子化することで、逆量子化された変換係数を生成する。逆量子化された変換係数は、逆直交変換部107へ出力される。
逆直交変換部107は、逆量子化された変換係数に逆直交変換を行うことで、周波数領域の変換係数を空間領域の局所復号された差分画像に変換する。例えば、逆直交変換部107は、逆量子化された変換係数に対して逆DCTを行うことで、局所復号された差分画像を生成する。局所復号された差分画像は、加算器108へ出力される。
加算器108は、局所復号された差分画像と、セレクタ113から出力される予測画像とを加算することで、局所復号画像を生成する。局所復号画像は、第1フレームメモリ109及び第2フレームメモリ110に格納される。
第1フレームメモリ109は、イントラ予測に用いられる参照画像として、局所復号画像を格納するメモリの一例である。
第2フレームメモリ110は、インター予測に用いられる参照画像として、局所復号画像を格納するメモリの一例である。
第1フレームメモリ109及び第2フレームメモリ110はそれぞれ、物理的に異なる2つのメモリであってもよく、あるいは、論理的に空間分割又は時分割された物理的に1つのメモリであってもよい。
イントラ予測部111は、第1フレームメモリ109に格納される局所復号画像を参照画像として参照してイントラ予測を行うことで、イントラ予測画像を生成する。イントラ予測画像は、セレクタ113へ出力される。
インター予測部112は、第2フレームメモリ110に格納される局所復号画像を参照画像として参照してインター予測を行うことで、インター予測画像を生成する。例えば、インター予測部112は、動き検出及び動き補償を行うことで、インター予測画像を生成する。インター予測画像は、セレクタ113へ出力される。また、インター予測部112は、動き検出により生成された動き情報を参照画像選択部116へ出力する。
セレクタ113は、イントラ・インター判定部114による判定結果に基づいて、イントラ予測画像及びインター予測画像のいずれかを選択し、選択した画像を予測画像として差分器102及び加算器108へ出力する。
イントラ・インター判定部114は、イントラ予測部111及びインター予測部112のそれぞれから出力される情報に基づいて、イントラ予測画像及びインター予測画像のうち選択すべき画像を判定する。そして、イントラ・インター判定部114は、セレクタ113に、選択すべきと判定した画像を予測画像として選択させる。
なお、イントラ予測部111及びインター予測部112のそれぞれから出力される情報は、例えば、イントラ予測画像及びインター予測画像の符号量(又は、符号量の予測値)である。イントラ予測部111及びインター予測部112は、例えば、符号量が小さい方の画像を予測画像として選択すべき画像として判定する。
オブジェクト領域検出部115は、入力フレームバッファ101から第1入力画像又は第2入力画像を読み出し、読み出した画像から所定の被写体の像を含む領域(以下、オブジェクト領域とも記載する)、すなわち、被写体が写った領域を検出する。例えば、オブジェクト領域検出部115は、所定の被写体の像として人の顔の像を含む顔領域を検出する。そして、オブジェクト領域検出部115は、検出したオブジェクト領域の位置、サイズなどを示す領域情報を参照画像選択部116へ出力する。
参照画像選択部116は、オブジェクト領域検出部115から出力される領域情報と、インター予測部112から出力される動き情報とに基づいて、参照画像を選択する。
続いて、本実施の形態に係る画像符号化装置100の構成のうち、第2フレームメモリ110と、インター予測部112と、オブジェクト領域検出部115と、参照画像選択部116との詳細な構成について説明する。
図2は、本実施の形態に係る画像符号化装置100の構成の一部を詳細に示すブロック図である。
第2フレームメモリ110は、主カメラ用フレームメモリ201と、従カメラ用フレームメモリ202とを備える。
主カメラ用フレームメモリ201は、主カメラによって撮影された第1入力画像が符号化及び復号されることで生成された第1局所復号画像を格納するメモリである。具体的には、差分器102、直交変換部103、量子化部104、逆量子化部106、逆直交変換部107及び加算器108が第1入力画像を符号化及び復号することで、第1局所復号画像を生成する。主カメラ用フレームメモリ201は、生成された第1局所復号画像を格納する。
従カメラ用フレームメモリ202は、従カメラによって撮影された第2入力画像が符号化及び復号されることで生成された第2局所復号画像を格納するメモリである。具体的には、差分器102、直交変換部103、量子化部104、逆量子化部106、逆直交変換部107及び加算器108が第2入力画像を符号化及び復号することで、第2局所復号画像を生成する。従カメラ用フレームメモリ202は、生成された第2局所復号画像を格納する。
なお、主カメラ用フレームメモリ201及び従カメラ用フレームメモリ202は、物理的に異なる2つのメモリであってもよく、あるいは、論理的に空間分割又は時分割された物理的に1つのメモリであってもよい。
また、図2に示すように、インター予測部112は、動き探索部211と、動き補償部212とを備える。
動き探索部211は、動き検出部の一例であり、対象画像が第1入力画像である場合に、主カメラ用フレームメモリ201に格納された第1局所復号画像を参照画像として参照することで、第1入力画像の動きを検出する。また、動き探索部211は、対象画像が第2入力画像である場合に、主カメラ用フレームメモリ201に格納された第1局所復号画像、又は、従カメラ用フレームメモリ202に格納された第2局所復号画像を参照画像として参照することで、第2入力画像の動きを検出する。
動き補償部212は、動き探索部211によって検出された動きに基づいて、第1入力画像又は第2入力画像に動き補償を行うことで、インター予測画像を生成する。
オブジェクト領域検出部115は、上述したように第1入力画像又は第2入力画像から所定の被写体(例えば、人の顔)の像を含む領域を検出する。具体的には、オブジェクト領域検出部115は、対象画像が第1入力画像である場合に、第1入力画像から所定の被写体の像を含む第1領域を検出する。また、オブジェクト領域検出部115は、対象画像が第2入力画像である場合には、第2入力画像から上記被写体の像を含む第2領域を検出する。
なお、第1領域及び第2領域は、1以上のブロックを含んでいる。また、ブロックは、1以上の画素を含んでいる。
なお、第1領域及び第2領域には同じ被写体の像が含まれるように、オブジェクト領域検出部115によって第1領域及び第2領域が検出される。このため、第1領域と第2領域とにおいて対応するブロックとは、第1領域内の所定の位置のブロックと、当該ブロックと同じ位置の第2領域内のブロックとを意味する。例えば、第1領域及び第2領域が矩形の場合、第1領域の左端上のブロックと第2領域の左端上のブロックとが、対応するブロックである。
また、図2に示すように、参照画像選択部116は、視差算出部221と、動き算出部222と、選択部223とを備える。
視差算出部221は、第2入力画像の動き探索の際に、動き探索部211が第1局所復号画像を参照画像として選択した場合に、動き探索部211によって検出された第1入力画像の動きに基づいて、オブジェクト領域検出部115によって検出された第1領域の動きを示す第1動き情報を算出する。さらに、視差算出部221は、動き探索部211によって検出された第2入力画像の動きに基づいて、オブジェクト領域検出部115によって検出された第2領域の動きを示す第2動き情報を算出する。そして、視差算出部221は、第1動き情報と第2動き情報とを比較することで、第1領域及び第2領域に含まれる被写体の視差を算出する。
ここで、第1動き情報は、例えば、第1領域のブロック毎の動きベクトルを示す第1動きベクトルである。また、第2動き情報は、例えば、第2領域のブロック毎の動きベクトルを示す第2動きベクトルである。したがって、視差算出部221は、第1領域と第2領域とにおいて対応するブロック毎に、第1動きベクトルと第2動きベクトルとを比較することで被写体の視差を算出する。
さらに、視差算出部221は、第1動きベクトル及び第2動きベクトルを正規化し、正規化された第1動きベクトルと正規化された第2動きベクトルとを比較してもよい。具体的には、視差算出部221は、第1動きベクトルを算出する際に用いた第1局所復号画像と第1入力画像との時間間隔である第1期間と、第2動きベクトルを算出する際に用いた第1局所復号画像と第2入力画像との時間間隔である第2期間との比率に基づいて、第1動きベクトル及び第2動きベクトルを正規化する。このときの時間間隔は、撮影順におけるそれぞれのフレーム間の時間である。
より具体的には、視差算出部221は、正規化された第1動きベクトルと正規化された第2動きベクトルとの差分をブロック毎に算出し、算出された差分をブロック毎に示す差分動きベクトル分布に基づいて被写体の視差を算出する。差分動きベクトル分布は、動きベクトルの差分と、その頻度とを対応付けた分布である。例えば、視差算出部221は、差分を示す動きベクトル分布の平均値を被写体の視差として算出する。
動き算出部222は、第2入力画像の動き探索の際に、動き探索部211が第2局所復号画像を参照画像として選択した場合に、動き探索部211によって検出された第2入力画像の動きに基づいて、オブジェクト領域検出部115によって検出された第2領域の動きを示す第2動き情報を算出する。そして、動き算出部222は、第2動き情報に基づいて被写体の動きを算出する。
選択部223は、視差算出部221によって算出された被写体の視差、又は、動き算出部222によって算出された被写体の動きに基づいて、従カメラによって撮影された次の画像を第2入力画像として符号化する際の参照画像を選択する。言い換えると、選択部223は、次の第2入力画像を符号化する際に、同チャンネル参照及び異チャンネル参照のいずれを選択するかを決定する。
具体的には、選択部223は、被写体の視差が所定の第1閾値より大きいか否かを判定し、視差が第1閾値より大きい場合には第2局所復号画像を参照画像として選択し、視差が第1閾値以下の場合には第1局所復号画像を参照画像として選択する。つまり、選択部223は、視差が第1閾値より大きい場合に同チャンネル参照を選択し、視差が第1閾値以下の場合に異チャンネル参照を選択する。
また、選択部223は、被写体の動きが所定の第2閾値より大きいか否かを判定し、動きが第2閾値より大きい場合には第1局所復号画像を参照画像として選択し、動きが第2閾値以下の場合には第2局所復号画像を参照画像として選択する。つまり、選択部223は、動きが第2閾値より大きい場合に異チャンネル参照を選択し、動きが第2閾値以下の場合に同チャンネル参照を選択する。
以上の構成により、本実施の形態に係る画像符号化装置100は、第1入力画像の動きに基づいて第1領域の動きを示す第1動き情報を算出するとともに、第2入力画像の動きに基づいて第2領域の動きを示す第2動き情報を算出し、第1動き情報と第2動き情報とを比較することで、第1領域及び第2領域に含まれる被写体の視差を算出する。これにより、被写体の視差と被写体の動きとを区別することができるので、適切な参照画像を選択することができる。
また、画像符号化装置100は、動きが大きい場合又は視差が小さい場合には異チャンネル参照を選択し、動きが小さい場合又は視差が大きい場合には同チャンネル参照を選択するので、適切な参照画像を選択することができ、予測誤差を小さくすることができる。したがって、符号化効率を向上させることができる。
以下では、同チャンネル参照と異チャンネル参照とについて説明する。つまり、立体視用のステレオ画像を符号化する際に実行される動き探索におけるピクチャ間の参照関係について説明する。具体的には、主カメラによって撮影された左眼用映像に含まれる左眼用画像(以下、左チャンネル画像又はLch画像とも記載する)と、従カメラによって撮影された右眼用映像に含まれる右眼用画像(以下、右チャンネル画像又はRch画像とも記載する)との間の参照関係について説明する。
主カメラによって撮影された左眼用映像に含まれるLch画像は、同一チャンネルの画像、すなわち、Lch画像のみを参照して符号化される。これに対して、従カメラによって撮影された右眼用映像に含まれるRch画像は、同一チャンネルの画像、すなわち、Rch画像、又は、異なるチャンネルの画像、すなわち、Lch画像を参照して符号化される。このように、本実施の形態に係る画像符号化装置100は、従カメラによって撮影された画像を符号化する際には、主カメラによって撮影された画像を参照して符号化することができる。
以下では、従カメラによって撮影された画像を符号化する際に従カメラによって撮影された過去の画像を参照することを同チャンネル参照と記載し、従カメラによって撮影された画像を符号化する際に主カメラによって撮影された画像を参照することを異チャンネル参照と記載する。つまり、同チャンネル参照は、Rch画像を符号化する際にRch画像を参照することであり、異チャンネル参照は、Rch画像を符号化する際にLch画像を参照することである。
図3は、同チャンネル参照の一例を示す模式図である。図3に示すように、従カメラによって撮影されたRch画像は、従カメラによって撮影された過去のRch画像を参照して符号化される。
同チャンネル参照は、例えば、主カメラ及び従カメラと被写体との間の距離が近く、Lch画像とRch画像とにおいて、同一被写体の位置のずれ量、すなわち、視差(オフセット)が大きい場合に利用される。画像符号化装置100は、Lch画像とRch画像との差異が大きい場合に同チャンネル参照を選択することで、動き予測での予測誤差を小さくすることができる。
図4は、異チャンネル参照の一例を示す模式図である。図4に示すように、従カメラによって撮影されたRch画像は、主カメラによって撮影されたLch画像を参照して符号化される。
異チャンネル参照は、同チャンネル参照に比べて時間的に近い画像が参照画像として選択されるので、例えば、被写体又は主カメラ及び従カメラが動いている場合に利用される。画像符号化装置100は、画像の動きが大きい場合に異チャンネル参照を選択することで、動き予測での予測誤差を小さくすることができる。
以上のように、本実施の形態に係る画像符号化装置100は、画像の動きが所定の閾値より大きい場合に異チャンネル参照を選択し、画像の動きが上記閾値より小さい場合に同チャンネル参照を選択する。これにより、動き予測における予測誤差を小さくすることができるので、予測の精度を向上させることができ、符号化効率を高めることができる。
次に、本実施の形態に係る画像符号化装置100の動作のうち、参照画像の選択について説明する。
図5は、本実施の形態1に係る画像符号化装置100における参照画像の選択処理の一例を示すフローチャートである。
まず、画像符号化装置100は、主カメラから入力された第1入力画像を符号化及び局所復号することで、第1局所復号画像を生成し、生成した第1局所復号画像を主カメラ用フレームメモリ201に格納する(S101)。なお、ここでの第1入力画像は、主カメラによって撮影された画像であり、次に符号化の対象となる第1入力画像(第1対象画像)より過去の画像である。
次に、画像符号化装置100は、従カメラから入力された第2入力画像を符号化及び局所復号することで、第2局所復号画像を生成し、生成した第2局所復号画像を従カメラ用フレームメモリ202に格納する(S102)。なお、ここでの第2入力画像は、従カメラによって撮影された画像であり、次に符号化の対象となる第2入力画像(第2対象画像)より過去の画像である。
なお、第2局所復号画像を生成する際には、以下で説明する方法に従って同チャンネル参照及び異チャンネル参照のいずれかを選択して、動き探索が行われる。
次に、オブジェクト領域検出部115は、主カメラから入力された第1入力画像に対して顔領域検出処理を行うことで、人の顔を含む第1顔領域を検出する(S103)。そして、オブジェクト領域検出部115は、検出された第1顔領域を示す顔領域情報を出力する。顔領域検出処理の方法としては、例えば、テンプレートマッチングを用いた方法などがある。
次に、動き探索部211は、主カメラから入力された第1入力画像に対して第1局所復号画像を参照画像として動き探索処理を行うことで、第1入力画像の動きを検出する(S104)。動き探索処理の方法としては、例えば、ブロックマッチングを用いた方法などがある。例えば、動き探索部211は、第1入力画像を構成するブロック毎に動き探索処理を行うことで、ブロック毎の動きベクトルを示す動きベクトル情報を生成する。
次に、オブジェクト領域検出部115は、従カメラから入力された第2入力画像に対して顔領域検出処理を行うことで、第1顔領域に含まれる顔と同一の顔を含む第2顔領域を検出する(S105)。そして、オブジェクト領域検出部115は、検出された第2顔領域を示す顔領域情報を出力する。
次に、動き探索部211は、従カメラから入力された第2入力画像に対して第1局所復号画像及び第2局所復号画像のいずれかを参照画像として動き探索処理を行い、第2入力画像の動きを検出する(S106)。つまり、動き探索部211は、同チャンネル参照及び異チャンネル参照のいずれかを選択し、選択した参照方法に基づいて動き探索処理を行う。例えば、動き探索部211は、第2入力画像を構成するブロック毎に動き探索処理を行うことで、ブロック毎の動きベクトルを示す動きベクトル情報を生成する。なお、動き探索部211が第1局所復号画像及び第2局所復号画像のいずれを選択するかは、参照画像選択部116によって決定される。
次に、参照画像選択部116は、動き探索部211によって選択された参照方法に基づいて判定を行う(S107)。
参照方法が同チャンネル参照である場合(S107でYes)、動き算出部222は、第2入力画像の動きを算出する(S108)。具体的には、動き算出部222は、第2入力画像の動き探索処理(S106)によって得られた動きベクトル情報と、第2入力画像の顔領域検出処理(S105)によって得られた顔領域情報とに基づいて、顔領域の動き情報を算出する。
例えば、動き算出部222は、動きベクトル情報と顔領域情報とに基づいて顔領域の動きベクトル分布を生成し、被写体及びカメラの動きを算出する。動きベクトル分布に基づいた動きの算出方法としては、例えば、動きベクトル分布の平均値を取り、平均値の大きさを動き情報として出力する方法がある。なお、動きベクトル分布は、動き検出部211から出力される動きベクトル情報が示すブロック毎の動きベクトルの頻度(出現回数)を、動きベクトルの大きさ及び向き毎に示すグラフである(図6A参照)。
次に、選択部223は、動き算出部222によって算出された動きを示す動き情報に基づいて動きがあるかどうかを判定する(S110)。
動きがあると判定された場合は(S110でYes)、選択部223は、次の対象画像である第2入力画像の動き探索の際の参照方法として、異チャンネル参照を選択する(S112)。動きがないと判定された場合は(S110でNo)、選択部223は、次の対象画像である第2入力画像の動き探索の際の参照方法として、同チャンネル参照を選択する(S113)。
なお、動き情報からの判定方法としては、動き算出部222から動き情報として動きベクトル分布の平均値の大きさが出力される場合には、出力された動きベクトル分布の平均値の大きさが所定の閾値より大きい場合に「動きあり」、所定の閾値以下の場合に「動きなし」と判定する方法がある。
参照方法が異チャンネル参照である場合(S107でNo)、視差算出部221は、第2入力画像の視差を算出する(S109)。具体的には、まず、視差算出部221は、オブジェクト領域検出部115によって第1入力画像から検出された顔領域情報と、動き探索部211によって出力された第1入力画像の動きベクトル情報とから、主カメラ側の第1入力画像における顔領域の第1動きベクトル分布を算出する。次に、視差算出部221は、オブジェクト領域検出部115によって第2入力画像から検出された顔領域情報と、動き探索部211によって出力された第2入力画像の動きベクトル情報とから、従カメラ側の第2入力画像における顔領域の第2動きベクトル分布を算出する。
そして、視差算出部221は、第1動きベクトル分布と第2動きベクトル分布とを比較することで、被写体の視差を算出する。第1動きベクトル分布は、例えば、第1入力画像の顔領域を構成するブロック毎の動きベクトルとその頻度とを示している。また、第2動きベクトル分布は、例えば、第2入力画像の顔領域を構成するブロック毎の動きベクトルとその頻度とを示している。
したがって、視差算出部221は、対応するブロック毎の第1動きベクトルと第2動きベクトルとの差分を算出することで、算出した差分をブロック毎に示す動きベクトル分布を生成することで、被写体の視差を算出する。そして、例えば、視差算出部221は、生成した差分の動きベクトル分布の平均値の大きさを視差として算出する。
次に、選択部223は、視差算出部221によって算出された視差を示す視差情報に基づいて視差があるかどうかを判定する(S111)。
視差があると判定された場合は(S111でYes)、選択部223は、次の対象画像である第2入力画像の動き探索の際の参照方法として、同チャンネル参照方法を選択する(S113)。視差がないと判定された場合は(S111でNo)、選択部223は、次の対象画像である第2入力画像の動き探索の際の参照方法として、異チャンネル参照方法を選択する(S112)。
以上のようにして、本実施の形態に係る画像符号化装置100では、被写体の視差と被写体の動きとを区別することができるので、適切な参照画像を選択することができる。
続いて、視差算出部221が行う視差の算出処理(S109)について、例を挙げて説明する。
図6Aは、背景に動きがある場合に動きベクトル分布から視差を算出する方法を説明するための模式図である。図6Aにおいて、2台のカメラのうち被写体に向かって左側のカメラが主カメラ、右側のカメラが従カメラである。
また、Lchは主カメラからの入力される画像を示し、Rchは従カメラから入力される画像を示す。また、Rch(N)は、従カメラから入力されるN番目の画像(フレーム)304であり、Lch(N-1)は、画像304より1フレーム前の主カメラから入力される画像302及び303であり、Lch(N-3)は、画像304より3フレーム前の主カメラから入力される画像301である。
視差算出部221は、ステップS103においてオブジェクト領域検出部115によって画像302から第1顔領域として検出された顔領域305と、ステップS104において動き探索部211によって検出された動きベクトル情報とから、第1動きベクトル分布307を算出する。同様に、視差算出部221は、ステップS105においてオブジェクト領域検出部115によって画像304から第2顔領域として検出された顔領域306と、ステップS106において動き探索部211によって検出された動きベクトル情報とから、第2動きベクトル分布308を算出する。
図6Bは、顔領域305と顔領域306とに含まれるブロック毎の動きベクトルを示す模式図である。図6Bに示す例では、顔領域305及び306はそれぞれ16個のブロックを含んでいる。
図6Aに示すように、画像301と画像302とを比較すると、対象画像である画像302の顔領域305に含まれる被写体の顔は、参照画像である画像301の被写体の顔より右側に存在する。したがって、図6Bに示すように、顔領域305に含まれる多くのブロック(12個のブロック)では、左方向の動きベクトルが検出される。画像301と画像302とは同チャンネルの画像であるから、検出された左方向の動きベクトルは、被写体の動きに相当する。
ここで、右方向の動きベクトルを正の動きベクトル、左方向の動きベクトルを負の動きベクトルとすると、図6Aに示すような第1動きベクトル分布307が生成される。つまり、第1動きベクトル分布307の左のピークは、被写体の顔の動きベクトルに相当する。
また、図6Aに示すように、画像303と画像304とを比較すると、対象画像である画像304の顔領域306に含まれる被写体の顔は、参照画像である画像303の被写体の顔の左側に存在する。したがって、図6Bに示すように、顔領域306に含まれる多くのブロック(10個のブロック)では、左方向の動きベクトルが検出される。
ただし、このとき、顔領域306の右側には背景の木が含まれているため、顔領域の右側の4つのブロックでは、左方向の動きベクトルが検出される。したがって、図6Aに示すような第2動きベクトル分布308が生成される。つまり、第2動きベクトル分布308の右側のピークは、被写体の顔の動き量に相当し、第2動きベクトル分布308の左側のピークは、被写体の背景の動きベクトルに相当する。
なお、画像303と画像304とは異チャンネルの画像であるから、検出された動きベクトルは、被写体の動きによる影響と、視差による影響とを含んでいる。
視差算出部221は、以上のようにして生成される第1動きベクトル分布307と第2動きベクトル分布308とを減算することで、差分動きベクトル分布309を生成する。つまり、視差算出部221は、顔領域305と顔領域306との対応するブロック毎に動きベクトルを減算する。これにより、図6Bに示すように、顔領域310の差分動きベクトルが生成される。この差分動きベクトルの分布が、図6Aに示す差分動きベクトル分布309に相当する。
なお、動き探索部211は、画像302の動き情報を生成する際には、画像302より2フレーム前の画像301を参照して、画像302の動き探索を行っている。これに対して、動き探索部211は、画像304の動き情報を生成する際には、画像304より1フレーム前の画像303を参照して、画像304の動き探索を行っている。したがって、第1動きベクトル分布307と第2動きベクトル分布308とでは、対象画像と参照画像との時間間隔が異なっている。
このため、第1動きベクトル分布307と第2動きベクトル分布308とを比較するときは、動き探索における対象画像と参照画像との時間間隔を考慮することが好ましい。つまり、視差算出部221は、画像302と画像301との時間間隔である第1期間と、画像304と画像303との時間間隔である第2期間との比率に基づいて、第1動きベクトル分布307と第2動きベクトル分布308とを正規化する。そして、視差算出部221は、正規化された第1動きベクトル分布307と正規化された第2動きベクトル分布との差分を算出する。
図6A及び図6Bに示す例では、差分を算出する前に第1動きベクトル分布307の各動きベクトルに1/2を乗算することで、1フレーム分の動きベクトルにする。そして、1/2を乗じられた第1動きベクトル分布307と第2動きベクトル分布308との差分を算出することにより、差分動きベクトル分布309を生成する。そして、視差算出部221は、生成された差分動きベクトル分布309の平均値を視差として算出する。
図7は、背景に動きがある場合に動きと視差とを区別することができないことを説明するための模式図である。
従カメラから入力された画像402が主カメラから入力された画像401を参照して動き探索を行う際、画像401と画像402とが撮影された時間が異なる場合、被写体の視差だけでなく、背景の動きも検出されてしまう。すなわち、背景の動きによる動きベクトル403と、被写体の視差による動きベクトル404とが検出される。
このために、図7に示すような動きベクトル分布405が生成されるので、視差と動きとを区別することができない。したがって、動きの有無及び視差の有無に基づいて適切な参照画像を選択することができない。
これに対して、本実施の形態に係る画像符号化装置100によれば、上述したように、被写体の動きと視差とを区別することができるので、有無及び視差の有無に基づいて適切に参照画像を選択することができる。
以上、本発明に係る画像符号化装置及び画像符号化方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
例えば、本実施の形態では、視差算出部221は、顔領域の動きベクトル情報のみを用いて視差算出を行ったが、本発明はこれに限られるものではなく、顔領域の動きベクトル情報が視差算出において信頼度が高いと考えられる。このため、顔領域の動きベクトル情報に重み付けを行い、フレーム全体の動きベクトル情報を用いて視差算出を行ってもよい。
また、本実施の形態では、説明のために被写体に向かって左側のカメラを主カメラ、右側のカメラを従カメラとして説明したが、本発明はこれに限るものではなく、右側のカメラを主カメラ、左側のカメラを従カメラとしてもよい。
なお、本発明は、上記の画像符号化方法を利用する撮像システムとしても実現することができる。以下では、例えば、デジタルスチルカメラ又はテレビ会議システム用カメラ等の撮像システム(映像システム)の一例を示す。
図8は、本実施の形態に係る画像符号化装置を利用した撮像システムの一例を示すブロック図である。
図8の撮像システムは、主カメラ512と、従カメラ513と、画像処理回路507と、記録・転送部508と、再生部509と、タイミング制御回路510と、システム制御回路511とを備える。
主カメラ512は、光学系501と、センサー502と、A/D変換回路503とを備える。主カメラ512では、レンズなどの光学系501を通って入射した光がセンサー502上に結像される。そして、センサー502において、入射した光は光電変換され、光電変換によって得られた電気信号は、A/D変換回路503によりデジタル値に変換される。デジタル値に変換された画像信号は、例えば、図1に示した画像符号化装置100を含む画像処理回路507に入力される。
従カメラ513は、光学系504と、センサー505と、A/D変換回路506とを備える。従カメラ513においても主カメラ512と同様に、レンズなどの光学系504を通って入射した光がセンサー505上に結像される。そして、センサー505において、入射した光は光電変換され、光電変換によって得られた電気信号は、A/D変換回路506によりデジタル値に変換される。デジタル値に変換された画像信号は、画像処理回路507に入力される。
画像処理回路507においては、Y/C処理、エッジ処理、画像の拡大縮小、及び、画像符号化装置100によるJPEGやMPEG等の画像圧縮/伸張処理、画像圧縮されたストリームの制御等が行われる。
記録・転送部508は、画像処理された信号を、メディアへ記録、又は、インターネット等を介して伝送する。
再生部509は、記録又は転送された信号を再生する。
タイミング制御回路510は、センサー502及び505、並びに画像処理回路507による処理を制御する。
システム制御回路511は、光学系501及び504、記録・転送部508、再生部509及びタイミング制御回路510を制御する。
以上のような構成を有する撮像システムとしても本発明を実現することができる。
また、本実施の形態に係る画像符号化装置100は、典型的には集積回路であるLSI(Large Scale Integration)として実現される。これらは、個別に1チップ化されてもよく、一部又は全てを含むように1チップ化されてもよい。
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、本発明は、上述したように、画像符号化装置及び画像符号化方法として実現できるだけではなく、本実施の形態の画像符号化方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なCD-ROMなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。また、LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
本発明に係る画像符号化方法及び画像符号化装置は、適切な参照画像の選択を行うことができるという効果を奏し、ステレオ画像を撮影するカメラシステムなどに利用することができる。
100 画像符号化装置
101 入力フレームバッファ
102 差分器
103 直交変換部
104 量子化部
105 エントロピー符号化部
106 逆量子化部
107 逆直交変換部
108 加算器
109 第1フレームメモリ
110 第2フレームメモリ
111 イントラ予測部
112 インター予測部
113 セレクタ
114 イントラ・インター判定部
115 オブジェクト領域検出部
116 参照画像選択部
301、302、303、304、401、402 画像
305、306、310 顔領域
307 第1動きベクトル分布
308 第2動きベクトル分布
309 差分動きベクトル分布
403、404 動きベクトル
405 動きベクトル分布
501、504 光学系
502、505 センサー
503、506 A/D変換回路
507 画像処理回路
508 記録・転送部
509 再生部
510 タイミング制御回路
511 システム制御回路
512 主カメラ
513 従カメラ
101 入力フレームバッファ
102 差分器
103 直交変換部
104 量子化部
105 エントロピー符号化部
106 逆量子化部
107 逆直交変換部
108 加算器
109 第1フレームメモリ
110 第2フレームメモリ
111 イントラ予測部
112 インター予測部
113 セレクタ
114 イントラ・インター判定部
115 オブジェクト領域検出部
116 参照画像選択部
301、302、303、304、401、402 画像
305、306、310 顔領域
307 第1動きベクトル分布
308 第2動きベクトル分布
309 差分動きベクトル分布
403、404 動きベクトル
405 動きベクトル分布
501、504 光学系
502、505 センサー
503、506 A/D変換回路
507 画像処理回路
508 記録・転送部
509 再生部
510 タイミング制御回路
511 システム制御回路
512 主カメラ
513 従カメラ
Claims (14)
- 第1カメラ及び第2カメラのそれぞれによって被写体が撮影された画像を交互に符号化する画像符号化方法であって、
前記第1カメラによって撮影された第1対象画像より過去の画像を符号化及び復号することで、第1局所復号画像を生成する第1局所復号画像生成ステップと、
前記第2カメラによって撮影された第2対象画像より過去の画像を符号化及び復号することで、第2局所復号画像を生成する第2局所復号画像生成ステップと、
前記第1対象画像から、前記被写体の像を含む第1領域を検出する第1領域検出ステップと、
前記第1局所復号画像を参照することで、前記第1対象画像の動きを検出する第1動き検出ステップと、
前記第2対象画像から、前記被写体の像を含む第2領域を検出する第2領域検出ステップと、
前記第1局所復号画像又は前記第2局所復号画像を参照することで、前記第2対象画像の動きを検出する第2動き検出ステップと、
前記第2動き検出ステップにおいて前記第1局所復号画像を参照した場合に、前記第1動き検出ステップにおいて検出された第1対象画像の動きに基づいて前記第1領域の動きを示す第1動き情報を算出し、かつ、前記第2動き検出ステップにおいて検出された第2対象画像の動きに基づいて前記第2領域の動きを示す第2動き情報を算出し、前記第1動き情報と前記第2動き情報とを比較することで、前記被写体の視差を算出する視差算出ステップと、
前記第2動き検出ステップにおいて前記第2局所復号画像を参照した場合に、前記第2動き検出ステップにおいて検出された第2対象画像の動きに基づいて前記第2領域の動きを示す第2動き情報を算出し、当該第2動き情報に基づいて前記被写体の動きを算出する動き算出ステップと、
前記被写体の視差、又は、前記被写体の動きに基づいて、前記第2カメラによって撮影された前記第2対象画像の次の画像を前記第2対象画像として符号化する際の参照画像を選択する参照画像選択ステップとを含む
画像符号化方法。 - 前記第1領域検出ステップでは、前記第1対象画像から、前記被写体の像として人の顔の像を含む第1領域を検出し、
前記第2領域検出ステップでは、前記第2対象画像から、前記被写体の像として前記人の顔の像を含む第2領域を検出する
請求項1記載の画像符号化方法。 - 前記参照画像選択ステップでは、前記被写体の視差が所定の閾値より大きいか否かを判定し、前記視差が前記閾値より大きい場合に、前記第2局所復号画像を前記参照画像として選択し、前記視差が前記閾値以下の場合に、前記第1局所復号画像を前記参照画像として選択する
請求項1記載の画像符号化方法。 - 前記参照画像選択ステップでは、前記被写体の動きが所定の閾値より大きいか否かを判定し、前記動きが前記閾値より大きい場合に、前記第1局所復号画像を前記参照画像として選択し、前記動きが前記閾値以下の場合に、前記第2局所復号画像を前記参照画像として選択する
請求項1記載の画像符号化方法。 - 前記視差算出ステップでは、前記第1領域のブロック毎の第1動きベクトルを前記第1動き情報として算出し、かつ、前記第2領域のブロック毎の第2動きベクトルを前記第2動き情報として算出し、前記第1領域と前記第2領域とにおいて対応するブロック毎に前記第1動きベクトルと前記第2動きベクトルとを比較することで、前記被写体の視差を算出する
請求項1記載の画像符号化方法。 - 前記視差算出ステップでは、前記第1対象画像及び前記第1局所復号画像の時間間隔である第1期間と、前記第2対象画像及び前記第1局所復号画像の時間間隔である第2期間との比率に基づいて、前記第1動きベクトル及び前記第2動きベクトルを正規化し、正規化された第1動きベクトルと正規化された第2動きベクトルとを比較することで、前記被写体の視差を算出する
請求項5記載の画像符号化方法。 - 前記視差算出ステップでは、前記第1領域と前記第2領域とにおいて対応するブロック毎に前記正規化された第1動きベクトルと前記正規化された第2動きベクトルとの差分を算出し、算出された差分をブロック毎に示す動きベクトル分布に基づいて前記被写体の視差を算出する
請求項6記載の画像符号化方法。 - 前記視差算出ステップでは、前記動きベクトル分布の平均値を前記被写体の視差として算出する
請求項7記載の画像符号化方法。 - 前記視差算出ステップでは、前記第1領域のブロック毎の第1動きベクトルに重み付けを行うことで生成されるフレーム全体の第1動きベクトル分布を前記第1動き情報として算出し、かつ、前記第2領域のブロック毎の第2動きベクトルに重み付けを行うことで生成されるフレーム全体の第2動きベクトル分布を前記第2動き情報として算出し、前記第1動きベクトル分布と前記第2動きベクトル分布とを比較することで、前記被写体の視差を算出する
請求項1記載の画像符号化方法。 - 前記視差算出ステップでは、前記第1対象画像及び前記第1局所復号画像の時間間隔である第1期間と、前記第2対象画像及び前記第1局所復号画像の時間間隔である第2期間との比率に基づいて、前記第1動きベクトル分布及び前記第2動きベクトル分布を正規化し、正規化された第1動きベクトル分布と正規化された第2動きベクトル分布とを比較することで、前記被写体の視差を算出する
請求項9記載の画像符号化方法。 - 前記視差算出ステップでは、前記正規化された第1動きベクトル分布と前記正規化された第2動きベクトル分布との差分を算出し、算出された差分である第3動きベクトル分布に基づいて前記被写体の視差を算出する
請求項10記載の画像符号化方法。 - 前記視差算出ステップでは、前記第3動きベクトル分布の平均値を前記被写体の視差として算出する
請求項11記載の画像符号化方法。 - 第1カメラ及び第2カメラのそれぞれによって被写体が撮影された画像を交互に符号化する画像符号化装置であって、
前記第1カメラによって撮影された第1対象画像より過去の画像を符号化及び復号することで、第1局所復号画像を生成し、かつ、前記第2カメラによって撮影された第2対象画像より過去の画像を符号化及び復号することで、第2局所復号画像を生成する局所復号画像生成部と、
前記第1対象画像から、前記被写体の像を含む第1領域を検出し、かつ、前記第2対象画像から、前記被写体の像を含む第2領域を検出する領域検出部と、
前記第1局所復号画像を参照することで、前記第1対象画像の動きを検出し、かつ、前記第1局所復号画像又は前記第2局所復号画像を参照することで、前記第2対象画像の動きを検出する動き検出部と、
前記動き検出部において、前記第2対象画像の動きを検出する際に前記第1局所復号画像を参照した場合に、前記動き検出部において検出された第1対象画像の動きに基づいて前記第1領域の動きを示す第1動き情報を算出し、かつ、前記動き検出部において検出された第2対象画像の動きに基づいて前記第2領域の動きを示す第2動き情報を算出し、前記第1動き情報と前記第2動き情報とを比較することで、前記被写体の視差を算出する視差算出部と、
前記動き検出部において、前記第2対象画像の動きを検出する際に前記第2局所復号画像を参照した場合に、前記動き検出部において検出された第2対象画像の動きに基づいて前記第2領域の動きを示す第2動き情報を算出し、当該第2動き情報に基づいて前記被写体の動きを算出する動き算出部と、
前記被写体の視差、又は、前記被写体の動きに基づいて、前記第2カメラによって撮影された前記第2対象画像の次の画像を前記第2対象画像として符号化する際の参照画像を選択する参照画像選択部とを備える
画像符号化装置。 - 請求項13記載の画像符号化装置を含む画像処理回路と、
前記被写体からの光を結像する光学系と、
前記光学系からの光を光電変換し、光電変換により生成された画像信号を前記画像処理回路に、前記第1対象画像及び前記第2対象画像として出力するセンサーとを備える
撮像システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009284535A JP2011130030A (ja) | 2009-12-15 | 2009-12-15 | 画像符号化方法及び画像符号化装置 |
JP2009-284535 | 2009-12-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011074189A1 true WO2011074189A1 (ja) | 2011-06-23 |
Family
ID=44166964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/006837 WO2011074189A1 (ja) | 2009-12-15 | 2010-11-24 | 画像符号化方法及び画像符号化装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2011130030A (ja) |
WO (1) | WO2011074189A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016096502A (ja) * | 2014-11-17 | 2016-05-26 | 株式会社東芝 | 画像符号化装置、画像復号装置および画像伝送方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012042895A1 (ja) * | 2010-09-30 | 2012-04-05 | パナソニック株式会社 | 立体映像符号化装置、立体映像撮影装置、および立体映像符号化方法 |
JP5794668B2 (ja) * | 2011-04-11 | 2015-10-14 | キヤノン株式会社 | 画像符号化装置 |
JP6101067B2 (ja) * | 2012-12-12 | 2017-03-22 | 日本放送協会 | 画像処理装置及び画像処理プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0993586A (ja) * | 1995-09-27 | 1997-04-04 | Nec Corp | 画像信号多重化符号化復号化装置 |
JPH10191393A (ja) * | 1996-12-24 | 1998-07-21 | Sharp Corp | 多視点画像符号化装置 |
JP2001186543A (ja) * | 1999-12-24 | 2001-07-06 | Sanyo Electric Co Ltd | データ符号化装置及び復号化装置 |
WO2006072992A1 (ja) * | 2005-01-07 | 2006-07-13 | Fujitsu Limited | 圧縮符号化装置、伸張復号化装置 |
-
2009
- 2009-12-15 JP JP2009284535A patent/JP2011130030A/ja active Pending
-
2010
- 2010-11-24 WO PCT/JP2010/006837 patent/WO2011074189A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0993586A (ja) * | 1995-09-27 | 1997-04-04 | Nec Corp | 画像信号多重化符号化復号化装置 |
JPH10191393A (ja) * | 1996-12-24 | 1998-07-21 | Sharp Corp | 多視点画像符号化装置 |
JP2001186543A (ja) * | 1999-12-24 | 2001-07-06 | Sanyo Electric Co Ltd | データ符号化装置及び復号化装置 |
WO2006072992A1 (ja) * | 2005-01-07 | 2006-07-13 | Fujitsu Limited | 圧縮符号化装置、伸張復号化装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016096502A (ja) * | 2014-11-17 | 2016-05-26 | 株式会社東芝 | 画像符号化装置、画像復号装置および画像伝送方法 |
US10212436B2 (en) | 2014-11-17 | 2019-02-19 | Kabushiki Kaisha Toshiba | Image encoding apparatus, image decoding apparatus and image transmission method |
Also Published As
Publication number | Publication date |
---|---|
JP2011130030A (ja) | 2011-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100544444C (zh) | 用于全景图像的运动估计和补偿的方法和设备 | |
CN108141610B (zh) | 用于编码和解码基于光场的图像的方法和设备 | |
JP5436458B2 (ja) | 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム | |
JP4799438B2 (ja) | 画像記録装置、画像記録方法、画像符号化装置、及びプログラム | |
US9609192B2 (en) | Image processing apparatus, image processing method and program, and imaging apparatus | |
US11695936B2 (en) | Perceptual three-dimensional (3D) video coding based on depth information | |
JP2007143118A (ja) | 撮像装置 | |
TWI499277B (zh) | 多視點畫像編碼方法、多視點畫像解碼方法、多視點畫像編碼裝置、多視點畫像解碼裝置及這些程式 | |
WO2012060156A1 (ja) | 多視点画像符号化装置及び多視点画像復号装置 | |
JP5395911B2 (ja) | ステレオ画像符号化装置、方法 | |
WO2011074189A1 (ja) | 画像符号化方法及び画像符号化装置 | |
US20130258053A1 (en) | Three-dimensional video encoding apparatus, three-dimensional video capturing apparatus, and three-dimensional video encoding method | |
KR20150135457A (ko) | 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치 | |
JP4874578B2 (ja) | 画像符号化装置 | |
JP5165084B2 (ja) | 画像符号化装置 | |
US20120194643A1 (en) | Video coding device and video coding method | |
KR101407719B1 (ko) | 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체 | |
KR20150137081A (ko) | 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치 | |
US20110096831A1 (en) | Image encoding device, image encoding method, and imaging system | |
JP6232117B2 (ja) | 画像符号化方法、画像復号方法、及び記録媒体 | |
Liu et al. | Motion blur compensation in HEVC using fixed-length adaptive filter | |
JP2000013817A (ja) | 符号化装置及び復号化装置 | |
JP2012147073A (ja) | 画像符号化装置、画像符号化方法、及び撮像システム | |
JP2015186052A (ja) | 立体映像符号化装置及び立体映像符号化方法 | |
JP2009302947A (ja) | 画像符号化装置、画像符号化方法および撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10837226 Country of ref document: EP Kind code of ref document: A1 |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10837226 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 10837226 Country of ref document: EP Kind code of ref document: A1 |