WO2011074189A1 - 画像符号化方法及び画像符号化装置 - Google Patents

画像符号化方法及び画像符号化装置 Download PDF

Info

Publication number
WO2011074189A1
WO2011074189A1 PCT/JP2010/006837 JP2010006837W WO2011074189A1 WO 2011074189 A1 WO2011074189 A1 WO 2011074189A1 JP 2010006837 W JP2010006837 W JP 2010006837W WO 2011074189 A1 WO2011074189 A1 WO 2011074189A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
motion
subject
parallax
motion vector
Prior art date
Application number
PCT/JP2010/006837
Other languages
English (en)
French (fr)
Inventor
敏彦 日下部
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2011074189A1 publication Critical patent/WO2011074189A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present invention relates to an image encoding method and an image encoding device, and more particularly to an image encoding method and an image encoding device that encode images captured by a main camera and a slave camera.
  • MPEG-4 Part 10 Advanced Video Coding (hereinafter, referred to as MPEG-4 AVC) formulated by MPEG (Moving Picture Experts Group) of ISO / IEC JTC1. Based on this MPEG-4 AVC, standardization of MVC (Multiview Video Coding) extended to efficiently encode moving images taken from a plurality of cameras is in progress.
  • MPEG-4 AVC Advanced Video Coding
  • Patent Document 1 when encoding images taken from a plurality of cameras, camera motion such as panning is detected based on a motion vector obtained by motion search, and the detected motion direction is detected. A method of selecting to refer to an image of a camera located is described.
  • an image captured by which camera that is, an image of which channel is selected as a reference image is determined. For example, when the motion is large, a different channel is referred to, and when the motion is small, the same channel is referenced, thereby generating a more accurate predicted image and improving the coding efficiency.
  • the motion vector obtained by motion search when referring to different channels includes the effect of parallax and the effect of subject or camera motion. Therefore, it is impossible to distinguish between motion and parallax. Therefore, since a reference image cannot be selected based on movement, an appropriate reference image cannot be selected.
  • an object of the present invention is to solve the above-described conventional problems, and to provide an image encoding method and an image encoding apparatus capable of selecting an appropriate reference image.
  • an image encoding method is an image encoding method for alternately encoding images in which a subject is photographed by each of a first camera and a second camera, A first local decoded image generating step for generating a first local decoded image by encoding and decoding a past image from the first target image taken by the first camera; and the first local decoded image generated by the second camera A second local decoded image generating step for generating a second local decoded image by encoding and decoding a past image from the second target image; and a first region including the image of the subject from the first target image A first region detecting step of detecting the first local decoded image, a first motion detecting step of detecting a motion of the first target image by referring to the first local decoded image, and the subject image from the second target image.
  • a first region including a human face image as the subject image is detected from the first target image, and in the second region detection step, the second target image is detected.
  • the second area including the human face image as the subject image may be detected.
  • the reference image selection step it is determined whether or not the parallax of the subject is larger than a predetermined threshold, and when the parallax is larger than the threshold, the second local decoded image is selected as the reference image, When the parallax is equal to or less than the threshold value, the first local decoded image may be selected as the reference image.
  • the reference image selection step it is determined whether or not the motion of the subject is larger than a predetermined threshold, and when the motion is larger than the threshold, the first local decoded image is selected as the reference image, When the motion is equal to or less than the threshold, the second local decoded image may be selected as the reference image.
  • the images between the channels are similar to each other, so that the prediction error can be reduced and the encoding efficiency can be increased.
  • a first motion vector for each block in the first region is calculated as the first motion information
  • a second motion vector for each block in the second region is calculated as the second motion information.
  • the parallax of the subject may be calculated by comparing the first motion vector and the second motion vector for each corresponding block in the first region and the second region.
  • a first period that is a time interval between the first target image and the first local decoded image, and a second period that is a time interval between the second target image and the first local decoded image And normalizing the first motion vector and the second motion vector, and comparing the normalized first motion vector with the normalized second motion vector, so that the parallax of the subject May be calculated.
  • the larger the time interval between the images the larger the motion. Therefore, by normalizing the motion vector, the first motion vector and the second motion vector can be compared on the same scale.
  • a difference between the normalized first motion vector and the normalized second motion vector is calculated for each block corresponding to the first region and the second region,
  • the parallax of the subject may be calculated based on a motion vector distribution indicating the calculated difference for each block.
  • an average value of the motion vector distribution may be calculated as the parallax of the subject.
  • the first motion vector distribution of the entire frame generated by weighting the first motion vector for each block in the first region is calculated as the first motion information
  • a second motion vector distribution of the entire frame generated by weighting the second motion vector for each block in the second region is calculated as the second motion information
  • the first motion vector distribution and the second motion vector are calculated.
  • the parallax of the subject may be calculated by comparing the distribution.
  • a first period that is a time interval between the first target image and the first local decoded image, and a second period that is a time interval between the second target image and the first local decoded image and normalizing the first motion vector distribution and the second motion vector distribution, and comparing the normalized first motion vector distribution with the normalized second motion vector distribution, The parallax of the subject may be calculated.
  • the larger the time interval between the images the larger the motion. Therefore, by normalizing the motion vector, the first motion vector and the second motion vector can be compared on the same scale.
  • a difference between the normalized first motion vector distribution and the normalized second motion vector distribution is calculated, and based on a third motion vector distribution that is the calculated difference.
  • the parallax of the subject may be calculated.
  • an average value of the third motion vector distribution may be calculated as the parallax of the subject.
  • the image encoding device is an image encoding device that alternately encodes images in which a subject is captured by each of the first camera and the second camera, and is captured by the first camera.
  • a first local decoded image is generated by encoding and decoding a past image from the first target image, and a past image is encoded and decoded from the second target image taken by the second camera.
  • a local decoded image generation unit for generating a second local decoded image, a first region including the image of the subject is detected from the first target image, and the subject is detected from the second target image.
  • An area detection unit that detects a second area including an image, and a movement of the first target image by referring to the first local decoded image, and the first local decoded image or the second local decoded image Refer to the decoded image
  • the motion First motion information indicating the motion of the first region is calculated based on the motion of the first target image detected by the detection unit, and based on the motion of the second target image detected by the motion detection unit.
  • a parallax calculating unit that calculates parallax of the subject by calculating second motion information indicating the motion of the second region and comparing the first motion information and the second motion information; and the motion detecting unit
  • the motion of the second region is determined based on the motion of the second target image detected by the motion detection unit.
  • a motion calculation unit that calculates the motion of the subject based on the second motion information, and the second target image captured by the second camera based on the parallax of the subject or the motion of the subject.
  • a reference image selection unit that selects a reference image when the image is encoded as the second target image.
  • An imaging system includes an image processing circuit including the image encoding device, an optical system that forms an image of light from the subject, photoelectric conversion of light from the optical system, and photoelectric conversion.
  • a sensor that outputs the generated image signal to the image processing circuit as the first target image and the second target image;
  • an appropriate reference image can be selected.
  • FIG. 1 is a block diagram illustrating an example of a configuration of an image encoding device according to the present embodiment.
  • FIG. 2 is a block diagram showing details of a part of the configuration of the image coding apparatus according to the present embodiment.
  • FIG. 3 is a schematic diagram showing an example of the channel reference.
  • FIG. 4 is a schematic diagram illustrating an example of different channel reference.
  • FIG. 5 is a flowchart showing an example of reference image selection in the image coding apparatus according to the present embodiment.
  • FIG. 6A is a schematic diagram for explaining a method of calculating a parallax from a motion vector distribution when there is a motion in the background.
  • FIG. 6B is a schematic diagram illustrating an example of a motion vector for each block included in the face area.
  • FIG. 7 is a schematic diagram for explaining that movement and parallax cannot be distinguished when there is movement in the background.
  • FIG. 8 is a block diagram showing an example of an imaging system using the image coding apparatus according to the present
  • the image encoding method is an image encoding method for encoding a first target image obtained by photographing a subject with a first camera and a second target image obtained by photographing the subject with a second camera. Then, referring to the first local decoded image or the second local decoded image, the motion detection step for detecting the motion of the second target image, and the first local decoded image is referred to in the motion detection step, the subject The first motion information indicating the motion of the first region including the image of the subject, the second motion information indicating the motion of the second region including the image of the subject are calculated, and the first motion information and the second motion information are calculated.
  • the second motion information indicating the motion of the second region when the second local decoded image is referred to in the parallax calculation step for calculating the parallax of the subject and the motion detection step by comparing the information with the information, Based on the second movement information And selecting a reference image for encoding the next image captured by the second camera as the second target image based on the motion calculation step for calculating the motion of the subject and the parallax of the subject or the motion of the subject. And a reference image selection step.
  • FIG. 1 is a block diagram showing an example of the configuration of the image encoding device 100 according to the present embodiment.
  • the master camera and the slave camera are arranged at different positions and shoot the same subject from different viewpoints.
  • the master camera is disposed on the left side of the slave camera toward the subject
  • the slave camera is disposed on the right side of the master camera toward the subject.
  • the first video and the second video are stereoscopic images.
  • the first video is a video for the left eye to be input to the viewer's left eye
  • the second video is the viewer's left eye. This is an image for the right eye to be input to the right eye.
  • Each of the first video and the second video is composed of a plurality of pictures.
  • the image encoding device 100 encodes the first video and the second video alternately for each picture.
  • an image coding apparatus 100 includes an input frame buffer 101, a differentiator 102, an orthogonal transform unit 103, a quantization unit 104, an entropy coding unit 105, Inverse quantization unit 106, inverse orthogonal transform unit 107, adder 108, first frame memory 109, second frame memory 110, intra prediction unit 111, inter prediction unit 112, selector 113, intra An inter determination unit 114, an object area detection unit 115, and a reference image selection unit 116 are provided.
  • the input frame buffer 101 is an example of a memory that stores an input image.
  • the input frame buffer 101 stores a first input image (left eye image) input from the main camera and a second input image (right eye image) input from the slave camera.
  • each of the first input image and the second input image is an image for one frame.
  • the input frame buffer 101 may be a physically divided memory including a first memory area for storing a first input image and a second memory area for storing a second input image, or a time May be physically divided into one memory.
  • the input frame buffer 101 may be two physically different memories.
  • the difference unit 102 calculates a difference between the first input image or the second input image and the predicted image output from the selector 113. For example, the differentiator 102 generates a difference image by subtracting the predicted image from the first input image or the second input image. The difference image is output to the orthogonal transform unit 103.
  • the orthogonal transform unit 103 transforms the difference image in the spatial domain into a transform coefficient in the frequency domain by performing orthogonal transform on the difference image. For example, the orthogonal transform unit 103 generates a transform coefficient by performing discrete cosine transform (DCT) on the difference image as an example of orthogonal transform.
  • DCT discrete cosine transform
  • the transform coefficient is output to the quantization unit 104.
  • the quantization unit 104 generates a quantized coefficient by quantizing the transform coefficient.
  • the quantization coefficient is output to the entropy encoding unit 105 and the inverse quantization unit 106.
  • the entropy encoding unit 105 generates a bit stream by entropy encoding the quantization coefficient.
  • the entropy encoding unit 105 uses the first encoded image generated based on the first input image and the second encoded image generated based on the second input image as one bit stream. Output.
  • the entropy encoding unit 105 may output the first encoded image and the second encoded image as different bit streams.
  • the inverse quantization unit 106 inversely quantizes the quantized coefficient to generate a dequantized transform coefficient.
  • the inversely quantized transform coefficient is output to the inverse orthogonal transform unit 107.
  • the inverse orthogonal transform unit 107 performs inverse orthogonal transform on the inversely quantized transform coefficient, thereby transforming the frequency domain transform coefficient into a spatially decoded differential image. For example, the inverse orthogonal transform unit 107 generates a locally decoded difference image by performing inverse DCT on the inversely quantized transform coefficient. The locally decoded difference image is output to the adder 108.
  • the adder 108 generates a locally decoded image by adding the locally decoded difference image and the predicted image output from the selector 113.
  • the locally decoded image is stored in the first frame memory 109 and the second frame memory 110.
  • the first frame memory 109 is an example of a memory that stores a locally decoded image as a reference image used for intra prediction.
  • the second frame memory 110 is an example of a memory that stores a locally decoded image as a reference image used for inter prediction.
  • Each of the first frame memory 109 and the second frame memory 110 may be two physically different memories, or may be one physical memory that is logically space-divided or time-divided. .
  • the intra prediction unit 111 generates an intra predicted image by performing intra prediction with reference to a locally decoded image stored in the first frame memory 109 as a reference image.
  • the intra-predicted image is output to the selector 113.
  • the inter prediction unit 112 generates an inter prediction image by performing inter prediction with reference to a locally decoded image stored in the second frame memory 110 as a reference image. For example, the inter prediction unit 112 generates an inter prediction image by performing motion detection and motion compensation. The inter predicted image is output to the selector 113. Further, the inter prediction unit 112 outputs the motion information generated by the motion detection to the reference image selection unit 116.
  • the selector 113 selects either an intra prediction image or an inter prediction image based on the determination result by the intra / inter determination unit 114, and outputs the selected image to the difference unit 102 and the adder 108 as a prediction image.
  • the intra / inter determination unit 114 determines an image to be selected from the intra prediction image and the inter prediction image based on the information output from each of the intra prediction unit 111 and the inter prediction unit 112. Then, the intra / inter determination unit 114 causes the selector 113 to select an image determined to be selected as a predicted image.
  • the information output from each of the intra prediction unit 111 and the inter prediction unit 112 is, for example, the code amount (or the prediction value of the code amount) of the intra prediction image and the inter prediction image.
  • the intra prediction unit 111 and the inter prediction unit 112 determine an image with a smaller code amount as an image to be selected as a predicted image.
  • the object area detection unit 115 reads the first input image or the second input image from the input frame buffer 101, and an area including an image of a predetermined subject (hereinafter also referred to as an object area) from the read image, that is, the subject Detect the captured area. For example, the object area detection unit 115 detects a face area including an image of a human face as an image of a predetermined subject. Then, the object area detection unit 115 outputs area information indicating the position, size, and the like of the detected object area to the reference image selection unit 116.
  • the reference image selection unit 116 selects a reference image based on the region information output from the object region detection unit 115 and the motion information output from the inter prediction unit 112.
  • FIG. 2 is a block diagram showing in detail a part of the configuration of the image coding apparatus 100 according to the present embodiment.
  • the second frame memory 110 includes a main camera frame memory 201 and a slave camera frame memory 202.
  • the main camera frame memory 201 is a memory for storing a first local decoded image generated by encoding and decoding a first input image taken by the main camera. Specifically, the subtractor 102, the orthogonal transform unit 103, the quantization unit 104, the inverse quantization unit 106, the inverse orthogonal transform unit 107, and the adder 108 encode and decode the first input image, so that the first A locally decoded image is generated. The main camera frame memory 201 stores the generated first local decoded image.
  • the slave camera frame memory 202 is a memory for storing a second local decoded image generated by encoding and decoding a second input image photographed by the slave camera. Specifically, the subtractor 102, the orthogonal transform unit 103, the quantization unit 104, the inverse quantization unit 106, the inverse orthogonal transform unit 107, and the adder 108 encode and decode the second input image, so that the second A locally decoded image is generated. The slave camera frame memory 202 stores the generated second local decoded image.
  • main camera frame memory 201 and the slave camera frame memory 202 may be two physically different memories, or may be physically one memory that is logically space-divided or time-divided. May be.
  • the inter prediction unit 112 includes a motion search unit 211 and a motion compensation unit 212.
  • the motion search unit 211 is an example of a motion detection unit.
  • the motion search unit 211 refers to the first local decoded image stored in the main camera frame memory 201 as a reference image. The movement of the first input image is detected.
  • the motion search unit 211 performs the first local decoded image stored in the main camera frame memory 201 or the second local image stored in the slave camera frame memory 202. By referring to the locally decoded image as a reference image, the motion of the second input image is detected.
  • the motion compensation unit 212 generates an inter prediction image by performing motion compensation on the first input image or the second input image based on the motion detected by the motion search unit 211.
  • the object region detection unit 115 detects a region including an image of a predetermined subject (for example, a human face) from the first input image or the second input image as described above. Specifically, the object area detection unit 115 detects a first area including an image of a predetermined subject from the first input image when the target image is the first input image. Further, when the target image is the second input image, the object region detection unit 115 detects the second region including the subject image from the second input image.
  • a predetermined subject for example, a human face
  • first area and the second area include one or more blocks.
  • the block includes one or more pixels.
  • the first region and the second region are detected by the object region detection unit 115 so that the first region and the second region include the same subject image. Therefore, the corresponding blocks in the first area and the second area mean a block at a predetermined position in the first area and a block in the second area at the same position as the block. For example, when the first area and the second area are rectangular, the block on the left end of the first area and the block on the left end of the second area are the corresponding blocks.
  • the reference image selection unit 116 includes a parallax calculation unit 221, a motion calculation unit 222, and a selection unit 223.
  • the parallax calculation unit 221 performs the motion of the first input image detected by the motion search unit 211 when the motion search unit 211 selects the first local decoded image as a reference image during the motion search of the second input image. Based on the above, the first motion information indicating the motion of the first region detected by the object region detection unit 115 is calculated. Further, the parallax calculation unit 221 calculates second motion information indicating the motion of the second region detected by the object region detection unit 115 based on the motion of the second input image detected by the motion search unit 211. Then, the parallax calculation unit 221 calculates the parallax of the subject included in the first area and the second area by comparing the first motion information and the second motion information.
  • the first motion information is, for example, a first motion vector indicating a motion vector for each block in the first region.
  • the second motion information is, for example, a second motion vector indicating a motion vector for each block in the second region. Therefore, the parallax calculation unit 221 calculates the parallax of the subject by comparing the first motion vector and the second motion vector for each block corresponding to the first area and the second area.
  • the parallax calculation unit 221 may normalize the first motion vector and the second motion vector, and compare the normalized first motion vector with the normalized second motion vector. Specifically, the parallax calculation unit 221 calculates a first period, which is a time interval between the first local decoded image and the first input image, used when calculating the first motion vector, and a second motion vector. The first motion vector and the second motion vector are normalized based on the ratio between the first local decoded image and the second period that is the time interval between the second input images. The time interval at this time is the time between the frames in the shooting order.
  • the disparity calculating unit 221 calculates the difference between the normalized first motion vector and the normalized second motion vector for each block, and indicates the calculated difference for each block.
  • the parallax of the subject is calculated based on the vector distribution.
  • the difference motion vector distribution is a distribution in which a difference between motion vectors is associated with a frequency thereof.
  • the parallax calculation unit 221 calculates the average value of the motion vector distribution indicating the difference as the parallax of the subject.
  • the motion calculation unit 222 performs the motion of the second input image detected by the motion search unit 211 when the motion search unit 211 selects the second local decoded image as a reference image during the motion search of the second input image. Based on the second motion information, the second motion information indicating the motion of the second region detected by the object region detection unit 115 is calculated. Then, the motion calculation unit 222 calculates the motion of the subject based on the second motion information.
  • the selection unit 223 codes the next image captured by the slave camera as the second input image based on the parallax of the subject calculated by the parallax calculation unit 221 or the motion of the subject calculated by the motion calculation unit 222. Select a reference image for conversion. In other words, the selection unit 223 determines which of the same channel reference and the different channel reference is selected when the next second input image is encoded.
  • the selection unit 223 determines whether or not the parallax of the subject is larger than a predetermined first threshold, and when the parallax is larger than the first threshold, selects the second local decoded image as a reference image, When the parallax is less than or equal to the first threshold, the first local decoded image is selected as a reference image. That is, the selection unit 223 selects the same channel reference when the parallax is larger than the first threshold, and selects the different channel reference when the parallax is equal to or smaller than the first threshold.
  • the selection unit 223 determines whether or not the motion of the subject is larger than a predetermined second threshold value. If the motion is larger than the second threshold value, the first local decoded image is selected as a reference image, and the motion is If the threshold value is 2 or less, the second local decoded image is selected as a reference image. That is, the selection unit 223 selects the different channel reference when the motion is larger than the second threshold value, and selects the same channel reference when the motion is equal to or smaller than the second threshold value.
  • the image coding apparatus 100 calculates the first motion information indicating the motion of the first region based on the motion of the first input image, and the motion of the second input image. Based on this, second motion information indicating the motion of the second region is calculated, and the first motion information and the second motion information are compared to calculate the parallax of the subject included in the first region and the second region. As a result, the parallax of the subject and the motion of the subject can be distinguished, so that an appropriate reference image can be selected.
  • the image coding apparatus 100 selects a different channel reference when the motion is large or the parallax is small, and selects the same channel reference when the motion is small or the parallax is large. Can be selected, and the prediction error can be reduced. Therefore, encoding efficiency can be improved.
  • a reference relationship between pictures in motion search executed when a stereoscopic stereo image is encoded will be described. Specifically, it is included in a left eye image (hereinafter also referred to as a left channel image or an Lch image) included in a left eye image captured by a main camera and a right eye image captured by a slave camera.
  • a reference relationship between the image for the right eye hereinafter also referred to as a right channel image or an Rch image
  • the Lch image included in the video for the left eye photographed by the main camera is encoded with reference to only the image of the same channel, that is, the Lch image.
  • the Rch image included in the right-eye video imaged by the slave camera is encoded with reference to the same channel image, that is, the Rch image, or the image of the different channel, that is, the Lch image.
  • the image encoding apparatus 100 according to the present embodiment can encode an image captured by the slave camera with reference to the image captured by the main camera.
  • the same channel reference refers to the Rch image when encoding the Rch image
  • the different channel reference refers to the Lch image when encoding the Rch image.
  • FIG. 3 is a schematic diagram showing an example of the channel reference. As shown in FIG. 3, the Rch image photographed by the slave camera is encoded with reference to the past Rch image photographed by the slave camera.
  • the channel reference is used, for example, when the distance between the main camera and the slave camera and the subject is close and the shift amount of the same subject, that is, the parallax (offset) is large between the Lch image and the Rch image.
  • the image coding apparatus 100 can reduce the prediction error in motion prediction by selecting the same channel reference when the difference between the Lch image and the Rch image is large.
  • FIG. 4 is a schematic diagram showing an example of different channel reference. As shown in FIG. 4, the Rch image shot by the slave camera is encoded with reference to the Lch image shot by the main camera.
  • the different channel reference is used when, for example, the subject or the primary camera and the secondary camera are moving because an image that is closer in time than the same channel reference is selected as the reference image.
  • the image coding apparatus 100 can reduce a prediction error in motion prediction by selecting a different channel reference when the motion of an image is large.
  • the image coding apparatus 100 selects the different channel reference when the image motion is larger than the predetermined threshold, and performs the same channel reference when the image motion is smaller than the threshold. select. Thereby, since the prediction error in motion prediction can be made small, the precision of prediction can be improved and encoding efficiency can be improved.
  • FIG. 5 is a flowchart showing an example of reference image selection processing in the image coding apparatus 100 according to the first embodiment.
  • the image encoding device 100 generates a first local decoded image by encoding and locally decoding a first input image input from the main camera, and the generated first local decoded image is used as a main camera frame.
  • the data is stored in the memory 201 (S101).
  • the first input image here is an image taken by the main camera, and is an image past the first input image (first target image) to be encoded next.
  • the image encoding device 100 generates a second local decoded image by encoding and locally decoding the second input image input from the slave camera, and the generated second local decoded image is used for the slave camera. It is stored in the frame memory 202 (S102). Note that the second input image here is an image taken by the slave camera, and is a past image from the second input image (second target image) to be encoded next.
  • motion search is performed by selecting either the same channel reference or the different channel reference according to the method described below.
  • the object area detection unit 115 detects a first face area including a human face by performing face area detection processing on the first input image input from the main camera (S103). Then, the object area detection unit 115 outputs face area information indicating the detected first face area.
  • face area detection processing for example, there is a method using template matching.
  • the motion search unit 211 detects the motion of the first input image by performing a motion search process on the first input image input from the main camera using the first local decoded image as a reference image (S104). ).
  • Examples of the motion search processing method include a method using block matching.
  • the motion search unit 211 generates motion vector information indicating a motion vector for each block by performing a motion search process for each block constituting the first input image.
  • the object area detection unit 115 performs a face area detection process on the second input image input from the slave camera, whereby a second face area that includes the same face as the face included in the first face area. Is detected (S105). Then, the object area detection unit 115 outputs face area information indicating the detected second face area.
  • the motion search unit 211 performs a motion search process on the second input image input from the slave camera using either the first local decoded image or the second local decoded image as a reference image, and the second input image Is detected (S106). That is, the motion search unit 211 selects either the same channel reference or the different channel reference, and performs a motion search process based on the selected reference method. For example, the motion search unit 211 generates motion vector information indicating a motion vector for each block by performing a motion search process for each block constituting the second input image. Note that the reference image selection unit 116 determines which of the first local decoded image and the second local decoded image the motion search unit 211 selects.
  • the reference image selection unit 116 makes a determination based on the reference method selected by the motion search unit 211 (S107).
  • the motion calculation unit 222 calculates the motion of the second input image (S108). Specifically, the motion calculation unit 222 includes the motion vector information obtained by the motion search process (S106) of the second input image and the face area information obtained by the face area detection process (S105) of the second input image. Based on the above, the motion information of the face area is calculated.
  • the motion calculation unit 222 generates a motion vector distribution of the face area based on the motion vector information and the face area information, and calculates the motion of the subject and the camera.
  • a motion calculation method based on the motion vector distribution for example, there is a method of taking an average value of the motion vector distribution and outputting the magnitude of the average value as motion information.
  • the motion vector distribution is a graph showing the frequency (number of appearances) of the motion vector for each block indicated by the motion vector information output from the motion detection unit 211 for each magnitude and direction of the motion vector (see FIG. 6A). ).
  • the selection unit 223 determines whether there is a motion based on the motion information indicating the motion calculated by the motion calculation unit 222 (S110).
  • the selection unit 223 selects a different channel reference as a reference method in the motion search of the second input image that is the next target image (S112).
  • the selection unit 223 selects the same channel reference as a reference method in the motion search of the second input image that is the next target image (S113).
  • the average value of the output motion vector distribution is predetermined. There is a method of determining “with motion” when the threshold value is larger than the threshold value, and “no motion” when the threshold value is less than the predetermined threshold value.
  • the parallax calculation unit 221 calculates the parallax of the second input image (S109). Specifically, first, the parallax calculation unit 221 is based on the face area information detected from the first input image by the object area detection unit 115 and the motion vector information of the first input image output by the motion search unit 211. The first motion vector distribution of the face area in the first input image on the main camera side is calculated. Next, the parallax calculation unit 221 uses the face region information detected from the second input image by the object region detection unit 115 and the motion vector information of the second input image output by the motion search unit 211 to determine the side of the slave camera. The second motion vector distribution of the face area in the second input image is calculated.
  • the parallax calculation unit 221 calculates the parallax of the subject by comparing the first motion vector distribution and the second motion vector distribution.
  • the first motion vector distribution indicates, for example, a motion vector for each block constituting the face area of the first input image and its frequency.
  • the second motion vector distribution indicates, for example, a motion vector for each block constituting the face area of the second input image and its frequency.
  • the parallax calculation unit 221 calculates a difference between the first motion vector and the second motion vector for each corresponding block, and generates a motion vector distribution indicating the calculated difference for each block, thereby generating a motion vector distribution of the subject. Parallax is calculated. Then, for example, the parallax calculation unit 221 calculates the magnitude of the average value of the generated difference motion vector distribution as the parallax.
  • the selection unit 223 determines whether there is a parallax based on the parallax information indicating the parallax calculated by the parallax calculation unit 221 (S111).
  • the selection unit 223 selects the channel reference method as a reference method in the motion search of the second input image that is the next target image (S113).
  • the selection unit 223 selects a different channel reference method as a reference method in the motion search of the second input image that is the next target image (S112). .
  • the image coding apparatus 100 can distinguish between the parallax of the subject and the motion of the subject, so that an appropriate reference image can be selected.
  • FIG. 6A is a schematic diagram for explaining a method of calculating a parallax from a motion vector distribution when there is a motion in the background.
  • the left camera facing the subject is the primary camera
  • the right camera is the slave camera.
  • Lch represents an image input from the main camera
  • Rch represents an image input from the slave camera
  • Rch (N) is the Nth image (frame) 304 input from the slave camera
  • Lch (N ⁇ 1) is images 302 and 303 input from the main camera one frame before the image 304
  • Lch (N-3) is an image 301 input from the main camera three frames before the image 304.
  • the parallax calculation unit 221 uses the face region 305 detected as the first face region from the image 302 by the object region detection unit 115 in step S103 and the motion vector information detected by the motion search unit 211 in step S104. A motion vector distribution 307 is calculated. Similarly, the parallax calculation unit 221 uses the face area 306 detected as the second face area from the image 304 by the object area detection unit 115 in step S105 and the motion vector information detected by the motion search unit 211 in step S106. The second motion vector distribution 308 is calculated.
  • FIG. 6B is a schematic diagram showing motion vectors for each block included in the face area 305 and the face area 306.
  • the face regions 305 and 306 each include 16 blocks.
  • the motion vector in the left direction is detected in many blocks (12 blocks) included in the face area 305. Since the image 301 and the image 302 are images of the same channel, the detected leftward motion vector corresponds to the motion of the subject.
  • a first motion vector distribution 307 as shown in FIG. 6A is generated. That is, the left peak of the first motion vector distribution 307 corresponds to the motion vector of the subject's face.
  • the face of the subject included in the face area 306 of the image 304 that is the target image is on the left side of the face of the subject of the image 303 that is the reference image. Exists. Therefore, as shown in FIG. 6B, the motion vector in the left direction is detected in many blocks (10 blocks) included in the face region 306.
  • the second motion vector distribution 308 as shown in FIG. 6A is generated. That is, the peak on the right side of the second motion vector distribution 308 corresponds to the amount of motion of the subject's face, and the peak on the left side of the second motion vector distribution 308 corresponds to the motion vector of the background of the subject.
  • the detected motion vector includes an influence due to the motion of the subject and an influence due to parallax.
  • the parallax calculation unit 221 generates the differential motion vector distribution 309 by subtracting the first motion vector distribution 307 and the second motion vector distribution 308 generated as described above. That is, the parallax calculation unit 221 subtracts the motion vector for each block corresponding to the face area 305 and the face area 306. Thereby, as shown in FIG. 6B, a differential motion vector of the face region 310 is generated. This distribution of the difference motion vectors corresponds to the difference motion vector distribution 309 shown in FIG. 6A.
  • the motion search unit 211 performs motion search of the image 302 with reference to the image 301 two frames before the image 302 when generating motion information of the image 302.
  • the motion search unit 211 refers to the image 303 one frame before the image 304 and performs a motion search of the image 304. Therefore, the first motion vector distribution 307 and the second motion vector distribution 308 have different time intervals between the target image and the reference image.
  • the parallax calculation unit 221 determines the first motion vector distribution based on the ratio between the first period that is the time interval between the image 302 and the image 301 and the second period that is the time interval between the image 304 and the image 303. 307 and the second motion vector distribution 308 are normalized. Then, the parallax calculation unit 221 calculates a difference between the normalized first motion vector distribution 307 and the normalized second motion vector distribution.
  • each motion vector of the first motion vector distribution 307 is multiplied by 1 ⁇ 2 before the difference is calculated to obtain a motion vector for one frame.
  • a difference motion vector distribution 309 is generated by calculating a difference between the first motion vector distribution 307 and the second motion vector distribution 308 multiplied by 1 ⁇ 2.
  • the parallax calculation unit 221 calculates the average value of the generated difference motion vector distribution 309 as the parallax.
  • FIG. 7 is a schematic diagram for explaining that movement and parallax cannot be distinguished when there is movement in the background.
  • the image coding apparatus 100 since the movement of the subject and the parallax can be distinguished, appropriate reference is made based on the presence or absence and the presence or absence of the parallax. An image can be selected.
  • the present invention is not limited to these embodiments. Unless it deviates from the meaning of this invention, the form which carried out the various deformation
  • the parallax calculation unit 221 performs the parallax calculation using only the motion vector information of the face area, but the present invention is not limited to this, and the motion vector information of the face area is the parallax. It is considered that the reliability is high in the calculation. For this reason, the motion vector information of the face area may be weighted, and the parallax calculation may be performed using the motion vector information of the entire frame.
  • the left camera facing the subject has been described as the primary camera and the right camera as the secondary camera, but the present invention is not limited to this, and the right camera is the primary camera.
  • the left camera may be a slave camera.
  • the present invention can also be realized as an imaging system using the above-described image encoding method.
  • An example of an imaging system (video system) such as a digital still camera or a video conference system camera will be described below.
  • FIG. 8 is a block diagram showing an example of an imaging system using the image coding apparatus according to the present embodiment.
  • a main camera 512 includes a main camera 512, a slave camera 513, an image processing circuit 507, a recording / transfer unit 508, a playback unit 509, a timing control circuit 510, and a system control circuit 511.
  • the main camera 512 includes an optical system 501, a sensor 502, and an A / D conversion circuit 503.
  • light incident through the optical system 501 such as a lens is imaged on the sensor 502.
  • incident light is photoelectrically converted, and an electric signal obtained by the photoelectric conversion is converted into a digital value by an A / D conversion circuit 503.
  • the image signal converted into the digital value is input to, for example, an image processing circuit 507 including the image encoding device 100 illustrated in FIG.
  • the slave camera 513 includes an optical system 504, a sensor 505, and an A / D conversion circuit 506.
  • the slave camera 513 similarly to the main camera 512, light incident through the optical system 504 such as a lens is imaged on the sensor 505.
  • incident light is photoelectrically converted, and an electric signal obtained by the photoelectric conversion is converted into a digital value by the A / D conversion circuit 506.
  • the image signal converted into the digital value is input to the image processing circuit 507.
  • Y / C processing In the image processing circuit 507, Y / C processing, edge processing, image enlargement / reduction, image compression / decompression processing such as JPEG and MPEG by the image encoding device 100, control of the image compressed stream, and the like are performed. .
  • the recording / transfer unit 508 records the image-processed signal on a medium or transmits it via the Internet or the like.
  • the playback unit 509 plays back the recorded or transferred signal.
  • the timing control circuit 510 controls processing by the sensors 502 and 505 and the image processing circuit 507.
  • the system control circuit 511 controls the optical systems 501 and 504, the recording / transfer unit 508, the reproduction unit 509, and the timing control circuit 510.
  • the present invention can also be realized as an imaging system having the above-described configuration.
  • the image encoding apparatus 100 is typically realized as an LSI (Large Scale Integration) that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • LSI Large Scale Integration
  • LSI is used, but it may be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the present invention can be realized not only as an image encoding device and an image encoding method, but also as a program for causing a computer to execute the image encoding method of the present embodiment. Further, it may be realized as a computer-readable recording medium such as a CD-ROM for recording the program. Furthermore, it may be realized as information, data, or a signal indicating the program. These programs, information, data, and signals may be distributed via a communication network such as the Internet.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • an FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • the image coding method and the image coding apparatus according to the present invention have an effect that an appropriate reference image can be selected, and can be used for a camera system that captures a stereo image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　第１カメラで撮影された第１対象画像及び第２カメラで撮影された第２対象画像を符号化する画像符号化方法であって、第１局所復号画像又は第２局所復号画像を参照することで、第２対象画像の動きを検出する動き検出ステップ（Ｓ１０６）と、第１局所復号画像を参照した場合に、被写体の像を含む第１対象画像の第１領域の動きを示す第１動き情報を算出し、かつ、上記被写体の像を含む第２対象画像の第２領域の動きを示す第２動き情報を算出し、比較することで、被写体の視差を算出する視差算出ステップ（Ｓ１０９）と、第２局所復号画像を参照した場合に、第２領域の動きを示す第２動き情報を算出し、被写体の動きを算出する動き算出ステップ（Ｓ１０８）と、被写体の視差又は動きに基づいて第２カメラによって撮影された次の画像を符号化する際の参照画像を選択する選択ステップ（Ｓ１１２、Ｓ１１３）とを含む。

Description

画像符号化方法及び画像符号化装置
　本発明は、画像符号化方法及び画像符号化装置に関し、特に、主カメラ及び従カメラのそれぞれによって撮影された画像を符号化する画像符号化方法及び画像符号化装置に関する。
　近年、立体視を用いた映像表現が注目を浴びている。なかでも、立体視を用いた映画が多数上映されるようになってきており、今後本格的な普及が見込まれている。立体視は、２台のカメラ（主カメラと従カメラ）で撮影された映像（ステレオ画像）をそれぞれ左右の目で見ることにより実現される。このとき、ステレオ画像は、通常の映像に比べ２倍のデータ量になるため、効率良くステレオ画像を符号化する符号化技術が必要になる。
　動画像データを符号化する標準技術として、ＩＳＯ／ＩＥＣ　ＪＴＣ１のＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）が策定した、ＭＰＥＧ－４　Ｐａｒｔ１０：Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ（以下では、ＭＰＥＧ－４　ＡＶＣと記載する）がある。このＭＰＥＧ－４　ＡＶＣをベースに、複数のカメラから撮影された動画像を効率的に符号化するために拡張した、ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）の規格化が進められている。
　このＭＶＣでは、ステレオ画像の符号化効率を高めるために、フレーム間予測の参照画像として、符号化対象画像と同じカメラで撮影された時間的に前の画像を符号化及び復号した画像だけでなく（同チャンネル参照）、異なるカメラで撮影された画像を符号化及び復号した画像を参照することも可能である（異チャンネル参照）。
　特許文献１には、複数のカメラから撮影された画像を符号化する際に、動き探索で得られた動きベクトルを元に、パニングなどのカメラの動きを検出し、検出された動きの方向に位置するカメラの画像を参照するように選択する方法が記載されている。
　このように、従来は、撮影された画像の動きに基づいて、どのカメラによって撮影された画像、すなわち、どのチャンネルの画像を参照画像として選択するかを判定する。例えば、動きが大きい場合には異チャンネル参照を行い、動きが小さい場合には同チャンネル参照を行うことで、より正確な予測画像を生成し、符号化効率を高めている。
国際公開第２００６／０７２９９２号
　しかしながら、上記従来技術では、適切な参照画像を選択することができないという課題がある。
　撮影する時刻が主カメラ及び従カメラで異なる場合には、異チャンネル参照をした場合の動き探索で得られる動きベクトルには、視差の影響と、被写体又はカメラの動きによる影響とが含まれているため、動きと視差とを区別することができない。したがって、動きに基づいた参照画像の選択を行うことができないので、適切な参照画像を選択することができない。
　そこで、本発明は、上記従来の問題を解決するもので、適切な参照画像を選択することができる画像符号化方法及び画像符号化装置を提供することを目的とする。
　上記従来の課題を解決するために、本発明に係る画像符号化方法は、第１カメラ及び第２カメラのそれぞれによって被写体が撮影された画像を交互に符号化する画像符号化方法であって、前記第１カメラによって撮影された第１対象画像より過去の画像を符号化及び復号することで、第１局所復号画像を生成する第１局所復号画像生成ステップと、前記第２カメラによって撮影された第２対象画像より過去の画像を符号化及び復号することで、第２局所復号画像を生成する第２局所復号画像生成ステップと、前記第１対象画像から、前記被写体の像を含む第１領域を検出する第１領域検出ステップと、前記第１局所復号画像を参照することで、前記第１対象画像の動きを検出する第１動き検出ステップと、前記第２対象画像から、前記被写体の像を含む第２領域を検出する第２領域検出ステップと、前記第１局所復号画像又は前記第２局所復号画像を参照することで、前記第２対象画像の動きを検出する第２動き検出ステップと、前記第２動き検出ステップにおいて前記第１局所復号画像を参照した場合に、前記第１動き検出ステップにおいて検出された第１対象画像の動きに基づいて前記第１領域の動きを示す第１動き情報を算出し、かつ、前記第２動き検出ステップにおいて検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、前記第１動き情報と前記第２動き情報とを比較することで、前記被写体の視差を算出する視差算出ステップと、前記第２動き検出ステップにおいて前記第２局所復号画像を参照した場合に、前記第２動き検出ステップにおいて検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、当該第２動き情報に基づいて前記被写体の動きを算出する動き算出ステップと、前記被写体の視差、又は、前記被写体の動きに基づいて、前記第２カメラによって撮影された前記第２対象画像の次の画像を前記第２対象画像として符号化する際の参照画像を選択する参照画像選択ステップとを含む。
　これにより、異チャンネル参照を選択した場合には、第１動き情報と第２動き情報とを比較することで、動きと視差とを区別することが可能となるので、適切な参照画像を選択することができる。
　また、前記第１領域検出ステップでは、前記第１対象画像から、前記被写体の像として人の顔の像を含む第１領域を検出し、前記第２領域検出ステップでは、前記第２対象画像から、前記被写体の像として前記人の顔の像を含む第２領域を検出してもよい。
　また、前記参照画像選択ステップでは、前記被写体の視差が所定の閾値より大きいか否かを判定し、前記視差が前記閾値より大きい場合に、前記第２局所復号画像を前記参照画像として選択し、前記視差が前記閾値以下の場合に、前記第１局所復号画像を前記参照画像として選択してもよい。
　これにより、視差が小さい場合には異チャンネル間の画像は互いに類似した画像であるため、予測誤差を小さくすることができ、符号化効率を高めることができる。
　また、前記参照画像選択ステップでは、前記被写体の動きが所定の閾値より大きいか否かを判定し、前記動きが前記閾値より大きい場合に、前記第１局所復号画像を前記参照画像として選択し、前記動きが前記閾値以下の場合に、前記第２局所復号画像を前記参照画像として選択してもよい。
　これにより、動きが小さい場合には同チャンネル間の画像は互いに類似した画像であるため、予測誤差を小さくすることができ、符号化効率を高めることができる。
　また、前記視差算出ステップでは、前記第１領域のブロック毎の第１動きベクトルを前記第１動き情報として算出し、かつ、前記第２領域のブロック毎の第２動きベクトルを前記第２動き情報として算出し、前記第１領域と前記第２領域とにおいて対応するブロック毎に前記第１動きベクトルと前記第２動きベクトルとを比較することで、前記被写体の視差を算出してもよい。
　これにより、ブロック毎の動きベクトルを比較するので、動きと視差とをより精度良く区別することができる。
　また、前記視差算出ステップでは、前記第１対象画像及び前記第１局所復号画像の時間間隔である第１期間と、前記第２対象画像及び前記第１局所復号画像の時間間隔である第２期間との比率に基づいて、前記第１動きベクトル及び前記第２動きベクトルを正規化し、正規化された第１動きベクトルと正規化された第２動きベクトルとを比較することで、前記被写体の視差を算出してもよい。
　これにより、画像間の時間間隔が大きい程、動きが大きくなるので、動きベクトルを正規化することにより、同じスケールで第１動きベクトルと第２動きベクトルとを比較することができる。
　また、前記視差算出ステップでは、前記第１領域と前記第２領域とにおいて対応するブロック毎に前記正規化された第１動きベクトルと前記正規化された第２動きベクトルとの差分を算出し、算出された差分をブロック毎に示す動きベクトル分布に基づいて前記被写体の視差を算出してもよい。
　また、前記視差算出ステップでは、前記動きベクトル分布の平均値を前記被写体の視差として算出してもよい。
　また、前記視差算出ステップでは、前記第１領域のブロック毎の第１動きベクトルに重み付けを行うことで生成されるフレーム全体の第１動きベクトル分布を前記第１動き情報として算出し、かつ、前記第２領域のブロック毎の第２動きベクトルに重み付けを行うことで生成されるフレーム全体の第２動きベクトル分布を前記第２動き情報として算出し、前記第１動きベクトル分布と前記第２動きベクトル分布とを比較することで、前記被写体の視差を算出してもよい。
　これにより、第１領域及び第２領域のブロック毎の動きベクトルが重み付けられているので、動きと視差とをより精度良く区別することができる。
　また、前記視差算出ステップでは、前記第１対象画像及び前記第１局所復号画像の時間間隔である第１期間と、前記第２対象画像及び前記第１局所復号画像の時間間隔である第２期間との比率に基づいて、前記第１動きベクトル分布及び前記第２動きベクトル分布を正規化し、正規化された第１動きベクトル分布と正規化された第２動きベクトル分布とを比較することで、前記被写体の視差を算出してもよい。
　これにより、画像間の時間間隔が大きい程、動きが大きくなるので、動きベクトルを正規化することにより、同じスケールで第１動きベクトルと第２動きベクトルとを比較することができる。
　また、前記視差算出ステップでは、前記正規化された第１動きベクトル分布と前記正規化された第２動きベクトル分布との差分を算出し、算出された差分である第３動きベクトル分布に基づいて前記被写体の視差を算出してもよい。
　また、前記視差算出ステップでは、前記第３動きベクトル分布の平均値を前記被写体の視差として算出してもよい。
　また、本発明に係る画像符号化装置は、第１カメラ及び第２カメラのそれぞれによって被写体が撮影された画像を交互に符号化する画像符号化装置であって、前記第１カメラによって撮影された第１対象画像より過去の画像を符号化及び復号することで、第１局所復号画像を生成し、かつ、前記第２カメラによって撮影された第２対象画像より過去の画像を符号化及び復号することで、第２局所復号画像を生成する局所復号画像生成部と、前記第１対象画像から、前記被写体の像を含む第１領域を検出し、かつ、前記第２対象画像から、前記被写体の像を含む第２領域を検出する領域検出部と、前記第１局所復号画像を参照することで、前記第１対象画像の動きを検出し、かつ、前記第１局所復号画像又は前記第２局所復号画像を参照することで、前記第２対象画像の動きを検出する動き検出部と、前記動き検出部において、前記第２対象画像の動きを検出する際に前記第１局所復号画像を参照した場合に、前記動き検出部において検出された第１対象画像の動きに基づいて前記第１領域の動きを示す第１動き情報を算出し、かつ、前記動き検出部において検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、前記第１動き情報と前記第２動き情報とを比較することで、前記被写体の視差を算出する視差算出部と、前記動き検出部において、前記第２対象画像の動きを検出する際に前記第２局所復号画像を参照した場合に、前記動き検出部において検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、当該第２動き情報に基づいて前記被写体の動きを算出する動き算出部と、前記被写体の視差、又は、前記被写体の動きに基づいて、前記第２カメラによって撮影された前記第２対象画像の次の画像を前記第２対象画像として符号化する際の参照画像を選択する参照画像選択部とを備える。
　また、本発明に係る撮像システムは、上記の画像符号化装置を含む画像処理回路と、前記被写体からの光を結像する光学系と、前記光学系からの光を光電変換し、光電変換により生成された画像信号を前記画像処理回路に、前記第１対象画像及び前記第２対象画像として出力するセンサーとを備える。
　本発明に係る画像符号化方法及び画像符号化装置によれば、適切な参照画像を選択することができる。
図１は、本実施の形態に係る画像符号化装置の構成の一例を示すブロック図である。 図２は、本実施の形態に係る画像符号化装置の構成の一部の詳細を示すブロック図である。 図３は、同チャンネル参照の一例を示す模式図である。 図４は、異チャンネル参照の一例を示す模式図である。 図５は、本実施の形態に係る画像符号化装置における参照画像選択の一例を示すフローチャートである。 図６Ａは、背景に動きがある場合に動きベクトル分布から視差を算出する方法を説明するための模式図である。 図６Ｂは、顔領域に含まれるブロック毎の動きベクトルの一例を示す模式図である。 図７は、背景に動きがある場合に動きと視差とを区別することができないことを説明するための模式図である。 図８は、本実施の形態に係る画像符号化装置を利用した撮像システムの一例を示すブロック図である。
　以下、本発明に係る画像符号化方法及び画像符号化装置の実施の形態について、図面を参照しながら詳細に説明する。
　（実施の形態１）
　本実施の形態に係る画像符号化方法は、第１カメラで被写体が撮影された第１対象画像及び第２カメラで上記被写体が撮影された第２対象画像を符号化する画像符号化方法であって、第１局所復号画像又は第２局所復号画像を参照することで、第２対象画像の動きを検出する動き検出ステップと、動き検出ステップにおいて第１局所復号画像を参照した場合に、上記被写体の像を含む第１領域の動きを示す第１動き情報を算出し、かつ、上記被写体の像を含む第２領域の動きを示す第２動き情報を算出し、第１動き情報と第２動き情報とを比較することで、被写体の視差を算出する視差算出ステップと、動き検出ステップにおいて第２局所復号画像を参照した場合に、上記第２領域の動きを示す第２動き情報を算出し、当該第２動き情報に基づいて被写体の動きを算出する動き算出ステップと、被写体の視差、又は、被写体の動きに基づいて、第２カメラによって撮影された次の画像を第２対象画像として符号化する際の参照画像を選択する参照画像選択ステップとを含むことを特徴とする。
　図１は、本実施の形態に係る画像符号化装置１００の構成の一例を示すブロック図である。
　図１に示す画像符号化装置１００は、主カメラから入力される第１映像と、従カメラから入力される第２映像とを符号化する。主カメラ及び従カメラは、互いに異なる位置に配置され、同一の被写体を異なる視点から撮影する。例えば、主カメラは、被写体に向かって従カメラの左側に配置され、従カメラは、被写体に向かって主カメラの右側に配置される。
　第１映像及び第２映像は、立体視用の映像であり、例えば、第１映像は、視聴者の左眼に入力されるべき左眼用の映像であり、第２映像は、視聴者の右眼に入力されるべき右眼用の映像である。第１映像及び第２映像はそれぞれ、複数のピクチャから構成されている。画像符号化装置１００は、第１映像と第２映像とをピクチャ毎に交互に符号化する。
　図１に示すように、本実施の形態に係る画像符号化装置１００は、入力フレームバッファ１０１と、差分器１０２と、直交変換部１０３と、量子化部１０４と、エントロピー符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算器１０８と、第１フレームメモリ１０９と、第２フレームメモリ１１０と、イントラ予測部１１１と、インター予測部１１２と、セレクタ１１３と、イントラ・インター判定部１１４と、オブジェクト領域検出部１１５と、参照画像選択部１１６とを備える。
　入力フレームバッファ１０１は、入力画像を格納するメモリの一例である。入力フレームバッファ１０１は、主カメラから入力される第１入力画像（左眼用画像）と、従カメラから入力される第２入力画像（右眼用画像）とを格納する。
　なお、第１入力画像及び第２入力画像はそれぞれ、１フレーム分の画像である。入力フレームバッファ１０１は、第１入力画像を格納する第１メモリ領域と第２入力画像を格納する第２メモリ領域とを含む論理的に分割された物理的に１つのメモリでもよく、あるいは、時間的に分割された物理的に１つのメモリでもよい。また、入力フレームバッファ１０１は、物理的に異なる２つのメモリでもよい。
　差分器１０２は、第１入力画像又は第２入力画像と、セレクタ１１３から出力される予測画像との差分を算出する。例えば、差分器１０２は、第１入力画像又は第２入力画像から予測画像を減算することで、差分画像を生成する。差分画像は、直交変換部１０３へ出力される。
　直交変換部１０３は、差分画像に直交変換を行うことで、空間領域の差分画像を周波数領域の変換係数に変換する。例えば、直交変換部１０３は、直交変換の一例として、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を差分画像に対して行うことで、変換係数を生成する。変換係数は、量子化部１０４へ出力される。
　量子化部１０４は、変換係数を量子化することで、量子化係数を生成する。量子化係数は、エントロピー符号化部１０５と逆量子化部１０６とへ出力される。
　エントロピー符号化部１０５は、量子化係数をエントロピー符号化することで、ビットストリームを生成する。なお、エントロピー符号化部１０５は、例えば、第１入力画像を元に生成される第１符号化画像と第２入力画像を元に生成される第２符号化画像とを、１つのビットストリームとして出力する。あるいは、エントロピー符号化部１０５は、第１符号化画像と第２符号化画像とを、それぞれ異なるビットストリームとして出力してもよい。
　逆量子化部１０６は、量子化係数を逆量子化することで、逆量子化された変換係数を生成する。逆量子化された変換係数は、逆直交変換部１０７へ出力される。
　逆直交変換部１０７は、逆量子化された変換係数に逆直交変換を行うことで、周波数領域の変換係数を空間領域の局所復号された差分画像に変換する。例えば、逆直交変換部１０７は、逆量子化された変換係数に対して逆ＤＣＴを行うことで、局所復号された差分画像を生成する。局所復号された差分画像は、加算器１０８へ出力される。
　加算器１０８は、局所復号された差分画像と、セレクタ１１３から出力される予測画像とを加算することで、局所復号画像を生成する。局所復号画像は、第１フレームメモリ１０９及び第２フレームメモリ１１０に格納される。
　第１フレームメモリ１０９は、イントラ予測に用いられる参照画像として、局所復号画像を格納するメモリの一例である。
　第２フレームメモリ１１０は、インター予測に用いられる参照画像として、局所復号画像を格納するメモリの一例である。
　第１フレームメモリ１０９及び第２フレームメモリ１１０はそれぞれ、物理的に異なる２つのメモリであってもよく、あるいは、論理的に空間分割又は時分割された物理的に１つのメモリであってもよい。
　イントラ予測部１１１は、第１フレームメモリ１０９に格納される局所復号画像を参照画像として参照してイントラ予測を行うことで、イントラ予測画像を生成する。イントラ予測画像は、セレクタ１１３へ出力される。
　インター予測部１１２は、第２フレームメモリ１１０に格納される局所復号画像を参照画像として参照してインター予測を行うことで、インター予測画像を生成する。例えば、インター予測部１１２は、動き検出及び動き補償を行うことで、インター予測画像を生成する。インター予測画像は、セレクタ１１３へ出力される。また、インター予測部１１２は、動き検出により生成された動き情報を参照画像選択部１１６へ出力する。
　セレクタ１１３は、イントラ・インター判定部１１４による判定結果に基づいて、イントラ予測画像及びインター予測画像のいずれかを選択し、選択した画像を予測画像として差分器１０２及び加算器１０８へ出力する。
　イントラ・インター判定部１１４は、イントラ予測部１１１及びインター予測部１１２のそれぞれから出力される情報に基づいて、イントラ予測画像及びインター予測画像のうち選択すべき画像を判定する。そして、イントラ・インター判定部１１４は、セレクタ１１３に、選択すべきと判定した画像を予測画像として選択させる。
　なお、イントラ予測部１１１及びインター予測部１１２のそれぞれから出力される情報は、例えば、イントラ予測画像及びインター予測画像の符号量（又は、符号量の予測値）である。イントラ予測部１１１及びインター予測部１１２は、例えば、符号量が小さい方の画像を予測画像として選択すべき画像として判定する。
　オブジェクト領域検出部１１５は、入力フレームバッファ１０１から第１入力画像又は第２入力画像を読み出し、読み出した画像から所定の被写体の像を含む領域（以下、オブジェクト領域とも記載する）、すなわち、被写体が写った領域を検出する。例えば、オブジェクト領域検出部１１５は、所定の被写体の像として人の顔の像を含む顔領域を検出する。そして、オブジェクト領域検出部１１５は、検出したオブジェクト領域の位置、サイズなどを示す領域情報を参照画像選択部１１６へ出力する。
　参照画像選択部１１６は、オブジェクト領域検出部１１５から出力される領域情報と、インター予測部１１２から出力される動き情報とに基づいて、参照画像を選択する。
　続いて、本実施の形態に係る画像符号化装置１００の構成のうち、第２フレームメモリ１１０と、インター予測部１１２と、オブジェクト領域検出部１１５と、参照画像選択部１１６との詳細な構成について説明する。
　図２は、本実施の形態に係る画像符号化装置１００の構成の一部を詳細に示すブロック図である。
　第２フレームメモリ１１０は、主カメラ用フレームメモリ２０１と、従カメラ用フレームメモリ２０２とを備える。
　主カメラ用フレームメモリ２０１は、主カメラによって撮影された第１入力画像が符号化及び復号されることで生成された第１局所復号画像を格納するメモリである。具体的には、差分器１０２、直交変換部１０３、量子化部１０４、逆量子化部１０６、逆直交変換部１０７及び加算器１０８が第１入力画像を符号化及び復号することで、第１局所復号画像を生成する。主カメラ用フレームメモリ２０１は、生成された第１局所復号画像を格納する。
　従カメラ用フレームメモリ２０２は、従カメラによって撮影された第２入力画像が符号化及び復号されることで生成された第２局所復号画像を格納するメモリである。具体的には、差分器１０２、直交変換部１０３、量子化部１０４、逆量子化部１０６、逆直交変換部１０７及び加算器１０８が第２入力画像を符号化及び復号することで、第２局所復号画像を生成する。従カメラ用フレームメモリ２０２は、生成された第２局所復号画像を格納する。
　なお、主カメラ用フレームメモリ２０１及び従カメラ用フレームメモリ２０２は、物理的に異なる２つのメモリであってもよく、あるいは、論理的に空間分割又は時分割された物理的に１つのメモリであってもよい。
　また、図２に示すように、インター予測部１１２は、動き探索部２１１と、動き補償部２１２とを備える。
　動き探索部２１１は、動き検出部の一例であり、対象画像が第１入力画像である場合に、主カメラ用フレームメモリ２０１に格納された第１局所復号画像を参照画像として参照することで、第１入力画像の動きを検出する。また、動き探索部２１１は、対象画像が第２入力画像である場合に、主カメラ用フレームメモリ２０１に格納された第１局所復号画像、又は、従カメラ用フレームメモリ２０２に格納された第２局所復号画像を参照画像として参照することで、第２入力画像の動きを検出する。
　動き補償部２１２は、動き探索部２１１によって検出された動きに基づいて、第１入力画像又は第２入力画像に動き補償を行うことで、インター予測画像を生成する。
　オブジェクト領域検出部１１５は、上述したように第１入力画像又は第２入力画像から所定の被写体（例えば、人の顔）の像を含む領域を検出する。具体的には、オブジェクト領域検出部１１５は、対象画像が第１入力画像である場合に、第１入力画像から所定の被写体の像を含む第１領域を検出する。また、オブジェクト領域検出部１１５は、対象画像が第２入力画像である場合には、第２入力画像から上記被写体の像を含む第２領域を検出する。
　なお、第１領域及び第２領域は、１以上のブロックを含んでいる。また、ブロックは、１以上の画素を含んでいる。
　なお、第１領域及び第２領域には同じ被写体の像が含まれるように、オブジェクト領域検出部１１５によって第１領域及び第２領域が検出される。このため、第１領域と第２領域とにおいて対応するブロックとは、第１領域内の所定の位置のブロックと、当該ブロックと同じ位置の第２領域内のブロックとを意味する。例えば、第１領域及び第２領域が矩形の場合、第１領域の左端上のブロックと第２領域の左端上のブロックとが、対応するブロックである。
　また、図２に示すように、参照画像選択部１１６は、視差算出部２２１と、動き算出部２２２と、選択部２２３とを備える。
　視差算出部２２１は、第２入力画像の動き探索の際に、動き探索部２１１が第１局所復号画像を参照画像として選択した場合に、動き探索部２１１によって検出された第１入力画像の動きに基づいて、オブジェクト領域検出部１１５によって検出された第１領域の動きを示す第１動き情報を算出する。さらに、視差算出部２２１は、動き探索部２１１によって検出された第２入力画像の動きに基づいて、オブジェクト領域検出部１１５によって検出された第２領域の動きを示す第２動き情報を算出する。そして、視差算出部２２１は、第１動き情報と第２動き情報とを比較することで、第１領域及び第２領域に含まれる被写体の視差を算出する。
　ここで、第１動き情報は、例えば、第１領域のブロック毎の動きベクトルを示す第１動きベクトルである。また、第２動き情報は、例えば、第２領域のブロック毎の動きベクトルを示す第２動きベクトルである。したがって、視差算出部２２１は、第１領域と第２領域とにおいて対応するブロック毎に、第１動きベクトルと第２動きベクトルとを比較することで被写体の視差を算出する。
　さらに、視差算出部２２１は、第１動きベクトル及び第２動きベクトルを正規化し、正規化された第１動きベクトルと正規化された第２動きベクトルとを比較してもよい。具体的には、視差算出部２２１は、第１動きベクトルを算出する際に用いた第１局所復号画像と第１入力画像との時間間隔である第１期間と、第２動きベクトルを算出する際に用いた第１局所復号画像と第２入力画像との時間間隔である第２期間との比率に基づいて、第１動きベクトル及び第２動きベクトルを正規化する。このときの時間間隔は、撮影順におけるそれぞれのフレーム間の時間である。
　より具体的には、視差算出部２２１は、正規化された第１動きベクトルと正規化された第２動きベクトルとの差分をブロック毎に算出し、算出された差分をブロック毎に示す差分動きベクトル分布に基づいて被写体の視差を算出する。差分動きベクトル分布は、動きベクトルの差分と、その頻度とを対応付けた分布である。例えば、視差算出部２２１は、差分を示す動きベクトル分布の平均値を被写体の視差として算出する。
　動き算出部２２２は、第２入力画像の動き探索の際に、動き探索部２１１が第２局所復号画像を参照画像として選択した場合に、動き探索部２１１によって検出された第２入力画像の動きに基づいて、オブジェクト領域検出部１１５によって検出された第２領域の動きを示す第２動き情報を算出する。そして、動き算出部２２２は、第２動き情報に基づいて被写体の動きを算出する。
　選択部２２３は、視差算出部２２１によって算出された被写体の視差、又は、動き算出部２２２によって算出された被写体の動きに基づいて、従カメラによって撮影された次の画像を第２入力画像として符号化する際の参照画像を選択する。言い換えると、選択部２２３は、次の第２入力画像を符号化する際に、同チャンネル参照及び異チャンネル参照のいずれを選択するかを決定する。
　具体的には、選択部２２３は、被写体の視差が所定の第１閾値より大きいか否かを判定し、視差が第１閾値より大きい場合には第２局所復号画像を参照画像として選択し、視差が第１閾値以下の場合には第１局所復号画像を参照画像として選択する。つまり、選択部２２３は、視差が第１閾値より大きい場合に同チャンネル参照を選択し、視差が第１閾値以下の場合に異チャンネル参照を選択する。
　また、選択部２２３は、被写体の動きが所定の第２閾値より大きいか否かを判定し、動きが第２閾値より大きい場合には第１局所復号画像を参照画像として選択し、動きが第２閾値以下の場合には第２局所復号画像を参照画像として選択する。つまり、選択部２２３は、動きが第２閾値より大きい場合に異チャンネル参照を選択し、動きが第２閾値以下の場合に同チャンネル参照を選択する。
　以上の構成により、本実施の形態に係る画像符号化装置１００は、第１入力画像の動きに基づいて第１領域の動きを示す第１動き情報を算出するとともに、第２入力画像の動きに基づいて第２領域の動きを示す第２動き情報を算出し、第１動き情報と第２動き情報とを比較することで、第１領域及び第２領域に含まれる被写体の視差を算出する。これにより、被写体の視差と被写体の動きとを区別することができるので、適切な参照画像を選択することができる。
　また、画像符号化装置１００は、動きが大きい場合又は視差が小さい場合には異チャンネル参照を選択し、動きが小さい場合又は視差が大きい場合には同チャンネル参照を選択するので、適切な参照画像を選択することができ、予測誤差を小さくすることができる。したがって、符号化効率を向上させることができる。
　以下では、同チャンネル参照と異チャンネル参照とについて説明する。つまり、立体視用のステレオ画像を符号化する際に実行される動き探索におけるピクチャ間の参照関係について説明する。具体的には、主カメラによって撮影された左眼用映像に含まれる左眼用画像（以下、左チャンネル画像又はＬｃｈ画像とも記載する）と、従カメラによって撮影された右眼用映像に含まれる右眼用画像（以下、右チャンネル画像又はＲｃｈ画像とも記載する）との間の参照関係について説明する。
　主カメラによって撮影された左眼用映像に含まれるＬｃｈ画像は、同一チャンネルの画像、すなわち、Ｌｃｈ画像のみを参照して符号化される。これに対して、従カメラによって撮影された右眼用映像に含まれるＲｃｈ画像は、同一チャンネルの画像、すなわち、Ｒｃｈ画像、又は、異なるチャンネルの画像、すなわち、Ｌｃｈ画像を参照して符号化される。このように、本実施の形態に係る画像符号化装置１００は、従カメラによって撮影された画像を符号化する際には、主カメラによって撮影された画像を参照して符号化することができる。
　以下では、従カメラによって撮影された画像を符号化する際に従カメラによって撮影された過去の画像を参照することを同チャンネル参照と記載し、従カメラによって撮影された画像を符号化する際に主カメラによって撮影された画像を参照することを異チャンネル参照と記載する。つまり、同チャンネル参照は、Ｒｃｈ画像を符号化する際にＲｃｈ画像を参照することであり、異チャンネル参照は、Ｒｃｈ画像を符号化する際にＬｃｈ画像を参照することである。
　図３は、同チャンネル参照の一例を示す模式図である。図３に示すように、従カメラによって撮影されたＲｃｈ画像は、従カメラによって撮影された過去のＲｃｈ画像を参照して符号化される。
　同チャンネル参照は、例えば、主カメラ及び従カメラと被写体との間の距離が近く、Ｌｃｈ画像とＲｃｈ画像とにおいて、同一被写体の位置のずれ量、すなわち、視差（オフセット）が大きい場合に利用される。画像符号化装置１００は、Ｌｃｈ画像とＲｃｈ画像との差異が大きい場合に同チャンネル参照を選択することで、動き予測での予測誤差を小さくすることができる。
　図４は、異チャンネル参照の一例を示す模式図である。図４に示すように、従カメラによって撮影されたＲｃｈ画像は、主カメラによって撮影されたＬｃｈ画像を参照して符号化される。
　異チャンネル参照は、同チャンネル参照に比べて時間的に近い画像が参照画像として選択されるので、例えば、被写体又は主カメラ及び従カメラが動いている場合に利用される。画像符号化装置１００は、画像の動きが大きい場合に異チャンネル参照を選択することで、動き予測での予測誤差を小さくすることができる。
　以上のように、本実施の形態に係る画像符号化装置１００は、画像の動きが所定の閾値より大きい場合に異チャンネル参照を選択し、画像の動きが上記閾値より小さい場合に同チャンネル参照を選択する。これにより、動き予測における予測誤差を小さくすることができるので、予測の精度を向上させることができ、符号化効率を高めることができる。
　次に、本実施の形態に係る画像符号化装置１００の動作のうち、参照画像の選択について説明する。
　図５は、本実施の形態１に係る画像符号化装置１００における参照画像の選択処理の一例を示すフローチャートである。
　まず、画像符号化装置１００は、主カメラから入力された第１入力画像を符号化及び局所復号することで、第１局所復号画像を生成し、生成した第１局所復号画像を主カメラ用フレームメモリ２０１に格納する（Ｓ１０１）。なお、ここでの第１入力画像は、主カメラによって撮影された画像であり、次に符号化の対象となる第１入力画像（第１対象画像）より過去の画像である。
　次に、画像符号化装置１００は、従カメラから入力された第２入力画像を符号化及び局所復号することで、第２局所復号画像を生成し、生成した第２局所復号画像を従カメラ用フレームメモリ２０２に格納する（Ｓ１０２）。なお、ここでの第２入力画像は、従カメラによって撮影された画像であり、次に符号化の対象となる第２入力画像（第２対象画像）より過去の画像である。
　なお、第２局所復号画像を生成する際には、以下で説明する方法に従って同チャンネル参照及び異チャンネル参照のいずれかを選択して、動き探索が行われる。
　次に、オブジェクト領域検出部１１５は、主カメラから入力された第１入力画像に対して顔領域検出処理を行うことで、人の顔を含む第１顔領域を検出する（Ｓ１０３）。そして、オブジェクト領域検出部１１５は、検出された第１顔領域を示す顔領域情報を出力する。顔領域検出処理の方法としては、例えば、テンプレートマッチングを用いた方法などがある。
　次に、動き探索部２１１は、主カメラから入力された第１入力画像に対して第１局所復号画像を参照画像として動き探索処理を行うことで、第１入力画像の動きを検出する（Ｓ１０４）。動き探索処理の方法としては、例えば、ブロックマッチングを用いた方法などがある。例えば、動き探索部２１１は、第１入力画像を構成するブロック毎に動き探索処理を行うことで、ブロック毎の動きベクトルを示す動きベクトル情報を生成する。
　次に、オブジェクト領域検出部１１５は、従カメラから入力された第２入力画像に対して顔領域検出処理を行うことで、第１顔領域に含まれる顔と同一の顔を含む第２顔領域を検出する（Ｓ１０５）。そして、オブジェクト領域検出部１１５は、検出された第２顔領域を示す顔領域情報を出力する。
　次に、動き探索部２１１は、従カメラから入力された第２入力画像に対して第１局所復号画像及び第２局所復号画像のいずれかを参照画像として動き探索処理を行い、第２入力画像の動きを検出する（Ｓ１０６）。つまり、動き探索部２１１は、同チャンネル参照及び異チャンネル参照のいずれかを選択し、選択した参照方法に基づいて動き探索処理を行う。例えば、動き探索部２１１は、第２入力画像を構成するブロック毎に動き探索処理を行うことで、ブロック毎の動きベクトルを示す動きベクトル情報を生成する。なお、動き探索部２１１が第１局所復号画像及び第２局所復号画像のいずれを選択するかは、参照画像選択部１１６によって決定される。
　次に、参照画像選択部１１６は、動き探索部２１１によって選択された参照方法に基づいて判定を行う（Ｓ１０７）。
　参照方法が同チャンネル参照である場合（Ｓ１０７でＹｅｓ）、動き算出部２２２は、第２入力画像の動きを算出する（Ｓ１０８）。具体的には、動き算出部２２２は、第２入力画像の動き探索処理（Ｓ１０６）によって得られた動きベクトル情報と、第２入力画像の顔領域検出処理（Ｓ１０５）によって得られた顔領域情報とに基づいて、顔領域の動き情報を算出する。
　例えば、動き算出部２２２は、動きベクトル情報と顔領域情報とに基づいて顔領域の動きベクトル分布を生成し、被写体及びカメラの動きを算出する。動きベクトル分布に基づいた動きの算出方法としては、例えば、動きベクトル分布の平均値を取り、平均値の大きさを動き情報として出力する方法がある。なお、動きベクトル分布は、動き検出部２１１から出力される動きベクトル情報が示すブロック毎の動きベクトルの頻度（出現回数）を、動きベクトルの大きさ及び向き毎に示すグラフである（図６Ａ参照）。
　次に、選択部２２３は、動き算出部２２２によって算出された動きを示す動き情報に基づいて動きがあるかどうかを判定する（Ｓ１１０）。
　動きがあると判定された場合は（Ｓ１１０でＹｅｓ）、選択部２２３は、次の対象画像である第２入力画像の動き探索の際の参照方法として、異チャンネル参照を選択する（Ｓ１１２）。動きがないと判定された場合は（Ｓ１１０でＮｏ）、選択部２２３は、次の対象画像である第２入力画像の動き探索の際の参照方法として、同チャンネル参照を選択する（Ｓ１１３）。
　なお、動き情報からの判定方法としては、動き算出部２２２から動き情報として動きベクトル分布の平均値の大きさが出力される場合には、出力された動きベクトル分布の平均値の大きさが所定の閾値より大きい場合に「動きあり」、所定の閾値以下の場合に「動きなし」と判定する方法がある。
　参照方法が異チャンネル参照である場合（Ｓ１０７でＮｏ）、視差算出部２２１は、第２入力画像の視差を算出する（Ｓ１０９）。具体的には、まず、視差算出部２２１は、オブジェクト領域検出部１１５によって第１入力画像から検出された顔領域情報と、動き探索部２１１によって出力された第１入力画像の動きベクトル情報とから、主カメラ側の第１入力画像における顔領域の第１動きベクトル分布を算出する。次に、視差算出部２２１は、オブジェクト領域検出部１１５によって第２入力画像から検出された顔領域情報と、動き探索部２１１によって出力された第２入力画像の動きベクトル情報とから、従カメラ側の第２入力画像における顔領域の第２動きベクトル分布を算出する。
　そして、視差算出部２２１は、第１動きベクトル分布と第２動きベクトル分布とを比較することで、被写体の視差を算出する。第１動きベクトル分布は、例えば、第１入力画像の顔領域を構成するブロック毎の動きベクトルとその頻度とを示している。また、第２動きベクトル分布は、例えば、第２入力画像の顔領域を構成するブロック毎の動きベクトルとその頻度とを示している。
　したがって、視差算出部２２１は、対応するブロック毎の第１動きベクトルと第２動きベクトルとの差分を算出することで、算出した差分をブロック毎に示す動きベクトル分布を生成することで、被写体の視差を算出する。そして、例えば、視差算出部２２１は、生成した差分の動きベクトル分布の平均値の大きさを視差として算出する。
　次に、選択部２２３は、視差算出部２２１によって算出された視差を示す視差情報に基づいて視差があるかどうかを判定する（Ｓ１１１）。
　視差があると判定された場合は（Ｓ１１１でＹｅｓ）、選択部２２３は、次の対象画像である第２入力画像の動き探索の際の参照方法として、同チャンネル参照方法を選択する（Ｓ１１３）。視差がないと判定された場合は（Ｓ１１１でＮｏ）、選択部２２３は、次の対象画像である第２入力画像の動き探索の際の参照方法として、異チャンネル参照方法を選択する（Ｓ１１２）。
　以上のようにして、本実施の形態に係る画像符号化装置１００では、被写体の視差と被写体の動きとを区別することができるので、適切な参照画像を選択することができる。
　続いて、視差算出部２２１が行う視差の算出処理（Ｓ１０９）について、例を挙げて説明する。
　図６Ａは、背景に動きがある場合に動きベクトル分布から視差を算出する方法を説明するための模式図である。図６Ａにおいて、２台のカメラのうち被写体に向かって左側のカメラが主カメラ、右側のカメラが従カメラである。
　また、Ｌｃｈは主カメラからの入力される画像を示し、Ｒｃｈは従カメラから入力される画像を示す。また、Ｒｃｈ（Ｎ）は、従カメラから入力されるＮ番目の画像（フレーム）３０４であり、Ｌｃｈ（Ｎ－１）は、画像３０４より１フレーム前の主カメラから入力される画像３０２及び３０３であり、Ｌｃｈ（Ｎ－３）は、画像３０４より３フレーム前の主カメラから入力される画像３０１である。
　視差算出部２２１は、ステップＳ１０３においてオブジェクト領域検出部１１５によって画像３０２から第１顔領域として検出された顔領域３０５と、ステップＳ１０４において動き探索部２１１によって検出された動きベクトル情報とから、第１動きベクトル分布３０７を算出する。同様に、視差算出部２２１は、ステップＳ１０５においてオブジェクト領域検出部１１５によって画像３０４から第２顔領域として検出された顔領域３０６と、ステップＳ１０６において動き探索部２１１によって検出された動きベクトル情報とから、第２動きベクトル分布３０８を算出する。
　図６Ｂは、顔領域３０５と顔領域３０６とに含まれるブロック毎の動きベクトルを示す模式図である。図６Ｂに示す例では、顔領域３０５及び３０６はそれぞれ１６個のブロックを含んでいる。
　図６Ａに示すように、画像３０１と画像３０２とを比較すると、対象画像である画像３０２の顔領域３０５に含まれる被写体の顔は、参照画像である画像３０１の被写体の顔より右側に存在する。したがって、図６Ｂに示すように、顔領域３０５に含まれる多くのブロック（１２個のブロック）では、左方向の動きベクトルが検出される。画像３０１と画像３０２とは同チャンネルの画像であるから、検出された左方向の動きベクトルは、被写体の動きに相当する。
　ここで、右方向の動きベクトルを正の動きベクトル、左方向の動きベクトルを負の動きベクトルとすると、図６Ａに示すような第１動きベクトル分布３０７が生成される。つまり、第１動きベクトル分布３０７の左のピークは、被写体の顔の動きベクトルに相当する。
　また、図６Ａに示すように、画像３０３と画像３０４とを比較すると、対象画像である画像３０４の顔領域３０６に含まれる被写体の顔は、参照画像である画像３０３の被写体の顔の左側に存在する。したがって、図６Ｂに示すように、顔領域３０６に含まれる多くのブロック（１０個のブロック）では、左方向の動きベクトルが検出される。
　ただし、このとき、顔領域３０６の右側には背景の木が含まれているため、顔領域の右側の４つのブロックでは、左方向の動きベクトルが検出される。したがって、図６Ａに示すような第２動きベクトル分布３０８が生成される。つまり、第２動きベクトル分布３０８の右側のピークは、被写体の顔の動き量に相当し、第２動きベクトル分布３０８の左側のピークは、被写体の背景の動きベクトルに相当する。
　なお、画像３０３と画像３０４とは異チャンネルの画像であるから、検出された動きベクトルは、被写体の動きによる影響と、視差による影響とを含んでいる。
　視差算出部２２１は、以上のようにして生成される第１動きベクトル分布３０７と第２動きベクトル分布３０８とを減算することで、差分動きベクトル分布３０９を生成する。つまり、視差算出部２２１は、顔領域３０５と顔領域３０６との対応するブロック毎に動きベクトルを減算する。これにより、図６Ｂに示すように、顔領域３１０の差分動きベクトルが生成される。この差分動きベクトルの分布が、図６Ａに示す差分動きベクトル分布３０９に相当する。
　なお、動き探索部２１１は、画像３０２の動き情報を生成する際には、画像３０２より２フレーム前の画像３０１を参照して、画像３０２の動き探索を行っている。これに対して、動き探索部２１１は、画像３０４の動き情報を生成する際には、画像３０４より１フレーム前の画像３０３を参照して、画像３０４の動き探索を行っている。したがって、第１動きベクトル分布３０７と第２動きベクトル分布３０８とでは、対象画像と参照画像との時間間隔が異なっている。
　このため、第１動きベクトル分布３０７と第２動きベクトル分布３０８とを比較するときは、動き探索における対象画像と参照画像との時間間隔を考慮することが好ましい。つまり、視差算出部２２１は、画像３０２と画像３０１との時間間隔である第１期間と、画像３０４と画像３０３との時間間隔である第２期間との比率に基づいて、第１動きベクトル分布３０７と第２動きベクトル分布３０８とを正規化する。そして、視差算出部２２１は、正規化された第１動きベクトル分布３０７と正規化された第２動きベクトル分布との差分を算出する。
　図６Ａ及び図６Ｂに示す例では、差分を算出する前に第１動きベクトル分布３０７の各動きベクトルに１／２を乗算することで、１フレーム分の動きベクトルにする。そして、１／２を乗じられた第１動きベクトル分布３０７と第２動きベクトル分布３０８との差分を算出することにより、差分動きベクトル分布３０９を生成する。そして、視差算出部２２１は、生成された差分動きベクトル分布３０９の平均値を視差として算出する。
　図７は、背景に動きがある場合に動きと視差とを区別することができないことを説明するための模式図である。
　従カメラから入力された画像４０２が主カメラから入力された画像４０１を参照して動き探索を行う際、画像４０１と画像４０２とが撮影された時間が異なる場合、被写体の視差だけでなく、背景の動きも検出されてしまう。すなわち、背景の動きによる動きベクトル４０３と、被写体の視差による動きベクトル４０４とが検出される。
　このために、図７に示すような動きベクトル分布４０５が生成されるので、視差と動きとを区別することができない。したがって、動きの有無及び視差の有無に基づいて適切な参照画像を選択することができない。
　これに対して、本実施の形態に係る画像符号化装置１００によれば、上述したように、被写体の動きと視差とを区別することができるので、有無及び視差の有無に基づいて適切に参照画像を選択することができる。
　以上、本発明に係る画像符号化装置及び画像符号化方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
　例えば、本実施の形態では、視差算出部２２１は、顔領域の動きベクトル情報のみを用いて視差算出を行ったが、本発明はこれに限られるものではなく、顔領域の動きベクトル情報が視差算出において信頼度が高いと考えられる。このため、顔領域の動きベクトル情報に重み付けを行い、フレーム全体の動きベクトル情報を用いて視差算出を行ってもよい。
　また、本実施の形態では、説明のために被写体に向かって左側のカメラを主カメラ、右側のカメラを従カメラとして説明したが、本発明はこれに限るものではなく、右側のカメラを主カメラ、左側のカメラを従カメラとしてもよい。
　なお、本発明は、上記の画像符号化方法を利用する撮像システムとしても実現することができる。以下では、例えば、デジタルスチルカメラ又はテレビ会議システム用カメラ等の撮像システム（映像システム）の一例を示す。
　図８は、本実施の形態に係る画像符号化装置を利用した撮像システムの一例を示すブロック図である。
　図８の撮像システムは、主カメラ５１２と、従カメラ５１３と、画像処理回路５０７と、記録・転送部５０８と、再生部５０９と、タイミング制御回路５１０と、システム制御回路５１１とを備える。
　主カメラ５１２は、光学系５０１と、センサー５０２と、Ａ／Ｄ変換回路５０３とを備える。主カメラ５１２では、レンズなどの光学系５０１を通って入射した光がセンサー５０２上に結像される。そして、センサー５０２において、入射した光は光電変換され、光電変換によって得られた電気信号は、Ａ／Ｄ変換回路５０３によりデジタル値に変換される。デジタル値に変換された画像信号は、例えば、図１に示した画像符号化装置１００を含む画像処理回路５０７に入力される。
　従カメラ５１３は、光学系５０４と、センサー５０５と、Ａ／Ｄ変換回路５０６とを備える。従カメラ５１３においても主カメラ５１２と同様に、レンズなどの光学系５０４を通って入射した光がセンサー５０５上に結像される。そして、センサー５０５において、入射した光は光電変換され、光電変換によって得られた電気信号は、Ａ／Ｄ変換回路５０６によりデジタル値に変換される。デジタル値に変換された画像信号は、画像処理回路５０７に入力される。
　画像処理回路５０７においては、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、及び、画像符号化装置１００によるＪＰＥＧやＭＰＥＧ等の画像圧縮／伸張処理、画像圧縮されたストリームの制御等が行われる。
　記録・転送部５０８は、画像処理された信号を、メディアへ記録、又は、インターネット等を介して伝送する。
　再生部５０９は、記録又は転送された信号を再生する。
　タイミング制御回路５１０は、センサー５０２及び５０５、並びに画像処理回路５０７による処理を制御する。
　システム制御回路５１１は、光学系５０１及び５０４、記録・転送部５０８、再生部５０９及びタイミング制御回路５１０を制御する。
　以上のような構成を有する撮像システムとしても本発明を実現することができる。
　また、本実施の形態に係る画像符号化装置１００は、典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは、個別に１チップ化されてもよく、一部又は全てを含むように１チップ化されてもよい。
　ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、本発明は、上述したように、画像符号化装置及び画像符号化方法として実現できるだけではなく、本実施の形態の画像符号化方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　本発明に係る画像符号化方法及び画像符号化装置は、適切な参照画像の選択を行うことができるという効果を奏し、ステレオ画像を撮影するカメラシステムなどに利用することができる。
１００　画像符号化装置
１０１　入力フレームバッファ
１０２　差分器
１０３　直交変換部
１０４　量子化部
１０５　エントロピー符号化部
１０６　逆量子化部
１０７　逆直交変換部
１０８　加算器
１０９　第１フレームメモリ
１１０　第２フレームメモリ
１１１　イントラ予測部
１１２　インター予測部
１１３　セレクタ
１１４　イントラ・インター判定部
１１５　オブジェクト領域検出部
１１６　参照画像選択部
３０１、３０２、３０３、３０４、４０１、４０２　画像
３０５、３０６、３１０　顔領域
３０７　第１動きベクトル分布
３０８　第２動きベクトル分布
３０９　差分動きベクトル分布
４０３、４０４　動きベクトル
４０５　動きベクトル分布
５０１、５０４　光学系
５０２、５０５　センサー
５０３、５０６　Ａ／Ｄ変換回路
５０７　画像処理回路
５０８　記録・転送部
５０９　再生部
５１０　タイミング制御回路
５１１　システム制御回路
５１２　主カメラ
５１３　従カメラ

Claims (14)

  1. 　第１カメラ及び第２カメラのそれぞれによって被写体が撮影された画像を交互に符号化する画像符号化方法であって、
    　前記第１カメラによって撮影された第１対象画像より過去の画像を符号化及び復号することで、第１局所復号画像を生成する第１局所復号画像生成ステップと、
    　前記第２カメラによって撮影された第２対象画像より過去の画像を符号化及び復号することで、第２局所復号画像を生成する第２局所復号画像生成ステップと、
    　前記第１対象画像から、前記被写体の像を含む第１領域を検出する第１領域検出ステップと、
    　前記第１局所復号画像を参照することで、前記第１対象画像の動きを検出する第１動き検出ステップと、
    　前記第２対象画像から、前記被写体の像を含む第２領域を検出する第２領域検出ステップと、
    　前記第１局所復号画像又は前記第２局所復号画像を参照することで、前記第２対象画像の動きを検出する第２動き検出ステップと、
    　前記第２動き検出ステップにおいて前記第１局所復号画像を参照した場合に、前記第１動き検出ステップにおいて検出された第１対象画像の動きに基づいて前記第１領域の動きを示す第１動き情報を算出し、かつ、前記第２動き検出ステップにおいて検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、前記第１動き情報と前記第２動き情報とを比較することで、前記被写体の視差を算出する視差算出ステップと、
    　前記第２動き検出ステップにおいて前記第２局所復号画像を参照した場合に、前記第２動き検出ステップにおいて検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、当該第２動き情報に基づいて前記被写体の動きを算出する動き算出ステップと、
    　前記被写体の視差、又は、前記被写体の動きに基づいて、前記第２カメラによって撮影された前記第２対象画像の次の画像を前記第２対象画像として符号化する際の参照画像を選択する参照画像選択ステップとを含む
    　画像符号化方法。
  2. 　前記第１領域検出ステップでは、前記第１対象画像から、前記被写体の像として人の顔の像を含む第１領域を検出し、
    　前記第２領域検出ステップでは、前記第２対象画像から、前記被写体の像として前記人の顔の像を含む第２領域を検出する
    　請求項１記載の画像符号化方法。
  3. 　前記参照画像選択ステップでは、前記被写体の視差が所定の閾値より大きいか否かを判定し、前記視差が前記閾値より大きい場合に、前記第２局所復号画像を前記参照画像として選択し、前記視差が前記閾値以下の場合に、前記第１局所復号画像を前記参照画像として選択する
    　請求項１記載の画像符号化方法。
  4. 　前記参照画像選択ステップでは、前記被写体の動きが所定の閾値より大きいか否かを判定し、前記動きが前記閾値より大きい場合に、前記第１局所復号画像を前記参照画像として選択し、前記動きが前記閾値以下の場合に、前記第２局所復号画像を前記参照画像として選択する
    　請求項１記載の画像符号化方法。
  5. 　前記視差算出ステップでは、前記第１領域のブロック毎の第１動きベクトルを前記第１動き情報として算出し、かつ、前記第２領域のブロック毎の第２動きベクトルを前記第２動き情報として算出し、前記第１領域と前記第２領域とにおいて対応するブロック毎に前記第１動きベクトルと前記第２動きベクトルとを比較することで、前記被写体の視差を算出する
    　請求項１記載の画像符号化方法。
  6. 　前記視差算出ステップでは、前記第１対象画像及び前記第１局所復号画像の時間間隔である第１期間と、前記第２対象画像及び前記第１局所復号画像の時間間隔である第２期間との比率に基づいて、前記第１動きベクトル及び前記第２動きベクトルを正規化し、正規化された第１動きベクトルと正規化された第２動きベクトルとを比較することで、前記被写体の視差を算出する
    　請求項５記載の画像符号化方法。
  7. 　前記視差算出ステップでは、前記第１領域と前記第２領域とにおいて対応するブロック毎に前記正規化された第１動きベクトルと前記正規化された第２動きベクトルとの差分を算出し、算出された差分をブロック毎に示す動きベクトル分布に基づいて前記被写体の視差を算出する
    　請求項６記載の画像符号化方法。
  8. 　前記視差算出ステップでは、前記動きベクトル分布の平均値を前記被写体の視差として算出する
    　請求項７記載の画像符号化方法。
  9. 　前記視差算出ステップでは、前記第１領域のブロック毎の第１動きベクトルに重み付けを行うことで生成されるフレーム全体の第１動きベクトル分布を前記第１動き情報として算出し、かつ、前記第２領域のブロック毎の第２動きベクトルに重み付けを行うことで生成されるフレーム全体の第２動きベクトル分布を前記第２動き情報として算出し、前記第１動きベクトル分布と前記第２動きベクトル分布とを比較することで、前記被写体の視差を算出する
    　請求項１記載の画像符号化方法。
  10. 　前記視差算出ステップでは、前記第１対象画像及び前記第１局所復号画像の時間間隔である第１期間と、前記第２対象画像及び前記第１局所復号画像の時間間隔である第２期間との比率に基づいて、前記第１動きベクトル分布及び前記第２動きベクトル分布を正規化し、正規化された第１動きベクトル分布と正規化された第２動きベクトル分布とを比較することで、前記被写体の視差を算出する
    　請求項９記載の画像符号化方法。
  11. 　前記視差算出ステップでは、前記正規化された第１動きベクトル分布と前記正規化された第２動きベクトル分布との差分を算出し、算出された差分である第３動きベクトル分布に基づいて前記被写体の視差を算出する
    　請求項１０記載の画像符号化方法。
  12. 　前記視差算出ステップでは、前記第３動きベクトル分布の平均値を前記被写体の視差として算出する
    　請求項１１記載の画像符号化方法。
  13. 　第１カメラ及び第２カメラのそれぞれによって被写体が撮影された画像を交互に符号化する画像符号化装置であって、
    　前記第１カメラによって撮影された第１対象画像より過去の画像を符号化及び復号することで、第１局所復号画像を生成し、かつ、前記第２カメラによって撮影された第２対象画像より過去の画像を符号化及び復号することで、第２局所復号画像を生成する局所復号画像生成部と、
    　前記第１対象画像から、前記被写体の像を含む第１領域を検出し、かつ、前記第２対象画像から、前記被写体の像を含む第２領域を検出する領域検出部と、
    　前記第１局所復号画像を参照することで、前記第１対象画像の動きを検出し、かつ、前記第１局所復号画像又は前記第２局所復号画像を参照することで、前記第２対象画像の動きを検出する動き検出部と、
    　前記動き検出部において、前記第２対象画像の動きを検出する際に前記第１局所復号画像を参照した場合に、前記動き検出部において検出された第１対象画像の動きに基づいて前記第１領域の動きを示す第１動き情報を算出し、かつ、前記動き検出部において検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、前記第１動き情報と前記第２動き情報とを比較することで、前記被写体の視差を算出する視差算出部と、
    　前記動き検出部において、前記第２対象画像の動きを検出する際に前記第２局所復号画像を参照した場合に、前記動き検出部において検出された第２対象画像の動きに基づいて前記第２領域の動きを示す第２動き情報を算出し、当該第２動き情報に基づいて前記被写体の動きを算出する動き算出部と、
    　前記被写体の視差、又は、前記被写体の動きに基づいて、前記第２カメラによって撮影された前記第２対象画像の次の画像を前記第２対象画像として符号化する際の参照画像を選択する参照画像選択部とを備える
    　画像符号化装置。
  14. 　請求項１３記載の画像符号化装置を含む画像処理回路と、
    　前記被写体からの光を結像する光学系と、
    　前記光学系からの光を光電変換し、光電変換により生成された画像信号を前記画像処理回路に、前記第１対象画像及び前記第２対象画像として出力するセンサーとを備える
    　撮像システム。
PCT/JP2010/006837 2009-12-15 2010-11-24 画像符号化方法及び画像符号化装置 WO2011074189A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009284535A JP2011130030A (ja) 2009-12-15 2009-12-15 画像符号化方法及び画像符号化装置
JP2009-284535 2009-12-15

Publications (1)

Publication Number Publication Date
WO2011074189A1 true WO2011074189A1 (ja) 2011-06-23

Family

ID=44166964

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006837 WO2011074189A1 (ja) 2009-12-15 2010-11-24 画像符号化方法及び画像符号化装置

Country Status (2)

Country Link
JP (1) JP2011130030A (ja)
WO (1) WO2011074189A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016096502A (ja) * 2014-11-17 2016-05-26 株式会社東芝 画像符号化装置、画像復号装置および画像伝送方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012042895A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 立体映像符号化装置、立体映像撮影装置、および立体映像符号化方法
JP5794668B2 (ja) * 2011-04-11 2015-10-14 キヤノン株式会社 画像符号化装置
JP6101067B2 (ja) * 2012-12-12 2017-03-22 日本放送協会 画像処理装置及び画像処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993586A (ja) * 1995-09-27 1997-04-04 Nec Corp 画像信号多重化符号化復号化装置
JPH10191393A (ja) * 1996-12-24 1998-07-21 Sharp Corp 多視点画像符号化装置
JP2001186543A (ja) * 1999-12-24 2001-07-06 Sanyo Electric Co Ltd データ符号化装置及び復号化装置
WO2006072992A1 (ja) * 2005-01-07 2006-07-13 Fujitsu Limited 圧縮符号化装置、伸張復号化装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993586A (ja) * 1995-09-27 1997-04-04 Nec Corp 画像信号多重化符号化復号化装置
JPH10191393A (ja) * 1996-12-24 1998-07-21 Sharp Corp 多視点画像符号化装置
JP2001186543A (ja) * 1999-12-24 2001-07-06 Sanyo Electric Co Ltd データ符号化装置及び復号化装置
WO2006072992A1 (ja) * 2005-01-07 2006-07-13 Fujitsu Limited 圧縮符号化装置、伸張復号化装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016096502A (ja) * 2014-11-17 2016-05-26 株式会社東芝 画像符号化装置、画像復号装置および画像伝送方法
US10212436B2 (en) 2014-11-17 2019-02-19 Kabushiki Kaisha Toshiba Image encoding apparatus, image decoding apparatus and image transmission method

Also Published As

Publication number Publication date
JP2011130030A (ja) 2011-06-30

Similar Documents

Publication Publication Date Title
CN100544444C (zh) 用于全景图像的运动估计和补偿的方法和设备
CN108141610B (zh) 用于编码和解码基于光场的图像的方法和设备
JP5436458B2 (ja) 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
JP4799438B2 (ja) 画像記録装置、画像記録方法、画像符号化装置、及びプログラム
US9609192B2 (en) Image processing apparatus, image processing method and program, and imaging apparatus
US11695936B2 (en) Perceptual three-dimensional (3D) video coding based on depth information
JP2007143118A (ja) 撮像装置
TWI499277B (zh) 多視點畫像編碼方法、多視點畫像解碼方法、多視點畫像編碼裝置、多視點畫像解碼裝置及這些程式
WO2012060156A1 (ja) 多視点画像符号化装置及び多視点画像復号装置
JP5395911B2 (ja) ステレオ画像符号化装置、方法
WO2011074189A1 (ja) 画像符号化方法及び画像符号化装置
US20130258053A1 (en) Three-dimensional video encoding apparatus, three-dimensional video capturing apparatus, and three-dimensional video encoding method
KR20150135457A (ko) 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치
JP4874578B2 (ja) 画像符号化装置
JP5165084B2 (ja) 画像符号化装置
US20120194643A1 (en) Video coding device and video coding method
KR101407719B1 (ko) 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체
KR20150137081A (ko) 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치
US20110096831A1 (en) Image encoding device, image encoding method, and imaging system
JP6232117B2 (ja) 画像符号化方法、画像復号方法、及び記録媒体
Liu et al. Motion blur compensation in HEVC using fixed-length adaptive filter
JP2000013817A (ja) 符号化装置及び復号化装置
JP2012147073A (ja) 画像符号化装置、画像符号化方法、及び撮像システム
JP2015186052A (ja) 立体映像符号化装置及び立体映像符号化方法
JP2009302947A (ja) 画像符号化装置、画像符号化方法および撮像システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10837226

Country of ref document: EP

Kind code of ref document: A1

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10837226

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10837226

Country of ref document: EP

Kind code of ref document: A1