WO2007026440A1 - 画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム - Google Patents
画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム Download PDFInfo
- Publication number
- WO2007026440A1 WO2007026440A1 PCT/JP2006/304590 JP2006304590W WO2007026440A1 WO 2007026440 A1 WO2007026440 A1 WO 2007026440A1 JP 2006304590 W JP2006304590 W JP 2006304590W WO 2007026440 A1 WO2007026440 A1 WO 2007026440A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- camera
- images
- encoding
- image information
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
- H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3247—Data linking a set of images to one another, e.g. sequence, burst or continuous capture mode
Definitions
- Image information compression method image information compression apparatus, and free-viewpoint television system
- the present invention improves the code compression efficiency in a plurality of still image codes acquired by a plurality of positions on a circle around a subject or a plurality of position force cameras on a straight line.
- the present invention relates to an image information compression method, an image information compression device, and a free-viewpoint television system using the image information compression device.
- the inventor of the present application is a free viewpoint TV (FTV) that allows viewers to freely change their viewpoints and view 3D scenes as if they were on the spot.
- FTV free viewpoint TV
- the viewpoint can be freely moved in the horizontal plane based on the photographed images acquired by 15 cameras.
- F TV experimental equipment is completed (see Non-Patent Document 1, for example).
- Non-Patent Document 1 Masayuki Tanimoto, “Free Viewpoint Television”, Nihon Kogyo Publishing, Imaging Lab, February 2005, pp. 23-28
- Non-Patent Document 2 Shinya Oka, Nonon Champurim, Toshiaki Fujii, Masayuki Tanimoto, “Light-Space Information Compression for Free Viewpoint Television”, IEICE Technical Report, CS2003—141, pp. 7-12, 2003 1 2 Moon
- Non-Patent Document 3 Masayuki Tanimoto, "5. Free-viewpoint TV FTV, using multi-viewpoint image processing", Journal of the Institute of Image Information and Media Sciences, Vol. 58, No. 7, pp. 898-901, 2004
- Patent Document 4 Shinya Oka, Nonon Champurim, Toshiaki Fujii, Masayuki Tanimoto, “Compression of Dynamic Ray Space for Free Viewpoint Television”, 3D Image Conference 2004, pp. 139-142, 2004
- Non-Patent Document 2 states, “Because the light space is very similar in both the time axis and the space axis, motion (parallax) prediction is applied to both axes. It is thought that it is possible to obtain a high compression ratio by doing so. "
- Non-Patent Document 3 8 Page 99, left column describes “interpolate ray space”, and page 900 left column “interpolation is It suffices to go to only the necessary part, not the entire line space. Is described.
- Non-Patent Document 4 page 140, left column, states that “dynamic ray space can be expected to have a large correlation between time and space.” From page 140, right column to page 141, left Examples of reference images are shown in the column.
- FIG. 1 is a diagram conceptually showing the basic configuration of an FTV system.
- the F TV system shown in Fig. 1 uses a camera (step ST1), image interpolation processing (step ST2 or ST2a), image information compression processing (step ST3), and an image viewed from the input viewpoint. Is displayed (steps ST4 and ST5).
- image information of a subject 101 that exists in a three-dimensional real space is stored in multiple cameras (Fig. 1 shows five cameras 102 to 102).
- Step ST1 As shown, more cameras are actually used. ) (Step ST1) and images acquired by multiple cameras ( Figure 1 shows five images with reference numerals 103 to 103)
- X represents a horizontal viewing direction
- y represents a vertical viewing direction
- the arrangement of the plurality of cameras 102 is a linear arrangement in which the directions parallel to each other are arranged on a straight line, as shown in Fig. 2 (b).
- Circumferential arrangement (or arc arrangement) arranged with the inside of the circumference facing the inside of the circumference, as shown in Fig. 2 (c), planar arrangement arranged in parallel with each other on the plane, Fig. 2 (d)
- Fig. 2 (a) As shown in Fig.
- the spherical arrangement (or hemispherical arrangement) arranged on the spherical surface with the inner surface of the spherical surface arranged, and the cylindrical arrangement arranged on the cylinder with the inner surface of the cylinder oriented as shown in Fig. 2 (e).
- the arrangement of multiple cameras 102 should be either the linear arrangement shown in Fig. 2 (a) or the circumferential arrangement shown in Fig. 2 (b) when only a horizontal free viewpoint is realized.
- the planar arrangement shown in Fig. 2 (c) the cylindrical arrangement shown in Fig. 2 (d), or the spherical arrangement shown in Fig. 2 (e) To do.
- one ray in a three-dimensional real space is represented by one point in a multidimensional space with a parameter representing it as a coordinate.
- This virtual multidimensional space is called a light space.
- the whole ray space expresses all rays in 3D space without excess or deficiency.
- Ray space is created by collecting images taken with a lot of viewpoint power. Since the value of the point in the ray space is the same as the pixel value of the image, conversion to the image force ray space is a simple coordinate transformation. is there.
- the light beam 107 that passes through the reference plane 106 in the real space can be uniquely expressed by four parameters: the passing position (X, y) and the passing direction (0, ⁇ ).
- X is a horizontal coordinate axis in three-dimensional real space
- Y is a vertical coordinate axis
- Z is a depth coordinate axis
- ⁇ is the horizontal angle with respect to the normal of the reference surface 106, that is, the horizontal projection angle with respect to the reference surface 106
- ⁇ is the vertical angle with respect to the normal of the reference surface 106, that is, This is an emission angle in a direction perpendicular to the reference plane 106.
- the ray information in this three-dimensional real space can be expressed as luminance f (x, y, ⁇ , ⁇ ).
- the vertical parallax (angle ⁇ ) is ignored.
- images taken by a number of cameras placed horizontally toward the reference plane 106 are X, y as shown in Fig. 3 (b).
- step ST2 interpolation
- step ST2a interpolation side
- Step ST3 in Fig. 1 Compression of image information (step ST3 in Fig. 1) is not an indispensable process when the components of the FTV system are in the same location, but the camera and the user exist in different locations. This is an indispensable process when distributing image information using the Internet.
- a conventional image information compression method for example, there is a method compliant with the H.264ZAVC standard (for example, see Patent Document 1).
- Patent Document 1 Japanese Patent Laid-Open No. 2003-348595 (FIGS. 1 and 2)
- an object of the present invention is to perform code compression in a plurality of still image codes obtained by a camera, such as a plurality of positions on a circumference around a subject or a plurality of positions on a straight line.
- An object is to provide an image information compression method, an image information compression device, and a free viewpoint television system using the image information compression device capable of improving efficiency.
- the image information compression method of the present invention includes:
- Multi-camera still images are arranged by arranging the plurality of still images in the order of the plurality of positions so that adjacent still images face each other in the z-axis direction of the Cartesian coordinate system including the X-axis, y-axis, and z-axis. Generating an image;
- the encoding processing of the plurality of vertical slice images includes processing conforming to the H.264ZAVC standard or processing conforming to the MPEG2 standard.
- the interval between the plurality of positions at which the still image acquired by the camera has a resolution higher than a predetermined reference resolution is greater than the predetermined reference interval. If the sparseness is also sparse, each of the plurality of camera images acquired by the camera may be replaced with the step of generating the vertical slice image and the step of encoding the plurality of vertical slice images. And encoding the plurality of camera images using inter-frame predictive coding using intra-frame code and correlation between frames. You may have.
- the image information compression device of the present invention includes:
- Multi-camera still image generation means for generating a multi-camera still image by arranging the plurality of positions in order such that adjacent still images face each other;
- Each of the plurality of vertical slice images is treated as a plurality of frames arranged in the time axis direction of the moving image, and the plurality of vertical slices are encoded using inter-frame prediction coding using intra-frame code and correlation between frames.
- the encoding processing of the plurality of vertical slice images includes processing conforming to the H.264ZAVC standard or processing conforming to the MPEG2 standard.
- the image information compression apparatus has a predetermined reference interval in which a plurality of positions at which the still images acquired by the camera have a resolution higher than a predetermined reference resolution are acquired. If the sparser image is sparser, the encoding means replaces the generation of the vertical slice images and the encoding process of the plurality of vertical slice images with each of the plurality of camera images acquired by the camera.
- the plurality of camera images are treated as a plurality of frames arranged in the time axis direction of the moving image, and the plurality of camera images are subjected to the code processing using the intra-frame code and the inter-frame prediction code using the correlation between the frames. can do.
- the free viewpoint television system of the present invention includes:
- the image information compression device that performs an encoding process on the plurality of still images, an image information decoding device that decodes the encoded information output from the image information compression device, and
- a user interface for inputting the viewpoint position of the viewer
- An image information extraction unit for extracting an image viewed from a viewpoint input by the user interface from the plurality of still images
- FIG. 1 is a diagram conceptually showing a basic configuration of an FTV system.
- FIG. 2 (a) to (e) are diagrams showing examples of the arrangement of multiple cameras, (a) is a linear arrangement, (b) is a circumferential arrangement, (c) is a planar arrangement, (d) Is a cylindrical arrangement, and (e) is a spherical arrangement.
- FIG. 3 (a) is a diagram showing an object in real space, a linearly arranged camera, a reference plane, and light rays, and (b) is a diagram showing the light space.
- FIG. 4 (a) is a diagram showing a light space, (b) is a diagram showing an image cut out from the light space, and (c) is a diagram showing another image cut out from the light space. is there.
- FIG. 5 is an explanatory diagram conceptually showing processing up to generation of a multi-camera still image of the image information compression method of the present invention.
- FIG. 6 is an explanatory diagram showing a process of cutting out a vertical cross-sectional image from a multi-camera still image.
- FIG. 7 is an explanatory diagram conceptually showing a sign key process for a vertical cross-sectional image.
- FIG. 8] (a) to (c) are explanatory diagrams showing processing for cutting out a cross-sectional image from a multi-camera still image.
- FIG. 9 (a) to (c) are diagrams showing examples of cross-sectional images of FIG. 8 (a) to (c).
- FIG. 10 (a) to (c) are explanatory diagrams conceptually showing the encoding processing of the cross-sectional images of FIG. 8 (a) to (c).
- FIG. 11 (a) to (c) are graphs showing the results of compression encoding processing of flower with a camera image sequence, a horizontal slice image sequence, and a vertical slice image sequence, respectively.
- FIG. 12 (a) and (b) generate multi-camera still images using images obtained by acquiring a plurality of still images by a camera with multiple positions on a straight line directed to the subject.
- 6 is a graph showing the results of an experiment in which compression encoding processing is performed on a horizontal slice image sequence and a vertical slice image sequence.
- FIG. 13 is a block diagram schematically showing a configuration of an image information encoding device capable of executing the image information compression method of the present invention.
- FIG. 14 is a flowchart showing an operation of the image information encoding device shown in FIG.
- FIG. 15 is a block diagram schematically showing a configuration of an image information decoding apparatus capable of decoding image information encoded by the image information compression method of the present invention.
- FIG. 16 is a flowchart showing an operation of the image information decoding apparatus shown in FIG.
- FIG. 17 is a diagram conceptually showing the basic structure of the FTV system of the present invention.
- FIG. 5 is an explanatory diagram conceptually showing processing up to generation of a multi-camera still image of the image information compression method of the present invention.
- FIG. 6 is an explanatory diagram showing a process of cutting out a vertical slice image from a multi-camera still image
- FIG. 7 is an explanatory diagram conceptually showing a coding process of the vertical slice image.
- a plurality of still images 203, 203 are taken by a plurality of cameras from a plurality of positions on the circumference around the subject 201.
- FIG. 5 illustrates the case where the subject is photographed from a plurality of positions on the circumference centered on the subject 201.
- a plurality of position force cameras arranged in the same direction on a straight line facing the subject. (E.g., the camera is placed as shown in Fig. 2 (a) or Fig. 3 (a))
- the present invention can also be applied when acquiring 3, 203, 203, 203, 203,. In this case
- the interval between multiple camera shooting positions is, for example, 1 mm, 10 mm, or 100 mm.
- the camera interval can be freely determined based on various conditions such as the size of the subject and the power of the subject, such as the distance to the camera.
- Multi-camera still images are arranged in the z-axis direction of the Cartesian coordinate system consisting of the 4-axis, y-axis, and z-axis. 2 04 is generated. This process is performed by a pixel rearrangement buffer 303 in FIG.
- the multi-camera still image 204 is perpendicular to the xz plane including the X axis and the z axis, and the xy plane including the X axis and the y axis.
- a plurality of vertical cross-sectional images 205 are generated by cutting out a plane perpendicular to the plane (a plane perpendicular to the X axis, that is, a plane parallel to the yz plane).
- a plurality of vertical slice images 205 are encoded using inter-frame prediction encoding using intra-frame code and correlation between frames.
- this encoding process for example, a process based on the H.264ZAVC standard can be used.
- H. 264ZAVC is a type of hybrid code, and is a compression method that reduces interframe redundancy by motion compensated interframe prediction and reduces intra-image redundancy by DCT conversion. For this reason, it is possible to expect more effective compression for moving images whose redundancy is easily reduced.
- a multi-camera still image has characteristics that are not found in a moving image composed of a plurality of frames arranged in the normal time axis direction, and a high compression rate can be obtained by using such characteristics.
- the encoding method applicable to the present invention is not limited to H.264ZAVC, and other code coding methods such as the encoding method conforming to the MPEG2 standard may be adopted. The experimental results of the code compression method using multi-camera still images are described below.
- FIGS. 8A to 8C are explanatory diagrams showing processing for cutting out a cross-sectional image from the multi-camera still image 204.
- FIG. 8 (a) to (c) a cross-section is taken from the multi-camera still image 204.
- the first method is the method shown in FIG. 8 (a), in which a cross-sectional image is cut out by a plane orthogonal to the z axis (that is, a plane parallel to the xy plane).
- the cross-sectional image 203 shown in FIG. 8 (a) is referred to as a “camera image”.
- the second method is a method shown in FIG.
- FIG. 8B in which a cross-sectional image is cut out by a plane orthogonal to the y-axis (that is, a plane parallel to the xz plane).
- the cross-sectional image 206 shown in FIG. 8B is referred to as “horizontal cross-sectional image” or “Epipolar Plane Image (EPI)”.
- the third method is a method shown in FIG. 8 (c), in which a cross-sectional image is cut out by a plane orthogonal to the X axis (that is, a plane parallel to the yz plane).
- the cross-sectional image 205 shown in FIG. 8 (c) is referred to as a “vertical cross-sectional image”.
- FIGS. 9A to 9C are diagrams illustrating examples of cross-sectional images of FIGS. 8A to 8C.
- a potted flower hereinafter referred to as “fl OW er” t ⁇ ⁇ .
- the horizontal cross-sectional image that is the cross-sectional image of FIG. 8B is cut out, for example, as shown in FIG. 9B
- the horizontal cross-sectional image that is the cross-sectional image of FIG. 8C is cut out. In this case, for example, as shown in FIG.
- FIGS. 10 (a) to 10 (c) are explanatory diagrams conceptually showing the cross-sectional image encoding processing of FIGS. 8 (a) to 8 (c).
- the usual compression method for multi-camera still images is to treat a camera image sequence in which camera images are arranged in sequence as a moving image and apply H.264 / AVC. is there.
- FIGS. 11 (a) to 11 (c) are graphs showing the results of compression encoding processing of flower with a camera image sequence, a horizontal slice image sequence, and a vertical slice image sequence, respectively.
- the horizontal axis represents the bit rate (bpp (bit / pel)), and the vertical axis represents PSNR (peak-signal to noise ratio) (dB).
- f shown in Fig. 11 (a) When shooting at 0.25 ° intervals for lower, when shooting at 1 ° intervals for the flower shown in Fig. 11 (b), at 3 ° intervals for the flower shown in Fig. 11 (c).
- JM7.3 which is H.264ZAVC encoding software, was used as the software used for the compression code.
- Figs. 11 (a) and 11 (b) in a practical range with a PSNR of 30 to 40 dB, if the camera interval is about 1 ° or less, compression for a vertical section image sequence (shown by a black triangle) The encoding process is effective. As shown in Fig. 11 (c), when the camera interval is about 3 ° or more, the compression encoding process for the camera image sequence is effective. This is the result of an experiment conducted with the resolution of the camera image set to 400 pixels wide and 288 pixels high. In addition, when the resolution is low (for example, 200 pixels wide and 144 pixels long), compression code processing for vertical slice image sequences is effective even when the camera interval is wide.
- Figs. 12 (a) and 12 (b) show that a multi-camera still image is generated using images obtained by acquiring a plurality of still images by a camera with a plurality of positions on a straight line directed to a subject.
- 4 is a graph showing the results of an experiment in which compression encoding processing is performed on a horizontal slice image sequence and a vertical slice image sequence.
- Figure 12 (a) shows the experimental results when using an image acquired with a camera image resolution of 320 pixels wide, 96 pixels long, and a camera spacing of mm.
- Figure 12 (b) shows the experimental results when using an image acquired with a camera image resolution of 128 pixels wide, 96 pixels high, and a camera spacing of 4 mm.
- the horizontal axis represents the bit rate (bpp), and the vertical axis represents PSNRy (dB).
- Fig. 12 (a) when the resolution is high, the method of compressing the camera image sequence is effective, but as shown in Fig. 12 (b), the resolution is high. Is low, both the method of compressing and encoding the camera image sequence and the method of compressing and encoding the vertical slice image sequence are effective.
- the compression encoding method of the present invention performs compression encoding processing on a vertical slice image sequence, but includes a camera image sequence, a horizontal slice image sequence, and a vertical slice image. It may be configured to compare the results of the compression encoding processing with the columns and execute the compression encoding method having the highest compression encoding efficiency. Therefore, in consideration of the efficiency of information compression of multi-camera images, the resolution of the multi-camera images and the density of the intervals between the cameras are determined (that is, the comparison result with the predetermined reference resolution and the predetermined reference interval). Based on the comparison result, processing for selecting a compression encoding method using the camera image sequence (see FIG. 12 (a)) may be performed.
- FIG. 13 is a block diagram schematically showing the configuration of an image information code encoding device 300 that can implement the image information compression method of the present invention.
- the image information encoding device 300 includes N input terminals 301 to 301 (N is an integer of 2 or more), N AZD conversion units 302 to 302, pixels Sort buff
- the image information encoding device 300 includes an inverse quantization unit 311, an inverse orthogonal transform unit 312, a multi-camera frame 313, and a motion prediction / compensation unit 315.
- the image information encoding apparatus 300 shown in FIG. 5 has a single force provided with a plurality of input terminals 301 to 301 and AZD converters 302 to 302 so that image information of a plurality of camera forces can be received.
- Each of the input terminals 301 to 301 of the image information encoding device 300 has a plurality of shootings.
- An analog video signal acquired by the camera with positional force is input.
- the arrangement of the camera is, for example, as shown in Figs. 2 (b), (d), and (e).
- Each 1 N analog video signal is converted into a digital video signal by the AZD converters 302 to 302.
- the pixel rearrangement buffer 303 of the image information encoding device 300 generates a multi-camera still image from the image information supplied from the AZD conversion units 302 to 302 N, and generates a vertical cross-sectional image from the multi-camera still image. To extract.
- the pixel rearrangement buffer 303 supplies the image information of the entire frame to the orthogonal transform unit 305 for an image to be subjected to intra-frame coding (intra coding).
- the orthogonal transform unit 305 performs orthogonal transform such as discrete cosine transform on the image information, and supplies transform coefficients to the quantization unit 306.
- the quantization unit 306 performs a quantization process on the transform coefficient supplied from the orthogonal transform unit 305.
- the variable code key unit 307 determines the quantized transform coefficient and quantization scale iso-power code key mode supplied from the quantization unit 306, and sets a variable length code for this coding mode. Or variable coding such as arithmetic coding is performed to form information to be inserted into the header portion of each image code key. Then, the variable code key unit 307 supplies the encoded encoding mode to the storage buffer 308 for storage. The encoded code mode is output from the output terminal 309 as image compression information. The variable code key unit 307 applies a variable code key such as a variable-length code key or an arithmetic code key to the quantized transform coefficient, and the code key The converted conversion coefficient is supplied to the accumulation buffer 308 and accumulated. The encoded conversion coefficient is output from the output terminal 309 as image compression information.
- variable code key such as a variable-length code key or an arithmetic code key
- the behavior of the quantization unit 306 is controlled by the rate control unit 310 based on the data amount of the transform coefficient accumulated in the accumulation buffer 308. Further, the quantization unit 306 supplies the quantized transform coefficient to the inverse quantization unit 311, and the inverse quantization unit 311 performs inverse quantization on the quantized transform coefficient. The inverse orthogonal transform unit 312 performs inverse orthogonal transform processing on the inversely quantized transform coefficients to generate decoded image information, and supplies the information to the frame memory 313 for accumulation.
- the pixel rearrangement buffer 303 supplies image information to the motion prediction / compensation unit 315 for an image on which inter-frame prediction encoding (inter-encoding) is performed.
- the motion prediction / compensation unit 315 performs an encoding process on the image information, supplies the generated reference image information to the adder 304, and the adder 304 converts the reference image information into a difference signal from the corresponding image information. To do.
- the motion prediction / compensation unit 315 supplies motion vector information to the variable encoding unit 307 at the same time.
- the variable encoding unit 307 changes the encoding mode based on the quantized transform coefficient and quantization scale from the quantization unit 306, the motion vector information supplied from the motion prediction / compensation unit 315, and the like. Then, variable encoding such as variable length encoding or arithmetic encoding is performed on the determined encoding mode, and information to be inserted in the header portion of each image code key is generated. Then, the variable code key unit 307 supplies the encoded code key mode to the accumulation buffer 308 for accumulation. The encoded code mode is output as image compression information.
- variable code key unit 307 performs variable coding processing such as variable length code key or arithmetic coding on the motion vector information, and is inserted into the header part of each image code key. Information is generated.
- image information input to the orthogonal transform unit 305 is a difference signal obtained from the adder 304.
- the other processes are the same as those in the case of image compression using intra codes.
- FIG. 14 is a flowchart showing the encoding process of the image information encoding apparatus 300 shown in FIG.
- the image information encoding device 300 includes an AZD conversion unit 30. 2 to 302, the AZD conversion of the input analog video signal is applied to all frames.
- the pixel rearrangement is performed by the pixel rearrangement buffer 303 (step ST12), and then the motion prediction / compensation unit 315 performs motion prediction / compensation (step ST13).
- the image information generated by the orthogonal transform unit 305 is orthogonally transformed (step ST14), the quantization unit 306 and the rate control unit 310 perform quantization and quantization rate control (steps ST15 and ST16), and variable
- the code key unit 307 performs variable code key (step ST17), the inverse quantization unit 311 performs inverse quantization (step ST18), and the inverse orthogonal transform unit 312 performs inverse orthogonal transform (step ST19).
- the processing of steps STl 3 to ST19 is performed for all blocks having a predetermined number of pixels in the frame.
- FIG. 15 is a block diagram schematically showing a configuration of an image information decoding device 400 corresponding to the image information encoding device 300.
- the image information decoding apparatus 400 includes an input terminal 401, a storage buffer 402, a variable decoding unit 303, an inverse quantization unit 404, an inverse orthogonal transform unit 405, an adder 406, pixel rearrangement buffer 407, N DZ A conversion units 408 to 408, and N output terminals
- the image information decoding apparatus 400 includes a frame memory 410.
- An image information decoding apparatus 400 shown in FIG. 15 includes a plurality of output terminals 401 to 401 and a plurality of AZD conversion units 402 to 402.
- N DZA converters 408 to 408 are not required.
- the image compression information input from the input terminal 401 is temporarily stored in the storage buffer 402 and then transferred to the variable decoding unit 403.
- the variable decoding unit 403 performs processing such as variable length decoding or arithmetic decoding on the image compression information based on the determined format of the image compression information, and acquires code key mode information stored in the header unit. This is supplied to the inverse quantization unit 404 and the like. Similarly, the variable decoding unit 403 acquires the quantized transform coefficient and supplies it to the inverse quantization unit 404.
- variable decoding unit 403 Furthermore, if the variable decoding unit 403 has been subjected to interframe decoding to be decoded, the variable decoding unit 403 also decodes the motion vector information stored in the header portion of the image compression information, and The information is supplied to the motion prediction / compensation unit 412.
- the inverse quantization unit 404 inverse-quantizes the quantized transform coefficient supplied from the variable decoding unit 403, and supplies the transform coefficient to the inverse orthogonal transform unit 405.
- the inverse orthogonal transform unit 405 performs inverse orthogonal transform such as inverse discrete cosine transform on the transform coefficient based on the determined format of the image compression information.
- the image information subjected to the inverse orthogonal transform processing is stored in the pixel rearrangement buffer 407, and is transmitted in the DZ A conversion units 408 to 408. After DZA conversion processing, output terminals 409 to 4
- the motion prediction / compensation unit 412 includes the motion vector information subjected to the variable decoding process and the image information stored in the frame memory 410.
- a reference image is generated based on the above and supplied to the adder 406.
- the adder 406 combines the reference image and the output from the inverse orthogonal transform unit 405. The other processes are the same as those of the intra-coded frame.
- FIG. 16 is a flowchart showing the encoding process of the image information decoding apparatus 400 shown in FIG.
- the image information decoding apparatus 400 performs motion prediction compensation on the image information after variable decoding of the input signal (step ST21), inverse quantization (step ST22), and inverse orthogonal transform (step ST23). If so, decode using motion prediction compensation (step ST24) and perform this process for all blocks. Thereafter, pixel rearrangement (step ST25) and DZA conversion (step ST26) are performed.
- the image information encoding apparatus 300 that can perform the image information compression method of the present invention and the image information decoding that can decode the image information encoded by the image information compression method of the present invention.
- the apparatus 400 has been described as an example, the image information encoding apparatus 300 and the image information decoding apparatus 400 that can implement the image information compression method of the present invention are not limited to those having the above-described configuration.
- the image information compression method of the present invention can also be applied to an apparatus having a configuration. Next, an embodiment of the image information compression method of the present invention and an FTV system to which the image information compression method of the present invention is applied will be described.
- FIG. 17 is a diagram conceptually showing the basic structure of the FTV system of the present invention.
- Fig. 17 In FIG. 1, the same or corresponding components as those shown in FIG.
- the transmission-side device 350 and the reception-side device 450 are separated from each other, and from the transmission-side device 350 to the reception-side device 450, for example, using the Internet or the like, A system for transmitting signals.
- the transmission-side apparatus 350 includes a plurality of cameras (in FIG. 17,
- An image information encoding device 300 having the configuration and function described in the above embodiment for compressing and encoding video information acquired by a camera is provided.
- the image information compressed and encoded by the image information encoding device 300 is sent to the receiving device 450 by a communication device (not shown).
- the receiving-side device 450 includes a receiving device, the image information decoding device 400 described in the first embodiment, and an output signal from the image information decoding device 400, not shown. Then, a light ray space 103 is formed on the basis of the information, and a cross section is extracted from the light ray space 103 according to the viewpoint position input from the user interface 104 and displayed.
- FIGS. 3 (a), (b) and FIGS. 4 (a) to (c) for example, by using the ray space method, by cutting an arbitrary surface from the ray space 103, It is possible to generate an image viewed from an arbitrary viewpoint in the horizontal direction in real space. For example, when the cross section 103a is cut out from the ray space 103 shown in FIG. 4 (a), an image as shown in FIG. 4 (b) is generated, and the cross section 103b is drawn from the ray space 103 shown in FIG. When cut out, the image shown in Fig. 4 (c) is generated.
- the FTV system uses the image information compression method described in the above embodiment, the coding efficiency of the FTV signal in the FTV system is improved. Can be made.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
被写体(201)を中心とする円周上又は直線上の複数位置からカメラ(2021、…)によって取得された複数の静止画像の符号化において符号化圧縮効率を向上させることができる画像情報圧縮方法であって、被写体(201)を中心とする円周上又は直線上の複数位置から静止画像(2031、…)を取得するステップと、複数の静止画像(2031、…)を直交座標系のz軸方向に隣接する静止画像同士が対向するように前記複数位置の順に並べることによって、マルチカメラ静止画像(204)を生成するステップと、マルチカメラ静止画像(204)をxz平面とxy平面に垂直な面で切り出して複数の垂直断面画像(205)を生成するステップと、複数の垂直断面画像(205)のそれぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフレーム間予測符号化を用いて複数の垂直断面画像を符号化処理するステップとを有する。
Description
明 細 書
画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム 技術分野
[0001] 本発明は、被写体を中心とする円周上の複数位置又は直線上の複数位置力 カメ ラによって取得された複数の静止画像の符号ィ匕において符号ィ匕圧縮効率を向上さ せることができる画像情報圧縮方法、画像情報圧縮装置、及びこの画像情報圧縮装 置を用いた自由視点テレビシステムに関するものである。
背景技術
[0002] 本出願の発明者は、見る者があた力もその場に 、るかのように、自由に視点を変え て 3次元シーンを見ることのできる自由視点テレビ(Free viewpoint TV:FTV)を 提案しており(例えば、非特許文献 1〜4参照)、さらに、 15台のカメラで取得した実 写画像をもとにして水平面内で自由に視点を移動させてシーンを見ることができる F TVの実験装置を完成させて ヽる (例えば、非特許文献 1参照)。
[0003] 非特許文献 1 :谷本正幸、「自由視点テレビ」、日本工業出版、画像ラボ、 2005年 2 月号、 23〜28頁
非特許文献 2:岡慎也、ナ ノ ンチャンプリム、藤井俊彰、谷本正幸、「自由視点テレ ビのための光線空間情報圧縮」、信学技報、 CS2003— 141、 7〜12頁、 2003年 1 2月
非特許文献 3 :谷本正幸、「5. 自由視点テレビ FTV、〜多視点画像処理を使って〜 」、映像メディア情報学会誌、 Vol. 58、 No. 7、 pp. 898— 901、 2004年 非特許文献 4:岡慎也、ナ ノ ンチャンプリム、藤井俊彰、谷本正幸、「自由視点テレ ビのための動的光線空間の情報圧縮」、 3D Image Conference 2004、 139〜 142頁、 2004年
[0004] なお、非特許文献 2の 9頁左欄には、「光線空間は時間軸にも空間軸にも画像同士 が非常に類似しているため、動き (視差)予測を両軸に適応することによって高い圧 縮率を得ることが可能であると考えられる。」との記載がある。また、非特許文献 3の 8 99頁左欄には「光線空間を補間すること」の記載があり、 900頁左欄には「補間は光
線空間全体にではなく必要な部分のみに行えばよい。」との記載がある。また、非特 許文献 4の 140頁左欄には「動的光線空間は時間、空間領域に大きな相関を持って いることが予想できる。」との記載があり、 140頁右欄から 141頁左欄には参照画像の 例が示されている。
[0005] 図 1は、 FTVシステムの基本的な構成を概念的に示す図である。図 1に示される F TVシステムは、カメラによる撮影 (ステップ ST1)、画像の補間処理 (ステップ ST2又 は ST2a)、画像情報の圧縮処理 (ステップ ST3)、及び入力された視点から見た画 像の表示 (ステップ ST4及び ST5)を行う。 FTVシステムでは、 3次元実空間に存在 する被写体 101の画像情報を複数台のカメラ(図 1には、符号 102〜102の 5台を
1 5 示すが、実際にはより多くのカメラが用いられる。 )によって取得し (ステップ ST1)、複 数台のカメラによって取得した画像(図 1には、符号 103〜103の 5つ画像を示す
1 5
力 実際にはより多くの画像が用いられる。)を光線空間 103に互いに配列し、 FTV 信号とする。なお、図 1において、 Xは、水平視野方向、 yは、垂直視野方向、 u(=ta n 0 )は、視域方向を示す。複数台のカメラ 102の配置の仕方には、図 2 (a)に示され るように、直線上に互いに平行な方向を向けて並ぶ直線配置、図 2 (b)に示されるよ うに、円周上に円周の内側を向けて並ぶ円周配置 (又は円弧配置)、図 2 (c)に示さ れるように、平面上に互いに平行な方向を向けて並ぶ平面配置、図 2 (d)に示される ように、球面上に球面の内側を向けて並ぶ球面配置 (又は半球面配置)、図 2 (e)に 示されるように、円筒上に円筒の内側を向けて並ぶ円筒配置等がある。複数台のカメ ラ 102の配置は、水平方向の自由視点のみを実現する場合には、図 2 (a)に示され る直線配置又は図 2 (b)に示される円周配置とし、水平方向と垂直方向の両方の自 由視点を実現する場合には、図 2 (c)に示される平面配置、図 2 (d)に示される円筒 配置、又は図 2 (e)に示される球面配置とする。
[0006] また、光線空間法では、 3次元実空間の 1本の光線を、それを表すパラメータを座 標とする多次元空間の 1点で表す。この仮想的な多次元空間を光線空間という。光 線空間全体は、 3次元空間のすべての光線を過不足なく表現する。光線空間は、多 くの視点力 撮影された画像を集めることによって作られる。光線空間の点の値は、 画像の画素値と同じであるから、画像力 光線空間への変換は、単なる座標変換で
ある。図 3 (a)に示されるように、実空間中の基準面 106を通過する光線 107は通過 位置 (X, y)と通過方向( 0 , φ )の 4つのパラメータによって一意に表現することがで きる。図 3 (a)において、 Xは、 3次元実空間における水平方向の座標軸であり、 Yは 、垂直方向の座標軸であり、 Zは、奥行き方向の座標軸である。また、 Θは、基準面 1 06の法線に対する水平方向の角度、すなわち、基準面 106に対する水平方向の出 射角であり、 φは、基準面 106の法線に対する垂直方向の角度、すなわち、基準面 106に対する垂直方向の出射角である。これにより、この 3次元実空間内の光線情報 を輝度 f (x, y, θ , φ )と表すことができる。ここでは、説明を分力りやすくするために 、垂直方向の視差 (角度 Φ )を無視する。図 3 (a)に示されるように、基準面 106に向 けて、且つ、水平に配置された多数のカメラで撮影された画像は、図 3 (b)に示される ように、 X, y, u (=tan 0 )の軸を持つ 3次元空間において、点線で描かれる断面 10 3〜103に位置していることになる。図 3 (b)に示される光線空間 103から任意の面
1 5
を切り取ることによって、実空間における水平方向の任意の視点から見た画像を生成 することが可能となる。例えば、図 4 (a)に示される光線空間 103から断面 103aを切り 出すと、図 4 (b)に示されるような画像がディスプレイ 105に表示され、図 4 (a)に示さ れる光線空間 103から断面 103bを切り出すと、図 4 (c)に示されるような画像がディ スプレイ 105に表示される。
[0007] また、光線空間 103に配列された画像(断面 103〜103 )の間にはデータがない
1 5
ため、これを補間によって作る(図 1のステップ ST2又は ST2a)。なお、補間は、光線 空間の全体についてではなぐ必要な部分についてのみ行えばよい。また、補間を 行う場所は、 VOD (Video On Demend)のような用途では画像情報の送信側 (ス テツプ ST2)となり、放送のような用途では画像情報の受信側 (ステップ ST2a)となる
[0008] 画像情報の圧縮(図 1のステップ ST3)は、 FTVシステムの各構成が同じ場所にあ る場合には、必須の処理ではないが、カメラとユーザーとが別の場所に存在し、イン ターネット等を利用して画像情報を配信する場合には必須の処理となる。従来の画 像情報圧縮方法としては、例えば、 H. 264ZAVC規格に準拠したものがある(例え ば、特許文献 1参照)。
特許文献 1 :特開 2003— 348595号公報(図 1及び図 2)
発明の開示
発明が解決しょうとする課題
[0009] 近年、例えば、歴史的又は芸術的な文化遺産の記録保存のために、被写体を中 心に置いて、被写体を中心とする円周上の複数位置から、又は、直線上の複数位置 から被写体を撮影し、撮影によって得られた複数の静止画像カゝら自由視点の画像を 作る技術が注目されている。し力しながら、上記文献には、同一水平ライン又は同一 垂直ラインに並ぶ複数のカメラの画像をフレームとして扱う方法が開示されている力 被写体を中心とする円周上の複数位置力 カメラによって取得された複数の静止画 像の符号ィ匕における画像情報の効率的な圧縮方法は開示されていない。また、直線 上の複数位置力もカメラによって取得された複数の静止画像の符号ィ匕における画像 情報の効率的な圧縮方法の開発が求められている。
[0010] そこで、本発明の目的は、被写体を中心とする円周上の複数位置又は直線上の複 数位置カゝらカメラによって取得された複数の静止画像の符号ィ匕において符号ィ匕圧縮 効率を向上させることができる画像情報圧縮方法、画像情報圧縮装置、及びこの画 像情報圧縮装置を用いた自由視点テレビシステムを提供することである。
課題を解決するための手段
[0011] 本発明の画像情報圧縮方法は、
被写体を中心とする円周上の複数位置又は直線上の複数位置力 カメラによって 複数の静止画像を取得するステップと、
前記複数の静止画像を、 X軸、 y軸、 z軸カゝら成る直交座標系の z軸方向に、隣接す る静止画像同士が対向するように前記複数位置の順に並べることによってマルチカメ ラ静止画像を生成するステップと、
前記マルチカメラ静止画像を X軸及び z軸を含む xz平面に垂直であって、かつ、 X 軸及び y軸を含む xy平面に垂直な面で切り出すことによって複数の垂直断面画像を 生成するステップと、前記複数の垂直断面画像のそれぞれを動画像の時間軸方向 に並ぶ複数のフレームとして扱い、フレーム内符号ィ匕及びフレーム間の相関を利用 したフレーム間予測符号化を用いて前記複数の垂直断面画像を符号化処理するス
テツプと
を有することを特徴とするものである。
[0012] また、前記画像情報圧縮方法にお!、て、前記複数の垂直断面画像の符号化処理 には、 H. 264ZAVC規格に準拠した処理又は MPEG2規格に準拠した処理が含 まれる。
[0013] また、前記画像情報圧縮方法にぉ 、て、前記カメラによって取得される静止画像の 解像度が所定の基準解像度よりも高ぐ前記静止画像を取得する複数位置の間隔が 所定の基準間隔よりも疎である場合には、前記垂直断面画像を生成するステップ及 び前記複数の垂直断面画像を符号ィ匕処理するステップに代えて、前記カメラによつ て取得された複数のカメラ画像のそれぞれを動画像の時間軸方向に並ぶ複数のフ レームとして扱い、フレーム内符号ィ匕及びフレーム間の相関を利用したフレーム間予 測符号化を用いて前記複数のカメラ画像を符号化処理するステップを有するものとし てもよい。
[0014] また、本発明の画像情報圧縮装置は、
被写体を中心とする円周上の複数位置又は直線上の複数位置力 カメラによって 取得された複数の静止画像を、 X軸、 y軸、 z軸カゝら成る直交座標系の z軸方向に、隣 接する静止画像同士が対向するように前記複数位置の順に並べることによってマル チカメラ静止画像を生成するマルチカメラ静止画像生成手段と、
前記マルチカメラ静止画像を X軸及び z軸を含む xz平面に垂直であって、かつ、 X 軸及び y軸を含む xy平面に垂直な面で切り出すことによって複数の垂直断面画像を 生成する垂直断面画像生成手段と、
前記複数の垂直断面画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレー ムとして扱い、フレーム内符号ィ匕及びフレーム間の相関を利用したフレーム間予測 符号化を用いて前記複数の垂直断面画像を符号化処理する符号化手段と
を有することを特徴とするものである。
[0015] また、前記画像情報圧縮装置にお!、て、前記複数の垂直断面画像の符号化処理 には、 H. 264ZAVC規格に準拠した処理又は MPEG2規格に準拠した処理が含 まれる。
[0016] また、前記画像情報圧縮装置にお!ヽて、前記カメラによって取得される静止画像の 解像度が所定の基準解像度よりも高ぐ前記静止画像を取得する複数位置の間隔が 所定の基準間隔よりも疎である場合には、前記符号化手段は、前記垂直断面画像の 生成及び前記複数の垂直断面画像の符号化処理に代えて、前記カメラによって取 得された複数のカメラ画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレーム として扱い、フレーム内符号ィ匕及びフレーム間の相関を利用したフレーム間予測符 号ィ匕を用いて前記複数のカメラ画像を符号ィ匕処理するものとすることができる。
[0017] また、本発明の自由視点テレビシステムは、
被写体を中心とする円周上の複数位置又は直線上の複数位置力 複数の静止画 像を取得する静止画像取得手段と、
前記複数の静止画像静に符号化処理を施す上記画像情報圧縮装置と、 前記画像情報圧縮装置から出力された符号化情報を復号する画像情報復号装置 と、
見る者の視点位置を入力するユーザーインターフェースと、
前記複数の静止画像から、前記ユーザーインターフェースによって入力された視点 から見た画像を抽出する画像情報抽出部と
を有することを特徴とするものである。
発明の効果
[0018] 本発明の画像情報圧縮方法、画像情報圧縮装置、及び FTVシステムによれば、マ ルチカメラ静止画像の複数の垂直断面画像に動画像の符号化処理と同様の符号化 処理を施すことによって、符号ィ匕圧縮効率を向上させるという効果を得ることができる
図面の簡単な説明
[0019] [図 1]FTVシステムの基本的な構成を概念的に示す図である。
[図 2] (a)〜(e)は複数台のカメラの配置例を示す図であり、(a)は直線配置、(b)は 円周配置、(c)は平面配置、(d)は円筒配置、(e)は球面配置を示す。
[図 3] (a)は実空間上における物体、直線配置されたカメラ、基準面、及び光線を示 す図であり、(b)は光線空間を示す図である。
[図 4] (a)は光線空間を示す図であり、 (b)は光線空間から切り出された画像を示す 図であり、(c)は光線空間から切り出された他の画像を示す図である。
[図 5]本発明の画像情報圧縮方法のマルチカメラ静止画像の生成までの処理を概念 的に示す説明図である。
[図 6]マルチカメラ静止画像カゝら垂直断面画像を切り出す処理を示す説明図である。
[図 7]垂直断面画像の符号ィ匕処理を概念的に示す説明図である。
[図 8] (a)〜 (c)は、マルチカメラ静止画像カゝら断面画像を切り出す処理を示す説明 図である。
[図 9] (a)〜(c)は、図 8 (a)〜(c)の断面画像の一例を示す図である。
[図 10] (a)〜 (c)は、図 8 (a)〜 (c)の断面画像の符号化処理を概念的に示す説明図 である。
[図 11] (a)〜(c)は、 flowerを、それぞれカメラ画像列、水平断面画像列、及び垂直 断面画像列で圧縮符号化処理した結果を示すグラフである。
[図 12] (a)及び (b)は、被写体に向力つて直線上の複数位置力もカメラによって複数 の静止画像を取得した画像を用いてマルチカメラ静止画像を生成し、それぞれカメラ 画像列、水平断面画像列、及び垂直断面画像列で圧縮符号化処理した実験結果を 示すグラフである。
[図 13]本発明の画像情報圧縮方法を実施することができる画像情報符号ィ匕装置の 構成を概略的に示すブロック図である。
[図 14]図 13に示される画像情報符号ィ匕装置の動作を示すフローチャートである。
[図 15]本発明の画像情報圧縮方法によって符号化された画像情報を復号することが できる画像情報復号装置の構成を概略的に示すブロック図である。
[図 16]図 15に示される画像情報復号装置の動作を示すフローチャートである。
[図 17]本発明の FTVシステムの基本的な構成を概念的に示す図である。
符号の説明
201 被写体
202 , 202 , 202 , 202 ,… カメラ
1 2 3 4
203 カメラ画像
203 , 203 , 203 , 203 ,… カメラ画像列
1 2 3 4
204 マルチカメラ静止画像
205 垂直断面画像
205 , 205 , 205 , -" 垂直断面画像列
1 2 3
206 水平断面画像 (ΕΡΙ)
300 画像情報符号化装置
301〜301 入力端子
1 Ν
302〜302 AZD変換部
1 N
303 画素並べ替えバッファ
304 加算器
305 直交変換部
306 量子化部
307 可変符号化部
308 蓄積バッファ
309 出力端子
310 レート制御部
311 逆量子化部
312 逆直交変換部
313 フレームメモリ
315 動き予測,補償部
350 FTVシステムの送信側の装置
400 画像情報復号装置
401 入力端子
402 蓄積バッファ
403 可変復号部
404 逆量子化部
405 逆直交変換部
406 加算器
407 画素並べ替えバッファ
408〜408 DZA変換部
1 N
409〜409 出力端子
1 N
410 フレームメモリ
412 動き予測,補償部
450 FTVシステムの受信側の装置
451 画像情報抽出部
発明を実施するための最良の形態
[0021] <本発明の画像情報圧縮方法の説明 >
図 5は、本発明の画像情報圧縮方法のマルチカメラ静止画像の生成までの処理を 概念的に示す説明図である。また、図 6は、マルチカメラ静止画像から垂直断面画像 を切り出す処理を示す説明図であり、図 7は、垂直断面画像の符号化処理を概念的 に示す説明図である。
[0022] 本発明の画像情報圧縮方法においては、図 5に示されるように、被写体 201を中心 とする円周上の複数位置から、複数のカメラによって、複数の静止画像 203 , 203
1 2
, 203 , 203 ,…を取得する。複数の静止画像の取得には、被写体 201を中心とす
3 4
る円周上に内向きに (すなわち、被写体 201向きに)配置された複数のカメラ(# 1, # 2, # 3, # 4, - --) 202 , 202 , 202 , 202 ,…を用 ヽる。複数のカメラ 202 , 20
1 2 3 4 1
2 , 202 , 202 ,…は、被写体 201を中心とする円周上を所定角度 (例えば、 0. 25
2 3 4
° 、 1° 、又は、 3° 等)毎に配置する。ただし、被写体 201が静止している場合には 、被写体 201を向く 1台のカメラを、被写体 201を中心とする円周上を所定角度ずつ (例えば、 0. 25° ずつ、 1° ずつ、又は、 3° ずつ等)移動させる移動機構を用いて 、カメラを移動させてカメラ撮影し、複数の静止画像を取得してもよい。なお、図 5に は、被写体 201を中心とする円周上の複数位置から、被写体を撮影する場合を説明 したが、被写体に対向する直線上に同じ方向を向けて配置された複数位置力 カメ ラ撮影 (例えば、図 2 (a)又は図 3 (a)のようにカメラを配置)して、複数の静止画像 20
3 , 203 , 203 , 203 ,…を取得する場合にも、本発明は適用できる。この場合の
1 2 3 4
カメラ撮影の複数位置の間隔は、例えば、 1mm間隔、 10mm間隔、又は 100mm間
隔であるが、カメラ間隔は、被写体の大きさ及び被写体力もカメラまでの距離等の各 種条件に基づ 、て自由に決定すればょ 、。
[0023] 次に、図 5に示されるように、複数の静止画像 203 , 203 , 203 , 203 ,…を、 x
1 2 3 4 軸、 y軸、 z軸カゝら成る直交座標系の z軸方向に、隣接する静止画像同士が対向する ようにカメラ撮影した複数の位置の順に並べることによって、マルチカメラ静止画像 2 04を生成する。この処理は、後述する図 13の画素並べ替えバッファ 303によって行 われる。
[0024] 次に、図 5及び図 6に示されるように、マルチカメラ静止画像 204を X軸及び z軸を含 む xz平面に垂直であって、かつ、 X軸及び y軸を含む xy平面に垂直な面(X軸に直交 する面、すなわち、 yz平面に平行な面)で切り出すことによって複数の垂直断面画像 205を生成する。
[0025] 次に、図 7に示されるように、複数の垂直断面画像 205 (図 7においては、符号 205
, 205 , 205 ,…で示す。)のそれぞれを動画像の時間軸方向に並ぶ複数のフレ
1 2 3
ームとして扱い、フレーム内符号ィ匕及びフレーム間の相関を利用したフレーム間予 測符号化を用いて複数の垂直断面画像 205を符号化処理する。この符号化処理と しては、例えば、 H. 264ZAVC規格に準拠した処理を用いることができる。
[0026] H. 264ZAVCは、ハイブリッド符号ィ匕の一種であり、動き補償フレーム間予測でフ レーム間冗長性を削減し、かつ、 DCT変換で画像内冗長性を削減する圧縮法であ る。そのため、これらにより冗長性が削減されやすい動画像ほど効果的な圧縮が期 待できる。マルチカメラ静止画像には、通常の時間軸方向に並ぶ複数フレームから なる動画像にはない特徴があり、このような特徴を利用することによって高い圧縮率 を得ることができる。なお、本発明に適用可能な符号ィ匕方式は、 H. 264ZAVCに限 らず、 MPEG2規格に準拠した符号ィ匕方式等の他のノ、イブリツド符号ィ匕方式を採用 してもよい。以下に、マルチカメラ静止画像を利用した符号ィ匕圧縮方法についての実 験結果を説明する。
[0027] <マルチカメラ静止画像の符号化圧縮方法の比較 >
図 8 (a)〜(c)は、マルチカメラ静止画像 204から断面画像を切り出す処理を示す 説明図である。図 8 (a)〜(c)に示されるように、マルチカメラ静止画像 204から断面
画像を切り出す典型的な方法としては、 3種類の方法がある。第 1の方法は、図 8 (a) に示される方法であり、 z軸に直交する面 (すなわち、 xy平面に平行な面)で断面画 像を切り出す方法である。図 8 (a)に示される断面画像 203を、「カメラ画像」と言う。 第 2の方法は、図 8 (b)に示される方法であり、 y軸に直交する面 (すなわち、 xz平面 に平行な面)で断面画像を切り出す方法である。図 8 (b)に示される断面画像 206を 、「水平断面画像」又は「Epipolar Plane Image (EPI)」と言う。第 3の方法は、図 8 (c)に示される方法であり、 X軸に直交する面 (すなわち、 yz平面に平行な面)で断 面画像を切り出す方法である。図 8 (c)に示される断面画像 205を、「垂直断面画像」 と言つ。
[0028] 図 9 (a)〜(c)は、図 8 (a)〜(c)の断面画像の一例を示す図である。鉢植えの花( 以下「flOWer」 t ヽぅ。)を撮影して、マルチカメラ静止画像を生成し、図 8 (a)の断面 画像であるカメラ画像を切り出した場合には、例えば、図 9 (a)のようになる。また、図 8 (b)の断面画像である水平断面画像を切り出した場合には、例えば、図 9 (b)のよう になり、図 8 (c)の断面画像である水平断面画像を切り出した場合には、例えば、図 9 (c)のようになる。
[0029] 図 10 (a)〜 (c)は、図 8 (a)〜 (c)の断面画像の符号化処理を概念的に示す説明 図である。通常に考えられるマルチカメラ静止画像の圧縮方法は、図 10 (a)に示され るように、カメラ画像を順に並べたカメラ画像列を動画像として扱い、 H. 264/AVC を適用する方法である。図 10 (a)に示される圧縮方法と、図 10 (b)に示されるように、 水平断面画像を順に並べた水平断面画像列に H. 264ZAVCを適用した圧縮方法 と、図 10 (c)に示されるように、垂直断面画像を順に並べた垂直断面画像列に H. 2 64ZAVCを適用した圧縮方法とを比較検討した結果を以下に示す。なお、図 10 (b )及び (c)の符号ィ匕方法は、断面を変えて並べるのみでリサンプリングしないため、こ れらの符号化方法の適用によっては画質劣化しな!、と!、う利点がある。
[0030] 図 11 (a)〜(c)は、 flowerを、それぞれカメラ画像列、水平断面画像列、及び垂直 断面画像列で圧縮符号化処理した結果を示すグラフである。図 11 (a)〜(c)にお ヽ て、横軸は、ビットレート(bpp (bit/pel) )を示し、縦軸は、 PSNR (peak— signal t o noise ratio) (dB)を示す。カメラ間隔の影響も測るために、図 11 (a)に示される f
lowerに対して 0. 25° 間隔で撮影した場合、図 11 (b)に示される flowerに対して 1 ° 間隔で撮影した場合、図 11 (c)に示される flowerに対して 3° 間隔で撮影した場 合の実験を行った。圧縮符号ィ匕に用いたソフトウェアとしては、 H. 264ZAVC符号 化ソフトウェアである JM7. 3を用いた。
[0031] 図 11 (a)及び (b)に示されるように、 PSNRが 30〜40dBの実用域において、カメラ 間隔が 1° 程度以下ならば垂直断面画像列 (黒三角で示される)に対する圧縮符号 化処理が効果的であり、図 11 (c)に示されるように、カメラ間隔が 3° 程度以上になる とカメラ画像列に対する圧縮符号化処理が効果的である。なお、この結果は、カメラ 画像の解像度を横 400ピクセル、縦 288ピクセルとして行った実験結果である。さら に解像度が低い場合 (例えば、横 200ピクセル、縦 144ピクセル)には、カメラ間隔が 広くなつても垂直断面画像列に対する圧縮符号ィ匕処理が効果的である。
[0032] 図 12 (a)及び (b)は、被写体に向力つて直線上の複数位置力もカメラによって複数 の静止画像を取得した画像を用いてマルチカメラ静止画像を生成し、それぞれカメラ 画像列、水平断面画像列、及び垂直断面画像列で圧縮符号化処理した実験結果を 示すグラフである。図 12 (a)は、カメラ画像の解像度が横 320ピクセル、縦 96ピクセ ル、カメラ間隔力 mmで取得した画像を用いた場合の実験結果である。図 12 (b)は 、カメラ画像の解像度が横 128ピクセル、縦 96ピクセル、カメラ間隔が 4mmで取得し た画像を用いた場合の実験結果である。図 12 (a)及び (b)において、横軸は、ビット レート (bpp)を示し、縦軸は、 PSNRy (dB)を示す。図 12 (a)に示されるように、解像 度が高い場合には、カメラ画像列を圧縮符号ィ匕処理する方式が効果的であるが、図 12 (b)に示されるように、解像度が低い場合には、カメラ画像列を圧縮符号化処理 する方式と垂直断面画像列を圧縮符号化処理する方式のいずれもが効果的になる
[0033] このように、カメラ画像が高解像度かつカメラ間隔が疎の場合には、カメラ画像列が 効果的であるが、カメラ画像が低解像度かつカメラ間隔が密になるにつれて垂直断 面画像列が効果的になる。さらに、図 12 (b)に示される解像度よりも、その解像度を 低減化させた実験を行った場合に、グラフとしては明示しないが、カメラ画像列を圧 縮符号化処理する方式よりも、垂直画像列を圧縮符号化処理する方式が、より効果
的であることを示す実験結果が得られた。なお、図 12 (a)及び (b)に示されるグラフ は、縦 (y軸方向)のピクセル (縦 96ピクセル)を固定した状態で、横 (X軸方向)の解 像度を減少させる(320ピクセルを 128ピクセル)場合の実験結果を示している力 横 (X軸方向)のピクセルを固定した状態で、縦 (y軸方向)の解像度を減少させた場合も 、同様な実験結果を示すことがわ力つた。
[0034] 図 5〜図 7に示されるように、本発明の圧縮符号化方法は、垂直断面画像列で圧縮 符号化処理を実行するが、カメラ画像列、水平断面画像列、及び垂直断面画像列で 圧縮符号化処理した結果を比較して、最も圧縮符号化効率の高!ヽ圧縮符号化方法 を実行するように構成してもよい。したがって、マルチカメラ画像の情報圧縮の効率を 考慮して、マルチカメラ画像の解像度の高低及びカメラ同士の間隔の疎密に応じて( すなわち、所定の基準解像度との比較結果及び所定の基準間隔との比較結果に基 づ 、て)、カメラ画像列を用いて圧縮符号化処理する方式(図 12 (a)参照)を選択す る処理を行ってもよい。同様に、マルチカメラ画像の解像度の高低及びカメラ及び力 メラ同士の間隔の疎密に応じて (すなわち、所定の基準解像度との比較結果及び所 定の基準間隔との比較結果に基づいて)、カメラ画像列を用いて圧縮符号化処理す る方式(図 12 (a)参照)、又は、垂直断面画像列を用いて圧縮符号化する方式のい ずれか(図 12 (b)参照)を選択する処理を行ってもよい。さらに、マルチカメラ画像の 情報圧縮の効率を考慮して、マルチカメラ画像の解像度の高低及びカメラ同士の間 隔の疎密に応じて、垂直断面画像列を用いて圧縮符号化処理する方式を選択する 処理を行ってもよい。なお、「所定の基準解像度」及び「所定の基準間隔」とは、静止 画像に対応して決められる解像度及び間隔をいい、 flowerの場合、解像度の例示と して横 400ピクセル、縦 288ピクセル、間隔の例示として 1度を挙げることができる。
[0035] <本発明の画像情報圧縮方法を実施する画像情報圧縮装置の説明 >
図 13は、本発明の画像情報圧縮方法を実施することができる画像情報符号ィ匕装 置 300の構成を概略的に示すブロック図である。
[0036] 図 13に示されるように、画像情報符号ィ匕装置 300は、 N個(Nは 2以上の整数)の 入力端子 301〜301 と、 N個の AZD変換部 302〜302と、画素並べ替えバッフ
1 N 1 N
ァ 303と、加算器 304と、直交変換部 305と、量子化部 306と、可変符号化部 307と、
蓄積バッファ 308と、出力端子 309と、レート制御部 310とを備えている。また、画像 情報符号化装置 300は、逆量子化部 311と、逆直交変換部 312と、マルチカメラフレ ーム 313と、動き予測 ·補償部 315とを備えている。図 5に示される画像情報符号ィ匕 装置 300は、複数台のカメラ力 の画像情報を受信できるように、入力端子 301〜3 01 と AZD変換部 302〜302 が複数備えられている力 1台のカメラを被写体を
N 1 N
中心とする円周上又は被写体に対向する直線上を移動させて、被写体を撮影する 場合には、入力端子と AZD変換部は各 1台でよい。
[0037] 画像情報符号ィ匕装置 300の入力端子 301〜301 のそれぞれには、複数の撮影
1 N
位置力 でカメラによって取得されたアナログ映像信号が入力される。カメラの配置 は、例えば、図 2 (b)、(d)、(e)に示されるものである。入力端子 301〜301入力さ
1 N れたアナログ映像信号はそれぞれ、 AZD変換部 302〜302でデジタル映像信号
1 N
に変換され、画素並べ替えバッファ 303に保持される。なお、入力端子 301〜301
1 N にデジタル映像信号が入力される場合は、 AZD変換部 302〜302 は不要である
1 N
[0038] 画像情報符号化装置 300の画素並べ替えバッファ 303は、 AZD変換部 302〜3 02 Nから供給された画像情報から、マルチカメラ静止画像を生成し、マルチカメラ静 止画像から垂直断面画像を抽出する。画素並べ替えバッファ 303は、フレーム内符 号ィ匕 (イントラ符号化)が行われる画像に対しては、フレーム全体の画像情報を直交 変換部 305に供給する。直交変換部 305は、画像情報に対して離散コサイン変換等 の直交変換を施し、変換係数を量子化部 306に供給する。量子化部 306は、直交変 換部 305から供給された変換係数に対して量子化処理を施す。
[0039] 可変符号ィ匕部 307は、量子化部 306から供給された量子化された変換係数や量 子化スケール等力 符号ィ匕モードを決定し、この符号化モードに対して可変長符号 ィ匕、又は算術符号化等の可変符号化を施し、画像符号ィ匕単位のヘッダ部に挿入さ れる情報を形成する。そして、可変符号ィ匕部 307は、符号化された符号化モードを 蓄積バッファ 308に供給して蓄積させる。この符号化された符号ィ匕モードは、画像圧 縮情報として出力端子 309から出力される。また、可変符号ィ匕部 307は、量子化され た変換係数に対して可変長符号ィ匕又は算術符号ィ匕等の可変符号ィ匕を施し、符号ィ匕
された変換係数を蓄積バッファ 308に供給して蓄積させる。この符号化された変換係 数は、画像圧縮情報として出力端子 309より出力される。
[0040] 量子化部 306の挙動は、蓄積バッファ 308に蓄積された変換係数のデータ量に基 づいて、レート制御部 310によって制御される。また、量子化部 306は、量子化後の 変換係数を逆量子化部 311に供給し、逆量子化部 311は、その量子化後の変換係 数を逆量子化する。逆直交変換部 312は、逆量子化された変換係数に対して逆直 交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ 313に供給し て蓄積させる。
[0041] また、画素並べ替えバッファ 303は、フレーム間予測符号化 (インター符号化)が行 われる画像に関しては、画像情報を動き予測'補償部 315に供給する。動き予測'補 償部 315は、画像情報に符号化処理を施し、生成した参照画像情報を加算器 304 に供給し、加算器 304は、参照画像情報を対応する画像情報との差分信号に変換 する。また、動き予測 ·補償部 315は、同時に動きベクトル情報を可変符号化部 307 に供給する。
[0042] 可変符号化部 307は、量子化部 306からの量子化された変換係数及び量子化ス ケール、並びに動き予測 ·補償部 315から供給された動きベクトル情報等に基づいて 符号化モードを決定し、その決定した符号化モードに対して可変長符号化又は算術 符号化等の可変符号化を施し、画像符号ィ匕単位のヘッダ部に挿入される情報を生 成する。そして、可変符号ィ匕部 307は、符号化された符号ィ匕モードを蓄積バッファ 30 8に供給して蓄積させる。この符号化された符号ィ匕モードは、画像圧縮情報として出 力される。
[0043] また、可変符号ィ匕部 307は、その動きベクトル情報に対して可変長符号ィ匕又は算 術符号化等の可変符号化処理を施し、画像符号ィ匕単位のヘッダ部に挿入される情 報を生成する。また、イントラ符号化と異なり、インター符号ィ匕の場合、直交変換部 30 5に入力される画像情報は、加算器 304より得られた差分信号である。なお、その他 の処理については、イントラ符号ィ匕による画像圧縮の場合と同様である。
[0044] 図 14は、図 13に示される画像情報符号化装置 300の符号化処理を示すフローチ ヤートである。図 14に示されるように、画像情報符号ィ匕装置 300は、 AZD変換部 30
2〜302 によって、入力されたアナログ映像信号の AZD変換を全フレームについ
1 N
て行 ヽ(ステップ STl 1)、画素並べ替えバッファ 303によって画素の並べ替えを行!ヽ (ステップ ST12)、その後、動き予測 ·補償部 315による動き予測 ·補償 (ステップ ST 13)を行う。その後、直交変換部 305によって生成された画像情報を直交変換し (ス テツプ ST14)、量子化部 306及びレート制御部 310によって量子化及び量子化レー ト制御を行い (ステップ ST15, ST16)、可変符号ィ匕部 307により可変符号ィ匕を行い (ステップ ST17)、逆量子化部 311により逆量子化を行い (ステップ ST18)、逆直交 変換部 312により逆直交変換 (ステップ ST19)を行う。ステップ STl 3〜ST19の処 理を、フレーム内の所定画素数からなるブロックのすべてに対して行う。
[0045] 図 15は、画像情報符号ィ匕装置 300に対応する画像情報復号装置 400の構成を概 略的に示すブロック図である。
[0046] 図 15に示されるように、画像情報復号装置 400は、入力端子 401と、蓄積バッファ 402と、可変復号部 303と、逆量子化部 404と、逆直交変換部 405と、加算器 406と 、画素並べ替えバッファ 407と、 N個の DZ A変換部 408〜408 と、 N個の出力端
1 N
子 409〜409 とを備えている。また、画像情報復号装置 400は、フレームメモリ 410
1 N
と、動き予測 ·補償部 412とを備えている。図 15に示される画像情報復号装置 400は 、出力端子 401〜401 と AZD変換部 402〜402が複数備えられている力 入
1 N 1 N
力端子と AZD変換部は各 1つであってもよい。また、 N個の出力端子 409〜409
1 N カゝらデジタル映像信号を出力する場合は、 N個の DZA変換部 408〜408 は不要
1 N となる。
[0047] 図 15に示した画像情報復号装置 400において、入力端子 401から入力された画 像圧縮情報は、蓄積バッファ 402において一時的に格納された後、可変復号部 403 に転送される。可変復号部 403は、定められた画像圧縮情報のフォーマットに基づき 、画像圧縮情報に対して可変長復号又は算術復号等の処理を施し、ヘッダ部に格 納された符号ィ匕モード情報を取得し逆量子化部 404等に供給する。また同様に、可 変復号部 403は、量子化された変換係数を取得し逆量子化部 404に供給する。さら に、可変復号部 403は、復号するフレーム力インター符号ィ匕されたものである場合に は、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その
情報を動き予測 ·補償部 412に供給する。
[0048] 逆量子化部 404は、可変復号部 403から供給された量子化後の変換係数を逆量 子化し、変換係数を逆直交変換部 405に供給する。逆直交変換部 405は、定められ た画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換等 の逆直交変換を施す。ここで、対象となるフレーム力 Sイントラ符号ィ匕されたものである 場合、逆直交変換処理が施された画像情報は、画素並べ替えバッファ 407に格納さ れ、 DZ A変換部 408〜408 における DZA変換処理の後に、出力端子 409〜4
1 N 1
09力 出力される。
N
[0049] また、対象となるフレーム力インター符号化されたものである場合、動き予測'補償 部 412は、可変復号処理が施された動きベクトル情報とフレームメモリ 410に格納さ れた画像情報とに基づいて参照画像を生成し、加算器 406に供給する。加算器 406 は、この参照画像と逆直交変換部 405からの出力とを合成する。なお、その他の処理 につ 、ては、イントラ符号ィ匕されたフレームと同様である。
[0050] 図 16は、図 15に示される画像情報復号装置 400の符号化処理を示すフローチヤ ートである。図 16に示されるように、画像情報復号装置 400は、入力信号の可変復 号 (ステップ ST21)、逆量子化 (ステップ ST22)、逆直交変換 (ステップ ST23)後、 画像情報が動き予測補償されたものであれば、動き予測補償を用いて復号し (ステツ プ ST24)この処理を、全ブロックについて行う。その後、画素の並べ替え(ステップ S T25)、 DZA変換 (ステップ ST26)を行う。
[0051] 以上は、本発明の画像情報圧縮方法を実施することができる画像情報符号化装置 300と、本発明の画像情報圧縮方法によって符号化された画像情報を復号すること ができる画像情報復号装置 400を例示して説明したが、本発明の画像情報圧縮方 法を実施することができる画像情報符号ィ匕装置 300及び画像情報復号装置 400は、 上記構成のものに限定されず、他の構成の装置にも本発明の画像情報圧縮方法を 適用できる。次に、本発明の画像情報圧縮方法の実施形態及び本発明の画像情報 圧縮方法を適用した FTVシステムを説明する。
[0052] < FTVシステムの説明 >
図 17は、本発明の FTVシステムの基本的な構成を概念的に示す図である。図 17
において、図 1に示される構成と同一又は対応する構成には、同じ符号を付す。
[0053] この FTVシステムは、送信側の装置 350と、受信側の装置 450とが離れた場所に あり、送信側の装置 350から受信側の装置 450まで、例えば、インターネットなどを用 いて、 FTV信号を伝送するシステムである。
[0054] 図 17に示されるように、送信側の装置 350は、複数台のカメラ(図 17には、符号 10
2〜102の 4台を示す力 実際にはより多くのカメラが用いられる。)と、複数台の力
1 4
メラによって取得された映像情報を圧縮符号ィ匕する、上記実施の形態において説明 された構成及び機能を有する画像情報符号化装置 300とを備えて ヽる。画像情報符 号ィ匕装置 300で圧縮符号化された画像情報は、図示しない通信装置によって受信 側の装置 450に送られる。
[0055] また、受信側の装置 450は、図示しな 、受信装置と、上記実施の形態 1にお!、て説 明された画像情報復号装置 400と、画像情報復号装置 400からの出力信号に基づ いて光線空間 103を形成し、ユーザーインターフェース 104から入力された視点位 置に応じて光線空間 103から断面を抽出して表示する。
[0056] 図 3 (a) , (b)及び図 4 (a)〜(c)に示されるように、例えば、光線空間法を用いること により、光線空間 103から任意の面を切り取ることによって、実空間における水平方 向の任意の視点から見た画像を生成することが可能である。例えば、図 4 (a)に示さ れる光線空間 103から断面 103aを切り出すと、図 4 (b)に示されるような画像が生成 され、図 4 (a)に示される光線空間 103から断面 103bを切り出すと、図 4 (c)に示され るような画像が生成される。
[0057] 以上説明したように、この FTVシステムにお ヽては、上記実施形態で説明された画 像情報圧縮方法を用いて 、るので、 FTVシステムにおける FTV信号の符号ィヒ圧縮 効率を向上させることができる。
Claims
[1] 被写体を中心とする円周上の複数位置又は直線上の複数位置力 カメラによって 複数の静止画像を取得するステップと、
前記複数の静止画像を、 X軸、 y軸、 z軸カゝら成る直交座標系の z軸方向に、隣接す る静止画像同士が対向するように前記複数位置の順に並べることによってマルチカメ ラ静止画像を生成するステップと、
前記マルチカメラ静止画像を X軸及び z軸を含む xz平面に垂直であって、かつ、 X 軸及び y軸を含む xy平面に垂直な面で切り出すことによって複数の垂直断面画像を 生成するステップと、
前記複数の垂直断面画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレー ムとして扱い、フレーム内符号ィ匕及びフレーム間の相関を利用したフレーム間予測 符号ィヒを用いて前記複数の垂直断面画像を符号ィヒ処理するステップと
を有することを特徴とする画像情報圧縮方法。
[2] 前記複数の垂直断面画像の符号化処理には、 H. 264ZAVC規格に準拠した処 理又は MPEG2規格に準拠した処理が含まれることを特徴とする請求項 1に記載の 画像情報圧縮方法。
[3] 前記カメラによって取得される静止画像の解像度が所定の基準解像度よりも高ぐ 前記静止画像を取得する複数位置の間隔が所定の基準間隔よりも疎である場合に は、前記垂直断面画像を生成するステップ及び前記複数の垂直断面画像を符号ィ匕 処理するステップに代えて、前記カメラによって取得された複数のカメラ画像のそれ ぞれを動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号ィ匕及 びフレーム間の相関を利用したフレーム間予測符号ィ匕を用いて前記複数のカメラ画 像を符号化処理するステップを有することを特徴とする請求項 1に記載の画像情報 圧縮方法。
[4] 被写体を中心とする円周上の複数位置又は直線上の複数位置力 カメラによって 取得された複数の静止画像を、 X軸、 y軸、 z軸カゝら成る直交座標系の z軸方向に、隣 接する静止画像同士が対向するように前記複数位置の順に並べることによってマル チカメラ静止画像を生成するマルチカメラ静止画像生成手段と、
前記マルチカメラ静止画像を X軸及び Z軸を含む XZ平面に垂直であって、かつ、 X 軸及び y軸を含む xy平面に垂直な面で切り出すことによって複数の垂直断面画像を 生成する垂直断面画像生成手段と、
前記複数の垂直断面画像のそれぞれを動画像の時間軸方向に並ぶ複数のフレー ムとして扱い、フレーム内符号ィ匕及びフレーム間の相関を利用したフレーム間予測 符号化を用いて前記複数の垂直断面画像を符号化処理する符号化手段と
を有することを特徴とする画像情報圧縮装置。
[5] 前記複数の垂直断面画像の符号化処理には、 H. 264ZAVC規格に準拠した処 理又は MPEG2規格に準拠した処理が含まれることを特徴とする請求項 4に記載の 画像情報圧縮装置。
[6] 前記カメラによって取得される静止画像の解像度が所定の基準解像度よりも高ぐ 前記静止画像を取得する複数位置の間隔が所定の基準間隔よりも疎である場合に は、前記符号化手段は、前記垂直断面画像の生成及び前記複数の垂直断面画像 の符号化処理に代えて、前記カメラによって取得された複数のカメラ画像のそれぞれ を動画像の時間軸方向に並ぶ複数のフレームとして扱い、フレーム内符号化及びフ レーム間の相関を利用したフレーム間予測符号ィ匕を用いて前記複数のカメラ画像を 符号化処理することを特徴とする請求項 4に記載の画像情報圧縮装置。
[7] 被写体を中心とする円周上の複数位置又は直線上の複数位置力 複数の静止画 像を取得する静止画像取得手段と、
前記複数の静止画像静に符号化処理を施す、請求項 4に記載の画像情報圧縮装 置と、
前記画像情報圧縮装置から出力された符号化情報を復号する画像情報復号装置 と、
見る者の視点位置を入力するユーザーインターフェースと、
前記複数の静止画像から、前記ユーザーインターフェースによって入力された視点 から見た画像を抽出する画像情報抽出部と
を有することを特徴とする自由視点テレビシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007533118A JP4825984B2 (ja) | 2005-08-29 | 2006-03-09 | 画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005-246922 | 2005-08-29 | ||
JP2005246922 | 2005-08-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2007026440A1 true WO2007026440A1 (ja) | 2007-03-08 |
Family
ID=37808544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2006/304590 WO2007026440A1 (ja) | 2005-08-29 | 2006-03-09 | 画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4825984B2 (ja) |
WO (1) | WO2007026440A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008259171A (ja) * | 2007-04-04 | 2008-10-23 | Mitsubishi Electric Research Laboratories Inc | 3次元ライトフィールドを取得、符号化、復号、表示するための方法およびシステム |
JP2008263528A (ja) * | 2007-04-13 | 2008-10-30 | Univ Nagoya | 画像情報処理方法及び画像情報処理システム |
JP2011120283A (ja) * | 2011-02-23 | 2011-06-16 | Nagoya Univ | 画像情報処理方法及び画像情報受信システム |
WO2016158402A1 (ja) * | 2015-03-30 | 2016-10-06 | ソニー株式会社 | 画像処理装置および方法 |
WO2016158403A1 (ja) * | 2015-03-30 | 2016-10-06 | ソニー株式会社 | 画像処理装置および方法 |
WO2018123611A1 (ja) * | 2016-12-28 | 2018-07-05 | ソニー株式会社 | 情報処理装置および方法 |
CN108293133A (zh) * | 2015-09-14 | 2018-07-17 | 汤姆逊许可公司 | 用于编码和解码基于光场的图像的方法和装置及对应计算机程序产品 |
CN108353189A (zh) * | 2015-09-14 | 2018-07-31 | 汤姆逊许可公司 | 用于编码和解码基于光场的图像的方法和装置及对应计算机程序产品 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06112838A (ja) * | 1992-09-30 | 1994-04-22 | Fujitsu Ltd | 3次元ボリュームデータの直交変換符号化方式 |
JPH11146396A (ja) * | 1997-11-13 | 1999-05-28 | Nippon Telegr & Teleph Corp <Ntt> | 動画像圧縮符号化・復号化方法、動画像圧縮符号化・復号化装置、動画像符号化伝送方法、動画像符号化伝送システムおよび動画像圧縮符号化・復号化プログラムを記録した記録媒体 |
JP2000278715A (ja) * | 1999-03-24 | 2000-10-06 | Minolta Co Ltd | 立体画像表示データ生成方法、立体画像表示データ生成装置および立体画像表示データを記録したコンピュータ読み取り可能な記録媒体 |
-
2006
- 2006-03-09 WO PCT/JP2006/304590 patent/WO2007026440A1/ja active Application Filing
- 2006-03-09 JP JP2007533118A patent/JP4825984B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06112838A (ja) * | 1992-09-30 | 1994-04-22 | Fujitsu Ltd | 3次元ボリュームデータの直交変換符号化方式 |
JPH11146396A (ja) * | 1997-11-13 | 1999-05-28 | Nippon Telegr & Teleph Corp <Ntt> | 動画像圧縮符号化・復号化方法、動画像圧縮符号化・復号化装置、動画像符号化伝送方法、動画像符号化伝送システムおよび動画像圧縮符号化・復号化プログラムを記録した記録媒体 |
JP2000278715A (ja) * | 1999-03-24 | 2000-10-06 | Minolta Co Ltd | 立体画像表示データ生成方法、立体画像表示データ生成装置および立体画像表示データを記録したコンピュータ読み取り可能な記録媒体 |
Non-Patent Citations (2)
Title |
---|
HIKEAKI KIMATA, ET AL.: "System Design of Free Viewpoint Video Communication", THE FOURTH INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION TECHNOLOGY 2004 (CIT'04), 14 September 2004 (2004-09-14), pages 52 - 59, XP003012676 * |
OKA S. ET AL.: "Jiyu Shiten TV no tame no Kosen Kukan Joho Asshuku", INFORMATION PROCESSING SOCIETY OF JAPAN KENKYU HOKOKU, vol. 2003, no. 125, 19 December 2003 (2003-12-19), pages 97 - 102, 2003-AVM-43, XP003012677 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008259171A (ja) * | 2007-04-04 | 2008-10-23 | Mitsubishi Electric Research Laboratories Inc | 3次元ライトフィールドを取得、符号化、復号、表示するための方法およびシステム |
JP2008263528A (ja) * | 2007-04-13 | 2008-10-30 | Univ Nagoya | 画像情報処理方法及び画像情報処理システム |
JP2011120283A (ja) * | 2011-02-23 | 2011-06-16 | Nagoya Univ | 画像情報処理方法及び画像情報受信システム |
WO2016158402A1 (ja) * | 2015-03-30 | 2016-10-06 | ソニー株式会社 | 画像処理装置および方法 |
WO2016158403A1 (ja) * | 2015-03-30 | 2016-10-06 | ソニー株式会社 | 画像処理装置および方法 |
CN108293133A (zh) * | 2015-09-14 | 2018-07-17 | 汤姆逊许可公司 | 用于编码和解码基于光场的图像的方法和装置及对应计算机程序产品 |
CN108353189A (zh) * | 2015-09-14 | 2018-07-31 | 汤姆逊许可公司 | 用于编码和解码基于光场的图像的方法和装置及对应计算机程序产品 |
JP2018530963A (ja) * | 2015-09-14 | 2018-10-18 | トムソン ライセンシングThomson Licensing | ライトフィールドベースの画像を符号化及び復号する方法及び機器並びに対応するコンピュータプログラム製品 |
WO2018123611A1 (ja) * | 2016-12-28 | 2018-07-05 | ソニー株式会社 | 情報処理装置および方法 |
JPWO2018123611A1 (ja) * | 2016-12-28 | 2019-10-31 | ソニー株式会社 | 情報処理装置および方法 |
US11019362B2 (en) | 2016-12-28 | 2021-05-25 | Sony Corporation | Information processing device and method |
Also Published As
Publication number | Publication date |
---|---|
JPWO2007026440A1 (ja) | 2009-03-05 |
JP4825984B2 (ja) | 2011-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101466849B1 (ko) | 다시점 영상 부호화, 복호화 방법 및 그 장치. | |
Ho et al. | Overview of multi-view video coding | |
US9088802B2 (en) | Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs | |
JP4611386B2 (ja) | 多視点映像のスケーラブル符号化、復号化方法及び装置 | |
JP4562774B2 (ja) | 映像合成基盤の多視点動映像の符号化及び復号化を行うための方法及び装置 | |
KR100667830B1 (ko) | 다시점 동영상을 부호화하는 방법 및 장치 | |
Guo et al. | Distributed multi-view video coding | |
EP2538675A1 (en) | Apparatus for universal coding for multi-view video | |
US20060133493A1 (en) | Method and apparatus for encoding and decoding stereoscopic video | |
JP4825983B2 (ja) | 画像情報圧縮方法及び自由視点テレビシステム | |
WO2007026440A1 (ja) | 画像情報圧縮方法、画像情報圧縮装置、及び自由視点テレビシステム | |
JP2007180981A (ja) | 画像符号化装置、画像符号化方法、及び画像符号化プログラム | |
US20110268193A1 (en) | Encoding and decoding method for single-view video or multi-view video and apparatus thereof | |
WO2019069602A1 (ja) | 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、プログラムおよび映像システム | |
JP7457124B2 (ja) | 予測重みテーブルに基づく映像/ビデオコーディング方法及び装置 | |
US8098946B2 (en) | Apparatus and method for image encoding and decoding using prediction | |
Fecker et al. | H. 264/AVC-compatible coding of dynamic light fields using transposed picture ordering | |
Ng et al. | Object-based coding for plenoptic videos | |
Monteiro et al. | Optimized reference picture selection for light field image coding | |
Tao et al. | Joint texture and depth map video coding based on the scalable extension of H. 264/AVC | |
Yea et al. | View synthesis prediction for rate-overhead reduction in ftv | |
KR101407719B1 (ko) | 가변적 화면 그룹 예측 구조를 이용한 다시점 영상 부호화방법 및 장치, 영상 복호화 장치 그리고 상기 방법을수행하는 프로그램이 기록된 기록 매체 | |
CN113545060A (zh) | 视频编码中的空瓦片编码 | |
Shah et al. | Evaluating multi-view plus depth coding solutions for 3D video scenarios | |
Bai et al. | An efficient multiview video compression scheme |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
DPE2 | Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101) | ||
121 | Ep: the epo has been informed by wipo that ep was designated in this application | ||
WWE | Wipo information: entry into national phase |
Ref document number: 2007533118 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 06715461 Country of ref document: EP Kind code of ref document: A1 |