WO2011142204A1 - 画像符号化装置、画像復号装置及び画像復号方法 - Google Patents
画像符号化装置、画像復号装置及び画像復号方法 Download PDFInfo
- Publication number
- WO2011142204A1 WO2011142204A1 PCT/JP2011/059271 JP2011059271W WO2011142204A1 WO 2011142204 A1 WO2011142204 A1 WO 2011142204A1 JP 2011059271 W JP2011059271 W JP 2011059271W WO 2011142204 A1 WO2011142204 A1 WO 2011142204A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- image
- region
- area
- images
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
Definitions
- the present invention relates to an image encoding device, an image decoding device, and the like, and more particularly, to a technology for processing an image using CT (Computed Tomography), MRI (Magnetic Resonance Imaging), or the like.
- CT Computer Tomography
- MRI Magnetic Resonance Imaging
- CT is a technique for imaging a tomogram of a human body using radiation such as X-rays and MRI using a nuclear magnetic resonance phenomenon.
- the captured image is recorded as digital data in accordance with a standard system called DICOM (Digital Imaging and COmmunication in Medicine).
- DICOM Digital Imaging and COmmunication in Medicine
- compression is performed by a compression method such as the JPEG-LS standard (ISO-14495-1495 / ITU-T T.87) which is a reversible lossless compression method.
- Patent Document 1 discloses a method of increasing the compression ratio by compressing an important part in an image by a lossless compression method and compressing an unimportant part by a lossy compression method. .
- a tomographic image of a human body or the like generally taken by a medical diagnostic imaging apparatus is a multi-slice image.
- a so-called moving image is also a multi-frame image in which one sequence is composed of a plurality of images.
- the present invention takes the above-described problems into consideration, and an image that can be efficiently compression-encoded or decoded by combining a plurality of compression methods (particularly, lossless compression method and lossy compression method) with respect to a plurality of images.
- An object is to provide an encoding device, an image decoding device, and the like.
- a typical example of the invention disclosed in the present application is as follows. That is, an image encoding apparatus that encodes a plurality of input images, and for each of the plurality of input images, a first region to be encoded by a first encoding method, and the first A region calculation unit that calculates region data indicating a second region to be encoded by a second encoding method different from the encoding method using the correlation of the plurality of images; Based on the region data of each image, the first region of each of the plurality of images is encoded by the first encoding method, and the second region is encoded by the second encoding method.
- a frame encoder that encodes the region data of each of the plurality of calculated images using a correlation of the region data, and each of the plurality of encoded images Is Characterized by comprising an output unit for outputting in association with the region data.
- FIG. 1 is a block diagram showing an example of an image encoding device 100 according to an embodiment of the present invention.
- the image encoding apparatus 100 includes an area designation processing unit 101, a multiframe image buffer 102, a multiframe area calculation unit 103, a frame encoder 104, a reference frame buffer 105, a reference area data buffer 106, an area data encoder 107, and an image stream buffer 108.
- the data combination unit 109 is provided.
- the image encoding apparatus 100 compresses and encodes a monochrome image such as a medical image
- the present invention is not limited to this case.
- the same processing may be performed for each of the R, G, and B planes.
- an image input to the image coding apparatus 100 is a multi-slice image such as CT or MRI
- the input images are different from time-sequential images obtained by photographing the same patient at different times, and the same part. It may be a set of images obtained by shooting with a type of device or a general moving image. That is, the input image is a series of continuous images that are spatially or temporally continuous.
- one image of the plurality of images is referred to as an image or a frame.
- a frame is synonymous with a slice and a picture.
- the region designation processing unit 101 designates a region (region data) for a plurality of input images (image data). Specifically, a lossless area and a lossy area are designated for each input image.
- the lossless area is an area that is reversibly compressed by a lossless compression method.
- the lossy area is an area that is irreversibly compressed by the lossy compression method.
- the user may specify an area for the first image, and the system may automatically specify the area of each other image with reference to the area specified for the first image. Good. Further, the system may automatically designate all image areas.
- the user inputs the area data of the first image to the area designation processing unit 101, and the multi-frame area calculation unit 103 automatically designates the area of each other image. In the following description, it is assumed that there is one designated area, but there may be a plurality of designated areas. A method for designating an area will be described later with reference to FIG.
- the area designation processing unit 101 transmits information on the designated area to the multiframe area calculation unit 103.
- the multi-frame image buffer 102 holds a plurality of input images.
- the multi-frame image buffer 102 transmits a plurality of input images to the multi-frame region calculation unit 103 and the frame encoder 104.
- the multi-frame area calculation unit 103 calculates the area data of each other image transmitted from the multi-frame image buffer 102 based on the area data of the first image designated by the area designation processing unit 101. Thereafter, the calculated area data of each image is transmitted to the frame encoder 104 and the area data encoder 107.
- the multi-frame area calculation unit 103 creates area data of the second image based on, for example, the first image, the second image, and the area data of the first image. That is, when the first image is compared with the second image, and the object in the second image is an enlargement of the object in the area of the first image, the second image Enlarge the area data.
- the area of the first image is applied to the second image, the difference between the average luminance in the first image area and the average luminance outside the area, and the average luminance in the second image area. Also, the difference in average luminance outside the area may be compared, and the shape of the area of the second image may be changed so that the difference between the two becomes small.
- a method for designating a region for a plurality of images can be appropriately realized by applying existing image processing.
- the frame encoder 104 compresses each image transmitted from the multiframe image buffer 102 by using the region data set by the multiframe region calculation unit 103 and the encoded image held in the reference frame buffer 105. Encode.
- the multiframe image buffer 102 is used by using the region data information set by the multiframe region calculation unit 103 and the pixel information in another encoded image held in the reference frame buffer 105.
- the pixel value of each pixel in the image transmitted from is predicted and encoded.
- the region designated as the lossless region is encoded by the lossless compression method
- the region designated as the lossy region is encoded by the lossy compression method. Details of the encoding method will be described later.
- the reference frame buffer 105 holds the information of the image encoded by the frame encoder 104 as a reference frame. This reference frame is used by the frame encoder 104 when another image is encoded.
- the image stream buffer 108 holds information on the image encoded by the frame encoder 104.
- the area data encoder 107 compresses and encodes the area data of each image calculated by the multiframe area calculation unit 103 with reference to other encoded area data held in the reference area data buffer 106.
- the area data encoder 107 may compress and encode the difference data of both area data when the area data of a predetermined image and the area data of another image are the same or similar. Thereby, the amount of information can be reduced.
- the reference area data buffer 106 holds the area data information encoded by the area data encoder 107 as reference area data. This reference area data is used by the area data encoder 107 when encoding area data of another image.
- the data combining unit 109 combines the encoded data of each image held in the image stream buffer 108 and the encoded data of the area data output from the area data encoder 107 to generate an encoded stream.
- the encoded stream is output to the outside.
- each of a plurality of images can be divided into a lossless area and a lossy area, and can be efficiently compressed and encoded.
- FIG. 2 is a block diagram showing an example of the image decoding apparatus 200 according to the embodiment of the present invention.
- the image decoding apparatus 200 includes a data separation unit 201, an area data buffer 202, an image stream buffer 203, an area data decoder 204, a reference area data buffer 205, a frame decoder 206, a reference frame buffer 207, an output image buffer 208, and a display synthesis unit 209. Is provided.
- the data separation unit 201 separates the input encoded stream into encoded data of region data and encoded data of images.
- the encoded data of the area data is transmitted to the area data buffer 202.
- the encoded image data is transmitted to the image stream buffer 203.
- the area data buffer 202 holds encoded data of area data.
- the image stream buffer 203 holds encoded image data.
- the area data decoder 204 decodes the encoded data of the area data held in the area data buffer 202. Specifically, by combining the difference data obtained by decoding the encoded data of the area data held in the area data buffer 202 with the other decoded area data held in the reference area data buffer 205 Decode the region data. In this way, the area data of each image is calculated.
- the reference area data buffer 205 holds the area data information decoded by the area data decoder 204 as reference area data.
- the frame decoder 206 stores the encoded data of each image held in the image stream buffer 203, the area data of each image decoded by the area data decoder 204, and other decoded images held in the reference frame buffer 207. And decrypt using
- the frame decoder 206 is transmitted from the image stream buffer 203 using the pixel information of the other decoded images held in the reference frame buffer 207 and the area data of each image calculated by the area data decoder 204. The pixels of each image are predicted and decoded. The frame decoder 206 reversibly decodes the area designated as the lossless area and irreversibly decodes the area designated as the lossy area.
- the reference frame buffer 207 holds image information decoded by the frame decoder 206 as a reference frame.
- the output image buffer 208 holds each image decoded by the frame decoder 206 as an output image.
- the display composition unit 209 synthesizes (superimposes) the region data of each image decoded by the region data decoder 204 and each image held in the output image buffer 208.
- the user can easily discriminate between a portion compressed by the lossless compression method (lossless region) and a portion compressed by the lossy compression method (lossy region).
- the display composition unit 209 may display the boundary between the lossless area and the lossy area with a conspicuous color.
- the display composition unit 209 may display the lossless area and the lossy area in different colors.
- the encoded stream compressed and encoded by the image encoding apparatus 100 can be restored to the original image and displayed.
- the image encoding device 100 can record each of a plurality of images in a data format that enables easy-to-understand display for the user.
- FIG. 3A and 3B are diagrams for explaining an example of a region specifying method for one image according to the embodiment of the present invention.
- FIG. 3A shows an example in which an area (lossless area) is designated by an ellipse.
- FIG. 3B shows an example in which an area (lossless area) is designated by a rectangle.
- the multiframe area calculation unit 103 uses the center coordinates (x, y), the major axis length a, and the minor axis length as the area designation data. Data O (x, y, a, b) combining b is recorded.
- the multiframe area calculation unit 103 uses the pixel coordinates (x1, y1) at the upper left corner and the pixel coordinates (x2, y1) at the lower right corner as the data for area designation. Data R (x1, y1, x2, y2) combined with y2) is recorded.
- the area designation method is not limited to the case shown in FIGS. 3A and 3B.
- the region may be specified using a polygon other than an ellipse or a rectangle.
- a plurality of areas may be designated instead of one area.
- the designation of such an area is a process for dividing an image into a lossless area and a lossy area, that is, for dividing an image into areas. Instead of dividing an image into a lossless area and a lossy area, prepare multiple quantization steps in the lossy coding method (the degree of coding using the lossy coding method), and use these quantization steps to divide the image into regions. May be. That is, for example, it may be divided into a lossy area with a low degree of quantization (encoding degree) and a lossless area and a lossy area with a high degree of quantization (encoding degree) and a large loss.
- FIG. 4 is a diagram showing an example of a region designation method for a plurality of images according to the embodiment of the present invention. In the following, a case will be described as an example where an area is designated using an ellipse as shown in FIG. 3A for a plurality of images.
- the multi-frame area calculation unit 103 records the above-described data O (x, y, a, b) for each of the plurality of images.
- the areas designated for each image are often close to each other and similar to each other. Therefore, when designating an area for a predetermined image, the area designation processing unit 101 may record only the difference from the area designated for the image immediately before the predetermined image. As a result, the data amount can be reduced and recording can be performed efficiently.
- the multi-frame area calculation unit 103 records the above-described data O (x, y, a, b) as the area data of frame 1.
- the area data of the second and subsequent frames 2, 3 and 4 data combining only the change amount (difference) of the major axis length a and minor axis length b with respect to the previous frame. Record (da2, db2), (da3, db3), (da4, db4) respectively.
- This “method 2” is a case where the regions of the frames 1, 2, 3, and 4 are exactly the same.
- the multi-frame area calculation unit 103 records the above-described data O (x, y, a, b) as the area data of frame 1.
- FIG. 5 is a diagram showing another example of the region specifying method for a plurality of images according to the embodiment of the present invention.
- FIG. 4 a case will be described as an example in which regions are designated using an ellipse as shown in FIG. 3A for a plurality of images.
- the multi-frame area calculation unit 103 designates the area of each image as shown below.
- center coordinates (x3, y3) of the ellipse of frame 3 can be calculated as in equations (3) and (4).
- FIG. 6 is a diagram showing another example of the region specifying method for a plurality of images according to the embodiment of the present invention.
- FIGS. 4 and 5 an example in which a region is specified using an ellipse as shown in FIG. 3A for a plurality of images will be described.
- the multi-frame area calculation unit 103 automatically sets the area data of the second and subsequent images.
- the multi-frame area calculation unit 103 may set the area data of the second and subsequent images by reflecting the change of the second and subsequent images with respect to the area data of the first image.
- the first image is compared with the second image, and the object in the second image area is an enlargement of the object in the first image area.
- the area data of the second image is enlarged.
- the area of the first image is applied to the second image, the difference between the average luminance in the first image area and the average luminance outside the area, and the average luminance in the second image area.
- the difference in average luminance outside the area may be compared, and the shape of the area of the second image may be changed so that the difference between the two becomes small.
- the area data of the first image may be changed so that the difference between the two becomes small.
- a plurality of images are analyzed, and an area is set so that a target object is included in an image having the largest area that should be a lossless area. Thereafter, the set area is applied to an image other than the image in which the area is set.
- the method of analyzing each image area and target can be realized by applying general image processing such as edge comparison, partial area histogram comparison, line-by-line histogram comparison, feature point comparison, etc. is there.
- the region data of the second and subsequent images can be set using a luminance gradient obtained by a technique such as Snakes or Region Growing. it can. As a result, it is possible to greatly reduce the trouble of setting the area data.
- Designation of the area (ellipse center point, long axis, short axis) in the first image can be realized, for example, by displaying the same image on the screen and operating the user's mouse on the screen.
- the area data encoder 107 (see FIG. 1) and the area data decoder 204 (see FIG. 2) estimate the area from each image. Rules to be held may be held in advance. In this case, the multiframe area calculation unit 103 does not need to explicitly record area data.
- the portion of the specific pixel value may be specified as a lossy region from each image. It can.
- This method is premised on that the pixel value indicating the lossy area does not include the pixel value indicating the lossless area, but has an advantage that the area data need not be transmitted.
- FIG. 7 is a diagram showing an example of displaying areas set for a plurality of images according to the embodiment of the present invention.
- the display composition unit 209 displays each image and a plane (slice cross section) on which the regions are set.
- a cross section B that is a set of intersecting lines with A can be displayed in a manner in which the lossless area and the lossy area are distinguished. That is, it is possible to display an arbitrary cross section of the volume data generated based on each image in which the area is set in a manner in which the lossless area and the lossy area are distinguished.
- the displayed image is a medical image, it is effective to display the lossless area and the lossy area separately. This is because it is possible to easily grasp which part of the image is a lossless area in the diagnosis of a disease. Detailed processing relating to display will be described later with reference to FIG.
- FIG. 8 is a diagram for explaining the image coding method according to the embodiment of the present invention.
- a method in which the frame encoder 104 (see FIG. 1) predicts the pixel value of a predetermined image in units of pixels will be described with reference to FIG.
- pixel X is a pixel in the lossless area that is currently being encoded.
- the pixel A and the pixel B are encoded pixels located on the left and on the upper side of the pixel X, respectively.
- Pixel A is a pixel in the lossy area and is encoded by the lossy code method.
- Pixel B is a pixel in the lossless area, and is encoded by a lossless coding method.
- the frame encoder 104 predicts the pixel value of the pixel X from the pixel B. This is because the prediction accuracy can be improved by predicting from the pixel B in the same lossless region as the pixel X than by predicting from the pixel A in the lossy region different from the pixel X.
- the compression rate can be increased by selecting the prediction source pixel based on the information of the region to which the pixel to be encoded belongs. Note that even when the pixel value of a pixel to be encoded is predicted using pixels in another image, the prediction accuracy can be increased by using information on a region to which the pixel to be encoded belongs. Thus, by compressing a plurality of images using the information of the region to which the pixel to be encoded belongs, the compression rate can be improved.
- the correlation of a plurality of images is used in the generation of the area data, the correlation of the plurality of images may not be used in the image encoding. Conversely, the correlation between a plurality of images is not used in the generation of the area data, but the correlation between a plurality of images may be used in the image encoding.
- FIG. 9 is a flowchart showing an example of the image encoding method according to the embodiment of the present invention. Here, an example of an image encoding method will be described with reference to FIG.
- step 901 the area designation processing unit 101 and the multi-frame image buffer 102 input multi-frame images (a plurality of images) (901).
- step 902 the area designation processing unit 101 designates area data of a lossless area and a lossy area for the input image according to designation by the user (902).
- the area designation method is as described above.
- step 903 the multi-frame area calculation unit 103 calculates area data of each input image based on the area data designated in step 902 (903).
- the calculation method of the area data of each image is as described above.
- the frame encoder 104 calculates the image to be encoded stored in the multiframe image buffer 102 by the multiframe region calculation unit 103 with the other encoded images held in the reference frame buffer 105.
- the encoding is performed with reference to the encoded image data and the area data of the other encoded image and the encoded pixel information of the encoded image (904).
- step 904 by referring to a plurality of images and region data, prediction accuracy can be improved and encoding can be performed efficiently. Further, by using the area data, it is possible to efficiently encode by combining the lossless coding method and the lossy coding method.
- step 905 the frame encoder 104 stores the information of the image encoded in step 904 in the reference frame buffer 105 as a reference frame (905). In step 905, the frame encoder 104 stores the information of the image encoded in step 904 in the image stream buffer 108.
- the area data encoder 107 refers to the area data of another encoded image stored in the reference area data buffer 106, and encodes the area data of the image to be encoded (906).
- the region data encoding method is as described above. As described above, the difference data between the area data of the image to be encoded and the area data of another image can be efficiently encoded by compressing and encoding.
- step 907 the area data encoder 107 stores the area data information encoded in step 906 in the reference area data buffer 106 as reference area data (907).
- step 908 the data combining unit 109 integrates the encoded data of each image stored in the image stream buffer 108 and the encoded data of the area data output from the area data encoder 107 to create an encoded stream.
- the generated encoded stream is output to the outside (908).
- each of a plurality of images can be divided into a lossless area and a lossy area, and compression encoding can be performed efficiently.
- FIG. 10 is a flowchart showing an example of the image decoding method according to the embodiment of the present invention. Here, an example of an image decoding method will be described with reference to FIG.
- step 1001 the data separation unit 201 inputs an encoded stream (1001).
- step 1002 the data separation unit 201 separates the input encoded stream into encoded data of region data and encoded data of an image (image stream) (1002).
- the encoded data of the area data and the encoded data of the image separated in step 1002 are transmitted to the area data buffer 202 and the image stream buffer 203, respectively.
- the area data decoder 204 refers to other decoded area data stored in the reference area data buffer 205, and calculates area data of the decoding target image (1003).
- the area data decoder 204 decodes the encoded data of the area data of the decoding target image held in the area data buffer 202 to generate difference data. Thereafter, the generated difference data and other decoded region data stored in the reference region data buffer 205 are combined (combined) to decode the region data of the decoding target image.
- step 1004 the frame decoder 206 converts the decoding target image stored in the image stream buffer 203, other decoded images held in the reference frame buffer 207, and the region data decoded by the region data decoder 204. Then, decoding is performed with reference to the decoded pixel information of the decoding target image (1004).
- step 1005 the area data decoder 204 stores the area data information calculated in step 1003 in the reference area data buffer 205 as reference area data, and the frame decoder 206 stores the image data decoded in step 1004. Information is stored in the reference frame buffer 105 as a reference frame (1005).
- step 1006 the output image buffer 208 stores the image decoded by the frame decoder 206 as output image data (1006).
- the display composition unit 209 synthesizes and displays the region data of each image decoded by the region data decoder 204 and the output image data held in the output image buffer 208 (1007). Thereby, the user can easily discriminate between the lossless area and the lossy area.
- the displayed image is a medical image
- displaying the lossless area and the lossy area separately makes it easy to grasp which part of the image is the lossless area in diagnosing a disease. It is valid.
- the encoded stream compressed and encoded by the above image encoding method can be restored to the original image and displayed.
- each of the plurality of images can be recorded in a data format that enables a user-friendly display by the above-described image encoding method.
- FIG. 11 is a flowchart showing an example of a method for displaying an area set for a plurality of images according to the embodiment of the present invention.
- FIG. 11 an example of the display process described above will be described with reference to FIG.
- the display composition unit 209 calculates an intersection line between a newly created slice section (plane) and each image in which a region is set (1101). For example, it is assumed that a multi-frame image is taken in a direction perpendicular to the body axis in taking a medical image using CT. When a new slice cross section is created on a plane parallel to the body axis based on the multi-frame image, the new slice cross section and each image intersect with a line. Therefore, the display composition unit 209 obtains an intersection line between a newly created slice cross section and each image.
- the display combining unit 209 acquires pixel information from each image and combines it with a new slice cross-sectional image (1102).
- the display synthesis unit 209 acquires pixel information on the intersection line calculated for each image in step 1101, and projects it onto a newly created slice cross section. Thereby, the pixel information on the intersection line of each image can be synthesized.
- the display composition unit 209 may acquire pixel information from some images and obtain image information of other images by interpolation based on the acquired pixel information. Good.
- the display composition unit 209 calculates the intersection line and intersection point between the area set for each image and the new slice section (1103).
- areas such as a lossless area and a lossy area are set in each image by an ellipse, a quadrangle, or the like.
- the region set for each image and the new slice cross section intersect at a line or a point.
- the display composition unit 209 calculates an intersection line or intersection between the slice cross section and the region set for each image based on the positional relationship between the shooting position of each image and the newly created slice cross section. To do.
- step 1104 the display composition unit 209 sets an area on a new slice section (1104).
- step 1104 the display composition unit 209 projects the intersection line and intersection calculated in step 1103 onto a new slice cross section. Thereby, the user can easily discriminate between the lossless area and the lossy area.
- the display synthesis unit 209 synthesizes (superimposes) the new slice cross-sectional image created in step 1102 and the region set in step 1104 (1105).
- the display composition unit 209 may display the colors of the boundary between the lossless area and the lossy area by color coding or highlight the boundary.
- the display composition unit 209 may display the boundary between the lossless area and the lossy area as a line.
- the image encoding method and the image decoding method according to the embodiment of the present invention may be applied to an image recording apparatus and an image transmission apparatus. Accordingly, it is possible to provide a medical diagnostic imaging apparatus capable of recording a large volume of images and transmitting an image with a small bandwidth, and an imaging apparatus such as CT and MRI.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Discrete Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
入力された複数の画像を符号化する画像符号化装置である。この画像符号化装置は、入力された複数の画像の各々について、第1の領域と、第2の領域とを示す領域データを、複数の画像の相関を利用して計算する領域計算部と、計算された複数の画像の各々の領域データに基づいて、第1の領域を第1の符号化方式によって符号化し、第2の領域を第2の符号化方式によって符号化するフレームエンコーダと、計算された複数の画像の各々の領域データを、領域データの相関を利用して符号化する領域データエンコーダと、符号化された複数の画像の各々と符号化された領域データとを関連付けて出力する出力部と、を備える。
Description
本出願は、2010年5月12日に出願された日本特許出願特願2010-110217の優先権を主張し、その内容を参照することにより、本出願に取り込む。
本発明は、画像符号化装置、画像復号装置等に関し、特に、CT(Computed Tomography)やMRI(Magnetic Resonance Imaging)等を利用した画像を処理する技術に関する。
CTやMRI等の技術を利用した画像を処理する医療用の画像診断装置が知られている。CTはX線等の放射線を用いて、MRIは核磁気共鳴現象を用いて、人体等の断層を撮影する技術である。撮影された画像は、DICOM(Digital Imaging and COmmunication in Medicine)と呼ばれる規格方式に従ってデジタルデータ化して記録される。特に、記録される画像が医療用の画像である場合には、画像のオリジナルデータが記録される必要がある。そのため、可逆なロスレス圧縮方式であるJPEG-LS規格(ISO-14495-1 / ITU-T T.87)等の圧縮方式によって圧縮される。
ロスレス圧縮方式は、画像の劣化を許容する不可逆な圧縮方式であるロッシー圧縮方式に比べると圧縮率が低いという課題がある。この課題を解決すべく、特許文献1には、画像内の重要な部分をロスレス圧縮方式によって圧縮し、重要でない部分をロッシー圧縮方式によって圧縮することによって、圧縮率を高める方法が開示されている。
ところで、一般に医療用の画像診断装置が撮影する人体等の断層画像は、マルチスライス画像である。また、いわゆる動画像も、複数の画像から1つのシーケンスが構成されるマルチフレーム画像である。
このような複数の画像に対して、ロスレス圧縮方式とロッシー圧縮方式とを組み合わせて圧縮符号化する場合、各々の画像に対して、ロスレス圧縮方式によって圧縮する部分とロッシー圧縮方式によって圧縮する部分の範囲を指定(表示、記録)する必要がある。しかしながら、特許文献1に開示された技術では、このような点については考慮されておらず、効率的に符号化できない問題があった。
本発明は、上述した課題を考慮したものであって、複数の画像に対して、複数の圧縮方式(特に、ロスレス圧縮方式とロッシー圧縮方式)を組み合わせて効率的に圧縮符号化又は復号できる画像符号化装置、画像復号装置等を提供することを目的とする。
本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、入力された複数の画像を符号化する画像符号化装置であって、入力された前記複数の画像の各々について、第1の符号化方式によって符号化すべき第1の領域と、前記第1の符号化方式と異なる第2の符号化方式によって符号化すべき第2の領域とを示す領域データを、前記複数の画像の相関を利用して計算する領域計算部と、計算された前記複数の画像の各々の領域データに基づいて、前記複数の画像の各々の前記第1の領域を前記第1の符号化方式によって符号化し、前記第2の領域を前記第2の符号化方式によって符号化するフレームエンコーダと、計算された前記複数の画像の各々の領域データを、当該領域データの相関を利用して符号化する領域データエンコーダと、符号化された前記複数の画像の各々と、符号化された前記領域データとを関連付けて出力する出力部と、を備えたことを特徴とする。
本発明の実施の形態によれば、複数の画像に対して、複数の圧縮方式(特に、ロスレス圧縮方式とロッシー圧縮方式)を組み合わせて効率的に圧縮符号化又は復号できる。
以下、本発明の実施の形態について、図面を参照して説明する。
図1は、本発明の実施の形態の画像符号化装置100の一例を示すブロック図である。画像符号化装置100は、領域指定処理部101、マルチフレーム画像バッファ102、マルチフレーム領域計算部103、フレームエンコーダ104、リファレンスフレームバッファ105、リファレンス領域データバッファ106、領域データエンコーダ107、画像ストリームバッファ108、データ結合部109を備える。
以下では、画像符号化装置100が医療用画像等のモノクロ画像を圧縮符号化する場合を例に挙げて説明するが、この場合に限らない。画像符号化装置100がカラー画像を圧縮符号化する場合には、例えばR、G、Bの各プレーンに対して同様に処理すればよい。
また以下では、画像符号化装置100に入力される画像がCTやMRI等のマルチスライス画像である場合を例に挙げて説明するが、この場合に限らない。入力される画像は、一つの撮影機器によって位置をずらして複数枚撮影されたマルチスライス画像の他に、同じ患者を異なる時期に撮影することによって得られる時系列の複数の画像、同じ部位を異なる種類の機器によって撮影することによって得られる画像の集合、又は、一般的な動画像であってもよい。すなわち、入力される画像は、空間的又は時間的に連続する一連の連続画像である。以下、複数の画像のうちの一枚の画像を、画像又はフレームと呼ぶ。フレームは、スライス、ピクチャと同義である。
領域指定処理部101は、入力された複数の画像(画像データ)に対して領域(領域データ)を指定する。具体的には、入力された各画像に対して、ロスレス領域とロッシー領域とを指定する。ロスレス領域とは、ロスレス圧縮方式によって可逆に圧縮される領域である。ロッシー領域とは、ロッシー圧縮方式によって非可逆に圧縮される領域である。各画像データの重要な領域をロスレス領域として指定し、重要でない領域をロッシー領域として指定することによって、効率的な圧縮が可能となる。領域の指定は、以下に示す方法によって実行可能である。すなわち、ユーザが各画像に対して個別にロスレス領域及びロッシー領域を指定してもよい。また、ユーザが1枚目の画像に対して領域を指定し、システムが1枚目の画像に対して指定された領域を参考にして、その他の各画像の領域を自動的に指定してもよい。また、システムが全ての画像の領域を自動的に指定してもよい。以下では、ユーザが領域指定処理部101に対して1枚目の画像の領域データを入力し、マルチフレーム領域計算部103が他の各画像の領域を自動的に指定する例を説明する。また以下では、指定される領域が一つであるとして説明するが、指定される領域は複数あってもよい。領域の指定方法については、図3を用いて後述する。この領域指定処理部101は、指定された領域の情報を、マルチフレーム領域計算部103に送信する。
マルチフレーム画像バッファ102は、入力された複数の画像を保持する。このマルチフレーム画像バッファ102は、入力された複数の画像を、マルチフレーム領域計算部103及びフレームエンコーダ104に送信する。
マルチフレーム領域計算部103は、領域指定処理部101によって指定された1枚目の画像の領域データに基づいて、マルチフレーム画像バッファ102から送信された他の各画像の領域データを計算する。その後、計算された各画像の領域データを、フレームエンコーダ104及び領域データエンコーダ107に送信する。このマルチフレーム領域計算部103は、例えば1枚目の画像と、2枚目の画像と、1枚目の画像の領域データとに基づいて、2枚目の画像の領域データを作成する。すなわち、1枚目の画像と2枚目の画像とを比較し、2枚目の画像内のオブジェクトが1枚目の画像の領域内のオブジェクトを拡大したものである場合、2枚目の画像の領域データを拡大する。なお、1枚目の画像の領域を2枚目の画像に当てはめ、1枚目の画像の領域内の平均輝度及び領域外の平均輝度の差と、2枚目の画像の領域内の平均輝度及び領域外の平均輝度の差とを比較し、両者の差が小さくなるように2枚目の画像の領域の形状を変化させてもよい。複数の画像に対して領域を指定する方法は、既存の画像処理を応用することによって適宜実現可能である。
フレームエンコーダ104は、マルチフレーム領域計算部103によって設定された領域データと、リファレンスフレームバッファ105に保持された符号化済みの画像とを用いて、マルチフレーム画像バッファ102から送信された各画像を圧縮符号化する。
具体的には、マルチフレーム領域計算部103によって設定された領域データの情報と、リファレンスフレームバッファ105に保持された他の符号化済みの画像内の画素情報とを用いて、マルチフレーム画像バッファ102から送信された画像内の各画素の画素値を予測し、符号化する。なお、ロスレス領域として指定された領域は、ロスレス圧縮方式によって符号化され、ロッシー領域として指定された領域は、ロッシー圧縮方式によって符号化される。符号化方法の詳細については後述する。
リファレンスフレームバッファ105は、フレームエンコーダ104によって符号化された画像の情報を、参照用フレームとして保持する。この参照用フレームは、他の画像を符号化する際に、フレームエンコーダ104によって用いられる。画像ストリームバッファ108は、フレームエンコーダ104によって符号化された画像の情報を保持する。
領域データエンコーダ107は、リファレンス領域データバッファ106に保持された他の符号化済みの領域データを参照して、マルチフレーム領域計算部103によって計算された各画像の領域データを圧縮符号化する。この領域データエンコーダ107は、所定の画像の領域データと他の画像の領域データとが同一又は類似の場合、両領域データの差分データを圧縮符号化してもよい。これにより、情報量を削減することができる。
リファレンス領域データバッファ106は、領域データエンコーダ107によって符号化された領域データの情報を、参照用領域データとして保持する。この参照用領域データは、他の画像の領域データを符号化する際に、領域データエンコーダ107によって用いられる。
データ結合部109は、画像ストリームバッファ108に保持された各画像の符号化データと、領域データエンコーダ107から出力された領域データの符号化データとを結合して符号化ストリームを作成し、作成された符号化ストリームを外部に出力する。
以上説明した画像符号化装置100により、複数の画像の各々をロスレス領域とロッシー領域とに分割し、効率的に圧縮符号化することが可能となる。
図2は、本発明の実施の形態の画像復号装置200の一例を示すブロック図である。画像復号装置200は、データ分離部201、領域データバッファ202、画像ストリームバッファ203、領域データデコーダ204、リファレンス領域データバッファ205、フレームデコーダ206、リファレンスフレームバッファ207、出力画像バッファ208、表示合成部209を備える。
データ分離部201は、入力された符号化ストリームを、領域データの符号化データ及び画像の符号化データに分離する。領域データの符号化データは、領域データバッファ202に送信される。また、画像の符号化データは、画像ストリームバッファ203に送信される。領域データバッファ202は、領域データの符号化データを保持する。画像ストリームバッファ203は、画像の符号化データを保持する。
領域データデコーダ204は、領域データバッファ202に保持された領域データの符号化データを復号する。具体的には、リファレンス領域データバッファ205に保持された復号済みの他の領域データに、領域データバッファ202に保持された領域データの符号化データを復号して得られる差分データを合成することにより、領域データを復号する。このようにして、各画像の領域データが算出される。
リファレンス領域データバッファ205は、領域データデコーダ204によって復号された領域データの情報を、参照用の領域データとして保持する。
フレームデコーダ206は、画像ストリームバッファ203に保持された各画像の符号化データを、領域データデコーダ204によって復号された各画像の領域データと、リファレンスフレームバッファ207に保持された復号済みの他の画像とを用いて復号する。
このフレームデコーダ206は、リファレンスフレームバッファ207に保持された復号済みの他の画像の画素情報と、領域データデコーダ204によって算出された各画像の領域データとを用いて、画像ストリームバッファ203から送信された各画像の画素を予測し、復号する。なお、このフレームデコーダ206は、ロスレス領域として指定された領域を可逆に復号し、ロッシー領域として指定された領域を非可逆に復号する。
リファレンスフレームバッファ207は、フレームデコーダ206によって復号された画像の情報を、参照用フレームとして保持する。出力画像バッファ208は、フレームデコーダ206によって復号された各画像を、出力用画像として保持する。
表示合成部209は、領域データデコーダ204によって復号された各画像の領域データと、出力画像バッファ208に保持された各画像とを合成して(重ねて)表示する。これにより、ユーザは、ロスレス圧縮方式によって圧縮された部分(ロスレス領域)と、ロッシー圧縮方式によって圧縮された部分(ロッシ―領域)とを容易に判別することができる。特に、表示される画像が医療用画像である場合、ロスレス領域とロッシー領域とを区別して表示することは、病気の診断において画像中のどの部分がロスレス領域であるかを容易に把握できる点で有効である。そのため、表示合成部209は、ロスレス領域とロッシー領域との境界を目立つ色で表示してもよい。また、表示合成部209は、ロスレス領域とロッシー領域を別の色で表示してもよい。
以上説明した画像復号装置200により、上記の画像符号化装置100により圧縮符号化された符号化ストリームを、元の画像に復元し、表示することができる。言い換えると、上記の画像符号化装置100は、複数の画像の各々を、ユーザに分かりやすい表示を可能にするデータ形式で記録することができる。
図3A及び図3Bは、本発明の実施の形態の一画像に対する領域指定方法の例を説明する図である。図3Aは、楕円によって領域(ロスレス領域)を指定する例を示す。図3Bは、四角形によって領域(ロスレス領域)を指定する例を示す。
図3Aのように楕円によって領域を指定する場合、マルチフレーム領域計算部103は、領域指定用のデータとして、楕円の中心座標(x、y)、長軸の長さa及び短軸の長さbを組み合わせたデータO(x、y、a、b)を記録する。また、図3Bのように四角形によって領域を指定する場合、マルチフレーム領域計算部103は、領域指定用のデータとして、四角形の左上の画素座標(x1、y1)と右下の画素座標(x2、y2)とを組み合わせたデータR(x1、y1、x2、y2)を記録する。
なお、領域の指定方法は図3A、図3Bに示す場合には限らない。例えば、楕円や四角形以外の多角形等を用いて領域を指定してもよい。また、一つの領域ではなく複数の領域を指定してもよい。
このような領域の指定は、画像をロスレス領域とロッシー領域とに分割する、すなわち画像を領域分割するための処理である。なお、画像をロスレス領域とロッシー領域とに分割する代わりに、ロッシー符号方式における量子化ステップ(ロッシー符号方式による符号化の度合い)を複数用意し、これらの量子化ステップを用いて画像を領域分割してもよい。すなわち、例えば量子化度(符号化の度合い)が低くロスレスに近いロッシー領域と、量子化度(符号化の度合い)が高くロスの大きいロッシー領域とに分割してもよい。
図4は、本発明の実施の形態の複数画像に対する領域指定方法の例を示す図である。以下では、複数の画像に対して図3Aのような楕円を用いて領域を指定する場合を例に説明する。
複数の画像に対して楕円を用いて領域を指定する場合、マルチフレーム領域計算部103は、複数の画像の各々に対して、前述のデータO(x、y、a、b)を記録する。しかしながら、一般に、各画像に対して指定される領域は、お互いの位置が近く、似ている場合が多い。そこで、領域指定処理部101は、所定の画像に対して領域を指定する場合、この所定の画像の1つ前の画像に対して指定された領域との差分のみを記録してもよい。これにより、データ量を削減して効率的に記録することができる。
図4に示す「方式1」は、複数のフレームi(i=1~4)に対する領域指定方法の第1の例を示す。この「方式1」では、マルチフレーム領域計算部103は、フレーム1の領域データとして、前述のデータO(x、y、a、b)を記録する。一方、2枚目以降のフレーム2、3、4の各々の領域データとして、一つ前のフレームに対する長軸の長さa及び短軸の長さbの変化量(差分)のみを組み合わせたデータ(da2、db2)、(da3、db3)、(da4、db4)をそれぞれ記録する。すなわちこの「方式1」では、楕円の中心座標(x、y)を固定し、2枚目以降のフレームの領域データとして、一つ前のフレームに対する長軸の長さa及び短軸の長さbの変化量のみを記録している。これにより、データ量を削減して効率的に記録することができる。
図4に示す「方式2」は、複数のフレームi(i=1~4)に対する領域指定方法の第2の例を示す。この「方式2」は、各フレーム1、2、3、4の領域が全く同一であるケースである。このケースでは、マルチフレーム領域計算部103は、フレーム1の領域データとして、前述のデータO(x、y、a、b)を記録する。また、このフレーム1の領域データと同一の領域データが連続するフレーム数nとしてn=4を記録する。このようにしてマルチフレーム領域計算部103は、連続するフレームの領域をまとめて指定している。これにより、データ量を削減して効率的に記録することができる。
図5は、本発明の実施の形態の複数画像に対する領域指定方法の別の例を示す図である。以下では、図4と同様に、複数の画像に対して図3Aのような楕円を用いて領域を指定する場合を例に説明する。
一般に、連続する画像の各々に対して指定される領域の形状は、なだらかに変化する場合が多い。そこで、マルチフレーム領域計算部103は、以下に示すように各画像の領域を指定する。
図5に示す例では、マルチフレーム領域計算部103は、まず複数のフレームi(i=1~4)のうち、両端のフレーム1及びフレーム4に対して領域を指定する。その後、中間のフレーム2、3の領域データを、フレーム1及びフレーム4の領域データに基づく補間によって生成する。
例えばフレーム1の領域情報がO(x1、y1、a1、b1)、フレーム4の領域情報がO(x4、y4、a4、b4)である場合、フレーム2の楕円の中心座標(x2、y2)は、式(1)、(2)のように計算することができる。
同様に、フレーム3の楕円の中心座標(x3、y3)は、式(3)、(4)のように計算することができる。
これにより、4枚の連続する画像の領域を、2枚の画像の領域データ(O(x1、y1、a1、b1)とO(x4、y4、a4、b4))を用いて指定することができる。このように補間によって領域データを生成することにより、データ量を削減し効率的に記録することができる。
なお、図5に示す例と図4に示す例とを組み合わせて、O(x4、y4、a4、b4)の代わりに、O(x4、y4、a4、b4)とO(x1、y1、a1、b1)との差分(dx4、dy4、da4、db4)を用いてもよい。
図6は、本発明の実施の形態の複数画像に対する領域指定方法の別の例を示す図である。以下では、図4及び図5と同様に、複数の画像に対して図3Aのような楕円を用いて領域を指定する場合を例に説明する。
一般に、大量の画像に対して一枚ずつ手動で領域を設定するのは非常に手間がかかる。そこで、ユーザが1枚目の画像の領域データを手動で設定し、マルチフレーム領域計算部103が2枚目以降の各画像の領域データを自動的に設定する。すなわち、マルチフレーム領域計算部103は、1枚目の画像の領域データに対する2枚目以降の各画像の変化分を反映して、2枚目以降の各画像の領域データを設定すればよい。
図6に示す例では、1枚目の画像と2枚目の画像とを比較し、2枚目の画像の領域内のオブジェクトが1枚目の画像の領域内のオブジェクトを拡大したものである場合、2枚目の画像の領域データを拡大する。なお、1枚目の画像の領域を2枚目の画像に当てはめ、1枚目の画像の領域内の平均輝度及び領域外の平均輝度の差と、2枚目の画像の領域内の平均輝度及び領域外の平均輝度の差とを比較し、両者の差が小さくなるように2枚目の画像の領域の形状を変化させてもよい。また両者の差が小さくなるように1枚目の画像の領域データを変更してもよい。
例えば、複数の画像を分析し、ロスレス領域とすべき領域が最も大きい画像について、対象のオブジェクトが含まれるように領域を設定する。その後、設定された領域を、領域が設定された画像以外の他の画像に当てはめる。このように領域を設定することにより、一つの領域データに基づいて全ての画像の領域を設定することができる。各画像の領域や対象を分析する方法は、エッジの比較、部分領域のヒストグラムの比較、ライン毎のヒストグラムの比較、特徴点の比較など、一般的な画像処理を応用することによって適宜実現可能である。特に、1枚目の画像において指定された領域データに基づき、SnakesやRegion Growing等の技術によって求められる輝度の勾配などを用いて、他の2枚目以降の画像の領域データを設定することができる。これにより、領域データを設定する手間を大幅に削減することができる。
1枚目の画像における領域(楕円の中心点、長軸、短軸)の指定は、例えば画面上に同画像を表示し、画面上でのユーザのマウス操作等によって実現することができる。また、上記のようにマルチフレーム領域計算部103が領域データを明示的に記録する代わりに、領域データエンコーダ107(図1参照)や領域データデコーダ204(図2参照)が各画像から領域を推定するルールを予め保持してもよい。この場合、マルチフレーム領域計算部103は領域データを明示的に記録する必要がない。例えば、領域データエンコーダ107や領域データデコーダ204は、ロッシー領域は特定の画素値からのみ構成されるというルールを保持する場合、各画像からその特定の画素値の部分をロッシー領域として特定することができる。なお、この方法は、ロッシー領域を示す画素値がロスレス領域を示す画素値を含まないことが前提となるが、領域データを伝送しなくてもよいメリットがある。
図7は、本発明の実施の形態の複数画像に対して設定された領域を表示する例を示す図である。
図4~図6を用いて説明してきた方法により複数の画像に対して領域が設定された場合、表示合成部209(図2参照)は、領域が設定された各画像と平面(スライス断面)Aとの交差線の集合である断面Bを、ロスレス領域とロッシー領域とを区別した態様で表示することができる。すなわち、領域が設定された各画像に基づいて生成されるボリュームデータの任意の断面を、ロスレス領域とロッシー領域とを区別した態様で表示することができる。特に、表示される画像が医療用画像である場合、ロスレス領域とロッシー領域とを区別して表示することが有効である。病気の診断において、画像中のどの部分がロスレス領域であるかを容易に把握できるからである。表示に関する詳細処理については、図11を用いて後述する。
図8は、本発明の実施の形態の画像符号化方法を説明する図である。図8を用いて、フレームエンコーダ104(図1参照)が、所定の画像の画素値をピクセル単位で予測する方法を説明する。なお、一般的な画素値の予測では、同一画像内の他の画素の画素値のみならず、他の画像内の画素の画素値も参照されるが、ここでは同一画像内の他の画素の画素値のみが参照される例を示す。
図8に示す例では、画素Xが現在符号化しようとしているロスレス領域内の画素である。一方、画素Aと画素Bとは、それぞれ画素Xの左、上に位置する符号化済みの画素である。画素Aはロッシー領域内の画素であり、ロッシー符号方式によって符号化されている。画素Bは、ロスレス領域内の画素であり、ロスレス符号方式によって符号化されている。この場合、フレームエンコーダ104は、画素Bから画素Xの画素値を予測する。これは、画素Xと同じロスレス領域内の画素Bから予測する方が、画素Xと異なるロッシー領域内の画素Aから予測するよりも予測精度を高めることができるためである。
このように符号化対象の画素の属する領域の情報に基づいて予測元の画素を選択することによって、圧縮率を上げることができる。なお、他の画像内の画素を用いて符号化対象の画素の画素値を予測する場合にも、符号化対象の画素の属する領域の情報を用いることによって、予測精度を上げることができる。このように符号化対象の画素の属する領域の情報を用いて複数の画像を符号化することによって、圧縮率を向上させることができる。但し、領域データの生成において複数の画像の相関を用いるが、画像の符号化において複数の画像の相関を用いない場合もありうる。逆に、領域データの生成において複数の画像の相関を用いないが、画像の符号化において複数の画像の相関を用いる場合もありうる。
図9は、本発明の実施の形態の画像符号化方法の一例を示すフローチャートである。ここでは、画像符号化方法の一例について図1を参照して説明する。
まずステップ901において、領域指定処理部101及びマルチフレーム画像バッファ102は、マルチフレーム画像(複数の画像)を入力する(901)。次にステップ902において、領域指定処理部101は、ユーザによる指定に応じて、入力された画像に対してロスレス領域とロッシー領域の領域データを指定する(902)。領域の指定方法は前述の通りである。
その後ステップ903において、マルチフレーム領域計算部103は、ステップ902で指定された領域データに基づいて、入力された各画像の領域データを計算する(903)。各画像の領域データの計算方法は前述の通りである。
ステップ904では、フレームエンコーダ104は、マルチフレーム画像バッファ102に格納された符号化対象の画像を、リファレンスフレームバッファ105に保持された符号化済みの他の画像と、マルチフレーム領域計算部103によって計算された符号化対象の画像及び符号化済みの他の画像の領域データと、符号化対象の画像の符号化済み画素情報とを参照して、符号化する(904)。ステップ904では、複数の画像及び領域データを参照することにより、予測精度を高め効率的に符号化することができる。また、領域データを用いることにより、ロスレス符号方式とロッシー符号方式とを組み合わせて効率的に符号化することができる。
ステップ905では、フレームエンコーダ104は、ステップ904で符号化された画像の情報を、参照用フレームとしてリファレンスフレームバッファ105に格納する(905)。またステップ905では、フレームエンコーダ104は、ステップ904で符号化された画像の情報を、画像ストリームバッファ108に格納する。
ステップ906では、領域データエンコーダ107は、リファレンス領域データバッファ106に格納された符号化済みの他の画像の領域データを参照して、符号化対象の画像の領域データを符号化する(906)。領域データの符号化方法は前述の通りである。なお、前述のように符号化対象の画像の領域データと他の画像の領域データとの差分データを圧縮符号化することによって、効率的に符号化できる。
ステップ907では、領域データエンコーダ107は、ステップ906で符号化された領域データの情報を、参照用の領域データとしてリファレンス領域データバッファ106に格納する(907)。
ステップ908では、データ結合部109は、画像ストリームバッファ108に格納された各画像の符号化データと、領域データエンコーダ107から出力された領域データの符号化データを統合して符号化ストリームを作成し、作成された符号化ストリームを外部に出力する(908)。
以上説明した画像符号化方法により、複数の画像の各々をロスレス領域とロッシー領域とに分割し、効率的に圧縮符号化することが可能となる。
図10は、本発明の実施の形態の画像復号方法の一例を示すフローチャートである。ここでは、画像復号方法の一例について図2を参照して説明する。
まずステップ1001において、データ分離部201は、符号化ストリームを入力する(1001)。次にステップ1002において、データ分離部201は、入力された符号化ストリームを、領域データの符号化データ及び画像(画像ストリーム)の符号化データに分離する(1002)。ステップ1002で分離された領域データの符号化データ及び画像の符号化データは、それぞれ領域データバッファ202、画像ストリームバッファ203に送信される。
ステップ1003では、領域データデコーダ204は、リファレンス領域データバッファ205に格納された復号済みの他の領域データを参照して、復号対象の画像の領域データを計算する(1003)。ステップ1003では、領域データデコーダ204は、領域データバッファ202に保持された復号対象の画像の領域データの符号化データを復号して差分データを生成する。その後、生成された差分データと、リファレンス領域データバッファ205に格納された復号済みの他の領域データとを合成する(組合せる)ことによって、復号対象の画像の領域データを復号する。
ステップ1004では、フレームデコーダ206は、画像ストリームバッファ203に格納された復号対象の画像を、リファレンスフレームバッファ207に保持された復号済みの他の画像と、領域データデコーダ204によって復号された領域データと、復号対象の画像の復号済み画素情報とを参照して、復号する(1004)。
ステップ1005では、領域データデコーダ204は、ステップ1003で算出された領域データの情報を、参照用の領域データとしてリファレンス領域データバッファ205に格納し、フレームデコーダ206は、ステップ1004で復号された画像の情報を、参照用フレームとしてリファレンスフレームバッファ105に格納する(1005)。ステップ1006では、出力画像バッファ208は、フレームデコーダ206によって復号された画像を、出力用画像データとして格納する(1006)。
ステップ1007では、表示合成部209は、領域データデコーダ204によって復号された各画像の領域データと、出力画像バッファ208に保持された出力用画像データとを合成して表示する(1007)。これにより、ユーザは、ロスレス領域とロッシー領域とを容易に判別することができる。特に、表示される画像が医療用画像である場合、ロスレス領域とロッシー領域とを区別して表示することは、病気の診断において画像中のどの部分がロスレス領域であるかを容易に把握できる点で有効である。
以上説明した画像復号方法により、上記の画像符号化方法により圧縮符号化された符号化ストリームを、元の画像に復元し、表示することができる。言い換えると、上記の画像符号化方法により、複数の画像の各々を、ユーザに分かりやすい表示を可能にするデータ形式で記録することができる。
図11は、本発明の実施の実施形態の複数画像に対して設定された領域の表示方法の一例を示すフローチャートである。ここでは、図7を用いて前述した表示処理の一例を説明する。
まずステップ1101において、表示合成部209は、新たに作成するスライス断面(平面)と、領域が設定された各画像との交線を計算する(1101)。例えばCTを利用した医療用画像の撮影において、体軸に対して垂直方向にマルチフレーム画像が撮影されたとする。このマルチフレーム画像を基にして、体軸に対して平行な面で新たなスライス断面を作成する場合、新たなスライス断面と各画像とは線で交わる。そこで、表示合成部209は、新たに作成するスライス断面と各画像との交線を求める。
次にステップ1102において、表示合成部209は、各画像から画素情報を取得し、新たなスライス断面画像に合成する(1102)。ステップ1102では、表示合成部209は、ステップ1101において画像毎に計算された交線上の画素情報を取得し、新たに作成するスライス断面上に射影する。これにより、各画像の交線上の画素情報を合成することができる。なお、表示合成部209は、全ての画像から画素情報を取得する代わりに、一部の画像から画素情報を取得し、取得された画素情報に基づく補間によってその他の画像の画像情報を求めてもよい。
その後ステップ1103では、表示合成部209は、各画像に対して設定された領域と、新たなスライス断面との交線、交点を計算する(1103)。本実施の形態では、各画像には、ロスレス領域、ロッシー領域等の領域が楕円や四角形等によって設定されている。このように各画像に対して設定された領域と、新たなスライス断面とは、線又は点で交わる。特に、設定された領域が面である場合には線で交わり、設定された領域が線である場合には点で交わる。そこで、表示合成部209は、各画像の撮影位置と、新たに作成されるスライス断面との位置関係に基づいて、スライス断面と各画像に対して設定された領域との交線又は交点を計算する。
その後ステップ1104では、表示合成部209は、新たなスライス断面上に領域を設定する(1104)。ステップ1104では、表示合成部209は、ステップ1103で計算された交線、交点を、新たなスライス断面上に射影する。これにより、ユーザは、ロスレス領域と、ロッシー領域とを容易に判別することができる。
その後ステップ1105では、表示合成部209は、ステップ1102で作成された新たなスライス断面画像と、ステップ1104で設定された領域とを合成して(重ねて)表示する(1105)。特に、表示される画像が医療用画像である場合、病気の診断において画像中のどの部分がロスレス領域であるかを容易に把握するために、ロスレス領域とロッシー領域とを区別して表示することが有効である。そのため、表示合成部209は、ロスレス領域とロッシー領域との境界を色分けして表示したり、強調表示したりしてもよい。また、表示合成部209は、ロスレス領域とロッシー領域との境界を線として表示してもよい。
例えば、本発明の実施の形態の画像符号化方法及び画像復号方法を、画像記録装置、画像伝送装置に適用してもよい。これにより、大容量の画像記録、帯域幅の小さい画像伝送が可能な医療用の画像診断装置、CT、MRI等の撮影装置を提供することができる。
以上、本発明を添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。
Claims (11)
- 入力された複数の画像を符号化する画像符号化装置であって、
入力された前記複数の画像の各々について、第1の符号化方式によって符号化すべき第1の領域と、前記第1の符号化方式と異なる第2の符号化方式によって符号化すべき第2の領域とを示す領域データを、前記複数の画像の相関を利用して計算する領域計算部と、
計算された前記複数の画像の各々の領域データに基づいて、前記複数の画像の各々の前記第1の領域を前記第1の符号化方式によって符号化し、前記第2の領域を前記第2の符号化方式によって符号化するフレームエンコーダと、
計算された前記複数の画像の各々の領域データを、当該領域データの相関を利用して符号化する領域データエンコーダと、
符号化された前記複数の画像の各々と、符号化された前記領域データとを関連付けて出力する出力部と、
を備えたことを特徴とする画像符号化装置。 - 請求項1に記載の画像符号化装置であって、
前記領域データエンコーダは、前記複数の画像が一連の連続する画像である場合、所定の画像の領域データと、前記所定の画像の隣の画像の領域データとの差分データを、前記所定の画像の領域データとして符号化することを特徴とする画像符号化装置。 - 請求項1に記載の画像符号化装置であって、
前記領域計算部は、前記複数の画像が一連の連続する画像である場合、第1の画像と第2の画像に対して指定された領域データに基づいて、前記第1の画像と前記第2の画像の中間に位置する第3の画像の領域データを、補間によって計算することを特徴とする画像符号化装置。 - 請求項1に記載の画像符号化装置であって、
前記領域計算部は、前記複数の画像が一連の連続する画像である場合、1枚目の画像に対してユーザによって指定された領域データに基づいて、2枚目以降の各画像の領域データを計算することを特徴とする画像符号化装置。 - 複数の画像の符号化データと、前記複数の画像の各々の領域データの符号化データとを含む符号化ストリームを復号する画像復号装置であって、
前記領域データは、第1の復号方式によって復号すべき第1の領域と、第2の復号方式によって復号すべき第2の領域とを示すデータであり、
前記符号化ストリームを、前記複数の画像の符号化データと、前記複数の領域データの符号化データとに分離するデータ分離部と、
分離された前記複数の領域データの符号化データを、当該領域データの相関を利用して復号する領域データデコーダと、
復号された前記複数の領域データと、分離された前記複数の画像の符号化データとに基づいて、前記複数の画像の各々の前記第1の領域を前記第1の復号方式によって復号し、前記第2の領域を前記第2の復号方式によって復号するフレームデコーダと、
復号された前記複数の領域データと、復号された前記複数の画像とを関連付けて表示する表示部と、
を備えたことを特徴とする画像復号装置。 - 請求項5に記載の画像復号装置であって、
前記表示部は、復号された前記複数の領域データと、復号された前記複数の画像とに基づいて生成されるボリュームデータの所定の断面画像を、前記第1の領域及び前記第2の領域とを区別した態様で表示することを特徴とする画像復号装置。 - 請求項6に記載の画像復号装置であって、
前記表示部は、表示用の所定の平面を新たに設定し、
前記所定の平面と、復号された前記複数の画像の各々との交線を計算し、
前記複数の画像の各々から、計算された前記交線上の画素情報を取得し、取得された画素情報を前記所定の平面に射影し、
前記所定の平面と、復号された前記複数の領域データとの交線又は交点を計算し、
計算された交線又は交点の情報を、前記所定の平面に前記複数の画像と区別した態様で射影することを特徴とする画像復号装置。 - 請求項5に記載の画像復号装置であって、
前記領域データデコーダは、分離された前記複数の領域データの符号化データのうちの所定の領域データの符号化データを復号する場合、当該所定の領域データの符号化データが隣り合う画像の領域データの差分データであるとき、前記所定の領域データの符号化データを復号して得られる差分データを、前記所定の画像の隣の画像の復号済みの領域データに合成することによって、前記所定の領域データの符号化データを復号することを特徴とする画像復号装置。 - 複数の画像の符号化データと、前記複数の画像の各々の領域データの符号化データとを含む符号化ストリームを復号する画像復号方法であって、
前記領域データは、第1の復号方式によって復号すべき第1の領域と、第2の復号方式によって復号すべき第2の領域とを示すデータであり、
前記符号化ストリームを、前記複数の画像の符号化データと、前記複数の領域データの符号化データとに分離する手順と、
分離された前記複数の領域データの符号化データを、当該領域データの相関を利用して復号する手順と、
復号された前記複数の領域データと、分離された前記複数の画像の符号化データとに基づいて、前記複数の画像の各々の前記第1の領域を前記第1の復号方式によって復号し、前記第2の領域を前記第2の復号方式によって復号する手順と、
復号された前記複数の領域データと、復号された前記複数の画像とを関連付けて表示する手順と、
を備えたことを特徴とする画像復号方法。 - 請求項9に記載の画像復号方法であって、
前記表示する手順では、復号された前記複数の領域データと、復号された前記複数の画像とに基づいて生成されるボリュームデータの所定の断面画像を、前記第1の領域及び前記第2の領域とを区別した態様で表示することを特徴とする画像復号方法。 - 請求項10に記載の画像復号方法であって、
前記表示する手順では、表示用の所定の平面を新たに設定し、
前記所定の平面と、復号された前記複数の画像の各々との交線を計算し、
前記複数の画像の各々から、計算された前記交線上の画素情報を取得し、取得された画素情報を前記所定の平面に射影し、
前記所定の平面と、復号された前記複数の領域データとの交線又は交点を計算し、
計算された交線又は交点の情報を、前記所定の平面に前記複数の画像と区別した態様で射影することを特徴とする画像復号方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-110217 | 2010-05-12 | ||
JP2010110217A JP2011239280A (ja) | 2010-05-12 | 2010-05-12 | 画像符号化装置、画像復号装置及び画像復号方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011142204A1 true WO2011142204A1 (ja) | 2011-11-17 |
Family
ID=44914260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/059271 WO2011142204A1 (ja) | 2010-05-12 | 2011-04-14 | 画像符号化装置、画像復号装置及び画像復号方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2011239280A (ja) |
WO (1) | WO2011142204A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60108977A (ja) * | 1983-11-18 | 1985-06-14 | Toshiba Corp | 画像変換装置 |
JPS6275773A (ja) * | 1985-09-30 | 1987-04-07 | Toshiba Corp | 画像圧縮装置 |
JPH07123268A (ja) * | 1993-10-22 | 1995-05-12 | Fujitsu Ltd | 画像符号化復元方法および装置 |
JP2002330951A (ja) * | 2001-05-11 | 2002-11-19 | Canon Inc | 画像符号化装置及び復号装置及び方法及びコンピュータプログラム及び記憶媒体 |
JP2009111851A (ja) * | 2007-10-31 | 2009-05-21 | Fujitsu Ltd | 画像復元装置、画像復元プログラム、画像復元方法 |
-
2010
- 2010-05-12 JP JP2010110217A patent/JP2011239280A/ja active Pending
-
2011
- 2011-04-14 WO PCT/JP2011/059271 patent/WO2011142204A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60108977A (ja) * | 1983-11-18 | 1985-06-14 | Toshiba Corp | 画像変換装置 |
JPS6275773A (ja) * | 1985-09-30 | 1987-04-07 | Toshiba Corp | 画像圧縮装置 |
JPH07123268A (ja) * | 1993-10-22 | 1995-05-12 | Fujitsu Ltd | 画像符号化復元方法および装置 |
JP2002330951A (ja) * | 2001-05-11 | 2002-11-19 | Canon Inc | 画像符号化装置及び復号装置及び方法及びコンピュータプログラム及び記憶媒体 |
JP2009111851A (ja) * | 2007-10-31 | 2009-05-21 | Fujitsu Ltd | 画像復元装置、画像復元プログラム、画像復元方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2011239280A (ja) | 2011-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3919002A1 (en) | Ct image generation method and apparatus, computer device and computer-readable storage medium | |
TWI324886B (en) | Method for scalably encoding and decoding video signal | |
US8508539B2 (en) | Method and system for real-time volume rendering on thin clients via render server | |
TWI606718B (zh) | 規定視覺動態範圍編碼操作及參數 | |
JP5521202B2 (ja) | 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム | |
KR20190117287A (ko) | 중복 포인트 처리 방법 및 장치 | |
KR20090125236A (ko) | 정보 처리 장치 및 방법 | |
EP3557869B1 (en) | Image processing device, image processing method, and program | |
US8233728B2 (en) | Embedded image quality stamps | |
US8724912B2 (en) | Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images | |
EP3557868A1 (en) | Image processing device, image processing method, and program | |
US11570454B2 (en) | Use of hierarchical video and image coding for telepresence | |
Holub et al. | GPU-accelerated DXT and JPEG compression schemes for low-latency network transmissions of HD, 2K, and 4K video | |
KR100989397B1 (ko) | 화상 복원 장치, 화상 복원 프로그램을 기록한 기록 매체,화상 복원 방법 | |
CN109155059B (zh) | 通过双通道时域降噪的改善的图像质量 | |
JP2002044644A (ja) | 顕微鏡の生画像を符号化する方法および装置 | |
KR102491736B1 (ko) | 복호 방법 및 장치와, 부호화 방법 및 장치 | |
WO2009141969A1 (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法及び動画像復号化方法 | |
JP2000116606A (ja) | 医療画像処理方法、医療画像伝送方法、医療画像処理装置、医療画像送信装置、および医療画像伝送装置 | |
WO2011142204A1 (ja) | 画像符号化装置、画像復号装置及び画像復号方法 | |
US20060133497A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures at different temporal decomposition level | |
KR20140035408A (ko) | 동화상 복호화 장치 및 동화상 복호화 방법 | |
JP2006080832A (ja) | 画像トランスコーダ | |
WO2012029398A1 (ja) | 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置 | |
US10085032B2 (en) | Encoding device, encoding method, and computer readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11780461 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11780461 Country of ref document: EP Kind code of ref document: A1 |