WO2011142204A1 - 画像符号化装置、画像復号装置及び画像復号方法 - Google Patents

画像符号化装置、画像復号装置及び画像復号方法 Download PDF

Info

Publication number
WO2011142204A1
WO2011142204A1 PCT/JP2011/059271 JP2011059271W WO2011142204A1 WO 2011142204 A1 WO2011142204 A1 WO 2011142204A1 JP 2011059271 W JP2011059271 W JP 2011059271W WO 2011142204 A1 WO2011142204 A1 WO 2011142204A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
region
area
images
Prior art date
Application number
PCT/JP2011/059271
Other languages
English (en)
French (fr)
Inventor
村上　智一
佑人 小松
克行 中村
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2011142204A1 publication Critical patent/WO2011142204A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264

Definitions

  • the present invention relates to an image encoding device, an image decoding device, and the like, and more particularly, to a technology for processing an image using CT (Computed Tomography), MRI (Magnetic Resonance Imaging), or the like.
  • CT Computer Tomography
  • MRI Magnetic Resonance Imaging
  • CT is a technique for imaging a tomogram of a human body using radiation such as X-rays and MRI using a nuclear magnetic resonance phenomenon.
  • the captured image is recorded as digital data in accordance with a standard system called DICOM (Digital Imaging and COmmunication in Medicine).
  • DICOM Digital Imaging and COmmunication in Medicine
  • compression is performed by a compression method such as the JPEG-LS standard (ISO-14495-1495 / ITU-T T.87) which is a reversible lossless compression method.
  • Patent Document 1 discloses a method of increasing the compression ratio by compressing an important part in an image by a lossless compression method and compressing an unimportant part by a lossy compression method. .
  • a tomographic image of a human body or the like generally taken by a medical diagnostic imaging apparatus is a multi-slice image.
  • a so-called moving image is also a multi-frame image in which one sequence is composed of a plurality of images.
  • the present invention takes the above-described problems into consideration, and an image that can be efficiently compression-encoded or decoded by combining a plurality of compression methods (particularly, lossless compression method and lossy compression method) with respect to a plurality of images.
  • An object is to provide an encoding device, an image decoding device, and the like.
  • a typical example of the invention disclosed in the present application is as follows. That is, an image encoding apparatus that encodes a plurality of input images, and for each of the plurality of input images, a first region to be encoded by a first encoding method, and the first A region calculation unit that calculates region data indicating a second region to be encoded by a second encoding method different from the encoding method using the correlation of the plurality of images; Based on the region data of each image, the first region of each of the plurality of images is encoded by the first encoding method, and the second region is encoded by the second encoding method.
  • a frame encoder that encodes the region data of each of the plurality of calculated images using a correlation of the region data, and each of the plurality of encoded images Is Characterized by comprising an output unit for outputting in association with the region data.
  • FIG. 1 is a block diagram showing an example of an image encoding device 100 according to an embodiment of the present invention.
  • the image encoding apparatus 100 includes an area designation processing unit 101, a multiframe image buffer 102, a multiframe area calculation unit 103, a frame encoder 104, a reference frame buffer 105, a reference area data buffer 106, an area data encoder 107, and an image stream buffer 108.
  • the data combination unit 109 is provided.
  • the image encoding apparatus 100 compresses and encodes a monochrome image such as a medical image
  • the present invention is not limited to this case.
  • the same processing may be performed for each of the R, G, and B planes.
  • an image input to the image coding apparatus 100 is a multi-slice image such as CT or MRI
  • the input images are different from time-sequential images obtained by photographing the same patient at different times, and the same part. It may be a set of images obtained by shooting with a type of device or a general moving image. That is, the input image is a series of continuous images that are spatially or temporally continuous.
  • one image of the plurality of images is referred to as an image or a frame.
  • a frame is synonymous with a slice and a picture.
  • the region designation processing unit 101 designates a region (region data) for a plurality of input images (image data). Specifically, a lossless area and a lossy area are designated for each input image.
  • the lossless area is an area that is reversibly compressed by a lossless compression method.
  • the lossy area is an area that is irreversibly compressed by the lossy compression method.
  • the user may specify an area for the first image, and the system may automatically specify the area of each other image with reference to the area specified for the first image. Good. Further, the system may automatically designate all image areas.
  • the user inputs the area data of the first image to the area designation processing unit 101, and the multi-frame area calculation unit 103 automatically designates the area of each other image. In the following description, it is assumed that there is one designated area, but there may be a plurality of designated areas. A method for designating an area will be described later with reference to FIG.
  • the area designation processing unit 101 transmits information on the designated area to the multiframe area calculation unit 103.
  • the multi-frame image buffer 102 holds a plurality of input images.
  • the multi-frame image buffer 102 transmits a plurality of input images to the multi-frame region calculation unit 103 and the frame encoder 104.
  • the multi-frame area calculation unit 103 calculates the area data of each other image transmitted from the multi-frame image buffer 102 based on the area data of the first image designated by the area designation processing unit 101. Thereafter, the calculated area data of each image is transmitted to the frame encoder 104 and the area data encoder 107.
  • the multi-frame area calculation unit 103 creates area data of the second image based on, for example, the first image, the second image, and the area data of the first image. That is, when the first image is compared with the second image, and the object in the second image is an enlargement of the object in the area of the first image, the second image Enlarge the area data.
  • the area of the first image is applied to the second image, the difference between the average luminance in the first image area and the average luminance outside the area, and the average luminance in the second image area. Also, the difference in average luminance outside the area may be compared, and the shape of the area of the second image may be changed so that the difference between the two becomes small.
  • a method for designating a region for a plurality of images can be appropriately realized by applying existing image processing.
  • the frame encoder 104 compresses each image transmitted from the multiframe image buffer 102 by using the region data set by the multiframe region calculation unit 103 and the encoded image held in the reference frame buffer 105. Encode.
  • the multiframe image buffer 102 is used by using the region data information set by the multiframe region calculation unit 103 and the pixel information in another encoded image held in the reference frame buffer 105.
  • the pixel value of each pixel in the image transmitted from is predicted and encoded.
  • the region designated as the lossless region is encoded by the lossless compression method
  • the region designated as the lossy region is encoded by the lossy compression method. Details of the encoding method will be described later.
  • the reference frame buffer 105 holds the information of the image encoded by the frame encoder 104 as a reference frame. This reference frame is used by the frame encoder 104 when another image is encoded.
  • the image stream buffer 108 holds information on the image encoded by the frame encoder 104.
  • the area data encoder 107 compresses and encodes the area data of each image calculated by the multiframe area calculation unit 103 with reference to other encoded area data held in the reference area data buffer 106.
  • the area data encoder 107 may compress and encode the difference data of both area data when the area data of a predetermined image and the area data of another image are the same or similar. Thereby, the amount of information can be reduced.
  • the reference area data buffer 106 holds the area data information encoded by the area data encoder 107 as reference area data. This reference area data is used by the area data encoder 107 when encoding area data of another image.
  • the data combining unit 109 combines the encoded data of each image held in the image stream buffer 108 and the encoded data of the area data output from the area data encoder 107 to generate an encoded stream.
  • the encoded stream is output to the outside.
  • each of a plurality of images can be divided into a lossless area and a lossy area, and can be efficiently compressed and encoded.
  • FIG. 2 is a block diagram showing an example of the image decoding apparatus 200 according to the embodiment of the present invention.
  • the image decoding apparatus 200 includes a data separation unit 201, an area data buffer 202, an image stream buffer 203, an area data decoder 204, a reference area data buffer 205, a frame decoder 206, a reference frame buffer 207, an output image buffer 208, and a display synthesis unit 209. Is provided.
  • the data separation unit 201 separates the input encoded stream into encoded data of region data and encoded data of images.
  • the encoded data of the area data is transmitted to the area data buffer 202.
  • the encoded image data is transmitted to the image stream buffer 203.
  • the area data buffer 202 holds encoded data of area data.
  • the image stream buffer 203 holds encoded image data.
  • the area data decoder 204 decodes the encoded data of the area data held in the area data buffer 202. Specifically, by combining the difference data obtained by decoding the encoded data of the area data held in the area data buffer 202 with the other decoded area data held in the reference area data buffer 205 Decode the region data. In this way, the area data of each image is calculated.
  • the reference area data buffer 205 holds the area data information decoded by the area data decoder 204 as reference area data.
  • the frame decoder 206 stores the encoded data of each image held in the image stream buffer 203, the area data of each image decoded by the area data decoder 204, and other decoded images held in the reference frame buffer 207. And decrypt using
  • the frame decoder 206 is transmitted from the image stream buffer 203 using the pixel information of the other decoded images held in the reference frame buffer 207 and the area data of each image calculated by the area data decoder 204. The pixels of each image are predicted and decoded. The frame decoder 206 reversibly decodes the area designated as the lossless area and irreversibly decodes the area designated as the lossy area.
  • the reference frame buffer 207 holds image information decoded by the frame decoder 206 as a reference frame.
  • the output image buffer 208 holds each image decoded by the frame decoder 206 as an output image.
  • the display composition unit 209 synthesizes (superimposes) the region data of each image decoded by the region data decoder 204 and each image held in the output image buffer 208.
  • the user can easily discriminate between a portion compressed by the lossless compression method (lossless region) and a portion compressed by the lossy compression method (lossy region).
  • the display composition unit 209 may display the boundary between the lossless area and the lossy area with a conspicuous color.
  • the display composition unit 209 may display the lossless area and the lossy area in different colors.
  • the encoded stream compressed and encoded by the image encoding apparatus 100 can be restored to the original image and displayed.
  • the image encoding device 100 can record each of a plurality of images in a data format that enables easy-to-understand display for the user.
  • FIG. 3A and 3B are diagrams for explaining an example of a region specifying method for one image according to the embodiment of the present invention.
  • FIG. 3A shows an example in which an area (lossless area) is designated by an ellipse.
  • FIG. 3B shows an example in which an area (lossless area) is designated by a rectangle.
  • the multiframe area calculation unit 103 uses the center coordinates (x, y), the major axis length a, and the minor axis length as the area designation data. Data O (x, y, a, b) combining b is recorded.
  • the multiframe area calculation unit 103 uses the pixel coordinates (x1, y1) at the upper left corner and the pixel coordinates (x2, y1) at the lower right corner as the data for area designation. Data R (x1, y1, x2, y2) combined with y2) is recorded.
  • the area designation method is not limited to the case shown in FIGS. 3A and 3B.
  • the region may be specified using a polygon other than an ellipse or a rectangle.
  • a plurality of areas may be designated instead of one area.
  • the designation of such an area is a process for dividing an image into a lossless area and a lossy area, that is, for dividing an image into areas. Instead of dividing an image into a lossless area and a lossy area, prepare multiple quantization steps in the lossy coding method (the degree of coding using the lossy coding method), and use these quantization steps to divide the image into regions. May be. That is, for example, it may be divided into a lossy area with a low degree of quantization (encoding degree) and a lossless area and a lossy area with a high degree of quantization (encoding degree) and a large loss.
  • FIG. 4 is a diagram showing an example of a region designation method for a plurality of images according to the embodiment of the present invention. In the following, a case will be described as an example where an area is designated using an ellipse as shown in FIG. 3A for a plurality of images.
  • the multi-frame area calculation unit 103 records the above-described data O (x, y, a, b) for each of the plurality of images.
  • the areas designated for each image are often close to each other and similar to each other. Therefore, when designating an area for a predetermined image, the area designation processing unit 101 may record only the difference from the area designated for the image immediately before the predetermined image. As a result, the data amount can be reduced and recording can be performed efficiently.
  • the multi-frame area calculation unit 103 records the above-described data O (x, y, a, b) as the area data of frame 1.
  • the area data of the second and subsequent frames 2, 3 and 4 data combining only the change amount (difference) of the major axis length a and minor axis length b with respect to the previous frame. Record (da2, db2), (da3, db3), (da4, db4) respectively.
  • This “method 2” is a case where the regions of the frames 1, 2, 3, and 4 are exactly the same.
  • the multi-frame area calculation unit 103 records the above-described data O (x, y, a, b) as the area data of frame 1.
  • FIG. 5 is a diagram showing another example of the region specifying method for a plurality of images according to the embodiment of the present invention.
  • FIG. 4 a case will be described as an example in which regions are designated using an ellipse as shown in FIG. 3A for a plurality of images.
  • the multi-frame area calculation unit 103 designates the area of each image as shown below.
  • center coordinates (x3, y3) of the ellipse of frame 3 can be calculated as in equations (3) and (4).
  • FIG. 6 is a diagram showing another example of the region specifying method for a plurality of images according to the embodiment of the present invention.
  • FIGS. 4 and 5 an example in which a region is specified using an ellipse as shown in FIG. 3A for a plurality of images will be described.
  • the multi-frame area calculation unit 103 automatically sets the area data of the second and subsequent images.
  • the multi-frame area calculation unit 103 may set the area data of the second and subsequent images by reflecting the change of the second and subsequent images with respect to the area data of the first image.
  • the first image is compared with the second image, and the object in the second image area is an enlargement of the object in the first image area.
  • the area data of the second image is enlarged.
  • the area of the first image is applied to the second image, the difference between the average luminance in the first image area and the average luminance outside the area, and the average luminance in the second image area.
  • the difference in average luminance outside the area may be compared, and the shape of the area of the second image may be changed so that the difference between the two becomes small.
  • the area data of the first image may be changed so that the difference between the two becomes small.
  • a plurality of images are analyzed, and an area is set so that a target object is included in an image having the largest area that should be a lossless area. Thereafter, the set area is applied to an image other than the image in which the area is set.
  • the method of analyzing each image area and target can be realized by applying general image processing such as edge comparison, partial area histogram comparison, line-by-line histogram comparison, feature point comparison, etc. is there.
  • the region data of the second and subsequent images can be set using a luminance gradient obtained by a technique such as Snakes or Region Growing. it can. As a result, it is possible to greatly reduce the trouble of setting the area data.
  • Designation of the area (ellipse center point, long axis, short axis) in the first image can be realized, for example, by displaying the same image on the screen and operating the user's mouse on the screen.
  • the area data encoder 107 (see FIG. 1) and the area data decoder 204 (see FIG. 2) estimate the area from each image. Rules to be held may be held in advance. In this case, the multiframe area calculation unit 103 does not need to explicitly record area data.
  • the portion of the specific pixel value may be specified as a lossy region from each image. It can.
  • This method is premised on that the pixel value indicating the lossy area does not include the pixel value indicating the lossless area, but has an advantage that the area data need not be transmitted.
  • FIG. 7 is a diagram showing an example of displaying areas set for a plurality of images according to the embodiment of the present invention.
  • the display composition unit 209 displays each image and a plane (slice cross section) on which the regions are set.
  • a cross section B that is a set of intersecting lines with A can be displayed in a manner in which the lossless area and the lossy area are distinguished. That is, it is possible to display an arbitrary cross section of the volume data generated based on each image in which the area is set in a manner in which the lossless area and the lossy area are distinguished.
  • the displayed image is a medical image, it is effective to display the lossless area and the lossy area separately. This is because it is possible to easily grasp which part of the image is a lossless area in the diagnosis of a disease. Detailed processing relating to display will be described later with reference to FIG.
  • FIG. 8 is a diagram for explaining the image coding method according to the embodiment of the present invention.
  • a method in which the frame encoder 104 (see FIG. 1) predicts the pixel value of a predetermined image in units of pixels will be described with reference to FIG.
  • pixel X is a pixel in the lossless area that is currently being encoded.
  • the pixel A and the pixel B are encoded pixels located on the left and on the upper side of the pixel X, respectively.
  • Pixel A is a pixel in the lossy area and is encoded by the lossy code method.
  • Pixel B is a pixel in the lossless area, and is encoded by a lossless coding method.
  • the frame encoder 104 predicts the pixel value of the pixel X from the pixel B. This is because the prediction accuracy can be improved by predicting from the pixel B in the same lossless region as the pixel X than by predicting from the pixel A in the lossy region different from the pixel X.
  • the compression rate can be increased by selecting the prediction source pixel based on the information of the region to which the pixel to be encoded belongs. Note that even when the pixel value of a pixel to be encoded is predicted using pixels in another image, the prediction accuracy can be increased by using information on a region to which the pixel to be encoded belongs. Thus, by compressing a plurality of images using the information of the region to which the pixel to be encoded belongs, the compression rate can be improved.
  • the correlation of a plurality of images is used in the generation of the area data, the correlation of the plurality of images may not be used in the image encoding. Conversely, the correlation between a plurality of images is not used in the generation of the area data, but the correlation between a plurality of images may be used in the image encoding.
  • FIG. 9 is a flowchart showing an example of the image encoding method according to the embodiment of the present invention. Here, an example of an image encoding method will be described with reference to FIG.
  • step 901 the area designation processing unit 101 and the multi-frame image buffer 102 input multi-frame images (a plurality of images) (901).
  • step 902 the area designation processing unit 101 designates area data of a lossless area and a lossy area for the input image according to designation by the user (902).
  • the area designation method is as described above.
  • step 903 the multi-frame area calculation unit 103 calculates area data of each input image based on the area data designated in step 902 (903).
  • the calculation method of the area data of each image is as described above.
  • the frame encoder 104 calculates the image to be encoded stored in the multiframe image buffer 102 by the multiframe region calculation unit 103 with the other encoded images held in the reference frame buffer 105.
  • the encoding is performed with reference to the encoded image data and the area data of the other encoded image and the encoded pixel information of the encoded image (904).
  • step 904 by referring to a plurality of images and region data, prediction accuracy can be improved and encoding can be performed efficiently. Further, by using the area data, it is possible to efficiently encode by combining the lossless coding method and the lossy coding method.
  • step 905 the frame encoder 104 stores the information of the image encoded in step 904 in the reference frame buffer 105 as a reference frame (905). In step 905, the frame encoder 104 stores the information of the image encoded in step 904 in the image stream buffer 108.
  • the area data encoder 107 refers to the area data of another encoded image stored in the reference area data buffer 106, and encodes the area data of the image to be encoded (906).
  • the region data encoding method is as described above. As described above, the difference data between the area data of the image to be encoded and the area data of another image can be efficiently encoded by compressing and encoding.
  • step 907 the area data encoder 107 stores the area data information encoded in step 906 in the reference area data buffer 106 as reference area data (907).
  • step 908 the data combining unit 109 integrates the encoded data of each image stored in the image stream buffer 108 and the encoded data of the area data output from the area data encoder 107 to create an encoded stream.
  • the generated encoded stream is output to the outside (908).
  • each of a plurality of images can be divided into a lossless area and a lossy area, and compression encoding can be performed efficiently.
  • FIG. 10 is a flowchart showing an example of the image decoding method according to the embodiment of the present invention. Here, an example of an image decoding method will be described with reference to FIG.
  • step 1001 the data separation unit 201 inputs an encoded stream (1001).
  • step 1002 the data separation unit 201 separates the input encoded stream into encoded data of region data and encoded data of an image (image stream) (1002).
  • the encoded data of the area data and the encoded data of the image separated in step 1002 are transmitted to the area data buffer 202 and the image stream buffer 203, respectively.
  • the area data decoder 204 refers to other decoded area data stored in the reference area data buffer 205, and calculates area data of the decoding target image (1003).
  • the area data decoder 204 decodes the encoded data of the area data of the decoding target image held in the area data buffer 202 to generate difference data. Thereafter, the generated difference data and other decoded region data stored in the reference region data buffer 205 are combined (combined) to decode the region data of the decoding target image.
  • step 1004 the frame decoder 206 converts the decoding target image stored in the image stream buffer 203, other decoded images held in the reference frame buffer 207, and the region data decoded by the region data decoder 204. Then, decoding is performed with reference to the decoded pixel information of the decoding target image (1004).
  • step 1005 the area data decoder 204 stores the area data information calculated in step 1003 in the reference area data buffer 205 as reference area data, and the frame decoder 206 stores the image data decoded in step 1004. Information is stored in the reference frame buffer 105 as a reference frame (1005).
  • step 1006 the output image buffer 208 stores the image decoded by the frame decoder 206 as output image data (1006).
  • the display composition unit 209 synthesizes and displays the region data of each image decoded by the region data decoder 204 and the output image data held in the output image buffer 208 (1007). Thereby, the user can easily discriminate between the lossless area and the lossy area.
  • the displayed image is a medical image
  • displaying the lossless area and the lossy area separately makes it easy to grasp which part of the image is the lossless area in diagnosing a disease. It is valid.
  • the encoded stream compressed and encoded by the above image encoding method can be restored to the original image and displayed.
  • each of the plurality of images can be recorded in a data format that enables a user-friendly display by the above-described image encoding method.
  • FIG. 11 is a flowchart showing an example of a method for displaying an area set for a plurality of images according to the embodiment of the present invention.
  • FIG. 11 an example of the display process described above will be described with reference to FIG.
  • the display composition unit 209 calculates an intersection line between a newly created slice section (plane) and each image in which a region is set (1101). For example, it is assumed that a multi-frame image is taken in a direction perpendicular to the body axis in taking a medical image using CT. When a new slice cross section is created on a plane parallel to the body axis based on the multi-frame image, the new slice cross section and each image intersect with a line. Therefore, the display composition unit 209 obtains an intersection line between a newly created slice cross section and each image.
  • the display combining unit 209 acquires pixel information from each image and combines it with a new slice cross-sectional image (1102).
  • the display synthesis unit 209 acquires pixel information on the intersection line calculated for each image in step 1101, and projects it onto a newly created slice cross section. Thereby, the pixel information on the intersection line of each image can be synthesized.
  • the display composition unit 209 may acquire pixel information from some images and obtain image information of other images by interpolation based on the acquired pixel information. Good.
  • the display composition unit 209 calculates the intersection line and intersection point between the area set for each image and the new slice section (1103).
  • areas such as a lossless area and a lossy area are set in each image by an ellipse, a quadrangle, or the like.
  • the region set for each image and the new slice cross section intersect at a line or a point.
  • the display composition unit 209 calculates an intersection line or intersection between the slice cross section and the region set for each image based on the positional relationship between the shooting position of each image and the newly created slice cross section. To do.
  • step 1104 the display composition unit 209 sets an area on a new slice section (1104).
  • step 1104 the display composition unit 209 projects the intersection line and intersection calculated in step 1103 onto a new slice cross section. Thereby, the user can easily discriminate between the lossless area and the lossy area.
  • the display synthesis unit 209 synthesizes (superimposes) the new slice cross-sectional image created in step 1102 and the region set in step 1104 (1105).
  • the display composition unit 209 may display the colors of the boundary between the lossless area and the lossy area by color coding or highlight the boundary.
  • the display composition unit 209 may display the boundary between the lossless area and the lossy area as a line.
  • the image encoding method and the image decoding method according to the embodiment of the present invention may be applied to an image recording apparatus and an image transmission apparatus. Accordingly, it is possible to provide a medical diagnostic imaging apparatus capable of recording a large volume of images and transmitting an image with a small bandwidth, and an imaging apparatus such as CT and MRI.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

　入力された複数の画像を符号化する画像符号化装置である。この画像符号化装置は、入力された複数の画像の各々について、第１の領域と、第２の領域とを示す領域データを、複数の画像の相関を利用して計算する領域計算部と、計算された複数の画像の各々の領域データに基づいて、第１の領域を第１の符号化方式によって符号化し、第２の領域を第２の符号化方式によって符号化するフレームエンコーダと、計算された複数の画像の各々の領域データを、領域データの相関を利用して符号化する領域データエンコーダと、符号化された複数の画像の各々と符号化された領域データとを関連付けて出力する出力部と、を備える。

Description

画像符号化装置、画像復号装置及び画像復号方法 参照による取り込み
　本出願は、２０１０年５月１２日に出願された日本特許出願特願２０１０－１１０２１７の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　本発明は、画像符号化装置、画像復号装置等に関し、特に、ＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）等を利用した画像を処理する技術に関する。
　ＣＴやＭＲＩ等の技術を利用した画像を処理する医療用の画像診断装置が知られている。ＣＴはＸ線等の放射線を用いて、ＭＲＩは核磁気共鳴現象を用いて、人体等の断層を撮影する技術である。撮影された画像は、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）と呼ばれる規格方式に従ってデジタルデータ化して記録される。特に、記録される画像が医療用の画像である場合には、画像のオリジナルデータが記録される必要がある。そのため、可逆なロスレス圧縮方式であるＪＰＥＧ－ＬＳ規格（ISO-14495-1 / ITU-T T.87）等の圧縮方式によって圧縮される。
　ロスレス圧縮方式は、画像の劣化を許容する不可逆な圧縮方式であるロッシー圧縮方式に比べると圧縮率が低いという課題がある。この課題を解決すべく、特許文献１には、画像内の重要な部分をロスレス圧縮方式によって圧縮し、重要でない部分をロッシー圧縮方式によって圧縮することによって、圧縮率を高める方法が開示されている。
特開平８-３３１３６７号公報
　ところで、一般に医療用の画像診断装置が撮影する人体等の断層画像は、マルチスライス画像である。また、いわゆる動画像も、複数の画像から１つのシーケンスが構成されるマルチフレーム画像である。
　このような複数の画像に対して、ロスレス圧縮方式とロッシー圧縮方式とを組み合わせて圧縮符号化する場合、各々の画像に対して、ロスレス圧縮方式によって圧縮する部分とロッシー圧縮方式によって圧縮する部分の範囲を指定（表示、記録）する必要がある。しかしながら、特許文献１に開示された技術では、このような点については考慮されておらず、効率的に符号化できない問題があった。
　本発明は、上述した課題を考慮したものであって、複数の画像に対して、複数の圧縮方式（特に、ロスレス圧縮方式とロッシー圧縮方式）を組み合わせて効率的に圧縮符号化又は復号できる画像符号化装置、画像復号装置等を提供することを目的とする。
　本願において開示される発明の代表的な一例を示せば以下の通りである。すなわち、入力された複数の画像を符号化する画像符号化装置であって、入力された前記複数の画像の各々について、第１の符号化方式によって符号化すべき第１の領域と、前記第１の符号化方式と異なる第２の符号化方式によって符号化すべき第２の領域とを示す領域データを、前記複数の画像の相関を利用して計算する領域計算部と、計算された前記複数の画像の各々の領域データに基づいて、前記複数の画像の各々の前記第１の領域を前記第１の符号化方式によって符号化し、前記第２の領域を前記第２の符号化方式によって符号化するフレームエンコーダと、計算された前記複数の画像の各々の領域データを、当該領域データの相関を利用して符号化する領域データエンコーダと、符号化された前記複数の画像の各々と、符号化された前記領域データとを関連付けて出力する出力部と、を備えたことを特徴とする。
　本発明の実施の形態によれば、複数の画像に対して、複数の圧縮方式（特に、ロスレス圧縮方式とロッシー圧縮方式）を組み合わせて効率的に圧縮符号化又は復号できる。
本発明の実施の形態の画像符号化装置の一例を示すブロック図である。 本発明の実施の形態の画像復号装置の一例を示すブロック図である。 本発明の実施の形態の一画像に対する領域指定方法の例を示す図である。 本発明の実施の形態の一画像に対する領域指定方法の例を示す図である。 本発明の実施の形態の複数画像に対する領域指定方法の例を示す図である。 本発明の実施の形態の複数画像に対する領域指定方法の別の例を示す図である。 本発明の実施の形態の複数画像に対する領域指定方法の別の例を示す図である。 本発明の実施の形態の複数画像に対して設定された領域を表示する例を示す図である。 本発明の実施の形態の画像符号化方法を説明する図である。 本発明の実施の形態の画像符号化方法の一例を示すフローチャートである。 本発明の実施の形態の画像復号方法の一例を示すフローチャートである。 本発明の実施の形態の複数画像に対して設定された領域の表示方法の一例を示すフローチャートである。
　以下、本発明の実施の形態について、図面を参照して説明する。
　図１は、本発明の実施の形態の画像符号化装置１００の一例を示すブロック図である。画像符号化装置１００は、領域指定処理部１０１、マルチフレーム画像バッファ１０２、マルチフレーム領域計算部１０３、フレームエンコーダ１０４、リファレンスフレームバッファ１０５、リファレンス領域データバッファ１０６、領域データエンコーダ１０７、画像ストリームバッファ１０８、データ結合部１０９を備える。
　以下では、画像符号化装置１００が医療用画像等のモノクロ画像を圧縮符号化する場合を例に挙げて説明するが、この場合に限らない。画像符号化装置１００がカラー画像を圧縮符号化する場合には、例えばＲ、Ｇ、Ｂの各プレーンに対して同様に処理すればよい。
　また以下では、画像符号化装置１００に入力される画像がＣＴやＭＲＩ等のマルチスライス画像である場合を例に挙げて説明するが、この場合に限らない。入力される画像は、一つの撮影機器によって位置をずらして複数枚撮影されたマルチスライス画像の他に、同じ患者を異なる時期に撮影することによって得られる時系列の複数の画像、同じ部位を異なる種類の機器によって撮影することによって得られる画像の集合、又は、一般的な動画像であってもよい。すなわち、入力される画像は、空間的又は時間的に連続する一連の連続画像である。以下、複数の画像のうちの一枚の画像を、画像又はフレームと呼ぶ。フレームは、スライス、ピクチャと同義である。
　領域指定処理部１０１は、入力された複数の画像（画像データ）に対して領域（領域データ）を指定する。具体的には、入力された各画像に対して、ロスレス領域とロッシー領域とを指定する。ロスレス領域とは、ロスレス圧縮方式によって可逆に圧縮される領域である。ロッシー領域とは、ロッシー圧縮方式によって非可逆に圧縮される領域である。各画像データの重要な領域をロスレス領域として指定し、重要でない領域をロッシー領域として指定することによって、効率的な圧縮が可能となる。領域の指定は、以下に示す方法によって実行可能である。すなわち、ユーザが各画像に対して個別にロスレス領域及びロッシー領域を指定してもよい。また、ユーザが１枚目の画像に対して領域を指定し、システムが１枚目の画像に対して指定された領域を参考にして、その他の各画像の領域を自動的に指定してもよい。また、システムが全ての画像の領域を自動的に指定してもよい。以下では、ユーザが領域指定処理部１０１に対して１枚目の画像の領域データを入力し、マルチフレーム領域計算部１０３が他の各画像の領域を自動的に指定する例を説明する。また以下では、指定される領域が一つであるとして説明するが、指定される領域は複数あってもよい。領域の指定方法については、図３を用いて後述する。この領域指定処理部１０１は、指定された領域の情報を、マルチフレーム領域計算部１０３に送信する。
　マルチフレーム画像バッファ１０２は、入力された複数の画像を保持する。このマルチフレーム画像バッファ１０２は、入力された複数の画像を、マルチフレーム領域計算部１０３及びフレームエンコーダ１０４に送信する。
　マルチフレーム領域計算部１０３は、領域指定処理部１０１によって指定された１枚目の画像の領域データに基づいて、マルチフレーム画像バッファ１０２から送信された他の各画像の領域データを計算する。その後、計算された各画像の領域データを、フレームエンコーダ１０４及び領域データエンコーダ１０７に送信する。このマルチフレーム領域計算部１０３は、例えば１枚目の画像と、２枚目の画像と、１枚目の画像の領域データとに基づいて、２枚目の画像の領域データを作成する。すなわち、１枚目の画像と２枚目の画像とを比較し、２枚目の画像内のオブジェクトが１枚目の画像の領域内のオブジェクトを拡大したものである場合、２枚目の画像の領域データを拡大する。なお、１枚目の画像の領域を２枚目の画像に当てはめ、１枚目の画像の領域内の平均輝度及び領域外の平均輝度の差と、２枚目の画像の領域内の平均輝度及び領域外の平均輝度の差とを比較し、両者の差が小さくなるように２枚目の画像の領域の形状を変化させてもよい。複数の画像に対して領域を指定する方法は、既存の画像処理を応用することによって適宜実現可能である。
　フレームエンコーダ１０４は、マルチフレーム領域計算部１０３によって設定された領域データと、リファレンスフレームバッファ１０５に保持された符号化済みの画像とを用いて、マルチフレーム画像バッファ１０２から送信された各画像を圧縮符号化する。
　具体的には、マルチフレーム領域計算部１０３によって設定された領域データの情報と、リファレンスフレームバッファ１０５に保持された他の符号化済みの画像内の画素情報とを用いて、マルチフレーム画像バッファ１０２から送信された画像内の各画素の画素値を予測し、符号化する。なお、ロスレス領域として指定された領域は、ロスレス圧縮方式によって符号化され、ロッシー領域として指定された領域は、ロッシー圧縮方式によって符号化される。符号化方法の詳細については後述する。
　リファレンスフレームバッファ１０５は、フレームエンコーダ１０４によって符号化された画像の情報を、参照用フレームとして保持する。この参照用フレームは、他の画像を符号化する際に、フレームエンコーダ１０４によって用いられる。画像ストリームバッファ１０８は、フレームエンコーダ１０４によって符号化された画像の情報を保持する。
　領域データエンコーダ１０７は、リファレンス領域データバッファ１０６に保持された他の符号化済みの領域データを参照して、マルチフレーム領域計算部１０３によって計算された各画像の領域データを圧縮符号化する。この領域データエンコーダ１０７は、所定の画像の領域データと他の画像の領域データとが同一又は類似の場合、両領域データの差分データを圧縮符号化してもよい。これにより、情報量を削減することができる。
　リファレンス領域データバッファ１０６は、領域データエンコーダ１０７によって符号化された領域データの情報を、参照用領域データとして保持する。この参照用領域データは、他の画像の領域データを符号化する際に、領域データエンコーダ１０７によって用いられる。
　データ結合部１０９は、画像ストリームバッファ１０８に保持された各画像の符号化データと、領域データエンコーダ１０７から出力された領域データの符号化データとを結合して符号化ストリームを作成し、作成された符号化ストリームを外部に出力する。
　以上説明した画像符号化装置１００により、複数の画像の各々をロスレス領域とロッシー領域とに分割し、効率的に圧縮符号化することが可能となる。
　図２は、本発明の実施の形態の画像復号装置２００の一例を示すブロック図である。画像復号装置２００は、データ分離部２０１、領域データバッファ２０２、画像ストリームバッファ２０３、領域データデコーダ２０４、リファレンス領域データバッファ２０５、フレームデコーダ２０６、リファレンスフレームバッファ２０７、出力画像バッファ２０８、表示合成部２０９を備える。
　データ分離部２０１は、入力された符号化ストリームを、領域データの符号化データ及び画像の符号化データに分離する。領域データの符号化データは、領域データバッファ２０２に送信される。また、画像の符号化データは、画像ストリームバッファ２０３に送信される。領域データバッファ２０２は、領域データの符号化データを保持する。画像ストリームバッファ２０３は、画像の符号化データを保持する。
　領域データデコーダ２０４は、領域データバッファ２０２に保持された領域データの符号化データを復号する。具体的には、リファレンス領域データバッファ２０５に保持された復号済みの他の領域データに、領域データバッファ２０２に保持された領域データの符号化データを復号して得られる差分データを合成することにより、領域データを復号する。このようにして、各画像の領域データが算出される。
　リファレンス領域データバッファ２０５は、領域データデコーダ２０４によって復号された領域データの情報を、参照用の領域データとして保持する。
　フレームデコーダ２０６は、画像ストリームバッファ２０３に保持された各画像の符号化データを、領域データデコーダ２０４によって復号された各画像の領域データと、リファレンスフレームバッファ２０７に保持された復号済みの他の画像とを用いて復号する。
　このフレームデコーダ２０６は、リファレンスフレームバッファ２０７に保持された復号済みの他の画像の画素情報と、領域データデコーダ２０４によって算出された各画像の領域データとを用いて、画像ストリームバッファ２０３から送信された各画像の画素を予測し、復号する。なお、このフレームデコーダ２０６は、ロスレス領域として指定された領域を可逆に復号し、ロッシー領域として指定された領域を非可逆に復号する。
　リファレンスフレームバッファ２０７は、フレームデコーダ２０６によって復号された画像の情報を、参照用フレームとして保持する。出力画像バッファ２０８は、フレームデコーダ２０６によって復号された各画像を、出力用画像として保持する。
　表示合成部２０９は、領域データデコーダ２０４によって復号された各画像の領域データと、出力画像バッファ２０８に保持された各画像とを合成して（重ねて）表示する。これにより、ユーザは、ロスレス圧縮方式によって圧縮された部分（ロスレス領域）と、ロッシー圧縮方式によって圧縮された部分（ロッシ―領域）とを容易に判別することができる。特に、表示される画像が医療用画像である場合、ロスレス領域とロッシー領域とを区別して表示することは、病気の診断において画像中のどの部分がロスレス領域であるかを容易に把握できる点で有効である。そのため、表示合成部２０９は、ロスレス領域とロッシー領域との境界を目立つ色で表示してもよい。また、表示合成部２０９は、ロスレス領域とロッシー領域を別の色で表示してもよい。
　以上説明した画像復号装置２００により、上記の画像符号化装置１００により圧縮符号化された符号化ストリームを、元の画像に復元し、表示することができる。言い換えると、上記の画像符号化装置１００は、複数の画像の各々を、ユーザに分かりやすい表示を可能にするデータ形式で記録することができる。
　図３Ａ及び図３Ｂは、本発明の実施の形態の一画像に対する領域指定方法の例を説明する図である。図３Ａは、楕円によって領域（ロスレス領域）を指定する例を示す。図３Ｂは、四角形によって領域（ロスレス領域）を指定する例を示す。
　図３Ａのように楕円によって領域を指定する場合、マルチフレーム領域計算部１０３は、領域指定用のデータとして、楕円の中心座標（x、y）、長軸の長さａ及び短軸の長さｂを組み合わせたデータＯ（x、y、a、b）を記録する。また、図３Ｂのように四角形によって領域を指定する場合、マルチフレーム領域計算部１０３は、領域指定用のデータとして、四角形の左上の画素座標（x1、y1）と右下の画素座標（x2、y2）とを組み合わせたデータＲ（x1、y1、x2、y2）を記録する。
　なお、領域の指定方法は図３Ａ、図３Ｂに示す場合には限らない。例えば、楕円や四角形以外の多角形等を用いて領域を指定してもよい。また、一つの領域ではなく複数の領域を指定してもよい。
　このような領域の指定は、画像をロスレス領域とロッシー領域とに分割する、すなわち画像を領域分割するための処理である。なお、画像をロスレス領域とロッシー領域とに分割する代わりに、ロッシー符号方式における量子化ステップ（ロッシー符号方式による符号化の度合い）を複数用意し、これらの量子化ステップを用いて画像を領域分割してもよい。すなわち、例えば量子化度（符号化の度合い）が低くロスレスに近いロッシー領域と、量子化度（符号化の度合い）が高くロスの大きいロッシー領域とに分割してもよい。
　図４は、本発明の実施の形態の複数画像に対する領域指定方法の例を示す図である。以下では、複数の画像に対して図３Ａのような楕円を用いて領域を指定する場合を例に説明する。
　複数の画像に対して楕円を用いて領域を指定する場合、マルチフレーム領域計算部１０３は、複数の画像の各々に対して、前述のデータＯ（x、y、a、b）を記録する。しかしながら、一般に、各画像に対して指定される領域は、お互いの位置が近く、似ている場合が多い。そこで、領域指定処理部１０１は、所定の画像に対して領域を指定する場合、この所定の画像の１つ前の画像に対して指定された領域との差分のみを記録してもよい。これにより、データ量を削減して効率的に記録することができる。
　図４に示す「方式１」は、複数のフレームｉ（ｉ＝１～４）に対する領域指定方法の第１の例を示す。この「方式１」では、マルチフレーム領域計算部１０３は、フレーム１の領域データとして、前述のデータＯ（x、y、a、b）を記録する。一方、２枚目以降のフレーム２、３、４の各々の領域データとして、一つ前のフレームに対する長軸の長さａ及び短軸の長さｂの変化量（差分）のみを組み合わせたデータ（da2、db2）、（da3、db3）、（da4、db4）をそれぞれ記録する。すなわちこの「方式１」では、楕円の中心座標（x、y）を固定し、２枚目以降のフレームの領域データとして、一つ前のフレームに対する長軸の長さａ及び短軸の長さｂの変化量のみを記録している。これにより、データ量を削減して効率的に記録することができる。
　図４に示す「方式２」は、複数のフレームｉ（ｉ＝１～４）に対する領域指定方法の第２の例を示す。この「方式２」は、各フレーム１、２、３、４の領域が全く同一であるケースである。このケースでは、マルチフレーム領域計算部１０３は、フレーム１の領域データとして、前述のデータＯ（x、y、a、b）を記録する。また、このフレーム１の領域データと同一の領域データが連続するフレーム数ｎとしてｎ＝４を記録する。このようにしてマルチフレーム領域計算部１０３は、連続するフレームの領域をまとめて指定している。これにより、データ量を削減して効率的に記録することができる。
　図５は、本発明の実施の形態の複数画像に対する領域指定方法の別の例を示す図である。以下では、図４と同様に、複数の画像に対して図３Ａのような楕円を用いて領域を指定する場合を例に説明する。
　一般に、連続する画像の各々に対して指定される領域の形状は、なだらかに変化する場合が多い。そこで、マルチフレーム領域計算部１０３は、以下に示すように各画像の領域を指定する。
　図５に示す例では、マルチフレーム領域計算部１０３は、まず複数のフレームｉ（ｉ＝１～４）のうち、両端のフレーム１及びフレーム４に対して領域を指定する。その後、中間のフレーム２、３の領域データを、フレーム１及びフレーム４の領域データに基づく補間によって生成する。
　例えばフレーム１の領域情報がＯ（x1、y1、a1、b1）、フレーム４の領域情報がＯ（x4、y4、a4、b4）である場合、フレーム２の楕円の中心座標（x2、y2）は、式（１）、（２）のように計算することができる。
Figure JPOXMLDOC01-appb-M000001
　同様に、フレーム３の楕円の中心座標（x3、y3）は、式（３）、（４）のように計算することができる。
Figure JPOXMLDOC01-appb-M000002
　これにより、４枚の連続する画像の領域を、２枚の画像の領域データ（Ｏ（x1、y1、a1、b1）とＯ（x4、y4、a4、b4））を用いて指定することができる。このように補間によって領域データを生成することにより、データ量を削減し効率的に記録することができる。
　なお、図５に示す例と図４に示す例とを組み合わせて、Ｏ（x4、y4、a4、b4）の代わりに、Ｏ（x4、y4、a4、b4）とＯ（x1、y1、a1、b1）との差分（dx4、dy4、da4、db4）を用いてもよい。
　図６は、本発明の実施の形態の複数画像に対する領域指定方法の別の例を示す図である。以下では、図４及び図５と同様に、複数の画像に対して図３Ａのような楕円を用いて領域を指定する場合を例に説明する。
　一般に、大量の画像に対して一枚ずつ手動で領域を設定するのは非常に手間がかかる。そこで、ユーザが１枚目の画像の領域データを手動で設定し、マルチフレーム領域計算部１０３が２枚目以降の各画像の領域データを自動的に設定する。すなわち、マルチフレーム領域計算部１０３は、１枚目の画像の領域データに対する２枚目以降の各画像の変化分を反映して、２枚目以降の各画像の領域データを設定すればよい。
　図６に示す例では、１枚目の画像と２枚目の画像とを比較し、２枚目の画像の領域内のオブジェクトが１枚目の画像の領域内のオブジェクトを拡大したものである場合、２枚目の画像の領域データを拡大する。なお、１枚目の画像の領域を２枚目の画像に当てはめ、１枚目の画像の領域内の平均輝度及び領域外の平均輝度の差と、２枚目の画像の領域内の平均輝度及び領域外の平均輝度の差とを比較し、両者の差が小さくなるように２枚目の画像の領域の形状を変化させてもよい。また両者の差が小さくなるように１枚目の画像の領域データを変更してもよい。
　例えば、複数の画像を分析し、ロスレス領域とすべき領域が最も大きい画像について、対象のオブジェクトが含まれるように領域を設定する。その後、設定された領域を、領域が設定された画像以外の他の画像に当てはめる。このように領域を設定することにより、一つの領域データに基づいて全ての画像の領域を設定することができる。各画像の領域や対象を分析する方法は、エッジの比較、部分領域のヒストグラムの比較、ライン毎のヒストグラムの比較、特徴点の比較など、一般的な画像処理を応用することによって適宜実現可能である。特に、１枚目の画像において指定された領域データに基づき、SnakesやRegion Growing等の技術によって求められる輝度の勾配などを用いて、他の２枚目以降の画像の領域データを設定することができる。これにより、領域データを設定する手間を大幅に削減することができる。
　１枚目の画像における領域（楕円の中心点、長軸、短軸）の指定は、例えば画面上に同画像を表示し、画面上でのユーザのマウス操作等によって実現することができる。また、上記のようにマルチフレーム領域計算部１０３が領域データを明示的に記録する代わりに、領域データエンコーダ１０７（図１参照）や領域データデコーダ２０４（図２参照）が各画像から領域を推定するルールを予め保持してもよい。この場合、マルチフレーム領域計算部１０３は領域データを明示的に記録する必要がない。例えば、領域データエンコーダ１０７や領域データデコーダ２０４は、ロッシー領域は特定の画素値からのみ構成されるというルールを保持する場合、各画像からその特定の画素値の部分をロッシー領域として特定することができる。なお、この方法は、ロッシー領域を示す画素値がロスレス領域を示す画素値を含まないことが前提となるが、領域データを伝送しなくてもよいメリットがある。
　図７は、本発明の実施の形態の複数画像に対して設定された領域を表示する例を示す図である。
　図４～図６を用いて説明してきた方法により複数の画像に対して領域が設定された場合、表示合成部２０９（図２参照）は、領域が設定された各画像と平面（スライス断面）Ａとの交差線の集合である断面Ｂを、ロスレス領域とロッシー領域とを区別した態様で表示することができる。すなわち、領域が設定された各画像に基づいて生成されるボリュームデータの任意の断面を、ロスレス領域とロッシー領域とを区別した態様で表示することができる。特に、表示される画像が医療用画像である場合、ロスレス領域とロッシー領域とを区別して表示することが有効である。病気の診断において、画像中のどの部分がロスレス領域であるかを容易に把握できるからである。表示に関する詳細処理については、図１１を用いて後述する。
　図８は、本発明の実施の形態の画像符号化方法を説明する図である。図８を用いて、フレームエンコーダ１０４（図１参照）が、所定の画像の画素値をピクセル単位で予測する方法を説明する。なお、一般的な画素値の予測では、同一画像内の他の画素の画素値のみならず、他の画像内の画素の画素値も参照されるが、ここでは同一画像内の他の画素の画素値のみが参照される例を示す。
　図８に示す例では、画素Ｘが現在符号化しようとしているロスレス領域内の画素である。一方、画素Ａと画素Ｂとは、それぞれ画素Ｘの左、上に位置する符号化済みの画素である。画素Ａはロッシー領域内の画素であり、ロッシー符号方式によって符号化されている。画素Ｂは、ロスレス領域内の画素であり、ロスレス符号方式によって符号化されている。この場合、フレームエンコーダ１０４は、画素Ｂから画素Ｘの画素値を予測する。これは、画素Ｘと同じロスレス領域内の画素Ｂから予測する方が、画素Ｘと異なるロッシー領域内の画素Ａから予測するよりも予測精度を高めることができるためである。
　このように符号化対象の画素の属する領域の情報に基づいて予測元の画素を選択することによって、圧縮率を上げることができる。なお、他の画像内の画素を用いて符号化対象の画素の画素値を予測する場合にも、符号化対象の画素の属する領域の情報を用いることによって、予測精度を上げることができる。このように符号化対象の画素の属する領域の情報を用いて複数の画像を符号化することによって、圧縮率を向上させることができる。但し、領域データの生成において複数の画像の相関を用いるが、画像の符号化において複数の画像の相関を用いない場合もありうる。逆に、領域データの生成において複数の画像の相関を用いないが、画像の符号化において複数の画像の相関を用いる場合もありうる。
　図９は、本発明の実施の形態の画像符号化方法の一例を示すフローチャートである。ここでは、画像符号化方法の一例について図１を参照して説明する。
　まずステップ９０１において、領域指定処理部１０１及びマルチフレーム画像バッファ１０２は、マルチフレーム画像（複数の画像）を入力する（９０１）。次にステップ９０２において、領域指定処理部１０１は、ユーザによる指定に応じて、入力された画像に対してロスレス領域とロッシー領域の領域データを指定する（９０２）。領域の指定方法は前述の通りである。
　その後ステップ９０３において、マルチフレーム領域計算部１０３は、ステップ９０２で指定された領域データに基づいて、入力された各画像の領域データを計算する（９０３）。各画像の領域データの計算方法は前述の通りである。
　ステップ９０４では、フレームエンコーダ１０４は、マルチフレーム画像バッファ１０２に格納された符号化対象の画像を、リファレンスフレームバッファ１０５に保持された符号化済みの他の画像と、マルチフレーム領域計算部１０３によって計算された符号化対象の画像及び符号化済みの他の画像の領域データと、符号化対象の画像の符号化済み画素情報とを参照して、符号化する（９０４）。ステップ９０４では、複数の画像及び領域データを参照することにより、予測精度を高め効率的に符号化することができる。また、領域データを用いることにより、ロスレス符号方式とロッシー符号方式とを組み合わせて効率的に符号化することができる。
　ステップ９０５では、フレームエンコーダ１０４は、ステップ９０４で符号化された画像の情報を、参照用フレームとしてリファレンスフレームバッファ１０５に格納する（９０５）。またステップ９０５では、フレームエンコーダ１０４は、ステップ９０４で符号化された画像の情報を、画像ストリームバッファ１０８に格納する。
　ステップ９０６では、領域データエンコーダ１０７は、リファレンス領域データバッファ１０６に格納された符号化済みの他の画像の領域データを参照して、符号化対象の画像の領域データを符号化する（９０６）。領域データの符号化方法は前述の通りである。なお、前述のように符号化対象の画像の領域データと他の画像の領域データとの差分データを圧縮符号化することによって、効率的に符号化できる。
　ステップ９０７では、領域データエンコーダ１０７は、ステップ９０６で符号化された領域データの情報を、参照用の領域データとしてリファレンス領域データバッファ１０６に格納する（９０７）。
　ステップ９０８では、データ結合部１０９は、画像ストリームバッファ１０８に格納された各画像の符号化データと、領域データエンコーダ１０７から出力された領域データの符号化データを統合して符号化ストリームを作成し、作成された符号化ストリームを外部に出力する（９０８）。
　以上説明した画像符号化方法により、複数の画像の各々をロスレス領域とロッシー領域とに分割し、効率的に圧縮符号化することが可能となる。
　図１０は、本発明の実施の形態の画像復号方法の一例を示すフローチャートである。ここでは、画像復号方法の一例について図２を参照して説明する。
　まずステップ１００１において、データ分離部２０１は、符号化ストリームを入力する（１００１）。次にステップ１００２において、データ分離部２０１は、入力された符号化ストリームを、領域データの符号化データ及び画像（画像ストリーム）の符号化データに分離する（１００２）。ステップ１００２で分離された領域データの符号化データ及び画像の符号化データは、それぞれ領域データバッファ２０２、画像ストリームバッファ２０３に送信される。
　ステップ１００３では、領域データデコーダ２０４は、リファレンス領域データバッファ２０５に格納された復号済みの他の領域データを参照して、復号対象の画像の領域データを計算する（１００３）。ステップ１００３では、領域データデコーダ２０４は、領域データバッファ２０２に保持された復号対象の画像の領域データの符号化データを復号して差分データを生成する。その後、生成された差分データと、リファレンス領域データバッファ２０５に格納された復号済みの他の領域データとを合成する（組合せる）ことによって、復号対象の画像の領域データを復号する。
　ステップ１００４では、フレームデコーダ２０６は、画像ストリームバッファ２０３に格納された復号対象の画像を、リファレンスフレームバッファ２０７に保持された復号済みの他の画像と、領域データデコーダ２０４によって復号された領域データと、復号対象の画像の復号済み画素情報とを参照して、復号する（１００４）。
　ステップ１００５では、領域データデコーダ２０４は、ステップ１００３で算出された領域データの情報を、参照用の領域データとしてリファレンス領域データバッファ２０５に格納し、フレームデコーダ２０６は、ステップ１００４で復号された画像の情報を、参照用フレームとしてリファレンスフレームバッファ１０５に格納する（１００５）。ステップ１００６では、出力画像バッファ２０８は、フレームデコーダ２０６によって復号された画像を、出力用画像データとして格納する（１００６）。
　ステップ１００７では、表示合成部２０９は、領域データデコーダ２０４によって復号された各画像の領域データと、出力画像バッファ２０８に保持された出力用画像データとを合成して表示する（１００７）。これにより、ユーザは、ロスレス領域とロッシー領域とを容易に判別することができる。特に、表示される画像が医療用画像である場合、ロスレス領域とロッシー領域とを区別して表示することは、病気の診断において画像中のどの部分がロスレス領域であるかを容易に把握できる点で有効である。
　以上説明した画像復号方法により、上記の画像符号化方法により圧縮符号化された符号化ストリームを、元の画像に復元し、表示することができる。言い換えると、上記の画像符号化方法により、複数の画像の各々を、ユーザに分かりやすい表示を可能にするデータ形式で記録することができる。
　図１１は、本発明の実施の実施形態の複数画像に対して設定された領域の表示方法の一例を示すフローチャートである。ここでは、図７を用いて前述した表示処理の一例を説明する。
　まずステップ１１０１において、表示合成部２０９は、新たに作成するスライス断面（平面）と、領域が設定された各画像との交線を計算する（１１０１）。例えばＣＴを利用した医療用画像の撮影において、体軸に対して垂直方向にマルチフレーム画像が撮影されたとする。このマルチフレーム画像を基にして、体軸に対して平行な面で新たなスライス断面を作成する場合、新たなスライス断面と各画像とは線で交わる。そこで、表示合成部２０９は、新たに作成するスライス断面と各画像との交線を求める。
　次にステップ１１０２において、表示合成部２０９は、各画像から画素情報を取得し、新たなスライス断面画像に合成する（１１０２）。ステップ１１０２では、表示合成部２０９は、ステップ１１０１において画像毎に計算された交線上の画素情報を取得し、新たに作成するスライス断面上に射影する。これにより、各画像の交線上の画素情報を合成することができる。なお、表示合成部２０９は、全ての画像から画素情報を取得する代わりに、一部の画像から画素情報を取得し、取得された画素情報に基づく補間によってその他の画像の画像情報を求めてもよい。
　その後ステップ１１０３では、表示合成部２０９は、各画像に対して設定された領域と、新たなスライス断面との交線、交点を計算する（１１０３）。本実施の形態では、各画像には、ロスレス領域、ロッシー領域等の領域が楕円や四角形等によって設定されている。このように各画像に対して設定された領域と、新たなスライス断面とは、線又は点で交わる。特に、設定された領域が面である場合には線で交わり、設定された領域が線である場合には点で交わる。そこで、表示合成部２０９は、各画像の撮影位置と、新たに作成されるスライス断面との位置関係に基づいて、スライス断面と各画像に対して設定された領域との交線又は交点を計算する。
　その後ステップ１１０４では、表示合成部２０９は、新たなスライス断面上に領域を設定する（１１０４）。ステップ１１０４では、表示合成部２０９は、ステップ１１０３で計算された交線、交点を、新たなスライス断面上に射影する。これにより、ユーザは、ロスレス領域と、ロッシー領域とを容易に判別することができる。
　その後ステップ１１０５では、表示合成部２０９は、ステップ１１０２で作成された新たなスライス断面画像と、ステップ１１０４で設定された領域とを合成して（重ねて）表示する（１１０５）。特に、表示される画像が医療用画像である場合、病気の診断において画像中のどの部分がロスレス領域であるかを容易に把握するために、ロスレス領域とロッシー領域とを区別して表示することが有効である。そのため、表示合成部２０９は、ロスレス領域とロッシー領域との境界を色分けして表示したり、強調表示したりしてもよい。また、表示合成部２０９は、ロスレス領域とロッシー領域との境界を線として表示してもよい。
　例えば、本発明の実施の形態の画像符号化方法及び画像復号方法を、画像記録装置、画像伝送装置に適用してもよい。これにより、大容量の画像記録、帯域幅の小さい画像伝送が可能な医療用の画像診断装置、ＣＴ、ＭＲＩ等の撮影装置を提供することができる。
　以上、本発明を添付の図面を参照して詳細に説明したが、本発明はこのような具体的構成に限定されるものではなく、添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。

Claims (11)

  1. 　入力された複数の画像を符号化する画像符号化装置であって、
    　入力された前記複数の画像の各々について、第１の符号化方式によって符号化すべき第１の領域と、前記第１の符号化方式と異なる第２の符号化方式によって符号化すべき第２の領域とを示す領域データを、前記複数の画像の相関を利用して計算する領域計算部と、
    　計算された前記複数の画像の各々の領域データに基づいて、前記複数の画像の各々の前記第１の領域を前記第１の符号化方式によって符号化し、前記第２の領域を前記第２の符号化方式によって符号化するフレームエンコーダと、
    　計算された前記複数の画像の各々の領域データを、当該領域データの相関を利用して符号化する領域データエンコーダと、
    　符号化された前記複数の画像の各々と、符号化された前記領域データとを関連付けて出力する出力部と、
    　を備えたことを特徴とする画像符号化装置。
  2. 　請求項１に記載の画像符号化装置であって、
    　前記領域データエンコーダは、前記複数の画像が一連の連続する画像である場合、所定の画像の領域データと、前記所定の画像の隣の画像の領域データとの差分データを、前記所定の画像の領域データとして符号化することを特徴とする画像符号化装置。
  3. 　請求項１に記載の画像符号化装置であって、
    　前記領域計算部は、前記複数の画像が一連の連続する画像である場合、第１の画像と第２の画像に対して指定された領域データに基づいて、前記第１の画像と前記第２の画像の中間に位置する第３の画像の領域データを、補間によって計算することを特徴とする画像符号化装置。
  4. 　請求項１に記載の画像符号化装置であって、
    　前記領域計算部は、前記複数の画像が一連の連続する画像である場合、１枚目の画像に対してユーザによって指定された領域データに基づいて、２枚目以降の各画像の領域データを計算することを特徴とする画像符号化装置。
  5. 　複数の画像の符号化データと、前記複数の画像の各々の領域データの符号化データとを含む符号化ストリームを復号する画像復号装置であって、
    　前記領域データは、第１の復号方式によって復号すべき第１の領域と、第２の復号方式によって復号すべき第２の領域とを示すデータであり、
    　前記符号化ストリームを、前記複数の画像の符号化データと、前記複数の領域データの符号化データとに分離するデータ分離部と、
    　分離された前記複数の領域データの符号化データを、当該領域データの相関を利用して復号する領域データデコーダと、
    　復号された前記複数の領域データと、分離された前記複数の画像の符号化データとに基づいて、前記複数の画像の各々の前記第１の領域を前記第１の復号方式によって復号し、前記第２の領域を前記第２の復号方式によって復号するフレームデコーダと、
    　復号された前記複数の領域データと、復号された前記複数の画像とを関連付けて表示する表示部と、
    　を備えたことを特徴とする画像復号装置。
  6. 　請求項５に記載の画像復号装置であって、
    　前記表示部は、復号された前記複数の領域データと、復号された前記複数の画像とに基づいて生成されるボリュームデータの所定の断面画像を、前記第１の領域及び前記第２の領域とを区別した態様で表示することを特徴とする画像復号装置。
  7. 　請求項６に記載の画像復号装置であって、
    　前記表示部は、表示用の所定の平面を新たに設定し、
    　前記所定の平面と、復号された前記複数の画像の各々との交線を計算し、
    　前記複数の画像の各々から、計算された前記交線上の画素情報を取得し、取得された画素情報を前記所定の平面に射影し、
    　前記所定の平面と、復号された前記複数の領域データとの交線又は交点を計算し、
    　計算された交線又は交点の情報を、前記所定の平面に前記複数の画像と区別した態様で射影することを特徴とする画像復号装置。
  8. 　請求項５に記載の画像復号装置であって、
    　前記領域データデコーダは、分離された前記複数の領域データの符号化データのうちの所定の領域データの符号化データを復号する場合、当該所定の領域データの符号化データが隣り合う画像の領域データの差分データであるとき、前記所定の領域データの符号化データを復号して得られる差分データを、前記所定の画像の隣の画像の復号済みの領域データに合成することによって、前記所定の領域データの符号化データを復号することを特徴とする画像復号装置。
  9. 　複数の画像の符号化データと、前記複数の画像の各々の領域データの符号化データとを含む符号化ストリームを復号する画像復号方法であって、
    　前記領域データは、第１の復号方式によって復号すべき第１の領域と、第２の復号方式によって復号すべき第２の領域とを示すデータであり、
    　前記符号化ストリームを、前記複数の画像の符号化データと、前記複数の領域データの符号化データとに分離する手順と、
    　分離された前記複数の領域データの符号化データを、当該領域データの相関を利用して復号する手順と、
    　復号された前記複数の領域データと、分離された前記複数の画像の符号化データとに基づいて、前記複数の画像の各々の前記第１の領域を前記第１の復号方式によって復号し、前記第２の領域を前記第２の復号方式によって復号する手順と、
    　復号された前記複数の領域データと、復号された前記複数の画像とを関連付けて表示する手順と、
    　を備えたことを特徴とする画像復号方法。
  10. 　請求項９に記載の画像復号方法であって、
    　前記表示する手順では、復号された前記複数の領域データと、復号された前記複数の画像とに基づいて生成されるボリュームデータの所定の断面画像を、前記第１の領域及び前記第２の領域とを区別した態様で表示することを特徴とする画像復号方法。
  11. 　請求項１０に記載の画像復号方法であって、
    　前記表示する手順では、表示用の所定の平面を新たに設定し、
    　前記所定の平面と、復号された前記複数の画像の各々との交線を計算し、
    　前記複数の画像の各々から、計算された前記交線上の画素情報を取得し、取得された画素情報を前記所定の平面に射影し、
    　前記所定の平面と、復号された前記複数の領域データとの交線又は交点を計算し、
    　計算された交線又は交点の情報を、前記所定の平面に前記複数の画像と区別した態様で射影することを特徴とする画像復号方法。
PCT/JP2011/059271 2010-05-12 2011-04-14 画像符号化装置、画像復号装置及び画像復号方法 WO2011142204A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-110217 2010-05-12
JP2010110217A JP2011239280A (ja) 2010-05-12 2010-05-12 画像符号化装置、画像復号装置及び画像復号方法

Publications (1)

Publication Number Publication Date
WO2011142204A1 true WO2011142204A1 (ja) 2011-11-17

Family

ID=44914260

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/059271 WO2011142204A1 (ja) 2010-05-12 2011-04-14 画像符号化装置、画像復号装置及び画像復号方法

Country Status (2)

Country Link
JP (1) JP2011239280A (ja)
WO (1) WO2011142204A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60108977A (ja) * 1983-11-18 1985-06-14 Toshiba Corp 画像変換装置
JPS6275773A (ja) * 1985-09-30 1987-04-07 Toshiba Corp 画像圧縮装置
JPH07123268A (ja) * 1993-10-22 1995-05-12 Fujitsu Ltd 画像符号化復元方法および装置
JP2002330951A (ja) * 2001-05-11 2002-11-19 Canon Inc 画像符号化装置及び復号装置及び方法及びコンピュータプログラム及び記憶媒体
JP2009111851A (ja) * 2007-10-31 2009-05-21 Fujitsu Ltd 画像復元装置、画像復元プログラム、画像復元方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60108977A (ja) * 1983-11-18 1985-06-14 Toshiba Corp 画像変換装置
JPS6275773A (ja) * 1985-09-30 1987-04-07 Toshiba Corp 画像圧縮装置
JPH07123268A (ja) * 1993-10-22 1995-05-12 Fujitsu Ltd 画像符号化復元方法および装置
JP2002330951A (ja) * 2001-05-11 2002-11-19 Canon Inc 画像符号化装置及び復号装置及び方法及びコンピュータプログラム及び記憶媒体
JP2009111851A (ja) * 2007-10-31 2009-05-21 Fujitsu Ltd 画像復元装置、画像復元プログラム、画像復元方法

Also Published As

Publication number Publication date
JP2011239280A (ja) 2011-11-24

Similar Documents

Publication Publication Date Title
EP3919002A1 (en) Ct image generation method and apparatus, computer device and computer-readable storage medium
TWI324886B (en) Method for scalably encoding and decoding video signal
US8508539B2 (en) Method and system for real-time volume rendering on thin clients via render server
TWI606718B (zh) 規定視覺動態範圍編碼操作及參數
JP5521202B2 (ja) 多視点画像符号化方法、多視点画像復号方法、多視点画像符号化装置、多視点画像復号装置、多視点画像符号化プログラムおよび多視点画像復号プログラム
KR20190117287A (ko) 중복 포인트 처리 방법 및 장치
KR20090125236A (ko) 정보 처리 장치 및 방법
EP3557869B1 (en) Image processing device, image processing method, and program
US8233728B2 (en) Embedded image quality stamps
US8724912B2 (en) Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images
EP3557868A1 (en) Image processing device, image processing method, and program
US11570454B2 (en) Use of hierarchical video and image coding for telepresence
Holub et al. GPU-accelerated DXT and JPEG compression schemes for low-latency network transmissions of HD, 2K, and 4K video
KR100989397B1 (ko) 화상 복원 장치, 화상 복원 프로그램을 기록한 기록 매체,화상 복원 방법
CN109155059B (zh) 通过双通道时域降噪的改善的图像质量
JP2002044644A (ja) 顕微鏡の生画像を符号化する方法および装置
KR102491736B1 (ko) 복호 방법 및 장치와, 부호화 방법 및 장치
WO2009141969A1 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法及び動画像復号化方法
JP2000116606A (ja) 医療画像処理方法、医療画像伝送方法、医療画像処理装置、医療画像送信装置、および医療画像伝送装置
WO2011142204A1 (ja) 画像符号化装置、画像復号装置及び画像復号方法
US20060133497A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures at different temporal decomposition level
KR20140035408A (ko) 동화상 복호화 장치 및 동화상 복호화 방법
JP2006080832A (ja) 画像トランスコーダ
WO2012029398A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
US10085032B2 (en) Encoding device, encoding method, and computer readable storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11780461

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11780461

Country of ref document: EP

Kind code of ref document: A1