WO2006080240A1 - 符号化装置、符号化方法および符号化プログラム、並びに撮像装置 - Google Patents

符号化装置、符号化方法および符号化プログラム、並びに撮像装置 Download PDF

Info

Publication number
WO2006080240A1
WO2006080240A1 PCT/JP2006/300776 JP2006300776W WO2006080240A1 WO 2006080240 A1 WO2006080240 A1 WO 2006080240A1 JP 2006300776 W JP2006300776 W JP 2006300776W WO 2006080240 A1 WO2006080240 A1 WO 2006080240A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
encoding
image
data
image processing
Prior art date
Application number
PCT/JP2006/300776
Other languages
English (en)
French (fr)
Inventor
Koji Ozaki
Fumiaki Kato
Kenichi Sakai
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US11/795,993 priority Critical patent/US8320685B2/en
Priority to KR1020077016461A priority patent/KR101226877B1/ko
Priority to EP06700921A priority patent/EP1843571A4/en
Priority to CN2006800031130A priority patent/CN101107838B/zh
Priority to BRPI0607074-4A priority patent/BRPI0607074A2/pt
Publication of WO2006080240A1 publication Critical patent/WO2006080240A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks

Definitions

  • the present invention relates to an encoding apparatus, an encoding method, an encoding program, and an imaging apparatus that can be applied to image signal compression and the like.
  • Image processing such as processing for correcting image distortion, processing for correcting chromatic aberration, and processing for enlarging or reducing the size of an image is often performed in an imaging apparatus such as a digital still camera.
  • image data generated by image processing is usually compressed by compression encoding such as JPEG (Joint Photographic Experts Group) and MPEG (Moving Picture Experts Group Phase).
  • JPEG Joint Photographic Experts Group
  • MPEG Motion Picture Experts Group Phase
  • encoding is performed in units of images called macroblocks.
  • image data from the memory is read out and subjected to processing such as interpolation.
  • the size of the area after image size conversion is set to the size of the macroblock.
  • FIG. 1 This will be described with reference to A, FIG. 1B and FIG. 1C.
  • FIG. 2 shows an example of encoding data after image processing using, for example, JPEG.
  • one image is composed of (4 ⁇ 2) macroblocks.
  • the order matches the encoding direction specified by JP EG.
  • the data is transferred to the JPEG encoder in order and encoded.
  • the image processing unit is a horizontally long area, so as shown in Fig. 3, image processing is performed with the area consisting of (2 X 2) four macroblocks 1 to 4 as a unit.
  • the processed macroblocks 1 and 2 are transferred to the encoder as they are, and JP EG encoding is performed.
  • Macroblocks 3 and 4 are temporarily stored in memory.
  • the processed macroblocks 5 and 6 are transferred to the encoder as they are and JPEG encoded.
  • Macroblocks 7 and 8 are temporarily stored in memory.
  • the encoder after encoding the processed macroblocks 1, 2, 5, and 6, macroblocks 3, 4, 7, and 8 of the processed data stored in the memory are read out, The read data is transferred to the encoder.
  • the unit of image processing is an integer number of macroblocks, that is, encoding blocks, and if the arrangement of the encoding blocks is different from the order specified by encoding, encoding is performed later. It is necessary to store the data in memory. As a result, there is a problem that memory for temporary storage is required.
  • chromatic aberration correction As an example of image processing to which the present invention can be applied, there is chromatic aberration correction as shown in FIG. Separate red image P r, green image P g, and blue image P b from captured image P with chromatic aberration. Chromatic aberration is caused by the fact that the refractive index of the lens varies depending on the wavelength, and the magnification changes and the image size changes even for the same subject between the primary color images.
  • the primary color images P r ′, P b:, and P g ′ having the same size are formed by converting the resolution of each primary color image, and these primary color images are synthesized to obtain an image P ′ corrected for chromatic aberration.
  • This invention can be applied to resolution conversion processing.
  • FIG. 5 shows another image processing to which the present invention can be applied.
  • the image P 2 is obtained by performing the first-stage enlargement on the image P 1 in which the image is distorted in a barrel shape in both the horizontal and vertical directions.
  • the first stage of expansion is a horizontal expansion, and the larger the distance from the center, the larger the expansion rate.
  • the image P 2 is enlarged in the second stage, and an image P 3 is obtained.
  • the second stage of enlargement is to enlarge image P2 in the vertical direction.
  • the larger the magnification rate is from the center, the greater.
  • processing for rearranging encoded blocks such as macroblocks is performed.
  • rearrangement processing in units of macroblocks is performed in Japanese Patent Application Laid-Open No. 1- 2 9 8 8 7 8. It is described in the publication. In this document, after the MPEG stream is generated, rearrangement is performed in units of macroblocks so that the receiving side cannot view the image even if the MPEG stream is decoded as it is. .
  • an object of the present invention is to provide an encoding device, an encoding method and an encoding program, and an imaging device that can solve the problems that require high-speed reading processing and large-capacity memory.
  • the present invention provides an image processing apparatus in which image data processed by an image processing unit is encoded in a predetermined encoding unit by an encoding unit, and the encoding unit outputs from the image processing unit
  • an image processing unit that performs first-stage processing for rotating or inverting an image in an image processing block composed of a plurality of coding units and outputs data after the first-stage processing;
  • a coding unit that performs coding in order of output from the processing unit and performs coding in a predetermined coding unit; and a coding method of the coding unit based on a processing direction of the image processing unit.
  • a first rearrangement unit that performs the second-stage processing for rearranging in the normal processing direction, and a predetermined rotation or inversion with respect to the data after the second-stage processing by regarding the image processing unit as one element
  • a second rearrangement unit that performs a third-stage process.
  • a first stage process for rotating or inverting an image within a predetermined coding unit is performed, and an image processing unit for outputting data after the first stage process is output from the image processing unit.
  • a second stage of rearranging from the processing direction of the image processing unit to the normal processing direction defined by the encoding method of the encoding unit A first rearrangement unit that performs the above-described processing, and a second rearrangement that performs predetermined rotation or inversion on the data after the second-stage processing by regarding the encoding unit as one prime.
  • An image processing apparatus including a replacement unit.
  • the present invention relates to an image processing method in which image data processed by an image processing unit is encoded in a predetermined encoding unit by an encoding unit, an encoding step for encoding in the order of data output from the image processing unit, and An image processing method including a rearrangement step of rearranging from a processing direction of the image processing unit to a normal processing direction defined by encoding.
  • a program for causing a computer to execute an image processing method in which image data processed by an image processing unit is encoded in a predetermined encoding unit by an encoding unit the data is output in the order of data output from the image processing unit.
  • a program for an image processing method having an encoding step for encoding and a rearrangement step for rearranging from a processing direction of the image processing unit to a normal processing direction defined by the encoding.
  • an image processing unit that performs image processing on an image captured by an image sensor, and an image processing unit that is processed by the image processing unit are encoded in a predetermined encoding unit.
  • the encoding unit performs encoding in the order of data output from the image processing unit, and the normal processing direction defined by the encoding method of the encoding unit from the processing direction of the image processing unit It is an imaging device provided with the rearrangement part which rearranges.
  • transfer of image data from an image processing unit that performs image size conversion to an encoding unit for compression encoding is a unit of the image processing unit and is a small unit. Therefore, transfer can be performed without using external memory. In addition, since transfer can be performed without using external memory, internal transfer with a wider bandwidth than external memory is possible, and high-speed processing is possible.
  • FIG. 1A, FIG. 1B, and FIG. 1C are schematic diagrams for explaining the relationship between the size of an image processing block and the processing efficiency.
  • FIG. 2 is a schematic diagram for explaining the processing when the image processing direction and the encoding direction match.
  • FIG. 3 is a schematic diagram for explaining conventional processing when the direction of image processing does not match the direction of encoding.
  • FIG. 4 is a schematic diagram for explaining an example of image processing to which the present invention can be applied.
  • FIG. 5 is a schematic diagram for explaining another example of image processing to which the present invention can be applied.
  • FIG. 6 is a schematic diagram for schematically explaining an example of processing according to the present invention.
  • FIG. 7 is a schematic diagram for schematically explaining another example of the processing according to the present invention.
  • FIG. 8 is a block diagram of an embodiment of an imaging apparatus according to the present invention.
  • FIG. 9 is a schematic diagram for explaining conventional image processing.
  • FIG. 10 is a schematic diagram for explaining a reference example of image processing.
  • FIG. 11 is a schematic diagram for explaining an embodiment of an image processing apparatus according to the present invention.
  • FIG. 12 is a schematic diagram showing a comparison of memory access amounts between the image processing apparatus according to the present invention and another configuration example.
  • FIG. 13 is a schematic diagram for explaining image processing of an embodiment of the image processing apparatus according to the present invention.
  • FIG. 14 is a flowchart for explaining the flow of image processing according to the embodiment of the present invention.
  • FIG. 15A and FIG. 15B are schematic diagrams for explaining segment code insertion processing in one embodiment of the present invention.
  • FIG. 16A and FIG. 16B are schematic diagrams for explaining the slice start code insertion processing in one embodiment of the present invention.
  • FIG. 17 is a schematic diagram for explaining delimiter code rewriting processing in one embodiment of the present invention.
  • FIG. 18A and FIG. 18B are schematic diagrams for explaining segment code deletion processing in one embodiment of the present invention.
  • FIG. 19 is a schematic diagram for explaining a first method of delimiter code deletion processing in one embodiment of the present invention.
  • FIG. 20 is a schematic diagram for explaining a method of stuffing bit deletion processing according to an embodiment of the present invention.
  • FIG. 21 is a schematic diagram for explaining a second method of the delimiter code deletion process according to the embodiment of the present invention.
  • FIG. 22 is a schematic diagram for explaining a third method of the delimiter code deletion process according to the embodiment of the present invention.
  • FIG. 23A and FIG. 23B are schematic diagrams for explaining an example of the recording method of the number of stuffing bits required in the section code deletion process according to the embodiment of the present invention.
  • FIG. 24, FIG. 24, FIG. 24, and FIG. 24, C are schematic diagrams for explaining the efficiency of processing at the time of rearrangement in one embodiment of this invention.
  • FIG. 6 is a block diagram showing another configuration of the image processing apparatus according to the present invention.
  • FIG. 26 is a schematic diagram for explaining the case where the present invention is applied to processing of two images.
  • FIG. 27 is a schematic diagram for explaining a modification when the present invention is applied to processing of two images.
  • FIG. 28 is a schematic diagram for explaining an example in which the present invention is applied to a case where one image is divided and processed.
  • FIG. 29 is a schematic diagram for explaining an example in which the present invention is applied to a case where one image is divided and processed.
  • FIG. 30 is a schematic diagram for explaining an example in which the present invention is applied to the up / down / left / right inversion processing of an image.
  • FIG. 31 is a schematic diagram for explaining another example in which the present invention is applied to the up / down / left / right inversion processing of an image.
  • FIG. 32 is a schematic diagram for explaining an example used as a reference for processing on the decoding side.
  • FIG. 33 is a schematic diagram for explaining the processing on the decoding side according to the present invention.
  • reference numeral 16 denotes an original image to be processed.
  • This image 16 consists of 6 coding units (macroblocks in the case of JPEG). Numbers 1 to 6 are shown for each of the six macroblocks. For example, as in macroblocks 1 and 2, image processing is performed every two macroblocks.
  • the data after image processing is encoded by the JPEG encoder, and the encoded data 17 is obtained.
  • the image processing includes enlargement / reduction processing, chromatic aberration correction processing, image distortion correction processing, camera signal processing, black-and-white inversion processing, color space conversion processing, fill-up ring processing, and the like.
  • the JPEG data 17 in this order is decoded as it is, the corresponding image 18 is obtained.
  • the decoded image 18 has a different block order from the original image area 16 and is different from the original image. Reordering is done to avoid this problem.
  • the code rearrangement unit rearranges the order of JPEG data 17 in units of blocks to generate JPEG data 19.
  • a corresponding image 20 in which the block order of the area 16 of the original image coincides can be obtained.
  • the width of the original image is equal to the total width of the three macroblocks.
  • the horizontal width of the image processing unit is composed of a plurality of macroblocks
  • the size may differ only in the last process.
  • the total of the widths of multiple types is equal to the width of the image.
  • FIG. 8 shows a configuration of an embodiment of an imaging apparatus, for example, a digital still camera, according to the present invention.
  • reference numeral 1 denotes a lens device
  • reference numeral 2 denotes an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS).
  • CCD charge coupled device
  • CMOS complementary metal oxide semiconductor
  • the digital image signal from AZD Comparator 3 is input to the digital processing camera signal processing unit 4 configured as an LSI (Large Scale Integrated Circuit).
  • the force signal signal processing unit 4 performs white balance correction processing, interpolation processing, filtering processing, matrix calculation processing, gamma correction processing, luminance signal (Y) generation processing, color difference signal (C r, Cb) generation processing, and the like.
  • Generated by camera signal processor 4 The captured image signal is supplied to the display 5 and the captured image is displayed. Also, the image data from the camera signal processing unit 4 is subjected to size conversion, compression processing, etc., and stored in the internal or external storage medium 9.
  • the white balance correction process corrects unbalance between colors due to differences in the color temperature environment of the subject and differences in sensitivity due to color fill.
  • Interpolation processing is processing that interpolates color signals that do not exist.
  • the filtering process is a high-frequency correction process and is a process for contour enhancement.
  • Matrix calculation processing is processing that converts the image signal into sRGB.
  • a linear characteristic is finally realized by performing a reverse correction of the nonlinear characteristic of the display device in advance by the gamma correction process.
  • a luminance signal is generated by synthesizing a gamma-corrected RGB signal at a predetermined synthesis ratio.
  • the color difference signal generation processing block generates a color difference signal by synthesizing the gamma-corrected RGB signal at a predetermined synthesis ratio.
  • the generated color difference signal is subjected to band limitation processing, and color difference signals C b and C r are generated.
  • the output (Y, Cr, Cb) of the camera signal processing unit 4 is input to the size changing unit 6, and the image size is enlarged, reduced or enlarged by the same size.
  • the output data of the size changing unit 6 is input to the JPEG encoding unit 7, for example.
  • the encoding unit 7 includes a DCT (Discrete Cosine Transform), a quantizer, and a variable length encoder.
  • DCT a DCT calculation is performed for each block of (8 X 8) pixels, and a DCT coefficient consisting of a DC (Direct Current) coefficient and an AC (Alternate Current) coefficient is obtained.
  • the DC and AC coefficients are quantized separately.
  • the quantized DC coefficient is encoded as the difference value from the DC coefficient of the previous block.
  • the delimiter code which is a code of a predetermined value indicating the delimiter
  • variable length coding is performed after rearranging by zigzag scanning within the block.
  • the compressed image data compressed by the encoding unit 7 is supplied to the rearrangement unit 8.
  • the rearrangement unit 8 rearranges the compressed image data in the normal processing direction defined by JP EG.
  • the normal processing direction means the order of encoding in which the original image is obtained when decoding with JPEG.
  • the encoded image data is stored in storage 9.
  • a CPU (Central Processing Unit) 11 is provided to control signal processing and the like of the digital still camera described above.
  • the camera signal processing unit 4, size changing unit 6, encoding unit 7, rearrangement circuit 8, and storage 9 are connected to the CPU 1 1 through the CPU bus 1 2 and can be controlled by the CPU 1 1 It is said that.
  • the output of the key 1 3 ′ such as a switch operated by the user and GU I (Graphical User Interface) is input to the CPU 11.
  • a ROM 14 storing a program and the like and a RAM 15 as a working memory for the CPU 11 1 are connected to the CPU bus 12.
  • the RAM I 5 can store image data by controlling the CPU 11. In the configuration of FIG. 8, for the sake of simplicity, the configuration for decoding the compressed image data read from the storage 9 and displaying it on the display 5 is omitted.
  • the present invention eliminates the need for high-speed processing and large-capacity memory in the processing in the size changing unit 6, encoding unit 7, and rearrangement block 8 in the configuration of the digital still camera described above.
  • the JPEG in this embodiment has a macro block size of (16 ⁇ 8) pixels as an encoding unit, and (8 ⁇ 8) pixel luminance (Y) blocks, two of which are respectively (8 X 8) Pixel color difference (C r, C b) It consists of a mouth-pack.
  • the luminance data and the two color difference data are separated and processed separately. Since the processing of the color difference data is the same as that of the luminance data, in the following description, the processing of luminance data will be described.
  • the conventional configuration will be described first with reference to FIG.
  • reference numeral 21 indicates an external memory
  • reference numeral 24 indicates a size changing unit.
  • the size changing unit 24 is configured to include an interpolation digital filter that enlarges the size twice.
  • the image data is read from the external memory 21 so that it becomes the size of the macroblock which is the encoding unit after being doubled.
  • the resizing unit 2 4 expands the area 2 2 of the (4 X 8) pixels shaded by the external memory 2 1. Made. Since the resizing unit 2 4 uses an interpolation fill such as FIR fill, for example, the area 2 3 including the area 2 2 is read out from the external memory 2 1. Made. That is, since the interpolation filter requires (4 + 4) pixels in each of the horizontal and vertical directions with respect to the original area, the number of readout pixels increases.
  • the present invention can be applied not only to enlargement but also to reduction processing.
  • the enlarged (8 X 1 6) macroblock data 25 transferred inside the resizing unit 24 is transferred directly to the encoding unit 26 without going through the memory, and JPEG encoding is performed. Made. JP as encoded data EG data is written to external memory 27.
  • the direction from the left end to the right end of the image is defined as the normal processing direction, and the order of reading the area 22 is the same as the normal processing direction.
  • the external memory 27 and the external memory 21 can be configured as separate memory areas on the same RAM.
  • the conventional configuration shown in Fig. 9 can restore the enlarged image by sequentially decoding JPEG data in units of macroblocks.
  • the number of pixels in the horizontal direction of the area 2 2 to be enlarged is twice the number of pixels.
  • a total of 6 times the total number of pixels in the vertical direction is required to read out 6 times the number of pixels from the external memory 21 and a high-speed readout is required, so a wide memory bandwidth is required.
  • the access amount to the memory is large as a whole.
  • FIG. 10 shows a configuration example in which the above-described memory bandwidth is required and the problem of a large access amount is reduced by setting the unit of enlargement processing to a larger size.
  • the shadowed (6 4 X 6 4) pixel area 28 is the area to be enlarged.
  • the size changing unit 24 reads the area 29 of the external memory 21 1, et al. (7 2 X 7 2) pixels.
  • the size changing unit 24 generates image data of a region 30 of (1 2 8 X 1 2 8) pixels by doubling the region 28. Since the image data in this area 30 is different from the JPEG macroblock size, it cannot be directly transferred to the encoding unit 26. In other words, the enlarged image data has a capacity of one frame, for example, one frame. Is written to the external memory 31 and the image data is read from the external memory 31 in units of macroblocks.
  • the JP EG macroblock (16 x 8) pixel area is read.
  • the order of reading is the normal processing direction specified by JPEG.
  • the data of the read macroblock is encoded by JPEG by the encoding unit 26.
  • JPEG data as encoding data is written out from the encoding unit 26 to the external memory 27 in units of macroblocks.
  • FIG. 11 shows the configuration of an embodiment of the present invention. Similar to the configuration example shown in FIG. 10, the area (28 ⁇ 64) of the shaded (64 X 64) pixels is subject to enlargement processing, so the resizing unit 24 is changed from the external memory 21 to the block. Enlarge the area using the (72 X 72) pixel area 29 with the surrounding pixels added. In this case, the area 28 is divided into (64 ⁇ 4) pixel areas (referred to as blocks as appropriate), and readout and enlargement processing is performed for each block. Therefore, the resizing unit 24 The data of (1 2 8 X 8) pixels is output with the doubled. Size change part
  • the output order of 24 is different from the normal processing direction of JPEG.
  • the JPEG encoding is performed without changing the order of the resizing process, it is possible to directly transfer the image data.
  • a block may be divided into a plurality of macroblocks with a small amount of memory.
  • the output of the resizing unit 24 is internally transferred to the relatively small internal memories 3 2 A and 3 2 B, and the memory
  • the size of the macroblock which is the encoding unit, is (16 x 8) pixels
  • the vertical unit is 8 pixels
  • the horizontal unit is an integral multiple of 16 pixels.
  • Data is processed.
  • the block is (64 X4) pixels in size.
  • the area of (1 2 8 X 8) pixels after the enlargement process is also called a block.
  • the memories 32 A and 3 2 B are configured in two banks, and during the period in which image data of a block of (1 2 8 X 8) pixels is written to one memory, the J PEG Image data is read in units of macro blocks.
  • the (1 2 8 X 8) pixel block corresponds to the (64 X4) pixel block in the original image 28.
  • the (2 2 X 7 2) pixel area 2 9 is required for processing of the (64 X 64) area 28, so the data to be transferred is About 1.2 7 times. This ratio does not require very high transfer rates.
  • the JP EG data stored in the external memory 33 is different from the encoding order defined in the JP EG standard, and even if it is decoded by a decoder configured based on the standard, Cannot be restored.
  • the coding order specified in the JPEGG standard is the order from the left edge to the right edge of the image.
  • the JP EG data stored in the external memory 33 is processed in the code rearrangement unit 34, and the JPEG data is rearranged.
  • the code rearrangement unit 34 can perform the rearrangement by controlling the read address of the external memory 33, for example.
  • the external memory 33 is required to have a memory with the capacity of the entire enlarged image for sorting. However, since the data volume is reduced to a fraction of that in JPEG, the data capacity can be smaller than that for storing the original image data.
  • the code rearrangement unit 34 outputs to the external memories 3 and 5 JPEG data that has a normal processing direction and stores it. JP EG data in the order of the normal processing direction is stored in the external memory 35. Therefore, the image can be correctly restored by decoding the JPEG data with a decoder configured based on the standard.
  • FIG. 12 is a table showing a comparison of memory access (write or read) amounts with respect to the configurations of FIG. 9, FIG. 10 and FIG. For example, it is assumed that the X-byte data of the original image is compressed to 1/3 by JPEG. In the configuration of Fig. 9, the number of pixels is (6 x 1 2) (6 x 1 2) in order to enlarge the area 22 of (4 x 8) pixels.
  • the amount of image access to the external memory 21 is as follows: the reading from the external memory 2 and 1 is 1.2 ⁇ ⁇ ⁇ ⁇ . Need. Assuming that image data is directly transferred to the encoding unit 26, the amount of image access is 1.27 X bytes.
  • the code access amount is (3 XZ3 bytes). Therefore, the total memory access amount (two image access amount + code access amount) is 6.8 IX 3 bytes, the smallest It becomes.
  • the image access amount increases.
  • the output of the size changing unit 24 can be directly transferred to the encoding unit 26 without providing the memories 32 A and 32 B.
  • the transfer rate can be increased, so the effect of increasing the amount of access can be reduced.
  • reference numeral 41 indicates the entire image of the original image to be enlarged, for example, an area of (1 28 X 1 2) pixels. This area 41 is divided into six (64 ⁇ 4) pixel blocks. Numbers 1 to 6 are assigned to each of the six blocks. Enlargement processing is performed for each block. In Fig. 13, the arrows drawn in each block indicate the processing order for that area, starting from the upper left corner of each area toward the lower right corner toward the drawing. Processing is done. The order of encoding within the block matches the normal processing direction of JPEG. However, the processing direction in units of blocks is different from the normal processing direction, so rearrangement is required. In other words, when the pixels are read out sequentially in block units, the data of each block is read out in the order of the numbers 1, 2, 3,.
  • the first block of (64 ⁇ 4) pixels is processed by the size changing unit 24, and the image data of the block 42 of (12 8 ⁇ 8) pixels, each of which is doubled vertically and horizontally, is generated.
  • This image data 42 is written into one of the internal memories 32 A and 32 B.
  • the order of reading data from memory 3 2 A and 32 B is changed, and the image data is read in units of (16 X 8) pixel JPEG macroblock 43.
  • the macro block data 43 is encoded by the encoding unit 26.
  • a JPEG image 44 corresponding to the image data of block 42 is obtained.
  • the JPEG data block 45 corresponds to the macroblock 43.
  • the region 41 of the original image is processed as described above, and the JEG EG data 46 corresponding to each of the six blocks is generated. If the JPEG table 46 in this order is decoded as it is, a decoded image 47 is obtained. However, the decoded image 47 is different from the original image because the order of the blocks is different from the area 41 of the original image.
  • FIG. 14 is a flowchart showing the flow of image processing according to the present invention. .
  • the processing shown in this flowchart is realized by control by a computer that controls a signal processing unit such as CPU 11 (see FIG. 8).
  • the image is read from memory in blocks.
  • the block is (64 ⁇ 4) pixels.
  • step S2 image processing, for example, enlargement processing in which the horizontal and vertical dimensions are doubled is performed.
  • step S 3 the enlarged (1 2 8 X 8) pixel ⁇ data is input to the encoding unit 26 in units of macro blocks of (1 6 X 8) pixels.
  • step S4 the encoding unit 26 encodes the image data in the input order.
  • step S5 the encoded data such as JPEG data is Is written to In step S 6, it is determined whether or not block data, for example (1 2 8 X 8) pixel data, has been processed. If the process has not been completed, the process returns to step S3, and the encoding process (steps S3 to S5) is repeated.
  • block data for example (1 2 8 X 8) pixel data
  • step S6 If it is determined in step S6 that the processing of the block has been completed, it is determined in step S7 whether or not the entire processing of the enlarged image has been completed. If not completed, a delimiter code having a predetermined value is inserted in step S8. That is, a delimiter code is inserted into the delimiter for each block of JPEG data.
  • FIG. 15A shows an example of JPEG data.
  • the JPEG MCU Minimui Coded Unit
  • JP EG MCU has a variable bit length.
  • the delimiter code indicates the delimiter of the replacement unit.
  • This delimiter is referred to as E C S (En opy Coded Segment). Therefore, the sorting is done in E CS units.
  • the DC (direct current) coefficient of JPEG data is transmitted with the difference data from the DC coefficient of the previous block, and the DC coefficient of the next DC coefficient after the delimiter code is not the difference.
  • the DC coefficient value itself is assumed.
  • step S 7 If it is determined in step S 7 that the processing of the entire enlarged image has been completed, the JPEG data is read from the memory in step S 9. In step S 10, the JPEG data is displayed in block units. It can be reordered. In step S 1 1, the sorted J PE G data is written to the memory.
  • the present invention is applied to JPEG.
  • the present invention can also be applied to the case where MPEG is used as an encoding method.
  • a slice start code having a predetermined value is inserted as a delimiter for each MPEG data corresponding to one block image.
  • FIG. 16A shows a stream of MPEG data.
  • two data blocks corresponding to two macroblocks correspond to one block of image data.
  • 6 stuffing bits are added to each MPEG block of the two macroblocks.
  • Two bits of slices are imported.
  • the delimiter code is H 'F FD X ( ⁇ ' means 1 hex notation).
  • ⁇ is the remainder of dividing the number of delimiter codes by 8.
  • the slice code ⁇ ' ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ( ⁇ ' means 1 hexadecimal notation) is determined.
  • X X is the value of the vertical position in macroblock units in the slice image. The parts of X and X X need to be changed to meet the standards as they are rearranged.
  • Figure 17 shows the delimiter code rewriting process. As described with reference to FIG. 13, JPEG data 46 corresponding to each of the six blocks is generated. As shown in FIG. 17, delimiters H ′ F FD 0 to H and F FD 5 are inserted in the block of J P E G data 46 block.
  • the JPEG data 48 is generated by the code rearrangement unit 34 by rearranging the order of the JP EG data 46 in units of blocks.
  • the delimiter code is rewritten to correspond to the sorting result.
  • the code of the 4th block 4 in JP EG DEIT 46 is rearranged to the code of the 2nd block in JPEG DE 48, so the delimiter code H 'F FD 3 becomes H' F FD 1 To be rewritten.
  • Figure 17 shows the delimiter code rewriting process.
  • the slice start code XX value inserted in the MPEG stream is also rewritten to correspond to the rearranged arrangement.
  • FIG. 18A is a byte unit similar to the JP EG data stream shown in FIG. 16B, and a delimiter code is inserted for each block of JP EG MCU.
  • the delimiter code is deleted as in the stream shown in Fig. 18B. Deletion code deletion may be required to avoid violating the JPEG standard.
  • the DC coefficient DC 1 of J PEG MCU 3 corresponding to the first macroblock after the delimiter code is the difference from 0, that is, the value itself, so the first code after the delimiter code was deleted 8
  • the DC coefficient of the first macro block of JP EG MCU 3 needs to be the difference from the DC coefficient of the last macro block of • JP EG MCU 2.
  • FIG. 19 shows the first method.
  • the start position of J PEG MCU 2 (hereinafter simply referred to as MCU 2) or its end position, or the number of stuffing bits, and the MCU that is the minimum encoding unit immediately before the delimiter code
  • MCU 2 the start position of J PEG MCU 2
  • the end position of J PEG MCU 2 (hereinafter simply referred to as MCU 2) or its end position, or the number of stuffing bits, and the MCU that is the minimum encoding unit immediately before the delimiter code
  • the two DC components must be recorded or retained in association with the data to be transmitted or recorded.
  • the encoded data of the DC component can be rewritten without decoding many codes.
  • As a recording or holding method it is possible to insert such data in a stream or to store such information in a memory.
  • step S 21 the new start position a of MCU 3 after the delimiter code is deleted is calculated from the recorded start position or end position of MCU 2 or the number of stuffing bits. Position a coincides with the end position of MCU 2.
  • the decoding end code (EOB) of one macroblock is detected by decoding, and the end position of MCU2 is known. Furthermore, when a delimiter code is detected, the end position of MCU 2 can be determined from the number of stuffing bits.
  • step S 22 the DC component of MCU 3 is decoded. As the DC component of MCU 3 is transmitted data encoded with an absolute value, it can be decoded to obtain the DC component. Then, the difference between the previously recorded DC component of MCU 2 and the decoded DC component of MCU 3 is calculated, and the difference is Huffman encoded to obtain new encoded data of the DC component of MCU 3.
  • step S24 the MCU 3 is packed from the new head position a. Therefore, stuffing bits and delimiter codes are deleted.
  • the encoded data of the DC component placed in MCU 3 is a data that has been encoded with the difference, and is different from the originally encoded DC component data (absolute value) in bit length. .
  • the insertion of stuffing bits and the DC component difference prediction value are set to 0, that is, the encoded data of the DC component of MCU 3
  • the first method can also be applied to the case where is the encoded data of the DC component itself, and the encoded data of the DC component distributed to MCU 3 is assumed to be the data encoded with the difference.
  • the second method and the third method described below can be similarly applied to an example in which no delimiter code is inserted.
  • Fig. 21 shows the second method for the process of deleting the delimiter code.
  • the start position b of the MCUX is recorded and held in association with the data to be transmitted or recorded during encoding.
  • the DC component of MCU 2 is not recorded.
  • MCUX is a dummy minimum coding unit placed immediately before the stuffing bit.
  • it is the minimum encoding unit obtained by JPEG encoding a macroblock consisting only of DC of a predetermined pixel value.
  • the DC component value is 0.
  • step S 3 it coincides with the start position of MCUX.
  • the new start position b of MCU 3 is obtained.
  • step S 3 2 the DC component of M CUX and the DC component of MCU 3 are decoded. Since the encoded data corresponding to the MCUX DC component is data obtained by encoding the following differences, the value obtained by decoding the encoded data corresponding to the MCUX DC component is the MCU 2 DC component. Therefore, there is no need to calculate the difference.
  • MCU DC DC component (MCUX DC component (eg 0) — MCU 2 DC component).
  • step S 33 the difference between the DC component of MCUX obtained by decoding, that is, the (DC component of MCU 2) and the DC component of MCU 3 is obtained as described above, the difference is encoded, and the new Coding data for D CJ ⁇ of MCU 3 is obtained.
  • step S34 the data after MCU3 is packed from the new start position b. Therefore, the spoofing bit and the delimiter code are deleted.
  • Fig. 22 shows the third method of the process of deleting the delimiter code.
  • the third method can eliminate the need to decode the DC component encoded data.
  • the process of packing the MCU 4 after the MCU 3 is performed, so the processing is simple.
  • the start position or end position of the MCU 3 or the number of stuffing bits is recorded or held in association with the data to be transmitted or recorded. Also, it is transmitted or recorded.
  • the coding component of the DC component of MCU 3 is the DC component of the previous MCU 2. Is the difference between the DC component of MCU 3 and the DC component of MCU 3.
  • the coding component of MCU '3 DC component is placed immediately after the delimiter code, so the DC component Is the value of.
  • step S 41 the start position or end position of MCU 3 or the number of stuffing bits is used to calculate a new start position c of MCU 4.
  • MCU3 end position and MCU4 start position • c matches.
  • the position where decoding is started from the start position of MCU 3 and EOB is detected may be detected as the end position of MCU 3.
  • position c may be obtained using the number of stuffing bits.
  • step S 42 after MCU 3, M C U 4 and later are packed from the new head position.
  • Figures 23 A and 23 B show how the number of stuffing bits is recorded in the stream.
  • the delimiter code is determined as H 'F FD x ( ⁇ ' means 1hexadecimal notation).
  • X is the remainder of dividing the number of delimiter codes by 8.
  • the value of X is 0-7. Therefore, as shown in Fig. 23, an example in which the number of pits of the stuffing bit is 5, Can be recorded in the stream as a value of X. This process creates a stream that does not conform to the standard. However, as described above, the delimiter code is deleted and the stream output to the outside does not include a delimiter code. .
  • FIG. 24, FIG. 24, FIG. 24, and FIG. 24, FIG. 24, C show the process of making the start position of each sort unit easy to understand in the sort process when generating the stream of JPEG data.
  • Figure 24A shows an example of JPEG data and the data after the data is rearranged. JPEG corresponding to the image data of each block has a variable length, so there is a problem that the head position is difficult to understand when rearranging.
  • Figure 24B shows the arrangement of the corresponding blocks of the original image. The image shown in Fig. 24B can be decoded when the rearranged JPEG image is decoded.
  • the first position of the first, third, and fifth data blocks of JPEG data stored in the memory is predetermined. It is made to be located at the interval L. If the start positions of the third and fifth data blocks are known during the sorting process, the sorting process can be performed easily and at high speed. The start positions of the 4th and 6th data blocks can be determined by sorting. Since the free area is an area that does not need to be written, arbitrary data may exist in the free area.
  • Fig. 25 shows an example of a configuration that takes into account the generation of reduced images (so-called thumbnails).
  • the image memory 51 stores the image to be processed. For example, there are two regions with overlapping parts.
  • An image processing unit 52 is provided after the image memory 51. As described above, the image processing unit 52 performs processing such as image size change, chromatic aberration correction, and distortion correction.
  • the order in which the image processing unit 52 outputs the processed image data is different from the normal JPEG processing direction.
  • the processed data is supplied to the encoding unit 53 without changing the order, and the encoding unit 53 encodes, for example, JPEG.
  • An encoded image 5 4 whose order is different from the normal direction is obtained from the encoding unit 53.
  • the encoded image 54 is processed in the rearrangement unit 55, and the JPEG data is rearranged. From the code rearrangement unit 5 5, J P E G data whose processing direction is normal with respect to the external memory 56 is output and accumulated. In the external memory 56, J P E G data in the order of the normal processing direction is stored. Therefore, the image can be correctly restored by decoding the JPEG data with a decoder configured based on the standard.
  • the image is divided into two so as to be reduced and input to the image processing unit 52. There is an overlap in the processing results.
  • the image with the duplicated portion deleted is transmitted.
  • the data before encoding is extracted from the output side of the image processing unit 52 and supplied to the reduction unit 57. In this case, it is necessary for the reduction processing, for example, filtering using a thinning filter, that the overlapping portion is not deleted.
  • the reduction unit 5 7 reduces the two regions, and generates a reduced image 58.
  • FIG. 26 shows a process of simultaneously encoding a plurality of, for example, two images 6 1 a and 6 1 b with one encoding unit. Shape each image by dividing it into 6 JPEG encoding is performed in units of generated blocks. In JPEG encoding, blocks of each image are encoded alternately to obtain encoded data 62. The corresponding image of the coding data 62 is shown as image 63.
  • Encoding data 6 2 is rearranged. As shown by the corresponding images 65a and 65b, rearrangement and image separation are performed in units of blocks so that the order matches the order of the blocks of the original image.
  • the encoded data after reordering and separation is formed 6 4 a and 6 4 b.
  • the configuration shown in Fig. 26 is useful when the processing of the encoding unit is faster than the processing speed of the image processing unit in the previous stage, or when a plurality of small-sized images are created simultaneously.
  • the encoding characteristics for example, the quantization characteristics may be made different as shown in FIG.
  • quantization table 6 7 a encoded with diagonal lines is used, and for image 6 l b, quantization table 6 7 b is used.
  • JPEG data 68 is obtained from the encoding unit 66. You may ⁇ to make the Huffman table different.
  • FIG. 28 shows an example in which one image is processed by two processing units (an image processing unit and an encoding unit).
  • the image processing units 7 4 a and 7 4 b require overlapping portions, so that one image 71 has an overlapping portion of a predetermined width in the image dividing unit 72.
  • images 7 3 a and 7 3 b are overlapping portions. If the overlapping part is unnecessary, it is not necessary to make it overlap.
  • the divided images 7 3 a and 7 3 b output from the image dividing unit 72 are supplied to the image processing units 7 4 a and 7 4 b, respectively.
  • the image processing units 7 4 a and 7 4 b output the processing result images 7 5 a and 7 5 b corresponding to the divided images 7 3 a and 7 3 b, respectively.
  • Process result image 7 5 a and 7 5 b has no overlap.
  • the processing result images 75a and 75b are in the order of A1, A2, A3, A4, Bl, B2, B3, B4 in units of blocks. Output to separate encoding units.
  • Each encoding unit performs encoding in the input order from the image processing unit. From each encoding unit, J P EG data 7 6 a and 7 6 b are obtained. As shown in the corresponding images 7 7 a and 7 7 b, the order is not regular.
  • the rearranger synthesizes the J p EG data 7 6 a and 76 b into one J PEG data and rearranges them.
  • the blocks are rearranged so that the order matches the order of the blocks in the original image, and the two images are combined in the same arrangement relationship as the original image.
  • the Corresponding image 79 is an image according to the notation before encoding
  • corresponding image 80 is an image according to the notation after image processing.
  • the delimiter code may be deleted by the method described above, or the cut code may be left.
  • the configuration shown in Fig. 28 and Fig. 29 or ⁇ L theory can improve the processing performance by using multiple image processing units even if the processing performance of the image processing unit alone is insufficient. Can do.
  • the image is divided into left and right, but it may be divided up and down, or divided into up and down and left and right.
  • Each element in columns A and B corresponds to a block consisting of one or more pixels of the image.
  • the original image 81 consists of 4 image processing blocks, and each image processing block consists of 4 coding blocks.
  • a l, A 2, A3, A 4, ⁇ represent coding blocks, and A 1 to A 4 constitute one image processing block 9
  • B 1 to B 4 Image processing blocks are configured by C 1 to C 4 and D 1 to D 4, respectively.
  • the image is rotated 180 degrees within each image processing block of the original image 81 to form an image 82.
  • an image processing block consisting of encoding blocks A1 to A4
  • the positions of two encoding blocks A1 and A4 and A2 and A3 located in the diagonal direction are interchanged, and pixels are vertically and horizontally The positions of are swapped.
  • Such a rearrangement process can be realized by storing the image 81 in the memory; and controlling the address when the image 81 is read from the memory.
  • rearrangement processing can be performed simultaneously with image processing.
  • the image 82 that has undergone rotation processing within the image processing block is (A4, A3, A2, A1, C4, C3, ⁇ ) for each image processing block.
  • JPEG data 83 is generated.
  • the image 84 shows an image corresponding to the order of the JPEG data 83.
  • Corresponding image 86 has a data arrangement similar to that of image 82, but is not an image that is flipped vertically and horizontally.
  • the codes are rearranged in units of image processing blocks so that the image is inverted upside down, left and right, and JPEG data 87 is obtained.
  • the image processing block is regarded as one element of the matrix in the above definition of rotation.
  • FIG. 31 shows another example of the processing for inverting the image vertically and horizontally.
  • the original image 9 1 is the same as the original image 8 1 in FIG.
  • upside down, left and right inversion processing is performed in the coding block, and the processing result image 92 is formed.
  • the first stage of processing is done at the same time as image processing.
  • the processing result image 92 is encoded by the encoding unit, and JPEG data 9 3 is obtained.
  • Image 94 shows an image corresponding to the order of JP EG data 93. Since the image 94 is different from the image 92, the JPEG data 93 is rearranged in the normal encoding order as the second stage process, and the JPEG data 95 is obtained.
  • Corresponding image 96 has the same layout as image 92 but is not an image that is flipped vertically and horizontally.
  • the codes are rearranged in units of encoded blocks so that the image is inverted vertically and horizontally, and JPEG data 97 is obtained.
  • the coding block is regarded as one element of the matrix in the above definition of rotation.
  • the JPEG data 97 is arranged according to a normal encoding order, an image obtained by inverting the original image 91 up and down and left and right is obtained as shown by the corresponding image 98.
  • 180 degree rotation was demonstrated concretely, other processes, such as 90 degree rotation and upside down rotation, can be performed similarly.
  • Figure 32 shows the process when no reordering is performed during decoding.
  • the original image 1 0 1 is processed in the order of (1 ⁇ 4 ⁇ 2 ⁇ 5 ⁇ 3 ⁇ 6), and the resulting image is processed in the regular JP EG encoding order (1—2 ⁇ 3 ⁇ 4 ⁇ JPEG data 10 2 is obtained by encoding with 5 ⁇ 6).
  • JPEG data 1 0 2 is not rearranged and transmitted to the decoding side.
  • the decoded images 1 0 3 are processed in the order of output.
  • a decoded image 104 is obtained.
  • the decoded image 104 has a problem that it does not match the original image 1 0 1.
  • FIG. 33 illustrates a process to which the present invention is applied on the decoding side.
  • JPEG data 1 0 6 is received from the encoding side.
  • Image 1 0 5 is a corresponding image of JPEG data 1 0 6.
  • J P EG Sort data 1 0 6 The reverse processing is performed on the encoding side, and the reverse processing is performed, so that J P EG data is obtained.
  • rearrangement on the decoding side is rearrangement of encoded data from the normal processing direction defined by the encoding method to the processing direction of the image processing block.
  • Image 1 0 8 is a corresponding image of JPEG data 1 0 7.
  • JP EG data 1 0 7 is output to the decoding unit, and a decoded image 1 0 9 is obtained.
  • the blocks of decoded image 1 0 9 are output in the order of (1 ⁇ 2 ⁇ 3 ⁇ 4 ⁇ 5 ⁇ 6).
  • Image processing is performed in the order of output, and a processing result image 1 1 0 is obtained.
  • the processing result image 110 is the same as the original image (same arrangement as the image 105). .
  • a delimiter code is inserted in advance. Rearrange the decoded codes and decode them. If there is no delimiter code, it is necessary to insert the delimiter code before sorting. Furthermore, when decoding, it is possible to perform processing such as upside down, left and right inversion and rotation as in the case of encoding.
  • the present invention is not limited to the above-described embodiments, and various modifications based on the technical idea of the present invention are possible.
  • the present invention is not limited to a digital or still camera, an image recording device equipped with a JPEG or MP EG encoding device, a personal computer, a PDA ⁇ ersonal Digital Assistants), an image transmission device, a portable terminal, a cellular phone, etc. It can be applied to.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

外部メモリを使用せずに画像処理部から符号化部へデータを転送でき、また、外部メモリより帯域の広い内部転送によって高速な処理が可能となる。原画像の画像全体４１が６個の（６４×４）画素のブロックに分割される。各ブロック毎に拡大処理がなされる。１，２，３，・・・と付した番号の順に各ブロックのデータが読み出される。第１番目のブロックがサイズ変更部によって処理され、（１２８×８）画素のブロック４２の画像データが生成される。この画像データ４２から（１６×８）画素のマクロブロック４３の単位が読み出され、符号化され、ＪＰＥＧデータ４４が得られる。符号並べ替え部によってＪＰＥＧデータ４６の順序をブロックを単位として並び替え、ＪＰＥＧデータ４８を生成する。この順序のＪＰＥＧデータ４８を復号すると、原画像の領域４１とブロックの順序が一致した復号画像４９が得られる。

Description

明 細 書
符号化装置、 符号化方法および符号化プログラム、 並びに撮像装置 技術分野
この発明は、 画像信号の圧縮のための等に適用可能な符号化装置、 符号化方法および符号化プログラム、 並びに撮像装置に関する。 背景技術
画像の歪みを補正する処理、 色収差を補正する処理、 画像のサイズ を拡大または縮小する処理等の画像処理がディジタルスチルカメラ等 の撮像装置においてしばしばなされる。 また、 画像処理で発生した画 像データを J P E G (Joint Photographic Experts Group) 、 MP E G (Moving Picture Experts Group Phase)等の圧縮符号化によって圧 縮することが通常なされている。 これらの圧縮符号化においては、 マ クロブロックと称される画像の単位で符号化を行うようにしている。 画像処理のためには、 メモリからの画像データを読み出して補間等 の処理がなされる。 符号化を行う場合で.は、 画像サイズの変換後の領 域のサイズがマクロブロックの大きさに設定される。 このように、 画 像サイズの変更処理において、 画像サイズをマクロブロックのように 小さな単位とするために、 高速で画像データを読み出す必要が生じる 問題があった。
また、 画像処理においては、 処理の対象とする領域の画像デ一夕の みならず、 フィル夕リング等のために、 その領域に隣接する領域の画 像データを必要とすることが多い。 その場合には、 なるべく大きなブ ロックサイズを単位として画像処理を行う方が小さいブロックサイズ を単位とするのに比して効率を良くできる。 この点について、 第 1図 A、 第 1図 Bおよび第 1図 Cを参照して説明する。
第 1図 Aは、 斜線で示すような （8画素 X 8画素） を単位として画 像処理を行う例である。 縦横のそれぞれに 2画素分の領域を処理に必 要とするものと仮定すると、 処理画素数が 64画素であり、 有効処理 画素数が （4画素 X4画素 = 1 6画素） となり、 効率 （有効処理画素 数/処理画素数 = 2 5 %) となる。 第 1図 Bは、 ブロックサイズを （ 1 28画素 X 1 28画素 = 1 6384画素） とする場合を示す。 この 場合では、 処理画素数が 1 6384がで、 有効処理画素数が （ 1 24 画素 X 1 24画素 = 1 5 3 76画素） となり、 効率が 9 3 %となる。 さらに、 第 1図 Cは、 横長のブロック例えば （2 048画素 X 8画素 = 1 63 84画素） とする例を示す。 この場合では、 有効処理画素数 が （2044画素 X 4画素 = 8 1 7 6画素） となり、 効率が 49 %と なる。 なお、 第 1図 A、 第 1図 Bおよび第 1図 Cは、 （3 X 3 = 9) 個の処理単位によって 1枚の画像が構成される例を示す。
第 2図は、 画像処理後のデータを例えば J PEGで符号化する例を 示す。 模式的に、 第 2図では、 （4 X 2) 個のマクロブロックによつ て 1枚の画像が構成されている。 画像処,理が水平方向に並ぶ 4個のマ クロブロックを単位としてなされると、 その順序が J P EGで規定さ れている符号化の方向と一致しているので、 画像処理で得られたデー 夕がそのまま順に J P E Gのエンコーダに転送されて符号化される。 - 第 2図では、 画像の処理単位が横長の領域となるので、 第 3図に示 すように、 （2 X 2) の 4個のマクロブロック 1〜4からなる領域を 単位として画像処理を行う場合を考える。 この場合には、 処理後のマ クロブロック 1および 2は、 そのままエンコーダに転送して J P EG の符号化がなされる。 マクロブロック 3および 4は、 メモリに一時的 に保管される。 次の処理単位 （マクロブロック 5〜8からなる） にお いて、 処理後のマクロブロック 5および 6は、 そのままエンコーダに 転送して J P E Gの符号化がなされる。 マクロプロック 7および 8は 、 メモリに一時的に保管される。 エンコーダにおいて、 処理後のデー 夕のマクロブロック 1 , 2 , 5および 6の符号化の後に、 メモリに保 管されていた処理後のデータのマクロブロック 3， 4， 7および 8が 読み出され、 読み出されたデ一夕がエンコーダに対して転送される。
このように、 画像処理の単位が整数個のマクロブロック、 すなわち 、 符号化ブロックからなり、 符号化ブロックの配列が符号化で規定さ れている順序と異なる塲合には、 後で符号化するデータの分をメモリ に保管しておく必要がある。 その結果、 一時保管用のメモリが必要と される問題がある。
この発明が適用できる画像処理の一例として、 第 4図に示すような 色収差補正がある。 色収差を有する撮影画像 Pから赤色画像 P r、 緑 色画像 P g、 青色画像 P bを分離する。 色収差は、 波長によってレン ズの屈折率が異なることに起因し、 原色画像間で同じ被写体であって も倍率が変化し、 画像の大きさが変化する。 各原色画像を解像度変換 して同じ大きさの原色画像 P r ' ， P b : ， P g ' を成形し、 これら 原色画像を合成して色収差補正がなされた画像 P ' が得られる。 この 発明は、 解像度変換の処理に対して適用できる。
第 5図は、 この発明を適用できる他の画像処理を示す。 画像が横方 向および縦方向の両方向にバレル型に歪んでいる画像 P 1に対して第 1段階の拡大を行い、 画像 P 2を得る。 第 1段階の拡大は、 横方向に 拡大するもので、 拡大率が中心から離れた位置ほど大きなものとされ る。 画像 P 2に対して第 2段階の拡大がなされ、 画像 P 3が得られる 。 第 2段階の拡大は、 画像 P 2を縦方向の拡大するものである。 拡大 率が中心から離れた位置ほど大きなものとされる。 この発明では、 マクロブロックのような符号化ブロックを並べ替え る処理を行っているが、 従来では、 マクロブロック単位の並べ替え処 理を行うことが特開平 1 1— 2 9 8 8 7 8号公報に記載されている。 この文献では、 M P E Gのストリームを生成した後に、 マクロブロッ ク単位で並べ替えを行うことによって、 受信側では、 M P E Gストリ ームをそのまま復号しても画像を見ることができないようにするもの である。
上述したように、 画像サイズ変換のような画像処理を行う場合に、 圧縮符号化の符号化単位で画像デー 4 +タを切り出して符号化する時に、 メモリからの読み出しを高速に行う必要が生じたり、 大容量のメモリ を必要とする問題が生じる。 上述した文献に記載のものは、 一旦正常 な M P E Gストリームを生成した後に並べ替え処理を行うものである • のに対して、 この発明では、 正規の順序と異なる画像処理部の出力順 に符号化を行った後に正規の順序に並べ替えを行うものであり、 上述 した文献に記載のものと異なるものである。 発明の開示
したがって、 この発明の目的は、 高速読み出し処理および大容量メ モリを必要とする問題点を解決することができる符号化装置、 符号化 方法および符号化プログラム、 並びに撮像装置を提供することにある 上述した課題を解決するために、 この発明は、 画像処理部によって 処理した画像データを符号化部で所定の符号化単位で符号化を行う画 像処理装置において、 符号化部が画像処理部から出力されるデータ順 で符号化を行い、 画像処理部の処理方向から'符号化部の符号化方法で 規定された正規の処理方向へ並べ替えを行う並べ替え部を備える画像 処理装置である。
この発明は、 複数の符号化単位からなる画像処理ブロック内で、 画 像の回転または反転を行う第 1段階の処理を行い、 第 1段階の処理後 のデータを出力する画像処理部と、 画像処理部から出力されるデ一夕 順で、 且つ所定の符号化単位で符号化を行う符号化を行う符号化部と 、 画像処理部の処理方向から符号化部の符号化方法で規定された正規 の処理方向へ並べ替えを行う第 2段階の処理を行う第 1の並べ替え部 と、 画像処理単位を 1要素とみなして第 2段階の処理後のデータに対 して所定の回転または反転を行う第 3段階の処理を行う第 2の並べ替 え部とを備える画像処理装置である。
この発明は、 所定の符号化単位内で、 画像の回転または反転を行う 第 1段階の処理を行い、 第 1段階の処理後のデータを出力する画像処 理部と、 画像処理部から出力されるデータ順で、 且つ符号化単位で符 号化を行う符号化部と、 画像処理部の処理方向から符号化部の符号化 方法で規定された正規の処理方向へ並べ替えを行う第 2段階の処理を 行う第 1の並べ替え部と、 符号化単位を 1 素とみなして第 2段階の 処理後のデータに対して所定の回転または反転を行う第 3段階の処理 を行う第 2の並べ替え部とを備える画像処理装置である。
この発明は、 画像処理部によって処理した画像データを符号化部で 所定の符号化単位で符号化を行う画像処理方法において、 画像処理部 から出力されるデータ順で符号化を行う符号化ステップと、 画像処理 部の処理方向から符号化で規定された正規の処理方向へ並べ替えを行 う並べ替えステップとを有する画像処理方法である。
この発明は、 画像処理部によって処理した画像データを符号化部で 所定の符号化単位で符号化を行う画像処理方法をコンピュータに実行 させるプログラムにおいて、 画像処理部から出力されるデータ順で符 号化を行う符号化ステップと、 画像処理部の処理方向から符号化で規 定された正規の処理方向へ並べ替えを行う並べ替えステップとを有す る画像処理方法のプログラムである。
この発明は、 撮像素子によって撮影された画像デ一夕に対して画像 処理を行う画像処理部と、 画像処理部によって処理した画像デ一夕を 符号化部で所定の符号化単位で符号化する符号化部を有する撮像装置 において、 符号化部が画像処理部から出力されるデータ順で符号化を 行い、 画像処理部の処理方向から符号化部の符号化方法で規定された 正規の処理方向へ並べ替えを行う並べ替え部を備える撮像装置である 。
この発明においては、 画像サイズ変換を行うような画像処理部から 圧縮符号化の符号化部への画像データの転送は、 画像処理部の単位で あり、 小さな単位である。 そのため外部メモリを使用せずに転送を行 うことができる。 また、 外部メモリを使用せずに転送できるため外部 メモリより帯域の広い内部転送とすることができ高速な処理が可能と なる。 ， 図面の簡単な説明
第 1図 A、 第 1図 Bおよび第 1図 Cは、 画像処理ブロックの大きさ と処理の効率の関係を説明するための略線図である。
第 2図は、 画像処理の方向と符号化の方向とがー致する場合の処理 を説明するための略線図である。
第 3図は、 画像処理の方向と符号化の方向とがー致しない場合の従 来の処理を説明するための略線図である。
第 4図は、 この発明を適用できる画像処理の一例を説明するための 略線図である。 第 5図は、 この発明を適用できる画像処理の他の例を説明するため の略線図である。
第 6図は、 この発明による処理の一例を概略的に説明するための略 線図である。
第 7図は、 この発明による処理の他の例を概略的に説明するための 略線図である。
第 8図は、 この発明による撮像装置の一実施形態のブロック図であ る。
第 9図は、 従来の画像処理を説明するための略線図である。
第 1 0図は、 画像処理の参考例を説明するための略線図である。 第 1 1図は、 この発明による画像処理装置の一実施形態を説明する ための略線図である。
第 1 2図は、 この発明による画像処理装置と他の構成例とのメモリ アクセス量を比較して示す略線図である。 - 第 1 3図は、 この発明による画像処理装置の一実施形態の画像処理 を説明するための略線図である。
第 1 4図は、 この発明の一実施形態の画像処理の流れを説明するた めのフロ一チャートである。
第 1 5図 Aおよび第 1 5図 Bは、 この発明の一実施形態における区 切りコードの揷入処理を説明するための略線図である。
第 1 6図 Aおよび第 1 6図 Bは、 この発明の一実施形態におけるス ライススタートコードの挿入処理を説明するための略線図である。 . 第 1 7図は、 この発明の一実施形態における区切りコードの書き換 え処理を説明するための略線図である。
第 1 8図 Aおよび第 1 8図 Bは、 この発明の一実施形態における区 切りコードの削除処理を説明するための略線図である。 第 1 9図は、 この発明の一実施形態における区切りコードの削除処 理の第 1の方法を説明するための略線図である。
第 2 0図は、 この発明の一実施形態におけるスタッフィングビット の削除処理の方法を説明するための略線図である。
第 2 1図は、 この発明の一実施形態における区切りコードの削除処 理の第 2の方法を説明するための略線図である。
第 2 2図は、 この発明の一実施形態における区切りコードの削除処 理の第 3の方法を説明するための略線図である。
第 2 3図 Aおよび第 2 3図 Bは、 この発明の一実施形態における区 切りコードの削除処理において必要とされるスタッフィングビット数 の記録方法の一例を説明するための略線図である。
第 2 4図 A、 第 2 4図 Bおよび第 2 4図 Cは、 この発明の一実施形 態における並べ替え時の処理の効率化を説明するための略線図である 第 2 5図は、 この発明による画像処理装置の他の構成を示すブロッ ク図である。
第 2 6図は、 この発明を 2枚の画像の,処理に適用した場合を説明す るための略線図である。
第 2 7図は、 この発明を 2枚の画像の処理に適用した場合の変形例 を説明するための略線図である。
第 2 8図は、 この発明を 1枚の画像を分割して処理する場合に適用 した例を説明するための略線図である。
第 2 9図は、 この発明を 1枚の画像を分割して処理する場合に適用 した例を説明するための略線図である。
第 3 0図は、 この発明を画像の上下左右反転処理に適用した一例を 説明するための略線図である。 第 3 1図は、 この発明を画像の上下左右反転処理に適用した他の例 を説明するための略線図である。
第 3 2図は、 復号側の処理の参考とした例を説明するための略線図 である。
第 3 3図は、 この発明による復号側の処理を説明するための略線図 である。 発明を実施するための最良の形態
最初に、 この発明の処理の概略について第 6図を参照して説明する 。 第 6図において、 参照符号 1 6が画像処理の対象とする原画像を示 す。 この画像 1 6は、 6個の符号化単位 （ J P E Gの場合にはマクロ ブロック） からなる。 6個のマクロブロックに対してそれぞれ 1〜 6 の番号を符して示す。 例えばマクロブロック 1および 2のように、 2 個のマクロプロック毎に画像処理がなされる。 画像処理後のデータが J P E Gエンコーダにおいて符号化処理され、 符号化後のデータ 1 7 が得られる。 画像処理は、 上述したように 拡大縮小処理、 色収差補 正処理、 画像歪み補正処理、 カメラ信号処理、 白黒反転処理、 色空間 変換処理、 フィル夕リング処理等である。
この順序の J P E Gデータ 1 7をそのまま復号すると、 対応画像 1 8が得られる。 しかしながら、 復号画像 1 8は、 原画像の領域 1 6と ブロックの順序が相違しており、 原画像と異なった画像となる。 この 問題を避けるために並べ替えがなされる。
符号並べ替え部によって J P E Gデータ 1 7の順序をブロックを単 位として並べ替え、 J P E Gデータ 1 9を生成する。 この順序の J P E Gデータ 1 9を復号すると、 原画像の領域 1 6とブロックの順序が 一致した対応画像 2 0を得ることができる。 第 6図の例では、 原画像の横幅と 3個のマクロブロックの合計の幅 とが等しい例である。 しかしながら、 画像処理の単位の横幅が複数マ クロブロックからなる例では、 第 7図に示すように、 画像処理単位の 横幅として複数種類が存在する場合もある。 例えば画像処理単位と画 像の横幅が整数比でないために、 最後の処理のみ大きさが異なること がある。 複数種類の横幅の合計は、 画像の横幅と等しくなる。 この場 合、 符号化時の区切りの間隔を変えることによって、 第 6図と同様に 並べ替えを行うことができる。 すなわち、 画像 1 1 6を J P E G符号 ィ匕し、 J P E Gデ一夕 1 1 7を得る。 この J P E Gデータ 1 1 7に対 応する画像 1 1 8は、 原画像と相違するので、 並べ替え後の J P EG データ 1 1 9を生成する。 この J PEG 1 1 9の対応画像 120は、 原画像に一致したものとなる。
この発明の一実施形態について説明すると、 第 8図は、 この発明に よる撮像装置例えばディジタルスチルカメラの一実施形態の構成を示 す。 第 8図において、 参照符号 1がレンズ装置を示し、 参照符号 2が CCD (Charge Coupled Device), CMOS (Complementary Metal 0 xide Semiconductor)等の撮像素子を示す。 撮像素子 2に対しては、 例えば Bayer配列の三原色力ラ一フィル夕が設けられており、 撮像素 子 2の出力として三原色信号が得られる。 この三原色信号が AZDコ ンバ一夕 3によってディジ夕ル信号へ変換される。
AZDコンパ一夕 3からのディジタル撮像信号が L S I (Large Sea le Integrated Circui t：大規模集積回路）の構成とされたディジタル 処理のカメラ信号処理部 4に入力される。 力メラ信号処理部 4では、 ホワイトバランス補正処理、 補間処理、 フィルタリング処理、 マトリ クス演算処理、 ガンマ補正処理、 輝度信号 （Y) 生成処理、 色差信号 (C r , Cb) 生成処理等を行う。 カメラ信号処理部 4によって生成 された画像信号がディスプレイ 5に供給され、 撮像画像が表示される 。 また、 カメラ信号処理部 4からの画像デ一夕がサイズ変換、 圧縮処 理等を受けて内部または外部記憶媒体 9に記憶される。
ホワイトバランス補正処理は、 被写体の色温度環境の違い、 カラー フィル夕による感度の違いによる各色間のアンバランスが補正する。 補間処理は、 存在していない色信号を補間する処理である。 フィルタ リング処理は、 高域周波数補正処理であり、 輪郭強調のための処理で ある。 マトリクス演算処理は、 撮像信号を s RGBへ変換する処理で ある。 ガンマ補正処理によって、 表示装置が有する非線形特性の逆補 正を予め行うことで、 最終的にリニアな特性が実現される。
輝度信号生成処理は、 ガンマ補正された RGB信号を所定の合成比 で合成することによって輝度信号を生成する。 色差信号生成処理プロ ックは、 ガンマ補正された RGB信号を所定の合成比で合成すること によって色差信号を生成する。 生成された色差信号が帯域制限の処理 を受け、 色差信号 C bおよび C rが生成される。
カメラ信号処理部 4の出力 （Y， C r， C b) がサイズ変更部 6に 入力され、 画像サイズが等倍、 拡大または縮小される。 サイズ変更部 6の出力データが例えば J PEGの符号化部 7に入力される。 符号化 部 7は、 D C T (Discrete Cosine Transform：離散コサイン変瘓）と 量子化器と可変長符号化器とから構成されている。
DCTでは、 （8 X 8) 画素のブロック単位に D CT演算がなされ 、 D C (Direct Current：直流）係数および A C (Al ternate Current ： 交流）係数からなる D CT係数が得られる。 D C係数および AC係数 が別々に量子化される。 量子化された DC係数は、 直前のブロックの DC係数との差分値が符号化される。 但し、 区切りを示す所定の値の コ一ドである区切りコードが挿入された直後は、 D C係数の値自体が 符号化される。 量子化された AC係数の場合には、 ブロック内でジグ ザクスキャンによって並べ替えた後に可変長符号化される。 符号化部 7によって圧縮された圧縮画像データが並べ替え部 8に供給される。 並べ替え部 8は、 J P EGで規定された正規の処理方向へ圧縮画像デ 一夕を並べ替えるものである。 すなわち、 正規の処理方向とは、 J P E Gで復号した場合に元の画像が得られる符号化の順序を意味する。 符号化画像デ一夕がストレ一ジ 9に記憶される。
上述したディジ夕ルスチルカメラの信号処理等を制御するために、 C PU (Central Processing Uni t) 1 1が備えられている。 カメラ信 号処理部 4、 サイズ変更部 6、 符号化部 7、 並べ替え回路 8、 ストレ ージ 9は、 C P Uバス 1 2を介して C P U 1 1と接続され、 CPU 1 1によって制御可能な構成とされている。 CPU 1 1には、 ユーザが 操作するスィツチ、 GU I (Graphical User Interface)等のキー 1 3 'の出力が入力される。 さらに、 C PUバス 1 2に対してプログラム等 が格納されている ROM 14および C PU 1 1の作業用のメモリとし ての RAM 1 5が接続されている。 RAM I 5には、 C PU 1 1の制 御によって画像デ一夕が蓄積可能とされている。 なお、 第.8図の構成 では、 簡単のため、 ストレージ 9から読み出された圧縮画像データを デコ一ドしてディスプレイ 5に表示するための構成については省略さ れている。
この発明は、 上述したディジタルスチルカメラの構成中で、 サイズ 変更部 6、 符号化部 7、 並べ替えブロック 8における処理において、 高速の処理および大容量メモリを不要とするものである。 なお、 この 一実施形態における J P E Gは、 符号化単位としてのマクロブロック のサイズが （ 1 6 X 8) 画素であり、 （8 X 8) 画素の輝度 （Y) ブ ロックの 2個と、 それぞれが （8 X 8) 画素の色差 （C r， C b) ブ 口ックとから構成されている。 色差デ一夕の水平方向の画素の間隔は
、 輝度データの 2倍とされている。 したがって、 1画素当たりのビッ 卜数は、 （Y = 8ビット、 C r = 4ビット， C b = 4ビット） の 1 6 ビットとなる。 輝度デ一夕および二つの色差データは、 分離してそれ ぞれ処理の対象とされる。 色差データの処理は、 輝度データと同様で あるので、 以下の説明では、 輝度デ一夕の処理について説明する。 この発明の理解を容易とするために、 最初に第 9図を参照して従来 の構成について説明する。 画像処理の例として画像の拡大について説 明する。 第 9図において、 参照符号 2 1が外部メモリを示し、 参照符 号 2 4がサイズ変更部を示す。 サイズ変更部 2 4は、 一例として、 サ ィズを 2倍に拡大する補間ディジ夕ルフィルタを有する構成とされて いる。 従来の構成では、 2倍に拡大した後に符号化単位であるマクロ ブロックのサイズとなるように、 外部メモリ 2 1から画像デ一夕が読 み出される。
2倍に拡大した画像をマクロプロックの大きさと等しいものとする ために、 サイズ変更部 2 4は、 外部メモリ 2 1の影を付した （4 X 8 ) 画素の領域 2 2を拡大するようになされる。 サイズ変更部 2 4は、 F I Rフィル夕のような補間フィル夕を使用するので、 例えば領域 2 2を含む （1 6 X 1 2 ) 画素の領域 2 3を外部メモリ 2 1から読み出 すようになされる。 すなわち、 補間フィル夕は、 本来の領域に対して 横方向および縦方向のそれぞれにおいて （4 + 4 ) 画素を必要とする ために、 読み出し画素数が増加する。 なお、 この発明は、 拡大のみな らず、 縮小処理に対しても適用できる。
サイズ変更部 2 4の内部を転送された拡大後の （8 X 1 6 ) のマク ロブロックのデータ 2 5がメモリを介さないで直接、 符号化部 2 6へ 転送され、 J P E Gの符号化がなされる。 符号化データとしての J P E Gデ一夕が外部メモリ 2 7に書き出される。 J P E Gの規格では、 画像の左端から右端に向かう方向が正規の処理方向と規定されており 、 領域 2 2を読み出す順序が正規の処理方向と同一とされている。 外 部メモリ 2 7と外部メモリ 2 1とは、 同じ R A M上に別々のメモリ領 域として構成することができる。
第 9図に示される従来の構成は、 J P E Gデ一夕をマクロブロック 単位で順に復号することによって拡大画像を復元できる。 しかしなが ら、 画像処理の単位のブロックが拡大後にマクロプロックとなるよう な小さいサイズとされているので、 拡大の対象とする領域 2 2の横方 向の画素数の 2倍の画素数と、 縦方向の画素数の 3倍の画素数との合 計 6倍の画素数を外部メモリ 2 1から読み出すことが必要であり、 高 速の読み出しを必要とするため、 広いメモリ帯域を必要とする問題が ある。 また、 後述するように、 全体としてメモリに対するアクセス量 が多い問題を有している。
第 9図に示す従来の構成は、 サイズ変更部 2 4が （ 1 6 X 8 ) のサ ィズの符号化単位で拡大処理を行うものである。 これに対して、 拡大 処理の単位をより大きなサイズとすることによって、 上述したメモリ 帯域が必要なこと、 並びにアクセス量が多い問題を低減するようにし た構成例を第 1 0図に示す。
影を付した （6 4 X 6 4 ) 画素の領域 2 8が拡大処理の対象とする 領域である。 サイズ変更部 2 4は、 外部メモリ 2 1力、ら （7 2 X 7 2 ) 画素の領域 2 9を読み出す。 サイズ変更部 2 4は、 領域 2 8を 2倍 とした （ 1 2 8 X 1 2 8 ) 画素の領域 3 0の画像デ一タを生成する。 この領域 3 0の画像データは、 J P E Gのマクロブロックのサイズと 異なるので、 符号化部 2 6に対して直接転送することができない。 す なわち、 拡大画像のデータは、 1枚例えば 1フレーム分の容量を有す る外部メモリ 3 1に書き出され、 外部メモリ 3 1からマクロブロック 単位で画像デ一夕が読み出される。 このように、 （ 64 X 64) の領 域 2 8の処理のために、 ( 7 2 X 7 2 ) 画素の領域 2 9が必要となる ので、 転送すべきデ一夕は、 約 1. 27倍となる。 この比率は、 それ ほど高い転送速度を要求するものではない。 但し、 後述するように、 この発明による処理と比較して全体としてアクセス量が多い問題があ る。
外部メモリ 3 1からは、 J P EGのマクロブロック （1 6 X 8) 画 素の領域が読み出される。 読み出しの順序は、 J P EGで規定された 正規の処理方向とされる。 読み出されたマクロブロックのデ一夕が符 号化部 2 6によって J P E Gで符号化される。 符号化部 26から外部 メモリ 2 7に対して符号化デ一夕としての J P E Gデータがマクロブ ロック単位で書き出される。
第 9図の構成では、 マクロブロック単位でサイズ変更を行っている ために、 サイズ変更部 24内に備えることが可能な比較的小容量の内 部メモリ 2 5を使用できる。 しかしながら、 第 1 0図の構成では、 マ クロブロック単位に切り出した画像データを符号化部 26に供給する 必要があるために、 拡大画像全体を蓄積することが可能な大容量の外 部メモリ 3 1が必要とされる。
第 1 1図は、 この発明の一実施形態の構成を示す。 第 1 0図に示す 構成例と同様に、 影を付した （64 X 64) 画素の領域 28が拡大処 理の対象とされるので、 サイズ変更部 24は、 外部メモリ 2 1からブ ロックに周辺の画素を付加した （72 X 72) 画素の領域 29を使用 して拡大処理を行う。 この場合、 領域 28が （64 X 4) 画素の領域 (ブロックと適宜称する） に分割され、 ブロック毎に読み出しおよび 拡大の処理がなされる。 したがって、 サイズ変更部 24は、 プロック を 2倍とした （ 1 2 8 X 8) 画素のデータを出力する。 サイズ変更部
24の出力する順序は、 J P E Gの正規の処理方向と異なっている。 この発明では、 サイズ変更処理の順序を変更しないで J PEGの符 号化を行うので、 画像デ一夕を直接転送することが可能である。 また は、 小容量のメモリによってブロックを複数のマクロブロックに分割 すれば良い。 一実施形態では、 サイズ変更部 24の出力デ一夕が比較 的小容量の内部のメモリ 3 2 Aおよび 3 2 Bに内部転送され、 メモリ
32 Aおよび 3 2 Bに交互に書き込まれる。 符号化の単位であるマク ロブロックのサイズを （ 1 6 X 8) 画素とすると、 2倍処理後に縦が 8画素で、 横が 1 6画素の整数倍となるブロックを単位として拡大処 理後のデータが処理される。 ブロックは、 （64 X4) 画素のサイズ である。 拡大処理後のサイズの （1 2 8 X 8) 画素の領域もブロック と称する。
メモリ 32 Aおよび 3 2 Bは、 2バンクの構成とされ、 一方のメモ リに対して （ 1 2 8 X 8) 画素のブロックの画像データが書き込まれ る期間では、 他方のメモリから J PEGのマクロブロック単位で画像 データが読み出される。 （ 1 2 8 X 8) 画素のブロックは、 原画像 2 8の （64 X4) 画素のブロックに対応している。 第 9図の構成例と 阇様に、 （64 X 64) の領域 2 8の処理のために、 （ 7 2 X 7 2 ) 画素の領域 2 9が必要となるので、 転送すべきデータは、 約 1. 2 7 倍となる。 この比率は、 それほど高い転送速度を要求するものではな い。
メモリ 32A、 3 2 Bからは、 J P EGのマクロブロック （1 6 X 8) 画素の単位でデータが順に読み出される。 メモリ 3 2 A、 32 B には、 それぞれ 8個のマクロブロック分の画像データ （ 1 28 X 8) 画素が格納されている。 読み出されたマクロブロックのデータが符号 化部 26によって J P EGで符号化される。 符号化部 2 6から外部メ モリ 33に対して J PEGデ一夕がマクロブロック単位で書き出ざれ る。
外部メモリ 3 3に蓄えられる J P EGデータは、 符号化の順序が J P EGの規格で規定されているものと相違し、 規格に基づいて構成さ れているデコ一ダによって復号しても正しく画像を復元できない。 J P E Gの規格で規定されている符号化の順序は、 画像の左端から右端 に向かう順序である。
そこで、 外部メモリ 3 3に蓄積された J P EGデータが符号並べ替 え部 34において処理され、 J P E Gデータの並べ替えがなされる。 符号並べ替え部 34は、 例えば外部メモリ 3 3の読み出しアドレスを 制御することに.よって並べ替えを行うことができる。 外部メモリ 3 3 は、 並べ替えのために拡大画像全体の容量のメモリを備えていること が必要とされる。 しかしながら、 J P EGでデータ量が数分の一に圧 縮されているために、 デ一タ容量が原画像データを蓄積するのと比較 して小さくて良い。
符号並べ替え部 34から外部メモリ 3 ,5に対して処理方向が正規の ものとされた J P E Gデ一夕が出力され、 蓄積される。 外部メモリ 3 5には、 正規の処理方向の順序の J P EGデータが蓄積される。 した がって、 この J P E Gデータを規格に基づいて構成されたデコーダに よって復号することによって、 正しく画像を復元することができる。 第 1 2図は、 第 9図、 第 1 0図および第 1 1図の構成に関してメモ リアクセス （書き込みまたは読み出し） 量を比較して示す表である。 例えば原画像の Xバイトのデ一夕を J PEGによって 1/3に圧縮符 号化した場合を想定している。 第 9図の構成では、 （4 X 8) 画素の 領域 22を拡大するために、 その 6倍の画素数である （ 1 6 X 1 2) 画素の領域 2 3を外部メモリ 2 1から読み出し、 読み出したデータを 直接符号化部 2 6に対して転送するために、 画像のアクセス量が 6 X バイトとなる。 また、 J P EGデータのメモリへのアクセスの量は、 外部メモリ 2 7に対して 1回書き込みを行うのみであるから X/3バ イトとなる。 したがって、 合計のメモリアクセス量 （=画像アクセス 量 +符号アクセス量） が 1 9 XZ3バイ トとなる。
第 1 0図に示す構成例では、 外部メモリ 2 1に対する画像アクセス 量は、 外部メモリ 2 1からの読み出しが 1. 2 7倍の画素数の領域の 読み出しを必要とし、 外部メモリ 3 1に対して 2倍に拡大された領域 3 0の書き込みとマクロブロックの画像データの読み出しとを必要と するために、 画像のアクセス量が （ 1. 2 7 + 2 = 3. 2 7) Xバイ トとなる。 J P EGデータのメモリへのアクセスの量は、 外部メモリ 2 7に対して 1回書き込みを行うのみであるから XZ 3バイトとなる 。 したがって、 合計のメモリアクセス量 （=画像アクセス量 +符号ァ クセス量） が 1 0. 8 I X/ 3バイトとなる。
この発明の一実施形態 （第 1 1図） の樗成では、 外部メモリ 2 1に 対する画像アクセス量は、 外部メモリ 2, 1からの読み出しが 1. 2 Ί. 倍の画素数の領域の読み出しを必要とする。 符号化部 2 6に直接画像 データを転送することを想定すれば、 画像のアクセス量が 1. 2 7 X バイトとなる。
符号並べ替えのために、 外部メモリ 3 3に対しての書き込みおよび 読み出しが必要とされ、 外部メモリ 3 5への書き込みなされるので、 3回のアクセスが必要となる。 書き込みまたは読み出しされるデータ は、 J P E Gデータであるので、 符号アクセス量は、 （3 XZ3バイ ト） となる。 したがって、 合計のメモリアクセス量 （二画像アクセス 量 +符号アクセス量） が 6. 8 I X 3バイトとなり、 最も少ないも のとなる。 なお、 一実施形態では、 メモリ 3 2 A, 3 2 Bに対しての アクセスを行っているので、 画像アクセス量が増える。 しかしながら 、 メモリ 32 A， 3 2 Bを設けないで、 直接、 サイズ変更部 24の出 力を符号化部 2 6に転送することができる。 また、 メモリ 32A， 3 2 Bとして、 内部のメモリを使用できるために、 デ一夕転送速度を高 くすることが可能であるために、 アクセス量が増えることによる影響 を少なくできる。
この発明の一実施形態の処理について第 1 3図を参照して説明する 。 第 1 3図において、 参照符号 4 1が拡大処理の対象とする原画像の 画像全体例えば （ 1 28 X 1 2 ) 画素の領域を示す。 この領域 41が 6個の （64 X 4) 画素のブロックに分割される。 6個のブロックに 対してそれぞれ 1〜 6の番号を符して示す。 各ブロック毎に拡大処理 がなされる。 なお、 第 1 3図において、 各ブロック内に描かれている 矢印は、 その領域に対する処理の順序を示し、 図面に向かって各領域 の左上のコーナーから開始して右下のコーナーに至る順序で処理がな される。 ブロック内の符号化の順序は、 J P E Gの正規の処理方向と 一致している。 但し、 ブロックを単位とする処理の方向は、 正規の処 理方向と異なってい.るために、 並べ替えが必要とされる。 すなわち、 順番にブロック単位で画素を読み出すと、 1， 2， 3， · · ' と付し た番号の順に各ブロックのデータが読み出される。
第 1番目の （64 X4) 画素のブロックがサイズ変更部 24によつ て処理され、 縦横のそれぞれが 2倍の （12 8 X 8) 画素のブロック 42の画像データが生成される。 この画像デ一夕 42が内部のメモリ 32 A, 3 2 Bの一方に書き込まれる。 メモリ 3 2 A， 32 Bからの データの読み出しの順序を変更し、 （ 16 X 8) 画素の J PEGのマ クロブロック 43の単位で画像デ一夕が読み出される。 読み出された マクロブロックのデータ 43が符号化部 2 6において符号化される。 ブロック 42の画像データに対応する J PEGデ一夕 44が得られる 。 J P E Gデータのデ一夕ブロック 45は、 マクロブロック 43に対 応するものである。
原画像の領域 4 1が上述したように処理され、 6個のブロックとそ れぞれ対応する J P EGデ一夕 46が生成される。 この順序の J P E Gデ一夕 46をそのまま復号すると、 復号画像 47が得られる。 しか しながら、 復号画像 47は、 原画像の領域 4 1とブロックの順序が相 違しており、 原画像と異なった画像となる。
そこで、 符号並べ替え部 34によって J P E Gデ一タ 46の順序を ブロックを単位として正規のものに並べ替え、 J P E Gデータ 48を 生成する。 この順序の J P EGデータ 48を復号すると、 原画像の領 域 4 1とブロックの順序が一致した復号画像 49を得ることができる 第 14図は、 この発明による画像処理の流れを示すフローチャート である。 このフローチャートで示す処理は.、 C PU 1 1 (第 8図参照 ) のような信号処理部を制御するコンピュータによる制御によって実 現される。 最初のステップ S 1において、 画像がブロック単位でメモ リから読み出される。 ブロックは、 第 1 3図の例では、 （64 X4) 画素である。
ステップ S 2において、 画像処理例えば縦横それぞれが 2倍とされ る拡大処理がなされる。 ステップ S 3において、 拡大処理された （ 1 2 8 X 8) 画素 φデータが （ 1 6 X 8) 画素のマクロブロック単位で 符号化部 26に対して入力される。 ステップ S 4において、 符号化部 2 6が入力された順序で画像データを符号化する。
ステップ S 5において、 符号化データ例えば J P E Gデータがメモ リへ書き出される。 ステップ S 6では、 ブロックデータ例えば （ 1 2 8 X 8) 画素のデータを処理したか否かが判定される。 処理が終了し ていない場合では、 処理がステップ S 3に戻り、 符号化処理 （ステツ プ S 3〜 S 5 ) が繰り返される。
ステップ S 6において、 ブロックのデ一夕を処理が終了したものと 判定されると、 ステップ S 7において、 拡大画像の全体の処理が完了 したか否かが判定される。 完了していない場合には、 ステップ S 8に おいて、 予め決められている所定の値の区切りコードが挿入される。 すなわち、 J PEGデータのブロック毎の区切りに区切りコードが挿 入される。
可変長符号化されている 1ブロック分の J P EGデータがバイトの 整数倍の長さとなるようにスタッフィングビットが付加され、 その後 に区切りコード （ 1 6ビット） が付加される。 第 1 5図 Aは、 J P E Gデータの一例を示す。 最小符号化単位としての J PEG MCU(M inimui Coded Unit)は、 マクロブロックに対応して発生したデ一夕で ある。 ハフマン符号化がなされているので， J P EG MCUは、 可 変ビット長を有する。 ，
最小符号化単位と並べ替えの単位とがー致するとは限らない。 例え ば （2 X 2) のマクロブロックが画像処理単位とされる場合には、 J P E Gの符号化の方向と一致する方向、 すなわち、 横方向のマクロブ ロックの個数が 2個となり、 2個のマクロブロック 並べ替え単位と なる。 第 1 5図 Aおよび第 1 5図 Bでは、 1ブロックが 2個のマクロ ブロックからなるものとしている。 第 1 5図 Bに示すように、 2個の マクロブロックのそれぞれの J P E Gデータ J P EG MCU 1およ ぴ J P EG MCU 2に対して 6ビットのスタッフイングビットが付 加される。 それによつて、 （ 1 7 + 2 5 + 6 = 48ピット = 6バイト ) とブロックの J P E Gデータがバイ トの整数倍とできる。 スタッフ ィングビットの後に 1 6ビットの区切りコードが挿入される。
このように、 区切りコ一ドは、 並びに替え単位の区切りを示してい る。 この区切りは、 E C S (En opy Coded Segmen t)と称される。 し たがって、 並べ替えは、 E C S単位でなされる。 J P E Gデータの D C (直流） 係数は、 前のデ一夕ブロックの D C係数との差分のデータ を伝送するようにしており、 区切りコ一ドの次の D C係数のデ一夕は 、 差分ではなく、 D C係数の値そのものとされている。
ステップ S 7において、 拡大画像の全体の処理が完了したと判定さ れると、 ステップ S 9において、 J P E Gデ一夕がメモリから読み出 され、 ステップ S 1 0において、 J P E Gデ一夕がブロック単位で並 ベ替えれる。 ステップ S 1 1において、 並べ替えがされた J P E Gデ 一夕がメモリへ書き出される。
上述したこの発明の一実施形態は、 J P E Gに対してこの発明を適 用したものであるが、 この発明は、 M P E Gを符号化方法として使用 する場合に対しても適用できる。 その場合 は、 1ブロックの画像に 対応する M P E Gデータ毎に区切りとして予め決められている所定の 値のスライススタートコードが挿入される。
第 1 6図 Aおよび第 1 6図 Bを参照してスライススタートコードの 揷入について説明する。 第 1 6図 Aが M P E Gデ一夕のストリームを 示す。 簡単のため 2個のマクロプロックに対応する 2個のデータブロ ックが 1ブロックの画像データに対応するものとしている。 第 1 6図 Bに示すように、 2個のマクロブロックのそれぞれの M P E Gデ一夕 に対して 6ビットのスタッフイングビットが付加される。 それによつ て、 （ 1 7 + 2 5 + 6 = 4 8ビット = 6バイ ト） とブロックの M P E Gデータをバイトの整数倍とできる。 スタッフィングビットの後に 3 2ビッ卜のスライスス夕一トコ一ド揷入される。
上述したブロックの可変長デ一夕の区切りを示す区切りコード ( J P EG) およびスライススタートコード （MP EG) は、 並べ替え処 理に伴って値を書き換えることが必要とされる。 区切りコードは、 H ' F FD X (Η' は 1 6進表記を意味する） と決められている。 χは 、 区切りコードの回数を 8で割った余りの値である。 また、 スライス ス夕一トコ一ド Η' Ο Ο Ο Ο Ο Ι χ χ (Η' は 1 6進表記を意味する ) と決められている。 X Xは、 スライス画像でのマクロブロック単位 の垂直位置の値である。 Xおよび X Xの部分は、 並べ替えに伴って規 格に合うように変更することが必要とされる。
第 1 7図は、 区切りコードの書き換え処理を示すものである。 第 1 3図を参照して説明したように、 6個のブロックとそれぞれ対応する J P E Gデ一夕 46が生成される。 J P E Gデータ 46のブロックの デ一夕の区切りには、 第 1 7図に示すように、 H' F FD 0〜H， F FD 5の区切りコードがそれぞれ挿入されている。
そして、 第 1 7図において矢印で示すよ.うに、 符号並べ替え部 34 によって J P EGデ一夕 46の順序をブロックを単位として並べ替え 、 J PEGデータ 48が生成される。 並べ替えの結果に対応するよう に、 区切りコードが書き換えられる。 例えば J P EGデ一夕 46にお いて 4番目のブロック 4のコードは、 J P E Gデ一夕 48において 2 番目のブロックのコードに並べ替えられるので、 区切りコード H' F FD 3がH' F FD 1に書き換えられる。
第 1 7図は、 区切りコ一ドの書き換えの処理を示しているが、 MP E Gストリームに挿入されるスライススタートコードの X Xの値も、 並べ替え後の配置に対応するように書き換えられる。
第 1 8図 Aおよび第 1 8図 Bは、 並べ替え部 34において区切りコ —ドを削除する処理の例を説明するものである。 第 1 8図 Aは、 第 1 6図 Bに示す J P EGデ一夕のストリ一ムと同様にバイ ト単位とされ 、 1ブロックの J P EG MCU毎に区切りコードが挿入されたもの である。 区切りコードを揷入することによる冗長度の増加の影響を少 なくするために、 第 18図 Bに示すストリームのように、 区切りコ一 ドが削除される。 区切りコードの削除は、 J PEGの規格に反するこ とを避けるために必要とされる場合もある。
しかしながら、 区切りコードの後の最初のマクロブロックに対応す る J PEG MCU 3の D C係数 D C 1は、 0との差、 すなわち、 値 そのものとされているので、 区切りコードの削除を行った第 1 8図 B に示すストリームにおいては、 J P EG MCU 3の最初のマクロブ ロックの DC係数を前の J P EG MCU 2の最後のマクロブロック • の DC係数との差分にする必要がある。
区切りコードの削除の処理の 3通りの方法について説明する。 第 1 9図は、 第 1の方法を示す。 この方法では、 符号化時に、 J PEG . MCU 2 (以下、 単に MCU 2と表記する） の開始位置もしくはその 終了位置、 またはスタッフイングビット数と、 区切りコードの直前の 最小符号化単位である MCU 2の D C成分とを伝送または記録される データと関連付けて記録または保持しておく必要がある。 それによつ て、 多くの符号を復号しないで、 D C成分の符号化データを書き換え ることができる。 記録または保持の方法としては、 ストリーム中にこ れらのデータを揷入したり、 メモリにこれらの情報を記憶する方法を 採用できる。
ステップ S 2 1において、 記録されている MCU 2の開始位置もし くはその終了位置、 またはスタッフイングビットのビット数から、 区 切りコードを削除した後の MCU 3の新しい先頭位置 aを計算する。 位置 aは、 MCU 2の終了位置と一致する。 MCU2の開始位置が分 かると、 復号することによって、 1マクロブロックのデ一夕の終端の コード （EOB) が検出され、 MCU 2の終了位置が分かる。 さらに 、 区切りコードが検出されると、 スタッフイングビットのビット数か ら MCU 2の終了位置が分かる。
ステップ S 2 2において、 MCU 3の DC成分を復号する。 MCU 3の DC成分は、 絶対値を符号化したデータが伝送されるので、 復号 して DC成分を得ることができる。 そして、 あらかじめ記録しておい た MCU 2の D C成分と MCU 3の復号した D C成分との差分を演算 し、 差分をハフマン符号化して、 新たな MCU 3の D C成分の符号化 データが得られる。
ステップ S 24において、 新しい先頭位置 aから MCU 3を詰める 。 したがって、 スタッフイングビットおよび区切りコードが削除され る。 MCU 3に配置される DC成分の符号化データは、 差分を符号化 したデ一夕であって、 元々挿入されていた D C成分の符号化データ （ 絶対値） とは、 ビット長が異なったデータ.である。
なお、 第 20図に示すように、 はじめから区切りコードを挿入せず に、 -スタッフィングビットの挿入と、 DC成分の差分予測値を 0にす る、 すなわち、 MCU 3の D C成分の符号化データが D C成分そのも のの値の符号化データである場合にも第 1の方法を適用でき、 MCU 3に配 gされる DC成分の符号化データは、 差分を符号化したデ一夕 とされる。 また、 区切りコードを挿入しない例に対して、 以下に述べ る第 2の方法および第 3の方法を同様に適用することができる。
第 2 1図は、 区切りコードの削除の処理の第 2の方法を示す。 第 2 の方法では、 符号化時に MCUXの先頭位置 bを伝送または記録され るデ一夕と関連付けて記録、 保持しておく。 但し、 第 1の方法と異な り、 MCU 2の DC成分は、 記録しない。 MCUXは、 スタッフイン グビットの直前に配置されたダミーの最小符号化単位である。 好まし くは、 所定の画素値の D Cのみからなるマクロブロックを J PEG符 号化して得られる最小符号化単位である。 例えば全面黒色の画像で、 D C成分の値が 0とされている。 他の例としては、 輝度デ一夕 Y、 二 つの色差データ C r , C bの全ての値が 0のデ一夕を使用しても良い ステップ S 3 1において、 MCUXの先頭位置と一致する MCU 3 の新たな先頭位置 bが得られる。 次に、 ステップ S 3 2において、 M CUXの D C成分と MCU 3の D C成分とが復号される。 MCUXの D C成分に対応する符号化データは、 下記の差分を符号化したデータ であるので、 MCUXの D C成分に対応する符号化データを復号した 値は、 MCU 2の D C成分である。 したがって、 差分を演算する必要 がない。
MCUXの D C成分に対応する符号化データ = (MCUXの DC成 分 （例えば 0) — MCU 2の DC成分） を.符号化したデータ
ステップ S 33において、 復号して得ちれた MCUXの D C成分、 すなわち、 上述したように、 ― （MCU2の DC成分） と MCU3の DC成分との差分が求められ、 差分が符号化され、 新たな MCU 3の D CJ ^分の符号化データが得られる。 ステップ S 34において、 MC U3以降のデータを新たな先頭位置 bから詰める。 したがって、 ス夕 ッフィングビットおよび区切りコードが削除される。
第 22図は、 区切りコードの削除の処理の第 3の方法を示す。 第.3 の方法は、 D C成分の符号化データを復号することを不要とできる。 また、 データを MCU 3の後に MCU4を詰める処理を行うので、 処 理が簡単である。 第 3の方法では、 符号化時に MCU 3の先頭位置若しくは終了位置 、 またはスタッフィングビット数を伝送または記録されるデータと"関 連付けて記録し、 または保持しておく。 また、 伝送または記録される データ中に、 MCU 2の後に MCU 3を挿入すると共に、 区切りコ一 ドの直後に MCU 3 ' を挿入する。 MCU 3の D C成分の符号化デ一 夕は、 前の MCU 2の D C成分と MCU 3の D C成分との差分を符号 化したものである。 これに対して、 MCU' 3の DC成分の符号化デ 一夕は、 区切りコードの直後に配置されているので、 DC成分そのも のの値である。
ステップ S 4 1では、 MCU 3の先頭位置若しくは終了位置、 また はスタッフィングビット数これらの情報を使用して MCU4の新たな 先頭位置 cが計算される。 MCU3の終了位置と MCU4の先頭位置 • cとが一致する。 MCU 3の開始位置から復号を開始して EOBを検 出した位置を MCU3の終了位置として検出しても良い。 さらに、 区 切りコードの位置が判っているので， スタッフイングビット数を使用 して位置 cを求めても良い。 ステップ S 42では、 MCU 3の後に、 M C U 4以降が新しい先頭位置から詰められる。
第 1 9図に示される第 1の方法または第 2 2図に示される第 3の方 法では、 スタッフイングビット数を記録しておくことが必要とされる 。 第 2 3図 Aおよび第 2 3図 Bは、 スタッフイングビットのビット数 をストリーム中に記録する方法を示す。 第 2 3図 Aに示し、 上述した ように、 区切りコードは、 H' F FD x (Η' は 1 6進表記を意味す る） と決められている。 Xは、 区切りコードの回数を 8で割った余り の値である。
この Xの値は、 0乃至 7となる。 したがって、 第 23図 Βにスタツ フィングビットのピット数が 5の場合の例を示すように、 スタッフィ ングビット数を Xの値としてストリーム中に記録することができる。 この処理は、 規格に反したストリームを作成することになるが、 上述 したように、 区切りコ一ドが削除され、 外部に出力されるストリーム には、 区切りコードが含まれないので、 問題とならない。
第 2 4図 A、 第 2 4図 Bおよび第 2 4図 Cは、 J P E Gデータのス トリームの生成において、 並べ替え処理において、 各並べ替え単位の 先頭位置を分かりやすいものとする処理を示す。 第 2 4図 Aは、 J P E Gデータの一例とそのデータを並べ替えた後のデ一タを示す。 各ブ ロックの画像データに対応する J P E Gデ一夕は、 可変長のために並 ベ替え時に先頭位置が分かりにくい問題がある。 第 2 4図 Bは、 対応 する原画像のブロックの配置を示す。 並べ替え後の J P E Gデ一夕を 復号した場合に、 第 2 4図 Bに示す画像を復号できる。
第 2 4図 Cに示すように、 空きメモリ領域を形成することによって 、 メモリに蓄積された J P E Gデータの第 1番目、 第 3番目、 第 5番 目のそれぞれのデータブロックの先頭位置が所定の間隔 Lで位置する ようになされる。 並べ替え処理時に、 第 3.番目および第 5番目のそれ ぞれのデータブロックの先頭位置が分かれば、 並べ替え処理が簡単且 つ高速とできる。 第 4番目および第 6番目のデータプロックの先頭位 置は、 並べ替えながら判定することができる。 なお、 空き領域は、 書 き込みを行わなくても良い領域のため、 空き領域に任意のデータが存 在していても良い。
第 2 5図は、 縮小画像 （所謂サムネイル） の生成を考慮した構成例 を示す。 画像メモリ 5 1には、 処理の対象の画像が格納されている。 例えば重複部分を有する 2個の領域が存在する。 画像メモリ 5 1の後 に画像処理部 5 2が設けられている。 画像処理部 5 2では、 前述した ように、 画像サイズ変更、 色収差補正、 歪み補正等の処理がなされる 画像処理部 5 2が処理後の画像デ一夕を出力する順序は、 J P E G の正規の処理方向と異なっている。 順序を変更しないで、 符号化部 5 3に処理後のデ一夕が供給され、 符号化部 5 3で例えば J P E Gの符 号化がなされる。 符号化部 5 3から順番が正規の方向と異なる符号化 画像 5 4が得られる。
符号化画像 5 4が並べ替え部 5 5において処理され、 J P E Gデー 夕の並べ替えがなされる。 符号並べ替え部 5 5から外部メモリ 5 6に 対して処理方向が正規のものとされた J P E Gデータが出力され、 蓄 積される。 外部メモリ 5 6には、 正規の処理方向の順序の J P E Gデ —夕が蓄積される。 したがって、 この J P E Gデータを規格に基づい て構成されたデコーダによって復号することによって、 正しく画像を 復元することができる。
図示の例では、 画像を縮小処理できるように、 二つに重複して分割 し、 画像処理部 5 2に対して入力する。 処理結果には、 重複部が存在 する。 符号化部 5 3に対しては、 重複部を.削除した画像を伝送する。 縮小画像を生成するために、 符号化前のデータを画像処理部 5 2の出 力側から取り出して縮小部 5 7に供給する。 この場合、 重複部が削除 されていないことが縮小処理例えば間引きフィルタを使用したフィル タリングにとって必要である。 縮小部 5 7によって、 二つの領域がそ れぞれ縮小され、 縮小画像 5 8が生成される。 第 2 4図 A、 第 2 4図 Bおよび第 2 4図 Cの構成によって、 画像メモリ 5 1から 1回の画像 の読み出しでもって、 符号化と縮小画像の生成とを両方が可能となる 第 2 6図は、 複数例えば 2枚の画像 6 1 aおよび 6 1 bを一つの符 号化部で同時に符号化する処理を示す。 各画像を 6分割することで形 成されるブロック単位で J P E G符号化がなされる。 J P E G符号化 では、 交互に各画像のブロックが符号化されて符号化データ 6 2が得 られる。 符号化デ一夕 6 2の対応画像を画像 6 3として示す。
符号化デ一夕 6 2が並べ替えられる。 対応画像 6 5 aおよび 6 5 b で示すように、 原画像のブロックの順番と一致する順番となるように 、 ブロック単位での並べ替えと画像分離がなされる。 並べ替えおよび 分離後の符号化デ一夕 6 4 aおよび 6 4 bが形成される。 第 2 6図の 構成は、 符号化部の処理が前段の画像処理部の処理速度に比して速い 場合、 または小さなサイズの画像を複数個同時に作成する場合等に有 用である。
2枚の画像 6 1 aおよび 6 1 bを一つの符号化部 6 6で同時に符号 化する場合、 第 2 7図に示すように、 符号化特性例えば量子化特性を • 異ならせても良い。 画像 6 1 aに対しては、 斜線を符号化した量子化 テーブル 6 7 aを使用し、 画像 6 l bに対しては、 量子化テーブル 6 7 bを使用する。 符号化部 6 6からは、 J P E Gデータ 6 8が得られ る。 ハフマンテーブルを異ならせるよう ίςしても良い。
第 2 8図は、 1枚の画像を二つの処理部 （画像処理部および符号化 部) - で処理する例を示す。 ここで説明する例において、 画像処理部 7 4 aおよび 7 4 bが重複部を必要とするので、 画像分割部 7 2におい て、 1枚の画像 7 1が所定の幅の重複部分を持つように、 画像 7 3 a および 7 3 bに分割する。 重複部が不要な場合には、 重複させること は必要とされない。
画像分割部 7 2から出力される分割画像 7 3 aおよび 7 3 bがそれ ぞれ画像処理部 7 4 aおよび 7 4 bに供給される。 画像処理部 7 4 a および 7 4 bが分割画像 7 3 aおよび 7 3 bとそれぞれ対応する処理 結果画像 7 5 aおよび 7 5 bを出力する。 処理結果画像 7 5 aおよび 7 5 bは、 重複部分を有しない。
処理結果画像 7 5 aおよび 7 5 bは、 第 29図に示すように、 プロ ック単位で A 1， A 2, A 3, A4， B l， B 2 , B 3 , B 4の順で 別々の符号化部に対して出力される。 各符号化部が画像処理部からの 入力順でもって符号化を行う。 各符号化部から J P EGデ一夕 7 6 a および 7 6 bがそれぞれ得られる。 対応する画像 7 7 aおよび 7 7 b で示すように、 順番は正規のものではない。
並べ替え部によって J p E Gデータ 7 6 aおよび 76 bがーつの J PEGデータに合成されると共に、 並べ替えられる。 対応する画像 7 9および 80で示すように、 原画像のブロックの順番と一致する順番 となり、 且つ二つの画像が原画像と同様の配置関係で合成されるよう に、 ブロック単位の並べ替えがなされる。 対応画像 7 9は、 符号化前 の表記にしたがった画像であり、 対応画像 80は、 画像処理後の表記 にしたがった画像である。 なお、 並べ替えにおいて、 区切りコードを 上述した方法によって削除しても良いし、 切りコードを残しておい ても良い。
第 2 8図および第 29図の構成または^ L理は、 画像処理部単体の処 理性能が不足している場合でも、 複数の画像処理部を用いることによ つて処理の性能を向上させることができる。 この例では、 左右に画像 を分割したが、 上下に分割したり、 上下左右に分割するようにしても 良い。
次に、 画像を回転させる処理と並べ替え処理とを段階的に行う例に 対してこの発明を適用した実施形態について説明する。 最初に画像の 回転、 反転処理の並べ替えの定義について説明する。 '
90度回転とは、 下記の n行 m列の行列 Aから bi]'= a (n+1- と なる m行 n列の行列 Bへの並べ替えと同様の並べ替えと定義する。 行 列 Aおよび Bの各要素が画像の 1画素、 または複数画素からなるプロ ックに対応している。
Figure imgf000034_0001
ノ
Figure imgf000034_0002
1 80度回転とは、 上記の. n行 m列の行列 Aから b ij= a (nll-i) ( m+l-j)となる m行 n列の行列 Bへの並べ替えと同様の並べ替えと定義 する。
Figure imgf000034_0003
1ノ
270度回転とは、 上記の n行 m列の行列 Aから b ij = a j (m+l-i) となる m行 n列の行列 Bへの並べ替えと同様の並べ替えと定義する。
Figure imgf000034_0004
左右反転とは、 上記の n行 m列の行列 Aから b ij== a i j)とな る m行 n列の行列 Βへの並べ替えと同様の並べ替えと定義する。
(b '11 a 11
Figure imgf000034_0005
a "lノ
上下反転とは、 上記の n行 m列の行列 Aから b ij= a (n+1- i) jとな る m行]!列の行列 Bへの並べ替えと同様の並べ替えと定義する
Figure imgf000035_0001
画像の回転処理について、 画像を 1 8 0度回転、 すなわち、 上下左 右反転させる処理の一例について第 3 0図を参照して説明する。 原画 像 81が 4個の画像処理ブロックからなり、 各画像処理ブロックが 4 個の符号化ブロックからなる。 例えば A l， A 2 , A3, A 4, · · • ·がそれぞれ符号化ブロックを表し、 A 1〜A 4によって一つの画 像処理ブロックが構成される 9 同様に、 B 1〜B 4、 C 1〜C 4、 D 1〜D 4によってそれぞれ画像処理プロックが構成される。
第 1段階の処理として、 原画像 8 1の各画像処理ブロック内で 18 0度回転がなされ、 画像 82が形成される。 例えば符号化ブロック A 1〜A 4からなる画像処理ブロックでは、 対角方向に位置する二つの 符号化ブロック A 1および A 4、 並びに A 2および A 3の位置が入れ 替えられ、 上下左右に画素の位置が入れ替えられる。 このような並べ 替え処理は、 画像 8 1をメモリに格納し； メモリから画像 8 1を読み 出す時のアドレスを制御することによって実現できる。 また、 画像処 理と同時に並べ替え処理を行うことができる。
画像処理ブロック内で回転処理を受けた画像 82が （A4， A3, A 2, A l， C 4, C 3 , · · · · ) と画像処理ブロック毎に.符号化 部に入力され、 J P E Gの符号化処理を施され、 J PEGデータ 83 が発生する。 画像 84は、 J P E Gデータ 83のデ一夕の順序に対応 する画像を示す。
対応画像 84は、 画像 82と相違したものであるので、 第 2段階の 処理として正規の符号化順へ J PEGデータ 83が並べ替えられ、 J P E Gデ一夕 8 5が得られる。 対応画像 8 6は、 画像 8 2と同様のデ —夕配列を有しているが、 上下左右に反転した画像ではない。
そこで、 第 3段階の処理として、 上下左右反転した画像となるよう に、 画像処理ブロック単位で符号の並べ替えがなされ、 J P E Gデ一 夕 8 7が得られる。 すなわち、 画像処理ブロックを上述した回転の定 義における行列の 1要素とみなす。 J P E Gデ一夕 8 7は、 正規の符 号化順序にしたがって配列した場合に、 対応画像 8 8で示すように、 原画像 8 1を上下左右に反転した画像が得られる。
第 3 1図は、 画像を上下左右反転させる処理の他の例を示す。 原画 像 9 1は、 第 3 0図における原画像 8 1と同様のものである。 第 1段 階の処理として、 符号化ブロック内で上下左右反転処理を行い、 処理 結果の画像 9 2を形成する。 第 1段階の処理は、 画像処理と同時にな + される。
処理結果の画像 9 2が符号化部で符号化され、 J P E Gデータ 9 3 が得られる。 画像 9 4は、 J P E Gデータ 9 3のデ一夕の順序に対応 する画像を示す。 画像 9 4は、 画像 9 2と.相違したものであるので、 第 2段階の処理として正規の符号化順へ J P E Gデータ 9 3が並べ替 えられ、 J P E Gデータ 9 5が得られる。 対応画像 9 6は、 画像 9 2 と同様のデ一夕配列を有しているが、 上下左右に反転した画像ではな い。
そこで、 第 3段階の処理として、 上下左右反転した画像となるよう に、 符号化ブロック単位で符号の並べ替えがなされ、 J P E Gデータ 9 7が得られる。 すなわち、 符号化ブロックを上述した回転の定義に おける行列の 1要素とみなす。 J P E Gデータ 9 7は、 正規の符号化 順序にしたがって配列した場合に、 対応画像 9 8で示すように、 原画 像 9 1を上下左右に反転した画像が得られる。 なお、 1 8 0度回転の例について具体的に説明したが、 9 0度回転 、 上下反転等の他の処理も同様に行うことができる。
上述したように、 並べ替えがなされた符号化データを復号する場合 について説明する。 第 3 2図は、 復号時に並べ替えを行わない場合の 処理を示す。 原画像 1 0 1を （ 1→4→2→5→3→6) の順序で画 像処理し、 処理結果の画像を正規の J P EGの符号化の順序 （1— 2 → 3→4→ 5→ 6 ) で符号化して J P E Gデ一夕 1 0 2が得られる。 J P E Gデータ 1 0 2が並べ替えがされないで、 復号側に伝送される 復号側では、 復号された画像 1 0 3を出力順に画像処理する。 その 結果、 復号画像 1 04が得られる。 復号画像 1 04は、 原画像 1 0 1 と不一致となる問題が生じる。
第 3 3図は、 復号側におけるこの発明が適用された処理を説明する ものである。 符号化側から J P E Gデータ 1 0 6を受け取る。 画像 1 0 5は、 J P E Gデータ 1 0 6の対応画像である。 J P EGデータ 1 0 6を並べ替える。 符号化側でなされる ¾ベ替えの処理と逆方向の処 理がなされ、 J P EGデ一夕 1 0 7が得.られる。 すなわち、 復号側に おける並べ替えは、 符号化方法で規定された正規の処理方向から画像 処理ブロックの処理方向への符号化データの並べ替えである。 画像 1 0 8は、 J P E Gデータ 1 0 7の対応画像である。
J P EGデータ 1 0 7が復号部に出力され、 復号画像 1 0 9が得ら れる。 復号画像 1 0 9のブロックが （1→2→3→4→5→6) の順 序で出力される。 出力順に画像処理がなされ、 処理結果画像 1 1 0が 得られる。 処理結果画像 1 1 0は、 原画像 （画像 1 0 5と同様の配列 ) と一致したものとなる。 .
復号時の並べ替え処理においては、 事前に区切りコードが挿入され ている符号を並べ替えて復号する。 区切りコードがない場合には、 並 ベ替えの前に区切りコードを揷入する処理が必要とされる。 さらに、 復号時に符号化時と同様に上下左右反転、 回転等の処理を行うことが 可能である。
以上、 この発明の実施の形態について具体的に説明したが、 この発 明は、 上述の実施の形態に限定されるものではなく、 この発明の技術 的思想に基づく各種の変形が可能である。 例えばこの発明は、 デイジ 夕ルスチルカメラに限らず、 J PEGまたは MP EGの符号化装置を 備える画像記録装置、 パーソナルコンピュータ、 PDA^ersonal Di gital Assistants), 画像送信装置、 携帯端末、 携帯電話等に適用す ることができる。

Claims

請 求 の 範 囲
1 . 画像処理部によって処理した画像デ一夕を符号化部で所定の符号 化単位で符号化を行う画像処理装置において、
符号化部が画像処理部から出力されるデータ順で符号化を行い、 上記画像処理部の処理方向から上記符号化部の符号化方法で規定さ れた正規の処理方向へ並べ替えを行う並べ替え部を備える画像処理装 置。
2 . 請求の範囲 1において、
上記並べ替え部は、 上記画像処理部から出力されるデ一夕の内で、 上記正規の処理方向と一致するデ一夕単位を符号化した符号化データ 単位で並べ替えを行う画像処理装置。
3 . 請求の範囲 1において、
• 上記正規の処理方向と一致するデータ単位の長さが複数種類存在し 、 上記複数種類の長さの合計が画像の横幅と一致する画像処理装置。
4 . 請求の範囲 1において、
上記画像処理部から出力されるデータの単位は、 縦横ともに上記符 号化部の符号化単位の整数倍である画像処理装置。
5 . -請求の範囲 1において、
上記符号化部は、 データの圧縮と可変長符号化を行う符号器であり 、 上記正規の処理方向と一致するデ一夕単位を符号化した符号化デ一 夕単位毎に予め規定された値の区切りコードを挿入する画像処理装置
6 . 請求の範囲 5において、
上記符号化部は、 上記区切りコードの後では、 上記正規の処理方向 と一致する単位で他の上記単位と独立している符号を出力する画像処 理装置。
7 . 請求の範囲 5において、
上記並べ替え部は、 上記区切りコードの値を書き換える画像処理装 置。
8 . 請求の範囲 5において、
上記符号化部は、 J P E G符号器であり、 上記並べ替え部は区切り コードの削除とそれに続くマクロプロックの D C係数符号を変更する 画像処理装置。
9 . 請求の範囲 1において、
上記画像処理部の処理単位を 1つの画像とみなして符号化を行うこ とにより複数の符号化データを生成し、 上記正規の処理方向と一致す る単位の上記符号化デ一夕を読み出し、 読み出した上記符号化データ を並べ替える画像処理装置。
• 1 0 . 請求の範囲 9において、
上記複数の符号化データの開始位置を等間隔のメモリアドレスとす る画像処理装置。
1 1 . 複数の符号化単位からなる画像処理ブロック内で、 画像の回転 または反転を行う第 1段階の処理を行い.、 上記第 1段階の処理後のデ —夕を出力する画像処理部と、
上記画像処理部から出力されるデータ順で、 且つ所定の符号化単位 で符号化を行う符号化を行う符号化部と、
上記画像処理部の処理方向から上記符号化部の符号化方法で規定さ れた正規の処理方向へ並べ替えを行う第 2段階の処理を行う第 1の並 ベ替え部と、
上記画像処理単位を 1要素とみなして上記第 2段階の処理後のデー 夕に対して所定の回転または反転を行う第 3段階の処理を行う第 2の 並べ替え部と を備える画像処理装置。
1 2 . 所定の符号化単位内で、 画像の回転または反転を行う第 1段階 の処理を行い、 上記第 1段階の処理後のデータを出力する画像処理部 と、
上記画像処理部から出力されるデータ順で、 且つ上記符号化単位で 符号化を行う符号化部と、
上記画像処理部の処理方向から上記符号化部の符号化方法で規定さ れた正規の処理方向へ並べ替えを行う第 2段階の処理を行う第 1の並 ベ替え部と、
上記符号化単位を 1要素と なして上記第 2段階の処理後のデ一夕 に対して所定の回転または反転を行う第 3段階の処理を行う第 2の並 ベ替え部と .
• を備える画像処理装置。
1 3 . 画像処理部によって処理した画像データを符号化部で所定の符 号化単位で符号化を行う画像処理方法において、
画像処理部から出力されるデータ順で符号化を行う符号化ステップ と、 ■
上記画像処理部の処理方向から上記符号化で規定された正規の処理 方向へ並べ替えを行う並べ替えステップとを有する画像処理方法。 1 4 . 画像処理部によって処理した画像データを符号化部で所定の符 号化単位で符号化を行う画像処理方法をコンピュータに実行させるプ ログラムにおいて、
画像処理部から出力されるデー夕順で符号化を行う符号化ステップ と、
上記画像処理部の処理方向から上記符号化で規定された正規の処理 方向へ並べ替えを行う並べ替えステップとを有する画像処理方法のプ ログラム。
1 5 . 撮像素子によって撮影された画像デ一夕に対して画像処理を行 う画像処理部と、 画像処理部によって処理した画像データを符号化部 で所定の符号化単位で符号化する符号化部を有する撮像装置において 、
符号化部が画像処理部から出力されるデ一夕順で符号化を行い、 上記画像処理部の処理方向から上記符号化部の符号化方法で規定さ れた正規の処理方向へ並べ替えを行う並べ替え部を備える撮像装置。
PCT/JP2006/300776 2005-01-26 2006-01-12 符号化装置、符号化方法および符号化プログラム、並びに撮像装置 WO2006080240A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US11/795,993 US8320685B2 (en) 2005-01-26 2006-01-12 Picture processing apparatus and method, and imaging apparatus
KR1020077016461A KR101226877B1 (ko) 2005-01-26 2006-01-12 부호화 장치, 부호화 방법 및 부호화 프로그램, 및 촬상장치
EP06700921A EP1843571A4 (en) 2005-01-26 2006-01-12 ENCODING DEVICE, ENCODING METHOD, ENCODING PROGRAM, AND IMAGING DEVICE
CN2006800031130A CN101107838B (zh) 2005-01-26 2006-01-12 图像处理装置、图像处理方法和摄像装置
BRPI0607074-4A BRPI0607074A2 (pt) 2005-01-26 2006-01-12 aparelho e método de processamento de quadro, programa, e, aparelho de geração de imagem

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005-017588 2005-01-26
JP2005017588 2005-01-26
JP2005-231784 2005-08-10
JP2005231784A JP4151684B2 (ja) 2005-01-26 2005-08-10 符号化装置、符号化方法および符号化プログラム、並びに撮像装置

Publications (1)

Publication Number Publication Date
WO2006080240A1 true WO2006080240A1 (ja) 2006-08-03

Family

ID=36740274

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/300776 WO2006080240A1 (ja) 2005-01-26 2006-01-12 符号化装置、符号化方法および符号化プログラム、並びに撮像装置

Country Status (7)

Country Link
US (1) US8320685B2 (ja)
EP (1) EP1843571A4 (ja)
JP (1) JP4151684B2 (ja)
KR (1) KR101226877B1 (ja)
CN (1) CN101107838B (ja)
BR (1) BRPI0607074A2 (ja)
WO (1) WO2006080240A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012134776A (ja) * 2010-12-21 2012-07-12 Canon Inc 画像処理装置、画像処理方法、及びプログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2932337A1 (fr) * 2008-06-05 2009-12-11 Sagem Comm Procede de production d'un flux jpeg
US8699760B2 (en) * 2008-09-16 2014-04-15 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
KR101037624B1 (ko) * 2009-06-19 2011-05-30 (주)실리콘화일 메모리를 사용하지 않고 구현되는 이미지 회전 방법 및 장치
US9286698B2 (en) * 2010-12-14 2016-03-15 Telefonaktiebolaget L M Ericsson (Publ) Method and device for storing a compression ratio indication in a pixel value buffer in tile encoding
JP2012151593A (ja) * 2011-01-18 2012-08-09 Sony Corp 画像処理装置と画像処理方法および撮像装置
JP2013126186A (ja) * 2011-12-15 2013-06-24 Samsung Electronics Co Ltd 撮像装置及び画像処理方法
JP2013126182A (ja) * 2011-12-15 2013-06-24 Samsung Electronics Co Ltd 撮像装置及び画像処理方法
US10003803B1 (en) 2012-04-18 2018-06-19 Matrox Graphics Inc. Motion-based adaptive quantization
US10003802B1 (en) 2012-04-18 2018-06-19 Matrox Graphics Inc. Motion-based adaptive quantization
US9300984B1 (en) * 2012-04-18 2016-03-29 Matrox Graphics Inc. Independent processing of data streams in codec
JP2014045341A (ja) * 2012-08-27 2014-03-13 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2015195526A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 画像処理装置、および画像処理方法
US10284861B2 (en) 2016-12-09 2019-05-07 Advanced Micro Devices, Inc. Concurrent image compression and thumbnail generation
JP2020021989A (ja) 2018-07-30 2020-02-06 キヤノン株式会社 撮像装置
US11388401B2 (en) * 2020-06-26 2022-07-12 Google Llc Extended transform partitions for video compression
CN113706493B (zh) * 2021-08-20 2024-03-22 北京航空航天大学 基于dct频率自适应选择的数字病理全切片分割方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0537790A (ja) * 1991-07-29 1993-02-12 Canon Inc 画像処理装置
WO2003034709A1 (en) * 2001-10-17 2003-04-24 Naltec Inc. Decompressing method and data processor
JP2003189109A (ja) * 2001-10-09 2003-07-04 Canon Inc 画像処理装置及び方法、並びにコンピュータ・プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05227527A (ja) 1991-10-30 1993-09-03 G C Technol Kk インターレース画像符号化方法と装置
KR970006633B1 (ko) 1993-12-29 1997-04-29 현대전자산업 주식회사 가변길이 복호기용 데이타 출력장치
US6009236A (en) * 1994-09-26 1999-12-28 Mitsubishi Denki Kabushiki Kaisha Digital video signal record and playback device and method for giving priority to a center of an I frame
JPH0983779A (ja) 1995-09-19 1997-03-28 Canon Inc 通信端末装置
EP0817494A3 (en) * 1996-06-28 1998-07-22 Oki Electric Industry Co., Ltd. Image coding method and apparatus
JPH10271529A (ja) * 1997-03-21 1998-10-09 Mitsubishi Electric Corp 画像処理装置及び静止画像撮像装置並びに画像処理方法
AUPP248298A0 (en) * 1998-03-20 1998-04-23 Canon Kabushiki Kaisha A method and apparatus for hierarchical encoding and decoding an image
JPH11298878A (ja) 1998-04-08 1999-10-29 Nec Corp 画像スクランブル方法およびそれを実施する装置
US6460061B1 (en) 1999-10-29 2002-10-01 Xilinx Inc. 2-dimensional discrete cosine transform using a polynomial transform
CN1314206C (zh) * 2001-03-05 2007-05-02 皇家菲利浦电子有限公司 压缩信号的设备和方法
JP4179777B2 (ja) 2001-12-19 2008-11-12 オリンパス株式会社 画像処理装置
JP2003348355A (ja) 2002-05-29 2003-12-05 Canon Inc 画像処理装置及びその制御方法
KR20040063650A (ko) 2003-01-08 2004-07-14 엘지전자 주식회사 비디오 코덱의 리사이징 시스템
JP3835416B2 (ja) 2003-03-04 2006-10-18 石川島播磨重工業株式会社 画像圧縮装置、画像圧縮方法及び画像圧縮プログラム
JP4074832B2 (ja) 2003-05-07 2008-04-16 ナルテック株式会社 データ処理方法およびデータ処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0537790A (ja) * 1991-07-29 1993-02-12 Canon Inc 画像処理装置
JP2003189109A (ja) * 2001-10-09 2003-07-04 Canon Inc 画像処理装置及び方法、並びにコンピュータ・プログラム
WO2003034709A1 (en) * 2001-10-17 2003-04-24 Naltec Inc. Decompressing method and data processor

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1843571A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012134776A (ja) * 2010-12-21 2012-07-12 Canon Inc 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
KR20070104358A (ko) 2007-10-25
US20080123970A1 (en) 2008-05-29
EP1843571A1 (en) 2007-10-10
EP1843571A4 (en) 2008-07-02
CN101107838A (zh) 2008-01-16
JP4151684B2 (ja) 2008-09-17
US8320685B2 (en) 2012-11-27
KR101226877B1 (ko) 2013-01-25
BRPI0607074A2 (pt) 2009-12-01
JP2006238407A (ja) 2006-09-07
CN101107838B (zh) 2012-11-14

Similar Documents

Publication Publication Date Title
JP4151684B2 (ja) 符号化装置、符号化方法および符号化プログラム、並びに撮像装置
US20200195851A1 (en) Compression and decoding of single sensor color image data
US7965776B2 (en) Apparatus and method for processing and displaying pictures
KR100793286B1 (ko) 버퍼 메모리의 사용량이 작은 디지털 영상 코덱 및 그 제어방법
US7787700B2 (en) Signal processing method, signal processing apparatus, computer-readable medium and a data recording medium
JP4092830B2 (ja) 画像データ圧縮方法
JP4109151B2 (ja) 画像処理装置
JP2004165733A (ja) 画像変換装置及び画像変換方法並びに記録媒体
JP4720494B2 (ja) 撮像装置、撮像方法およびプログラム、並びに記録媒体
US20210352303A1 (en) Method for processing transform coefficients
JP2005045797A (ja) 画像データの伝送に要する帯域幅を縮小するための方法及び装置
TWI426465B (zh) 使用ｊｐｅｇ用於顯示及記錄的彩色影像旋轉之方法及裝置
JP4122753B2 (ja) 画像処理装置
JP4124686B2 (ja) 画像データ処理装置
JP4219079B2 (ja) 画像処理装置
US20110286663A1 (en) Method And Apparatus Of Color Image Rotation For Display And Recording Using JPEG
JP2003304403A (ja) 画像処理装置
JP2000078514A (ja) 画像高速表示装置及び画像高速表示方法
JP2000013659A (ja) 電子カメラ及び画像データ処理方法
JP2009004878A (ja) 画像処理装置、画像処理方法および画像処理プログラム、並びに撮像装置
JP2006211323A (ja) 画像処理装置
JPH11103462A (ja) 符号化装置及び方法、復号化装置及び方法並びに記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006700921

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020077016461

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 200680003113.0

Country of ref document: CN

Ref document number: 11795993

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2006700921

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 11795993

Country of ref document: US

ENP Entry into the national phase

Ref document number: PI0607074

Country of ref document: BR

Kind code of ref document: A2