WO2015098721A1 - Image processing device, image processing method, image processing program, and imaging device - Google Patents

Image processing device, image processing method, image processing program, and imaging device Download PDF

Info

Publication number
WO2015098721A1
WO2015098721A1 PCT/JP2014/083650 JP2014083650W WO2015098721A1 WO 2015098721 A1 WO2015098721 A1 WO 2015098721A1 JP 2014083650 W JP2014083650 W JP 2014083650W WO 2015098721 A1 WO2015098721 A1 WO 2015098721A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pixel
block image
block
frame memory
Prior art date
Application number
PCT/JP2014/083650
Other languages
French (fr)
Japanese (ja)
Inventor
拓哉 八木
恭司 吉野
Original Assignee
大日本印刷株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大日本印刷株式会社 filed Critical 大日本印刷株式会社
Publication of WO2015098721A1 publication Critical patent/WO2015098721A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, an image processing program, and an imaging apparatus that process an image captured by a camera or the like.
  • Patent Document 1 correction processing is performed for each pixel of an output image using pixel data of an input image, and pixel data for which correction processing has been completed is output for each line in the scanning order of the output image.
  • An image distortion correction processing method that secures only the number of lines of an input image necessary for obtaining one line of an output image by reading pixels of the input image is disclosed.
  • Patent Document 1 it is necessary to obtain a distortion-corrected output image for one line when a distortion image of an input image captured as a moving image by a fisheye lens or the like is corrected to a planar regular image and output.
  • Such an input image requires an image memory for almost one frame.
  • the present invention has been made in view of the above-described problems, and an example of the problem is to provide an image processing apparatus that corrects a distorted image into a planar regular image with a low-capacity memory.
  • the invention described in claim 1 includes a distorted image acquisition unit that acquires image data of a distorted image from a wide-angle lens or an omnidirectional mirror from an imaging unit, and the distorted image is a predetermined size.
  • Block image means for dividing the block image into a plurality of block images; compression means for compressing the block image into a compressed block image; writing means for writing the compressed block image into a frame memory; Address storage means for storing a storage location in the frame memory, expansion means for expanding the compressed block image read from the frame memory, and a block image obtained by expanding the read compressed block image are stored in the cache memory A storage unit, and when converting the distorted image into a planar regular image, a predetermined regular image of the planar regular image A pixel specifying unit for specifying a pixel in the distorted image corresponding to an element, a first reading unit for reading the specified pixel from the cache memory, and the specified pixel not stored in the cache memory, Second reading means for reading the compressed block image including the identified pixel from the frame memory with reference to the address storage means for decompressing the compressed block image and storing it in the cache memory; It is provided with.
  • the invention according to claim 2 is the image processing apparatus according to claim 1, further comprising block image specifying means for specifying a block image including a pixel specified by the pixel specifying means, wherein the second reading is performed.
  • Means refers to the address storage means for decompressing the compressed block image and storing it in the cache memory if the identified block image is not stored in the cache memory; The compressed block image corresponding to the block image is read from the frame memory.
  • the invention according to claim 3 further comprises a write determination means for determining whether or not to write the compressed block image to the frame memory in the image processing device according to claim 1 or 2. It is characterized by.
  • the write determination means determines whether or not the capacity of the frame memory is exceeded, and exceeds the capacity of the frame memory.
  • the compression rate of the image in the compression means is increased.
  • the specified pixel is a block image corresponding to a compressed block image that has not been written to the frame memory.
  • Block image determination means for determining whether or not the image is included, and when the specified pixel is a pixel included in a block image corresponding to a compressed block image that has not been written in the frame memory,
  • Output means for outputting a predetermined value without reading the specified pixel.
  • the invention according to claim 6 is the image processing apparatus according to any one of claims 1 to 5, wherein the pixel specifying unit scans the planar regular image so as to scan the planar regular image.
  • the predetermined pixel is determined, and a pixel in the distorted image corresponding to the determined pixel is specified.
  • a distorted image obtaining unit that obtains image data of a distorted image from a wide-angle lens or an omnidirectional mirror from an imaging unit, and a plurality of divided distorted images having a predetermined size.
  • Block image means for dividing the block image into block images; compression means for compressing the block image into a compressed block image; writing means for writing the compressed block image into a frame memory; storing a storage location of the compressed block image in the frame memory Address storage means, decompression means for decompressing the compressed block image read from the frame memory, storage means for storing the block image obtained by decompressing the read compressed block image in a cache memory, and the distorted image as a planar regular image The distortion corresponding to a predetermined pixel of the planar regular image.
  • Pixel specifying means for specifying a pixel in the image
  • first reading means for reading out the specified pixel from the cache memory
  • the address storage unit is referred to function as a second reading unit that reads the compressed block image including the identified pixel from the frame memory.
  • an imaging unit that captures a distorted image from a wide-angle lens or an omnidirectional mirror, a distorted image acquisition unit that acquires image data of the distorted image from the imaging unit, and the distorted image.
  • Block image means for dividing the block image into a plurality of block images divided into a predetermined size; compression means for compressing the block image into a compressed block image; writing means for writing the compressed block image into a frame memory; and the compressed block Address storage means for storing the storage location of the image in the frame memory; decompression means for decompressing the compressed block image read from the frame memory; and a block memory obtained by decompressing the read compressed block image Storage means for storing, and when converting the distorted image into a planar regular image, the planar regular A pixel specifying unit that specifies a pixel in the distorted image corresponding to a predetermined pixel of the image; a first reading unit that reads the specified pixel from the cache memory; and the specified pixel is stored in the cache memory. If not, the compressed block image is read from the frame memory with reference to the address storage means to decompress the compressed block image and store it in the cache memory. And a reading means.
  • a distorted image can be corrected to a planar regular image with a low-capacity memory.
  • FIG. 1 is a block diagram illustrating a schematic configuration example of an image processing system according to an embodiment of the present invention. It is a schematic diagram which shows an example of the distorted image imaged with the camera of FIG. It is a schematic diagram which shows an example of the division
  • 3 is a flowchart illustrating an example of an operation of writing compressed block image data in a frame memory in the image processing apparatus of FIG. 1. It is a schematic diagram which shows an example of the memory space of the frame memory which stores the data of a compression block image. 3 is a flowchart illustrating an operation example of reading compressed block image data from a frame memory in the image processing apparatus of FIG. 1. It is a schematic diagram which shows an example of the relationship between a distortion image and a planar regular image.
  • FIG. 6 is a flowchart showing a modified example of an operation of writing the compressed block image data of FIG. 5 into the frame memory.
  • FIG. 1 is a block diagram showing a schematic configuration example of an image processing system according to an embodiment of the present invention.
  • FIG. 2 is a schematic diagram illustrating an example of a distorted image captured by a camera.
  • FIG. 3 is a schematic diagram illustrating an example of the division of the distorted image.
  • FIG. 4 is a schematic diagram illustrating an example of a block image.
  • an image processing system 1 converts a camera unit 2 having a wide-angle lens or an omnidirectional mirror into a planar regular image into a distorted image photographed by the camera unit 2.
  • An image processing apparatus 10 that performs image processing, a parameter input unit 3 that inputs parameters necessary for image conversion processing of the image processing apparatus 10, and an image in which a distorted image is divided into block images and compressed in the image processing apparatus 10
  • a frame memory 4 for storing data and a display monitor 5 for displaying an image processed by the image processing apparatus 10 are provided.
  • an imaging device is formed by the camera unit 2 and the image processing device 10. This imaging device is used as, for example, an in-vehicle back camera.
  • the camera unit 2 is, for example, a camera having an orthographic fisheye lens and an image sensor (an example of an imaging unit) such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device).
  • the camera unit 2 outputs a distorted circular image of a moving image (an example of a distorted image).
  • the camera unit 2 is installed in a predetermined direction behind the vehicle and captures a wide range of images that eliminate the blind spot of the driver.
  • an input image 20 captured by the camera unit 2 includes a distorted circular image unit 21 in which light from a fisheye lens forms an image sensor, and an undistorted circular image unit 22 other than the distorted circular image unit 21. And have.
  • the non-distorted circular image portion 22 is a portion where light from the fisheye lens does not strike.
  • the lens of the camera unit 2 is not limited to a wide-angle lens, and may be a normal angle-of-view lens combined with an omnidirectional mirror.
  • the angle of view of the wide-angle lens is not limited to 180 °, and may be larger or smaller than 180 °.
  • the image captured by the camera unit 2 may be a still image.
  • the camera part 2 has a diagonal fisheye lens, a rectangular distortion image is output.
  • the camera unit 2 may be a non-orthogonal projection lens such as an equidistant projection lens or an equisolid angle projection lens.
  • the parameter input unit 3 accepts input of parameters necessary for image conversion from a distorted circular image to a planar regular image.
  • the parameter input unit 3 includes a line-of-sight vector based on the viewpoint of photographing a distorted circular image, a parameter indicating the size of a planar regular image corresponding to a cut-out area cut out from the distorted circular image, and a planar regular image to be displayed.
  • Input of parameters necessary for setting the magnification and the like is received based on user instruction input.
  • the planar regular image is a planar regular image that is coordinate-transformed according to a certain rule in order to reduce distortion of the distorted image.
  • the frame memory 4 is configured by a RAM (Random Access Memory) such as a DDR (Double-Data-Rate) system.
  • the frame memory 4 stores image data corresponding to at least one frame of the moving image output from the camera unit 2.
  • the frame memory 4 has a memory area for two frames, one being a frame memory for writing and the other being a frame memory for reading.
  • the frame memory 4 has a capacity corresponding to a predetermined compression rate with respect to the size of the frame image of the moving image output from the camera unit 2.
  • the capacity of the frame memory 4 has a capacity of 90% with respect to the size of the frame image.
  • the display monitor 5 is a monitor screen (planar screen) constituted by a liquid crystal display element or an EL (Electro Luminescence) element as an example of a display means.
  • the display monitor 5 displays a distorted circular image taken by the camera unit 2, a planar regular image obtained by image conversion, and the like.
  • the image processing apparatus 10 divides the input image 20 from the camera unit 2 into a plurality of block images divided into a predetermined size as shown in FIG. Each block image is assigned a block number such as block numbers b0, b1, b2, b3.
  • the size of the block image is, for example, 8 ⁇ 8 pixels as shown in FIG.
  • the size of the input image 20 is, for example, 2048 ⁇ 1536 pixels and the size of the block image is 8 ⁇ 8 pixels, the division in FIG. 3 is schematic.
  • the image processing apparatus 10 includes a line buffer 11 that temporarily stores a part of image data (input image 20) of a distorted circular image output from the camera unit 2, and a A block image unit 12 that divides a distorted circular image into a plurality of block images divided into a predetermined size, a compression unit 13 that compresses the block image into a compressed block image, and a memory control unit that writes the compressed block image into the frame memory 4 14, a decompression unit 15 for decompressing the compressed block image read from the frame memory 4, a cache memory 16 for storing the block image obtained by decompressing the read compressed block image, and a parameter from the parameter input unit 3 Based on this, a corresponding coordinate calculation unit 17 that calculates corresponding coordinates between the distorted circular image and the planar regular image, and a corresponding coordinate calculation unit 17 Having an image conversion processing unit 18 for reading the information of the pixels in the corresponding coordinates more calculated from the cache memory 16, a line buffer 19 for temporarily storing the information of the pixels from the
  • the image processing apparatus 10 is configured by hardware using an LSI (Large Scale Integration) chip that performs dedicated calculations and the like.
  • the function of each part of the image processing apparatus 10 is realized by a circuit.
  • the line buffer 11 (an example of a distorted image acquisition unit) is configured by a RAM such as an SRAM (Static Random Access Memory).
  • the line buffer 11 has a memory for storing the number of lines corresponding to the size of the block image. For example, if the block image is 8 ⁇ 8 pixels, the line buffer 11 has at least an 8-line buffer corresponding to the number of pixels 8 in the y direction of the block image with respect to the input image 20.
  • the line buffer 11 stores the image data sequentially output from the camera unit 2 so as to raster-scan the input image 20 line by line, and the block image 25 corresponding to 8 lines is in the x direction.
  • Image data (block line image 26) arranged in a line in the (main scanning direction of scanning) is stored.
  • the line buffer 11 may have an 8 line ⁇ 2 buffer, one of which is an input line buffer and the other of which is switched to an output line buffer.
  • the block image unit 12 (an example of block image means) includes a circuit that divides the block line image 26 into block images 25.
  • the block image unit 12 has a memory capable of storing the block line image 26, and from this memory, the range of 8 ⁇ 8 pixels of the block image 25 is raster-scanned and read out and output to the compression unit 13. It has a circuit that reads out a range of 8 ⁇ 8 pixels corresponding to the adjacent block image 25 by raster scanning and outputs it to the compression unit 13.
  • the compression unit 13 (an example of a compression unit) includes a circuit that realizes a digital data compression method.
  • the image compression rate of the compression unit 13 may be variable.
  • a digital data compression method there is a still image compression method such as JPEG (Joint Photographic Experts Group).
  • the memory control unit 14 (an example of a writing unit and a second reading unit) stores a memory for storing a storage location of the compressed block image in the frame memory space, a block number of the block image 25, and the like, and the compressed block image in the frame memory 4.
  • a circuit for realizing a writing operation and a circuit for realizing an operation for reading a compressed block image from the frame memory 4 based on information from the image conversion processing unit 18 are included.
  • the memory (an example of the address storage unit) of the memory control unit 14 stores the block number of the block image output to the cache memory 16.
  • the decompression unit 15 (an example of decompression means) includes a circuit that realizes an operation of inverse conversion (operation of decompressing image data) opposite to the compression conversion in the compression method of the compression unit 13.
  • the cache memory 16 is configured by a RAM such as SRAM (Static Random Access Memory). It has a capacity capable of storing at least one block image.
  • the normal capacity may be one block image.
  • the maximum capacity is a capacity that can store a smaller number of block images than the total number of blocks among a plurality of block images obtained by dividing the input image into a predetermined size.
  • Corresponding coordinate calculation unit 17 includes a circuit that calculates corresponding coordinates between a distorted circular image and a planar regular image based on parameters from parameter input unit 3.
  • the image conversion processing unit 18 (an example of a pixel specifying unit, a first reading unit, and a block image specifying unit) realizes an operation such as reading out information on pixels of corresponding coordinates calculated by the corresponding coordinate calculating unit 17 from the cache memory 16. Circuit.
  • the line buffer 19 is composed of a RAM such as an SRAM.
  • the line buffer 19 has a memory for storing at least one line number for the input image 20.
  • the line buffer 11 is connected to the block image unit 12 and outputs a block line image 26.
  • the block image unit 12 is connected to the compression unit 13 and outputs a block image 25.
  • the compression unit 13 is connected to the memory control unit 14 and outputs a compressed block image obtained by compressing the block image 25.
  • the memory control unit 14 is connected to the frame memory 4 and reads / writes image data.
  • the decompression unit 15 is connected to the memory control unit 14 and the cache memory 16, decompresses the compressed block image from the memory control unit 14, and outputs the decompressed block image to the cache memory 16.
  • the cache memory 16 is connected to the image conversion processing unit 18, is given position information of the pixel to be read from the image conversion processing unit 18, and outputs the pixel information to the image conversion processing unit 18.
  • the corresponding coordinate calculation unit 17 is connected to the parameter input unit 3 and the image conversion processing unit 18, and outputs the corresponding coordinates to the image conversion processing unit 18 based on the parameters from the parameter input unit 3.
  • the image conversion processing unit 18 is connected to the memory control unit 14, the cache memory 16, and the line buffer 19, and stores information on the block number of the block image read from the frame memory 4 based on the corresponding coordinates from the corresponding coordinate calculation unit 17.
  • the information is output to the control unit 14, the pixel information of the pixel at the corresponding coordinate is read from the cache memory 16, and the read pixel information is output to the line buffer 19.
  • the image processing apparatus 10 may be configured by a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), or the like as a computer.
  • the CPU reads and executes various programs stored in the ROM and RAM.
  • Various programs such as an image processing program are read from a recording medium and recorded in a RAM or the like.
  • FIG. 5 is a flowchart showing an example of an operation of writing compressed block image data in the frame memory in the image processing apparatus 10.
  • FIG. 6 is a schematic diagram illustrating an example of a memory space of a frame memory that stores compressed block image data.
  • the image processing apparatus 10 acquires an input image including a distorted circular image (step S1). Specifically, the line buffer 11 of the image processing apparatus 10 acquires and stores image data line by line from the input image 20 captured by the camera unit 2, and generates a block line image 26 for eight lines. . Then, the line buffer 11 outputs the generated block line image 26 to the block image unit 12 and generates the next block line image 26 in the y direction.
  • the image processing apparatus 10 functions as an example of a distorted image acquisition unit that acquires image data of a distorted image from a wide-angle lens or an omnidirectional mirror from an imaging unit.
  • the image processing apparatus 10 divides the input image into block images (step S2). Specifically, the block image unit 12 of the image processing apparatus 10 divides the block line image 26 into block images 25. More specifically, the block image unit 12 raster-scans and reads out an 8 ⁇ 8 pixel range (an example of a predetermined size) of the block image 25 from the block line image 26 and outputs it to the compression unit 13. Then, the range of 8 ⁇ 8 pixels corresponding to the next adjacent block image 25 in the x direction is raster scanned and read out and output to the compression unit 13. The block image unit 12 sequentially extracts the block images 25 from the block line image 26 from the memory of the block image unit 12 in the x direction, and divides the block line image 26 into block images 25.
  • 8 ⁇ 8 pixel range an example of a predetermined size
  • the image processing apparatus 10 functions as an example of a block image unit that divides the distorted image into a plurality of block images divided into a predetermined size.
  • the image processing apparatus 10 compresses the block image into a compressed block image (step S3).
  • the compression unit 13 of the image processing apparatus 10 compresses the block image 25 output from the block image unit 12 by a known digital data compression method.
  • the compression unit 13 outputs the compressed compressed block image image data to the memory control unit 14.
  • the actual compression rate differs depending on the block image 25, and the data length of the compressed block image varies.
  • the image processing apparatus 10 functions as an example of a compression unit that compresses the block image into a compressed block image.
  • the image processing apparatus 10 determines whether or not the capacity is exceeded (step S4). Specifically, the memory control unit 14 of the image processing apparatus 10 determines whether or not the total capacity of the compressed block image image data written to the frame memory 4 exceeds the memory capacity of the frame memory 4. judge.
  • the block image after the memory capacity of the frame memory 4 is exceeded is often the block image corresponding to the last part of the raster scan, that is, often belongs to the non-distorted circular image portion 22.
  • the image processing apparatus 10 functions as an example of a write determination unit that determines whether or not to write the compressed block image to the frame memory.
  • step S5 the image processing apparatus 10 writes the compressed block image in the frame memory 4 (step S5).
  • the memory control unit 14 of the image processing apparatus 10 stores the image data of the compressed block image in the block memory space of the frame memory 4 as shown in FIG.
  • the image processing apparatus 10 functions as an example of a writing unit that writes the compressed block image in the frame memory.
  • the image processing apparatus 10 stores the storage location of the compressed block image in the frame memory space (step S6). Specifically, the memory control unit 14 of the image processing apparatus 10 determines the start address, the block image number, and the like in the frame memory space of each compressed block image, as shown in FIG. 6, according to the data length of the compressed block image. Is stored in the memory of the memory control unit 14. As shown in FIG. 6, in the case of block number b0, the start address is (0x000,0x000), in the case of block number b1, the start address is (0x001,0x002), and in the case of block number b2, the start address is ( 0x002, 0x003) and block number b3, the start address is (0x001,0x005). As described above, the image processing apparatus 10 separately manages the start address of each block. Note that when reading, the image processing apparatus 10 reads the block of image data of the compressed block image with reference to the start address.
  • the memory control unit 14 When the memory control unit 14 receives a compressed block image from the compression unit 13, the block number is counted.
  • the image processing apparatus 10 functions as an example of an address storage unit that stores a storage location of the compressed block image in the frame memory.
  • the image processing apparatus 10 determines whether or not it is the last block image (step S7). Specifically, the memory control unit 14 of the image processing apparatus 10 counts the number of processed blocks and determines whether or not it is the last block number in the input image 20. When the size of the input image 20 is 2048 ⁇ 1536 pixels and the size of the block image is 8 ⁇ 8 pixels, the last block number is the 49,152th block number.
  • step S7 If it is not the last block image (step S7; NO), the process returns to step S3, and the image processing apparatus 10 compresses the next block image 25. Specifically, the compression unit 13 compresses the next block image 25 output from the block image unit 12. By repeating step S3 to step S9, the block image 25 output from the block image unit 12 is sequentially compressed, and the compressed block image is sequentially written in the frame memory 4.
  • step S7 the image processing apparatus 10 ends the series of processes. Specifically, the image processing apparatus 10 acquires the image data of the next frame from the camera unit 2 as in step S1. The image processing apparatus 10 stores the image data of the compressed block image in a block unit in another frame memory space of the frame memory 4.
  • step S4 If the capacity is exceeded (step S4; YES), the image processing apparatus 10 stores the block number of the block image 25 whose capacity has been exceeded, and ends the series of processes. Specifically, the memory control unit 14 of the image processing apparatus 10 stores the block number of the block image 25 whose capacity has been exceeded in the memory of the memory control unit 14. Then, the image processing apparatus 10 acquires the image data of the next frame from the camera unit 2 as in step S1. Next, the image processing apparatus 10 stores the image data of the compressed block image in a block unit in another frame memory space of the frame memory 4.
  • block images after the block number of the block image 25 whose capacity has been exceeded are handled as discarded block images. Since the discarded block image is set to the size of the frame memory 4 corresponding to the average image compression rate with respect to the size of the input image 20, the input image at the time of raster scanning is set. In many cases, the image is a block image in the undistorted circular image portion 22 in the lower right part of FIG. That is, the block images after the block number of the block image 25 that has exceeded the capacity are often black information (for example, (0, 0, 0) in RGB).
  • FIG. 7 is a flowchart illustrating an example of an operation for reading compressed block image data from the frame memory 4 in the image processing apparatus 10.
  • FIG. 8 is a schematic diagram illustrating an example of a relationship between a distorted image and a planar regular image.
  • the image processing apparatus 10 identifies pixels in the distorted circular image (step S10). Specifically, as illustrated in FIG. 8, the image conversion processing unit 18 of the image processing apparatus 10 identifies pixels on the planar regular image 30. Pixels are specified pixel by pixel along the main scanning direction of scanning (for example, line 30a).
  • the planar regular image 30 is a part of a planar regular image obtained by converting a distorted circular image.
  • the corresponding coordinate calculation unit 17 calculates the corresponding coordinates in the distorted circular image corresponding to the pixel specified on the planar regular image 30 based on the parameter from the parameter input unit 3, and specifies the corresponding pixel in the input image 20. To do.
  • the line 30 a in the planar regular image 30 corresponds to the line 21 a in the distorted circular image portion 21, and the line 30 b in the planar regular image 30 corresponds to the line 21 b in the distorted circular image portion 21.
  • the planar regular image 30 is a straight line, the curved circular image is almost curved.
  • the block image 25 when the planar regular image 30 is scanned with the straight line 30a, it belongs to the predetermined block image 25 for a while, but belongs to the next block image 25.
  • the pixel p0 of the line 30a corresponds to the pixel p0 of the block image 25 including a part of the line 21a, and the pixel p0 adjacent to the pixel p0 of the line 30a is a pixel of the block image 25. This corresponds to the pixel p1 adjacent to p0.
  • the image processing apparatus 10 functions as an example of a pixel specifying unit that specifies a pixel in the distorted image corresponding to a predetermined pixel of the planar regular image when the distorted image is converted into a planar regular image. Further, the image processing apparatus 10 determines a predetermined pixel in the planar regular image so as to scan the planar regular image, and identifies a pixel in the distorted image corresponding to the determined pixel. It serves as an example.
  • the image processing apparatus 10 specifies a block image (step S11). Specifically, the image conversion processing unit 18 of the image processing apparatus 10 specifies the block number of the block image including the corresponding pixel. Since the number of divisions in the input image 20 is determined in advance, the block number can be specified when the corresponding pixel is determined.
  • the image processing apparatus 10 functions as an example of a block image specifying unit that specifies a block image including the pixel specified by the pixel specifying unit.
  • the image processing apparatus 10 determines whether or not it is a discarded block image (step S12). Specifically, when the frame memory 4 has exceeded the capacity, the image conversion processing unit 18 of the image processing apparatus 10 determines whether or not the block number is a block number after the block number of the block image 25 that has exceeded the capacity.
  • the image processing apparatus 10 functions as an example of a block image determination unit that determines whether or not the specified pixel is included in a block image corresponding to a compressed block image that has not been written in the frame memory. To do.
  • the image processing apparatus 10 If the block image is discarded (step S12; YES), the image processing apparatus 10 outputs a fixed value (step S13). Specifically, the image conversion processing unit 18 of the image processing apparatus 10 outputs, for example, (0, 0, RGB0)) in RGB as a fixed value to the line buffer 19.
  • the image processing apparatus 10 determines the specified pixel from the cache memory. Functions as an example of an output unit that outputs a predetermined value without reading out.
  • the image processing apparatus 10 determines whether there is a corresponding block image in the cache memory 16 (step S14). Specifically, the block number of the block image stored in the cache memory 16 by the image conversion processing unit 18 of the image processing apparatus 10 referring to the memory of the memory control unit 14 is the block number specified in step S11. It is determined whether or not the same. When the block number is stored in the cache memory 16, the image conversion processing unit 18 may refer to the cache memory 16 and determine whether the block number is the same as the specified block number.
  • the image processing apparatus 10 reads the compressed block image from the frame memory 4 (step S15). Specifically, when the block number of the block image stored in the cache memory 16 is not the same as the specified block number, the image conversion processing unit 18 reads the block image corresponding to the specified block number from the frame memory 4. A command signal for reading the compressed block image is output to the memory control unit 14. Then, the memory control unit 14 reads the start address of the specified block number from the memory of the memory control unit 14. The memory control unit 14 reads out the compressed block image corresponding to the read start address from the frame memory 4 and outputs it to the decompression unit 15.
  • the image processing apparatus 10 refers to the address storage unit in order to expand the compressed block image and store it in the cache memory.
  • it functions as an example of second reading means for reading out the compressed block image including the specified pixel from the frame memory.
  • the image processing apparatus 10 refers to the address storage unit for decompressing the compressed block image and storing it in the cache memory when the identified block image is not stored in the cache memory.
  • second reading means for reading out the compressed block image corresponding to the identified block image from the frame memory.
  • the image processing apparatus 10 expands the compressed block image into a block image (step S16). Specifically, the decompression unit 15 of the image processing apparatus 10 decompresses the compressed block image into a block image.
  • the image processing apparatus 10 functions as an example of a decompressing unit that decompresses the compressed block image read from the frame memory.
  • the image processing apparatus 10 writes the block image in the cache memory 16 (step S17). Specifically, the decompression unit 15 of the image processing apparatus 10 outputs the decompressed block image to the cache memory 16, and the block image is written to the cache memory 16.
  • the cache memory 16 has a memory capacity for only one block image, the contents of the cache memory 16 are rewritten to the block image output from the decompression unit 15.
  • the image processing apparatus 10 functions as an example of a storage unit that stores a block image obtained by decompressing the read compressed block image in the cache memory.
  • the image processing apparatus 10 reads pixel information from the cache memory 16 (step S18). Specifically, the image conversion processing unit 18 of the image processing apparatus 10 reads out the pixel information of the pixel specified in step S ⁇ b> 10 from the cache memory 16. Then, the image conversion processing unit 18 outputs the read pixel information to the line buffer 19. When the line buffer 19 acquires pixel information for one line, the pixel information for one line is output from the line buffer 19 to the display monitor 5.
  • the image processing apparatus 10 functions as an example of a first reading unit that reads the specified pixel from the cache memory.
  • step S14 Even when there is a corresponding block image in the cache memory 16 (step S14; YES), the image processing apparatus 10 reads pixel information from the cache memory 16 (step S18).
  • the image processing apparatus 10 since the pixel p0 and the pixel p1 are pixels in the same block image 25, the image processing apparatus 10 reads pixel information from the cache memory 16 at high speed. Then, the image processing apparatus 10 identifies pixels along the line 30a on the planar regular image 30, and moves to the adjacent block image 25 when there is no corresponding pixel in the same block image 25. The compressed block image is read from the memory 4, decompressed, and written to the cache memory 16.
  • the distorted image is divided into a plurality of block images divided into a predetermined size, the block image 25 is compressed into a compressed block image, and the compressed block image is written into the frame memory 4.
  • the memory 4 is a low-capacity memory corresponding to the compression rate for the input image 20, and can correct a distorted image into a planar regular image.
  • a large-capacity frame memory for storing image data for one screen is not required to perform the image conversion process, so that the cost can be reduced and the circuit scale can be reduced.
  • Car-mounted back camera can be downsized.
  • the cache memory 16 stores the block image expanded from the compressed block image for each block image, when the distorted image is converted into the planar regular image, it is adjacent to a predetermined pixel of the planar regular image.
  • the pixels in the distorted image corresponding to the pixels are often included in the same block image. Accordingly, the number of times of reading and decompressing the compressed block image from the frame memory 4 is reduced, and the image processing becomes faster. Further, it is not necessary to expand all the images for one frame at the time of correction conversion.
  • the memory control unit 14 expands the compressed block image and stores it in the cache memory 16.
  • the compressed block image corresponding to the identified block image is read out from the frame memory 4 with reference to the memory, the block image can be selected efficiently.
  • the amount of block image stored in the frame memory 4 can be reduced. That is, the compressed block image stored in the frame memory 4 can be reduced. Furthermore, since the capacity of the frame memory 4 can be reduced, the image processing system 1 can be reduced in size.
  • the block image after the memory capacity of the frame memory 4 exceeds the raster scan
  • the block image corresponds to the last part of the image, that is, the image belongs to the non-distorted circular image unit 22, so that it is possible to prevent an extra block image from being stored in the frame memory 4.
  • a predetermined pixel (for example, a pixel on the line 30a) in the planar regular image is determined so as to scan the planar regular image, and a pixel (for example, a pixel on the line 21a) in the distorted image corresponding to the determined pixel is determined. ) Is specified, it is only necessary to read out the pixel information from the cache memory 16 in units of block images even if the line 21a is a curve. Therefore, the number of accesses to the frame memory 4 is reduced. Image processing for image correction can be performed at high speed.
  • the compression rate of the image in the compression unit 13 may be increased. In this case, it is possible to suppress the loss of image data by increasing the compression rate for the image data of the next frame.
  • step S4 if the capacity is exceeded, the compression rate of the image in step S3 is increased for the next frame.
  • the image processing apparatus 10 functions as an example of a compression unit that increases the compression rate of the image in the compression unit when the capacity of the frame memory is exceeded.
  • This modification is an operation in which the block image 25 completely included in the undistorted circular image portion 22 is removed in advance, the block image 25 is compressed, and written into the frame memory 4.
  • the position of the distorted circular image portion 21 in the input image 20 is fixed as long as the positional relationship between the lens of the camera portion 2 and the image sensor does not change. Therefore, as shown in FIG. 3, the block number of the block image 25 that is completely included in the non-distorted circular image portion 22 is determined in advance.
  • This block number is input in advance from the parameter input unit 3, for example.
  • the image conversion processing unit 18 outputs the block number of the block image to be discarded in advance to the memory control unit 14.
  • the memory control unit 14 stores the block number of the block image to be discarded in the memory of the memory control unit 14.
  • the image processing apparatus 10 acquires an input image including a distorted circular image (step S21) and divides the input image into block images (step S22), as in steps S1 to S4.
  • the block image is compressed into a compressed block image (step S23), and it is determined whether or not the capacity is exceeded (step S24).
  • the image processing apparatus 10 determines whether the block image is a discard block (step S25). Specifically, the memory control unit 14 refers to the memory of the memory control unit 14 and determines whether or not the counted block number is a block number of a block image to be discarded. As described above, the image processing apparatus 10 functions as an example of a write determination unit that determines whether or not to write the compressed block image to the frame memory.
  • step S25 If it is not a discarded block image (step S25; NO), the image processing apparatus 10 writes the compressed block image in the frame memory 4 as in step S5 (step S26).
  • step S25 If it is a discarded block image (step S25; YES), the image processing apparatus 10 returns to step S23 and compresses the next block image 25.
  • the compressed block images stored in the frame memory 4 can be reduced, and the capacity of the frame memory 4 can be further reduced.
  • the present invention is not limited to the above embodiments.
  • Each of the embodiments described above is an exemplification, and any configuration that has substantially the same configuration as the technical idea described in the claims of the present invention and has the same operational effects can be used. It is included in the technical scope of the present invention.
  • Image processing system 2 Camera unit 3: Parameter input unit 4: Frame memory 5: Monitor for display (display means) 10: Image processing device 11: Line buffer (distorted image acquisition means) 12: Block image part (block image means) 13: Compression section (compression means) 14: Memory control unit (writing means, address storage means, second reading means) 15: Extension part (extension means) 16: Cache memory 17: Corresponding coordinate calculation unit (pixel specifying means) 18: Image conversion processing unit (pixel specifying means, first reading means, block image specifying means) 21: Distorted circular image part (distorted image) 25: Block image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

An image processing device comprises: means (12) of dividing a distorted image into a plurality of block images (25) each having a predetermined size; means (13) of compressing the block images into compressed block images; means (14) of writing the compressed block images into a frame memory (4); means (14) of storing the locations in the frame memory where the compressed block images are stored; means of storing, into a cache memory (16), the block images obtained by expanding the compressed block images read from the frame memory; means (18) of, when converting the distorted image into a planar regular image, specifying a pixel in the distorted image, said pixel corresponding to a predetermined pixel in the planar regular image; means (18) of reading the specified pixel from the cache memory; and means (14) of, when the specified pixel is not stored in the cache memory, reading, from the frame memory, a compressed block image in which the specified pixel is included.

Description

画像処理装置、画像処理方法、画像処理用プログラム、および、撮像装置Image processing apparatus, image processing method, image processing program, and imaging apparatus
　本発明は、カメラ等により撮像された画像を画像処理する画像処理装置、画像処理方法、画像処理用プログラム、および、撮像装置に関する。 The present invention relates to an image processing apparatus, an image processing method, an image processing program, and an imaging apparatus that process an image captured by a camera or the like.
　カメラ等により撮像された画像の歪みを補正する際のメモリの削減するための技術が開発されている。例えば、特許文献１では、入力画像の画素のデータを用いて出力画像の画素毎に補正処理を行い、補正処理が完了した画素のデータを出力画像の走査順で１ライン毎に出力するように、入力画像の画素を読み込むことで、出力画像を１ライン得るために必要な入力画像のライン数のみを確保する画像歪曲補正処理方法が開示されている。 Technology has been developed to reduce memory when correcting distortion of images captured by cameras. For example, in Patent Document 1, correction processing is performed for each pixel of an output image using pixel data of an input image, and pixel data for which correction processing has been completed is output for each line in the scanning order of the output image. An image distortion correction processing method that secures only the number of lines of an input image necessary for obtaining one line of an output image by reading pixels of the input image is disclosed.
特開２０１１－１４２５３０号公報JP 2011-142530 A
　しかしながら、特許文献１の技術では、魚眼レンズ等により動画で撮像された入力画像の歪曲画像を平面正則画像に補正して出力する際には、歪曲補正後の出力画像を１ライン分得るために必要な入力画像は、ほぼ１フレーム分の画像のメモリが必要となっていた。 However, in the technique of Patent Document 1, it is necessary to obtain a distortion-corrected output image for one line when a distortion image of an input image captured as a moving image by a fisheye lens or the like is corrected to a planar regular image and output. Such an input image requires an image memory for almost one frame.
　そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、低容量のメモリで、歪曲画像を平面正則画像に補正する画像処理装置等を提供することを目的とする。 Therefore, the present invention has been made in view of the above-described problems, and an example of the problem is to provide an image processing apparatus that corrects a distorted image into a planar regular image with a low-capacity memory. And
　上記の課題を解決するために、請求項１に記載の発明は、広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段と、前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段と、前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段と、前記圧縮ブロック画像をフレームメモリに書き込む書込手段と、前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段と、前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段と、前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段と、前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段と、前記キャッシュメモリから前記特定された画素を読み出す第１読出手段と、前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段と、を備えたことを特徴とする。 In order to solve the above-described problem, the invention described in claim 1 includes a distorted image acquisition unit that acquires image data of a distorted image from a wide-angle lens or an omnidirectional mirror from an imaging unit, and the distorted image is a predetermined size. Block image means for dividing the block image into a plurality of block images; compression means for compressing the block image into a compressed block image; writing means for writing the compressed block image into a frame memory; Address storage means for storing a storage location in the frame memory, expansion means for expanding the compressed block image read from the frame memory, and a block image obtained by expanding the read compressed block image are stored in the cache memory A storage unit, and when converting the distorted image into a planar regular image, a predetermined regular image of the planar regular image A pixel specifying unit for specifying a pixel in the distorted image corresponding to an element, a first reading unit for reading the specified pixel from the cache memory, and the specified pixel not stored in the cache memory, Second reading means for reading the compressed block image including the identified pixel from the frame memory with reference to the address storage means for decompressing the compressed block image and storing it in the cache memory; It is provided with.
　また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記画素特定手段により特定された画素を含むブロック画像を特定するブロック画像特定手段を更に備え、前記第２読出手段が、前記特定されたブロック画像が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された前記ブロック画像に対応する前記圧縮ブロック画像を前記フレームメモリから読み出すことを特徴とする。 The invention according to claim 2 is the image processing apparatus according to claim 1, further comprising block image specifying means for specifying a block image including a pixel specified by the pixel specifying means, wherein the second reading is performed. Means refers to the address storage means for decompressing the compressed block image and storing it in the cache memory if the identified block image is not stored in the cache memory; The compressed block image corresponding to the block image is read from the frame memory.
　また、請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記圧縮ブロック画像を前記フレームメモリに書き込むか否かを判定する書き込み判定手段を更に備えたことを特徴とする。 The invention according to claim 3 further comprises a write determination means for determining whether or not to write the compressed block image to the frame memory in the image processing device according to claim 1 or 2. It is characterized by.
　また、請求項４に記載の発明は、請求項３に記載の画像処理装置において、前記書き込み判定手段が、前記フレームメモリの容量を超えているか否かを判定し、前記フレームメモリの容量を超えている場合、前記圧縮手段における画像の圧縮率を高くすることを特徴とする。 According to a fourth aspect of the present invention, in the image processing apparatus according to the third aspect, the write determination means determines whether or not the capacity of the frame memory is exceeded, and exceeds the capacity of the frame memory. The compression rate of the image in the compression means is increased.
　また、請求項５に記載の発明は、請求項３または請求項４に記載の画像処理装置において、前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれるか否かを判定するブロック画像判定手段と、前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれる画素である場合、前記キャッシュメモリから前記特定された画素を読み出さず、所定の値を出力する出力手段と、を更に備えたことを特徴とする。 According to a fifth aspect of the present invention, in the image processing apparatus according to the third or fourth aspect, the specified pixel is a block image corresponding to a compressed block image that has not been written to the frame memory. Block image determination means for determining whether or not the image is included, and when the specified pixel is a pixel included in a block image corresponding to a compressed block image that has not been written in the frame memory, Output means for outputting a predetermined value without reading the specified pixel.
　また、請求項６に記載の発明は、請求項１から請求項５のいずれか１項に記載の画像処理装置において、画素特定手段が、前記平面正則画像を走査するように前記平面正則画像における前記所定の画素を決めて、当該決められた画素に対応する前記歪曲画像における画素を特定することを特徴とする。 The invention according to claim 6 is the image processing apparatus according to any one of claims 1 to 5, wherein the pixel specifying unit scans the planar regular image so as to scan the planar regular image. The predetermined pixel is determined, and a pixel in the distorted image corresponding to the determined pixel is specified.
　また、請求項７に記載の発明は、画像を処理する画像処理装置の画像処理方法において、広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得ステップと、前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像ステップと、前記ブロック画像を圧縮ブロック画像に圧縮する圧縮ステップと、前記圧縮ブロック画像をフレームメモリに書き込む書込ステップと、前記圧縮ブロック画像の前記フレームメモリにおける記憶場所をアドレス記憶手段に記憶するアドレス記憶ステップと、前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張ステップと、前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納ステップと、前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定ステップと、前記キャッシュメモリから前記特定された画素を読み出す第１読出ステップと、前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出ステップと、を含むことを特徴とする。 According to a seventh aspect of the present invention, in the image processing method of the image processing apparatus for processing an image, a distorted image acquisition step of acquiring image data of a distorted image from a wide-angle lens or an omnidirectional mirror from an imaging unit, A block image step for dividing the distorted image into a plurality of block images divided into a predetermined size, a compression step for compressing the block image into a compressed block image, and a writing step for writing the compressed block image into a frame memory; An address storage step of storing the storage location of the compressed block image in the frame memory in an address storage means, an expansion step of expanding the compressed block image read from the frame memory, and the read compressed block image A storage step for storing the expanded block image in the cache memory And a pixel specifying step for specifying a pixel in the distorted image corresponding to a predetermined pixel of the planar regular image when the distorted image is converted into a planar regular image, and the identified pixel from the cache memory. A first reading step to read, and if the identified pixel is not stored in the cache memory, refer to the address storage means for decompressing and storing the compressed block image in the cache memory; And a second reading step of reading out the compressed block image including the specified pixel from the frame memory.
　また、請求項８に記載の発明は、コンピュータを、広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段、前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段、前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段、前記圧縮ブロック画像をフレームメモリに書き込む書込手段、前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段、前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段、前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段、前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段、前記キャッシュメモリから前記特定された画素を読み出す第１読出手段、および、前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段として機能させることを特徴とする。 According to an eighth aspect of the present invention, there is provided a distorted image obtaining unit that obtains image data of a distorted image from a wide-angle lens or an omnidirectional mirror from an imaging unit, and a plurality of divided distorted images having a predetermined size. Block image means for dividing the block image into block images; compression means for compressing the block image into a compressed block image; writing means for writing the compressed block image into a frame memory; storing a storage location of the compressed block image in the frame memory Address storage means, decompression means for decompressing the compressed block image read from the frame memory, storage means for storing the block image obtained by decompressing the read compressed block image in a cache memory, and the distorted image as a planar regular image The distortion corresponding to a predetermined pixel of the planar regular image. Pixel specifying means for specifying a pixel in the image, first reading means for reading out the specified pixel from the cache memory, and decompressing the compressed block image if the specified pixel is not stored in the cache memory In order to store in the cache memory, the address storage unit is referred to function as a second reading unit that reads the compressed block image including the identified pixel from the frame memory. .
　また、請求項９に記載の発明は、広角レンズまたは全方位ミラーからの歪曲画像を撮像する撮像手段と、前記歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段と、前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段と、前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段と、前記圧縮ブロック画像をフレームメモリに書き込む書込手段と、前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段と、前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段と、前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段と、前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段と、前記キャッシュメモリから前記特定された画素を読み出す第１読出手段と、前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段と、を備えたことを特徴とする。 According to a ninth aspect of the present invention, there is provided an imaging unit that captures a distorted image from a wide-angle lens or an omnidirectional mirror, a distorted image acquisition unit that acquires image data of the distorted image from the imaging unit, and the distorted image. Block image means for dividing the block image into a plurality of block images divided into a predetermined size; compression means for compressing the block image into a compressed block image; writing means for writing the compressed block image into a frame memory; and the compressed block Address storage means for storing the storage location of the image in the frame memory; decompression means for decompressing the compressed block image read from the frame memory; and a block memory obtained by decompressing the read compressed block image Storage means for storing, and when converting the distorted image into a planar regular image, the planar regular A pixel specifying unit that specifies a pixel in the distorted image corresponding to a predetermined pixel of the image; a first reading unit that reads the specified pixel from the cache memory; and the specified pixel is stored in the cache memory. If not, the compressed block image is read from the frame memory with reference to the address storage means to decompress the compressed block image and store it in the cache memory. And a reading means.
　本発明によれば、低容量のメモリで、歪曲画像を平面正則画像に補正することができる。 According to the present invention, a distorted image can be corrected to a planar regular image with a low-capacity memory.
本発明の実施形態に係る画像処理システムの概要構成例を示すブロック図である。1 is a block diagram illustrating a schematic configuration example of an image processing system according to an embodiment of the present invention. 図１のカメラにより撮像された歪曲画像の一例を示す模式図である。It is a schematic diagram which shows an example of the distorted image imaged with the camera of FIG. 図２の歪曲画像の分割の一例を示す模式図である。It is a schematic diagram which shows an example of the division | segmentation of the distorted image of FIG. ブロック画像の一例を示す模式図である。It is a schematic diagram which shows an example of a block image. 図１の画像処理装置において圧縮ブロック画像のデータをフレームメモリに書き込む動作例を示すフローチャートである。3 is a flowchart illustrating an example of an operation of writing compressed block image data in a frame memory in the image processing apparatus of FIG. 1. 圧縮ブロック画像のデータを格納するフレームメモリのメモリ空間の一例を示す模式図である。It is a schematic diagram which shows an example of the memory space of the frame memory which stores the data of a compression block image. 図１の画像処理装置においてフレームメモリから圧縮ブロック画像のデータを読み出す動作例を示すフローチャートである。3 is a flowchart illustrating an operation example of reading compressed block image data from a frame memory in the image processing apparatus of FIG. 1. 歪曲画像と平面正則画像との関連の一例を示す模式図である。It is a schematic diagram which shows an example of the relationship between a distortion image and a planar regular image. 図５の圧縮ブロック画像のデータをフレームメモリに書き込む動作の変形例を示すフローチャートである。FIG. 6 is a flowchart showing a modified example of an operation of writing the compressed block image data of FIG. 5 into the frame memory.
　以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、画像処理システムに対して本発明を適用した場合の実施形態である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The embodiment described below is an embodiment when the present invention is applied to an image processing system.
［１．画像処理システムの構成および機能の概要］
（１．１　画像処理システム１の構成および機能） [1. Overview of image processing system configuration and functions]
(1.1 Configuration and Function of Image Processing System 1)
　まず、本発明の一実施形態に係る画像処理システムの構成および概要機能について、図１から図４を用いて説明する。 First, the configuration and outline function of an image processing system according to an embodiment of the present invention will be described with reference to FIGS.
　図１は、本発明の実施形態に係る画像処理システムの概要構成例を示すブロック図である。図２は、カメラにより撮像された歪曲画像の一例を示す模式図である。図３は、歪曲画像の分割の一例を示す模式図である。図４は、ブロック画像の一例を示す模式図である。 FIG. 1 is a block diagram showing a schematic configuration example of an image processing system according to an embodiment of the present invention. FIG. 2 is a schematic diagram illustrating an example of a distorted image captured by a camera. FIG. 3 is a schematic diagram illustrating an example of the division of the distorted image. FIG. 4 is a schematic diagram illustrating an example of a block image.
　図１に示すように、画像処理システム１（画像処理装置の一例）は、広角レンズまたは全方位ミラーを有するカメラ部２と、カメラ部２により撮影された歪曲画像に平面正則画像に画像変換する画像処理を行う画像処理装置１０と、画像処理装置１０の画像変換の処理に必要なパラメータを入力するパラメータ入力部３と、画像処理装置１０において歪曲画像がブロック画像に分割されて圧縮された画像データを記憶するフレームメモリ４と、画像処理装置１０により処理された画像を表示する表示用モニタ５と、を備えている。 As shown in FIG. 1, an image processing system 1 (an example of an image processing device) converts a camera unit 2 having a wide-angle lens or an omnidirectional mirror into a planar regular image into a distorted image photographed by the camera unit 2. An image processing apparatus 10 that performs image processing, a parameter input unit 3 that inputs parameters necessary for image conversion processing of the image processing apparatus 10, and an image in which a distorted image is divided into block images and compressed in the image processing apparatus 10 A frame memory 4 for storing data and a display monitor 5 for displaying an image processed by the image processing apparatus 10 are provided.
　なお、カメラ部２と画像処理装置１０とにより撮像装置を形成する。この撮像装置が、例えば、車載のバックカメラとして使用される。 Note that an imaging device is formed by the camera unit 2 and the image processing device 10. This imaging device is used as, for example, an in-vehicle back camera.
　カメラ部２は、例えば、正射影方式の魚眼レンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）のようなイメージセンサ（撮像手段の一例）とを有するカメラである。カメラ部２は、動画の歪曲円形画像（歪曲画像の一例）を出力する。また、カメラ部２は、車両の後方等に所定の向きに設置され、運転者の死角をなくすような広範囲な画像を捉える。図２に示すように、カメラ部２により撮像された入力画像２０は、魚眼レンズからの光りがイメージセンサに結像した歪曲円形画像部２１と、歪曲円形画像部２１以外の非歪曲円形画像部２２とを有する。非歪曲円形画像部２２は、魚眼レンズからの光が当たらない部分である。 The camera unit 2 is, for example, a camera having an orthographic fisheye lens and an image sensor (an example of an imaging unit) such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device). The camera unit 2 outputs a distorted circular image of a moving image (an example of a distorted image). The camera unit 2 is installed in a predetermined direction behind the vehicle and captures a wide range of images that eliminate the blind spot of the driver. As shown in FIG. 2, an input image 20 captured by the camera unit 2 includes a distorted circular image unit 21 in which light from a fisheye lens forms an image sensor, and an undistorted circular image unit 22 other than the distorted circular image unit 21. And have. The non-distorted circular image portion 22 is a portion where light from the fisheye lens does not strike.
　なお、カメラ部２のレンズは、広角レンズに限らず、全方位ミラーと組み合わせた通常の画角のレンズでもよい。また、広角レンズの画角は１８０°に限らず、１８０°より大きくても、小さくてもよい。また、カメラ部２が撮影する画像は、静止画でもよい。また、カメラ部２が、対角線魚眼レンズを有する場合、矩形の歪曲画像を出力する。カメラ部２は、等距離射影方式のレンズや、等立体角射影方式のレンズ等の非正射影方式のレンズでもよい。 In addition, the lens of the camera unit 2 is not limited to a wide-angle lens, and may be a normal angle-of-view lens combined with an omnidirectional mirror. The angle of view of the wide-angle lens is not limited to 180 °, and may be larger or smaller than 180 °. The image captured by the camera unit 2 may be a still image. Moreover, when the camera part 2 has a diagonal fisheye lens, a rectangular distortion image is output. The camera unit 2 may be a non-orthogonal projection lens such as an equidistant projection lens or an equisolid angle projection lens.
　パラメータ入力部３は、歪曲円形画像から平面正則画像への画像変換に必要なパラメータの入力を受け付ける。例えば、パラメータ入力部３は、歪曲円形画像の撮影の視点を基点とした視線ベクトルや、歪曲円形画像から切り出す切出領域に対応する平面正則画像のサイズを示すパラメータや、表示させる平面正則画像の倍率等を設定するために必要なパラメータの入力を、ユーザの指示入力に基づいて受け付ける。ここで、平面正則画像とは、歪曲画像の歪みを軽減させため、ある規則に従って、座標変換された平面正則画像である。 The parameter input unit 3 accepts input of parameters necessary for image conversion from a distorted circular image to a planar regular image. For example, the parameter input unit 3 includes a line-of-sight vector based on the viewpoint of photographing a distorted circular image, a parameter indicating the size of a planar regular image corresponding to a cut-out area cut out from the distorted circular image, and a planar regular image to be displayed. Input of parameters necessary for setting the magnification and the like is received based on user instruction input. Here, the planar regular image is a planar regular image that is coordinate-transformed according to a certain rule in order to reduce distortion of the distorted image.
　フレームメモリ４は、ＤＤＲ（Double-Data-Rate）方式のようなＲＡＭ（Random Access Memory）等により構成されている。フレームメモリ４は、カメラ部２から出力された動画の少なくとも１フレーム分に対応する画像データを記憶する。例えば、フレームメモリ４は、２フレーム分のメモリ領域を有し、一方が、書き込み用のフレームメモリとなり、他方が、読み出し用のフレームメモリとなる。また、フレームメモリ４における１フレーム分の容量は、カメラ部２から出力された動画のフレーム画像のサイズに対して、所定の圧縮率に対応した容量を有する。例えば、フレームメモリ４の容量は、フレーム画像のサイズに対して９０％の容量を有する。 The frame memory 4 is configured by a RAM (Random Access Memory) such as a DDR (Double-Data-Rate) system. The frame memory 4 stores image data corresponding to at least one frame of the moving image output from the camera unit 2. For example, the frame memory 4 has a memory area for two frames, one being a frame memory for writing and the other being a frame memory for reading. The frame memory 4 has a capacity corresponding to a predetermined compression rate with respect to the size of the frame image of the moving image output from the camera unit 2. For example, the capacity of the frame memory 4 has a capacity of 90% with respect to the size of the frame image.
　表示用モニタ５は、表示手段の一例として、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されているモニタ画面(平面画面)である。表示用モニタ５は、カメラ部２により撮影された歪曲円形画像や、画像変換で得られた平面正則画像等を表示する。 The display monitor 5 is a monitor screen (planar screen) constituted by a liquid crystal display element or an EL (Electro Luminescence) element as an example of a display means. The display monitor 5 displays a distorted circular image taken by the camera unit 2, a planar regular image obtained by image conversion, and the like.
　画像処理装置１０は、カメラ部２からの入力画像２０を、図３に示すように、所定の大きさに分割した複数のブロック画像に分割する。各ブロック画像には、ブロック番号ｂ０、ｂ１、ｂ２，ｂ３・・・のように、ブロック番号が割り振られる。 The image processing apparatus 10 divides the input image 20 from the camera unit 2 into a plurality of block images divided into a predetermined size as shown in FIG. Each block image is assigned a block number such as block numbers b0, b1, b2, b3.
　ブロック画像の大きさは、例えば、図４に示すように、８×８画素である。ここで、入力画像２０の大きさは、例えば、２０４８×１５３６画素であり、ブロック画像の大きさは８×８画素であるので、図３の分割は模式的である。 The size of the block image is, for example, 8 × 8 pixels as shown in FIG. Here, since the size of the input image 20 is, for example, 2048 × 1536 pixels and the size of the block image is 8 × 8 pixels, the division in FIG. 3 is schematic.
　次に、画像処理装置１０の構成について図１を用いて詳細に説明する。 Next, the configuration of the image processing apparatus 10 will be described in detail with reference to FIG.
　図１に示すように、画像処理装置１０は、カメラ部２から出力された歪曲円形画像の画像データ（入力画像２０）の一部を一時的に記憶するラインバッファ１１と、ラインバッファ１１からの歪曲円形画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像部１２と、ブロック画像を圧縮ブロック画像に圧縮する圧縮部１３と、圧縮ブロック画像をフレームメモリ４に書き込むメモリ制御部１４と、フレームメモリ４から読み出された圧縮ブロック画像を伸張する伸張部１５と、読み出された圧縮ブロック画像を伸張したブロック画像を格納するキャッシュメモリ１６と、パラメータ入力部３からのパラメータに基づき、歪曲円形画像と平面正則画像との対応座標を算出する対応座標算出部１７と、対応座標算出部１７により算出された対応座標の画素の情報をキャッシュメモリ１６から読み出す画像変換処理部１８と、画像変換処理部１８からの画素の情報を一時的に記憶するラインバッファ１９と、を有する。 As shown in FIG. 1, the image processing apparatus 10 includes a line buffer 11 that temporarily stores a part of image data (input image 20) of a distorted circular image output from the camera unit 2, and a A block image unit 12 that divides a distorted circular image into a plurality of block images divided into a predetermined size, a compression unit 13 that compresses the block image into a compressed block image, and a memory control unit that writes the compressed block image into the frame memory 4 14, a decompression unit 15 for decompressing the compressed block image read from the frame memory 4, a cache memory 16 for storing the block image obtained by decompressing the read compressed block image, and a parameter from the parameter input unit 3 Based on this, a corresponding coordinate calculation unit 17 that calculates corresponding coordinates between the distorted circular image and the planar regular image, and a corresponding coordinate calculation unit 17 Having an image conversion processing unit 18 for reading the information of the pixels in the corresponding coordinates more calculated from the cache memory 16, a line buffer 19 for temporarily storing the information of the pixels from the image conversion processing section 18, the.
　画像処理装置１０は、専用の演算等を行うＬＳＩ（Large Scale Integration）チップを用いたハードウェアにより構成されている。画像処理装置１０の各部の機能は、回路により実現される。 The image processing apparatus 10 is configured by hardware using an LSI (Large Scale Integration) chip that performs dedicated calculations and the like. The function of each part of the image processing apparatus 10 is realized by a circuit.
　ラインバッファ１１（歪曲画像取得手段の一例）は、ＳＲＡＭ（Static Random Access Memory）等のＲＡＭにより構成されている。ラインバッファ１１は、ブロック画像のサイズに対応したライン数を記憶するメモリを有する。例えば、ブロック画像が８×８画素であるならば、ラインバッファ１１は、入力画像２０に対して、ブロック画像のｙ方向の画素数８に対応した８ラインのバッファを少なくとも有する。図３に示すように、ラインバッファ１１は、入力画像２０をラスタスキャンするようにカメラ部２から順に出力された画像データを１ラインずつ記憶して、８ライン分であるブロック画像２５がｘ方向（走査の主走査方向）に一列に並んだ画像データ（ブロックライン画像２６）を記憶する。なお、ラインバッファ１１は、８ライン×２のバッファを有し、一方が、入力用のラインバッファとなり、他方が、出力用のラインバッファに切り替わる構成でもよい。 The line buffer 11 (an example of a distorted image acquisition unit) is configured by a RAM such as an SRAM (Static Random Access Memory). The line buffer 11 has a memory for storing the number of lines corresponding to the size of the block image. For example, if the block image is 8 × 8 pixels, the line buffer 11 has at least an 8-line buffer corresponding to the number of pixels 8 in the y direction of the block image with respect to the input image 20. As shown in FIG. 3, the line buffer 11 stores the image data sequentially output from the camera unit 2 so as to raster-scan the input image 20 line by line, and the block image 25 corresponding to 8 lines is in the x direction. Image data (block line image 26) arranged in a line in the (main scanning direction of scanning) is stored. The line buffer 11 may have an 8 line × 2 buffer, one of which is an input line buffer and the other of which is switched to an output line buffer.
　ブロック画像部１２（ブロック画像手段の一例）は、ブロックライン画像２６をブロック画像２５に分割する回路を有する。例えば、ブロック画像部１２は、ブロックライン画像２６を記憶できるメモリを有し、このメモリから、ブロック画像２５の８×８画素の範囲をラスタスキャンして読み出して圧縮部１３に出力し、次の隣のブロック画像２５に対応する８×８画素の範囲をラスタスキャンして読み出して圧縮部１３に出力する回路を有する。 The block image unit 12 (an example of block image means) includes a circuit that divides the block line image 26 into block images 25. For example, the block image unit 12 has a memory capable of storing the block line image 26, and from this memory, the range of 8 × 8 pixels of the block image 25 is raster-scanned and read out and output to the compression unit 13. It has a circuit that reads out a range of 8 × 8 pixels corresponding to the adjacent block image 25 by raster scanning and outputs it to the compression unit 13.
　圧縮部１３（圧縮手段の一例）は、デジタルデータの圧縮方式を実現する回路を有する。圧縮部１３の画像の圧縮率は可変であってもよい。ここで、デジタルデータの圧縮方式として、ＪＰＥＧ（Joint Photographic Experts Group）等の静止画の圧縮方式が挙げられる。 The compression unit 13 (an example of a compression unit) includes a circuit that realizes a digital data compression method. The image compression rate of the compression unit 13 may be variable. Here, as a digital data compression method, there is a still image compression method such as JPEG (Joint Photographic Experts Group).
　メモリ制御部１４（書込手段、第２読出手段の一例）は、圧縮ブロック画像のフレームメモリ空間における記憶場所およびブロック画像２５のブロック番号等を記憶するメモリと、圧縮ブロック画像をフレームメモリ４に書き込む動作を実現する回路と、画像変換処理部１８からの情報に基づき、フレームメモリ４から圧縮ブロック画像を読み出す動作を実現する回路等を有する。まは、メモリ制御部１４のメモリ（アドレス記憶手段の一例）は、キャッシュメモリ１６に出力したブロック画像のブロック番号を記憶している。 The memory control unit 14 (an example of a writing unit and a second reading unit) stores a memory for storing a storage location of the compressed block image in the frame memory space, a block number of the block image 25, and the like, and the compressed block image in the frame memory 4. A circuit for realizing a writing operation and a circuit for realizing an operation for reading a compressed block image from the frame memory 4 based on information from the image conversion processing unit 18 are included. Alternatively, the memory (an example of the address storage unit) of the memory control unit 14 stores the block number of the block image output to the cache memory 16.
　伸張部１５（伸張手段の一例）は、圧縮部１３の圧縮方式における圧縮変換とは逆変換の動作（画像データを伸張する動作）を実現する回路を有する。 The decompression unit 15 (an example of decompression means) includes a circuit that realizes an operation of inverse conversion (operation of decompressing image data) opposite to the compression conversion in the compression method of the compression unit 13.
　キャッシュメモリ１６は、ＳＲＡＭ（Static Random Access Memory）等のＲＡＭにより構成されている。少なくとも１つのブロック画像が記憶できる容量を有する。通常の容量は、ブロック画像１つ分でよい。なお、最大の容量は、入力画像を所定の大きさに分割した複数のブロック画像のうち、全ブロック数よりも少ない数のブロック画像を格納するできる容量である。 The cache memory 16 is configured by a RAM such as SRAM (Static Random Access Memory). It has a capacity capable of storing at least one block image. The normal capacity may be one block image. The maximum capacity is a capacity that can store a smaller number of block images than the total number of blocks among a plurality of block images obtained by dividing the input image into a predetermined size.
　対応座標算出部１７（画素特定手段の一例）は、パラメータ入力部３からのパラメータに基づき、歪曲円形画像と平面正則画像との対応座標を算出する回路を有する。 Corresponding coordinate calculation unit 17 (an example of a pixel specifying unit) includes a circuit that calculates corresponding coordinates between a distorted circular image and a planar regular image based on parameters from parameter input unit 3.
　画像変換処理部１８（画素特定手段、第１読出手段、ブロック画像特定手段の一例）は、対応座標算出部１７により算出された対応座標の画素の情報をキャッシュメモリ１６から読み出す等の動作を実現する回路を有する。 The image conversion processing unit 18 (an example of a pixel specifying unit, a first reading unit, and a block image specifying unit) realizes an operation such as reading out information on pixels of corresponding coordinates calculated by the corresponding coordinate calculating unit 17 from the cache memory 16. Circuit.
　ラインバッファ１９は、ＳＲＡＭ等のＲＡＭにより構成されている。ラインバッファ１９は、入力画像２０に対して、少なくとも１ライン数を記憶するメモリを有する。 The line buffer 19 is composed of a RAM such as an SRAM. The line buffer 19 has a memory for storing at least one line number for the input image 20.
　ラインバッファ１１は、ブロック画像部１２と接続して、ブロックライン画像２６を出力する。ブロック画像部１２は、圧縮部１３と接続して、ブロック画像２５を出力する。圧縮部１３は、メモリ制御部１４と接続して、ブロック画像２５を圧縮した圧縮ブロック画像を出力する。メモリ制御部１４は、フレームメモリ４と接続し、画像データの読み書きを行う。 The line buffer 11 is connected to the block image unit 12 and outputs a block line image 26. The block image unit 12 is connected to the compression unit 13 and outputs a block image 25. The compression unit 13 is connected to the memory control unit 14 and outputs a compressed block image obtained by compressing the block image 25. The memory control unit 14 is connected to the frame memory 4 and reads / writes image data.
　伸張部１５は、メモリ制御部１４およびキャッシュメモリ１６に接続し、メモリ制御部１４からの圧縮ブロック画像を伸張し、キャッシュメモリ１６に出力する。キャッシュメモリ１６は、画像変換処理部１８と接続し、画像変換処理部１８から、読み出す画素の位置情報が与えられ、画素情報を画像変換処理部１８に出力する。対応座標算出部１７は、パラメータ入力部３および画像変換処理部１８に接続し、パラメータ入力部３からパラメータに基づき、画像変換処理部１８に対応座標を出力する。 The decompression unit 15 is connected to the memory control unit 14 and the cache memory 16, decompresses the compressed block image from the memory control unit 14, and outputs the decompressed block image to the cache memory 16. The cache memory 16 is connected to the image conversion processing unit 18, is given position information of the pixel to be read from the image conversion processing unit 18, and outputs the pixel information to the image conversion processing unit 18. The corresponding coordinate calculation unit 17 is connected to the parameter input unit 3 and the image conversion processing unit 18, and outputs the corresponding coordinates to the image conversion processing unit 18 based on the parameters from the parameter input unit 3.
　画像変換処理部１８は、メモリ制御部１４とキャッシュメモリ１６とラインバッファ１９に接続して、対応座標算出部１７からの対応座標に基づき、フレームメモリ４から読み出すブロック画像のブロック番号の情報をメモリ制御部１４に出力したり、キャッシュメモリ１６から対応座標の画素の画素情報を読み出したり、読み出した画素情報をラインバッファ１９に出力したりする。 The image conversion processing unit 18 is connected to the memory control unit 14, the cache memory 16, and the line buffer 19, and stores information on the block number of the block image read from the frame memory 4 based on the corresponding coordinates from the corresponding coordinate calculation unit 17. The information is output to the control unit 14, the pixel information of the pixel at the corresponding coordinate is read from the cache memory 16, and the read pixel information is output to the line buffer 19.
　なお、画像処理装置１０は、コンピュータとして、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成されていてもよい。ＣＰＵが、ＲＯＭやＲＡＭに記憶された各種プログラムを読み出し実行する。画像処理用プログラム等の各種プログラムは、記録媒体から読み込み、ＲＡＭ等に記録される。 The image processing apparatus 10 may be configured by a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), or the like as a computer. The CPU reads and executes various programs stored in the ROM and RAM. Various programs such as an image processing program are read from a recording medium and recorded in a RAM or the like.
［２．画像処理システムの動作］
　次に、本発明の１実施形態に係る画像処理システムの動作について図を用いて説明する。 [2. Operation of image processing system]
Next, the operation of the image processing system according to the embodiment of the present invention will be described with reference to the drawings.
（２．１　圧縮ブロック画像のフレームメモリへの書き込み動作）
　圧縮ブロック画像のフレームメモリ４への書き込み動作について図５および図６を用いて説明する。
　図５は、画像処理装置１０において圧縮ブロック画像のデータをフレームメモリに書き込む動作例を示すフローチャートである。図６は、圧縮ブロック画像のデータを格納するフレームメモリのメモリ空間の一例を示す模式図である。 (2.1 Write operation to frame memory of compressed block image)
The operation of writing the compressed block image into the frame memory 4 will be described with reference to FIGS.
FIG. 5 is a flowchart showing an example of an operation of writing compressed block image data in the frame memory in the image processing apparatus 10. FIG. 6 is a schematic diagram illustrating an example of a memory space of a frame memory that stores compressed block image data.
　図５に示すように、画像処理装置１０は、歪曲円形画像を含む入力画像を取得する（ステップＳ１）。具体的には、画像処理装置１０のラインバッファ１１が、カメラ部２が撮像した入力画像２０のうち、１ラインずつ画像データを取得して記憶し、８ライン分のブロックライン画像２６を生成する。そして、ラインバッファ１１は、生成されたブロックライン画像２６をブロック画像部１２に出力して、ｙ方向に次のブロックライン画像２６を生成する。 As shown in FIG. 5, the image processing apparatus 10 acquires an input image including a distorted circular image (step S1). Specifically, the line buffer 11 of the image processing apparatus 10 acquires and stores image data line by line from the input image 20 captured by the camera unit 2, and generates a block line image 26 for eight lines. . Then, the line buffer 11 outputs the generated block line image 26 to the block image unit 12 and generates the next block line image 26 in the y direction.
　このように、画像処理装置１０は、広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a distorted image acquisition unit that acquires image data of a distorted image from a wide-angle lens or an omnidirectional mirror from an imaging unit.
　次に、画像処理装置１０は、入力画像をブロック画像に分割する（ステップＳ２）。具体的には、画像処理装置１０のブロック画像部１２が、ブロックライン画像２６をブロック画像２５に分割する。更に具体的には、ブロック画像部１２が、ブロックライン画像２６に対して、ブロック画像２５の８×８画素の範囲（所定の大きさの一例）をラスタスキャンして読み出して圧縮部１３に出力し、ｘ方向に次の隣のブロック画像２５に対応する８×８画素の範囲をラスタスキャンして読み出して圧縮部１３に出力する。ブロック画像部１２は、ブロックライン画像２６から、ブロック画像部１２のメモリからブロック画像２５をｘ方向に順に取り出して、ブロックライン画像２６をブロック画像２５に分割する。 Next, the image processing apparatus 10 divides the input image into block images (step S2). Specifically, the block image unit 12 of the image processing apparatus 10 divides the block line image 26 into block images 25. More specifically, the block image unit 12 raster-scans and reads out an 8 × 8 pixel range (an example of a predetermined size) of the block image 25 from the block line image 26 and outputs it to the compression unit 13. Then, the range of 8 × 8 pixels corresponding to the next adjacent block image 25 in the x direction is raster scanned and read out and output to the compression unit 13. The block image unit 12 sequentially extracts the block images 25 from the block line image 26 from the memory of the block image unit 12 in the x direction, and divides the block line image 26 into block images 25.
　このように、画像処理装置１０は、前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a block image unit that divides the distorted image into a plurality of block images divided into a predetermined size.
　次に、画像処理装置１０は、ブロック画像を圧縮ブロック画像に圧縮する（ステップＳ３）。具体的には、画像処理装置１０の圧縮部１３が、ブロック画像部１２から出力されたブロック画像２５を、既知のデジタルデータの圧縮方式により圧縮する。圧縮部１３が、圧縮された圧縮ブロック画像の画像データをメモリ制御部１４に出力する。なお、ブロック画像２５の画像によって実際の圧縮率が異なり、圧縮ブロック画像のデータ長が異なってくる。 Next, the image processing apparatus 10 compresses the block image into a compressed block image (step S3). Specifically, the compression unit 13 of the image processing apparatus 10 compresses the block image 25 output from the block image unit 12 by a known digital data compression method. The compression unit 13 outputs the compressed compressed block image image data to the memory control unit 14. The actual compression rate differs depending on the block image 25, and the data length of the compressed block image varies.
　このように、画像処理装置１０は、前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a compression unit that compresses the block image into a compressed block image.
　次に、画像処理装置１０は、容量オーバーしているか否かを判定する（ステップＳ４）。具体的には、画像処理装置１０のメモリ制御部１４が、フレームメモリ４に書き込まれていく圧縮ブロック画像の画像データのトータルの容量が、フレームメモリ４のメモリ容量をオーバーしているか否かを判定する。なお、フレームメモリ４のメモリ容量をオーバーした以降のブロック画像は、ラスタスキャンの最後の方に対応するブロック画像である場合、すなわち、非歪曲円形画像部２２に属している場合が多い。 Next, the image processing apparatus 10 determines whether or not the capacity is exceeded (step S4). Specifically, the memory control unit 14 of the image processing apparatus 10 determines whether or not the total capacity of the compressed block image image data written to the frame memory 4 exceeds the memory capacity of the frame memory 4. judge. The block image after the memory capacity of the frame memory 4 is exceeded is often the block image corresponding to the last part of the raster scan, that is, often belongs to the non-distorted circular image portion 22.
　このように、画像処理装置１０は、前記圧縮ブロック画像を前記フレームメモリに書き込むか否かを判定する書き込み判定手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a write determination unit that determines whether or not to write the compressed block image to the frame memory.
　容量オーバーしていない場合（ステップＳ４；ＮＯ）、画像処理装置１０は、圧縮ブロック画像をフレームメモリ４に書き込む（ステップＳ５）。具体的には、画像処理装置１０のメモリ制御部１４が、図６に示すように、フレームメモリ４のフレームメモリ空間に、圧縮ブロック画像の画像データをブロック単位で記憶する。 If the capacity is not over (step S4; NO), the image processing apparatus 10 writes the compressed block image in the frame memory 4 (step S5). Specifically, the memory control unit 14 of the image processing apparatus 10 stores the image data of the compressed block image in the block memory space of the frame memory 4 as shown in FIG.
　このように、画像処理装置１０は、前記圧縮ブロック画像をフレームメモリに書き込む書込手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a writing unit that writes the compressed block image in the frame memory.
　次に、画像処理装置１０は、圧縮ブロック画像のフレームメモリ空間における記憶場所を記憶する（ステップＳ６）。具体的には、画像処理装置１０のメモリ制御部１４が、圧縮ブロック画像のデータ長に応じて、図６に示すように、各圧縮ブロック画像のフレームメモリ空間におけるスタートアドレスと、ブロック画像番号とを、メモリ制御部１４のメモリに記憶する。図６に示すように、ブロック番号ｂ０の場合、スタートアドレスは、(0x000,0x000)、ブロック番号ｂ１の場合、スタートアドレスは、(0x001,0x002)、ブロック番号ｂ２の場合、スタートアドレスは、(0x002,0x003)、ブロック番号ｂ３の場合、スタートアドレスは、(0x001,0x005)となる。このように、画像処理装置１０は、各ブロックのスタートアドレスは別途管理している。なお、読み出す際は、画像処理装置１０は、スタートアドレスを参照して圧縮ブロック画像の画像データのブロックを読み出す。 Next, the image processing apparatus 10 stores the storage location of the compressed block image in the frame memory space (step S6). Specifically, the memory control unit 14 of the image processing apparatus 10 determines the start address, the block image number, and the like in the frame memory space of each compressed block image, as shown in FIG. 6, according to the data length of the compressed block image. Is stored in the memory of the memory control unit 14. As shown in FIG. 6, in the case of block number b0, the start address is (0x000,0x000), in the case of block number b1, the start address is (0x001,0x002), and in the case of block number b2, the start address is ( 0x002, 0x003) and block number b3, the start address is (0x001,0x005). As described above, the image processing apparatus 10 separately manages the start address of each block. Note that when reading, the image processing apparatus 10 reads the block of image data of the compressed block image with reference to the start address.
　なお、メモリ制御部１４が、圧縮ブロック画像を圧縮部１３から受け取る際、ブロック番号がカウントされる。 When the memory control unit 14 receives a compressed block image from the compression unit 13, the block number is counted.
　このように、画像処理装置１０は、前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of an address storage unit that stores a storage location of the compressed block image in the frame memory.
　次に、画像処理装置１０は、最後のブロック画像か否かを判定する（ステップＳ７）。具体的には、画像処理装置１０のメモリ制御部１４が、処理したブロック数をカウントし、入力画像２０における最後のブロック番号か否かを判定する。なお、入力画像２０の大きさが２０４８×１５３６画素であり、ブロック画像の大きさは８×８画素である場合、最後のブロック番号は、49,152番目のブロック番号となる。 Next, the image processing apparatus 10 determines whether or not it is the last block image (step S7). Specifically, the memory control unit 14 of the image processing apparatus 10 counts the number of processed blocks and determines whether or not it is the last block number in the input image 20. When the size of the input image 20 is 2048 × 1536 pixels and the size of the block image is 8 × 8 pixels, the last block number is the 49,152th block number.
　最後のブロック画像でない場合（ステップＳ７；ＮＯ）、ステップＳ３に戻り、画像処理装置１０は、次のブロック画像２５を圧縮する。具体的には、圧縮部１３が、ブロック画像部１２から出力された次のブロック画像２５を圧縮する。ステップＳ３からステップＳ９を繰り返すことにより、ブロック画像部１２から出力されたブロック画像２５が順次圧縮され、圧縮された圧縮ブロック画像がフレームメモリ４に順次書き込まれていく。 If it is not the last block image (step S7; NO), the process returns to step S3, and the image processing apparatus 10 compresses the next block image 25. Specifically, the compression unit 13 compresses the next block image 25 output from the block image unit 12. By repeating step S3 to step S9, the block image 25 output from the block image unit 12 is sequentially compressed, and the compressed block image is sequentially written in the frame memory 4.
　最後のブロック画像である場合（ステップＳ７；ＹＥＳ）、画像処理装置１０は、一連の処理を終了する。具体的には、画像処理装置１０は、ステップＳ１のように、次のフレームの画像データをカメラ部２から取得する。そして、画像処理装置１０は、フレームメモリ４の他のフレームメモリ空間に、圧縮ブロック画像の画像データをブロック単位で記憶していく。 If it is the last block image (step S7; YES), the image processing apparatus 10 ends the series of processes. Specifically, the image processing apparatus 10 acquires the image data of the next frame from the camera unit 2 as in step S1. The image processing apparatus 10 stores the image data of the compressed block image in a block unit in another frame memory space of the frame memory 4.
　また、容量オーバーしている場合（ステップＳ４；ＹＥＳ）、画像処理装置１０は、容量オーバーしたブロック画像２５のブロック番号を記憶して、一連の処理を終了する。具体的には、画像処理装置１０のメモリ制御部１４が、容量オーバーしたブロック画像２５のブロック番号をメモリ制御部１４のメモリに記憶する。そして、画像処理装置１０は、ステップＳ１のように、次のフレームの画像データをカメラ部２から取得する。次に、画像処理装置１０は、フレームメモリ４の他のフレームメモリ空間に、圧縮ブロック画像の画像データをブロック単位で記憶していく。 If the capacity is exceeded (step S4; YES), the image processing apparatus 10 stores the block number of the block image 25 whose capacity has been exceeded, and ends the series of processes. Specifically, the memory control unit 14 of the image processing apparatus 10 stores the block number of the block image 25 whose capacity has been exceeded in the memory of the memory control unit 14. Then, the image processing apparatus 10 acquires the image data of the next frame from the camera unit 2 as in step S1. Next, the image processing apparatus 10 stores the image data of the compressed block image in a block unit in another frame memory space of the frame memory 4.
　なお、容量オーバーしたブロック画像２５のブロック番号以降のブロック画像は、破棄のブロック画像として取り扱われる。この破棄されたブロック画像は、入力画像２０の大きさに対して、平均的な画像圧縮率に対応した大きさのフレームメモリ４の大きさに設定されているので、ラスタスキャンした際の入力画像２０の図中右下部分の非歪曲円形画像部２２内のブロック画像であることが多い。すなわち、容量オーバーしたブロック画像２５のブロック番号以降のブロック画像は黒色の情報（例えば、RGBで(0, 0, 0)）であることが多い。 Note that block images after the block number of the block image 25 whose capacity has been exceeded are handled as discarded block images. Since the discarded block image is set to the size of the frame memory 4 corresponding to the average image compression rate with respect to the size of the input image 20, the input image at the time of raster scanning is set. In many cases, the image is a block image in the undistorted circular image portion 22 in the lower right part of FIG. That is, the block images after the block number of the block image 25 that has exceeded the capacity are often black information (for example, (0, 0, 0) in RGB).
（２．２　フレームメモリからの圧縮ブロック画像のデータの読み出す動作）
　次に、フレームメモリ４からの圧縮ブロック画像のデータの読み出す動作について図７および図８に用いて説明する。
　図７は、画像処理装置１０においてフレームメモリ４から圧縮ブロック画像のデータを読み出す動作例を示すフローチャートである。図８は、歪曲画像と平面正則画像との関連の一例を示す模式図である。 (2.2 Operation for reading compressed block image data from frame memory)
Next, an operation of reading compressed block image data from the frame memory 4 will be described with reference to FIGS.
FIG. 7 is a flowchart illustrating an example of an operation for reading compressed block image data from the frame memory 4 in the image processing apparatus 10. FIG. 8 is a schematic diagram illustrating an example of a relationship between a distorted image and a planar regular image.
　図７に示すように、画像処理装置１０は、歪曲円形画像における画素を特定する（ステップＳ１０）。具体的には、図８に示すように、画像処理装置１０の画像変換処理部１８が、平面正則画像３０上の画素を特定する。走査の主走査方向（例えば、線３０ａ）に沿って、１画素ずつ画素が特定される。ここで、平面正則画像３０は、歪曲円形画像を画像変換した平面正則画像の一部である。 As shown in FIG. 7, the image processing apparatus 10 identifies pixels in the distorted circular image (step S10). Specifically, as illustrated in FIG. 8, the image conversion processing unit 18 of the image processing apparatus 10 identifies pixels on the planar regular image 30. Pixels are specified pixel by pixel along the main scanning direction of scanning (for example, line 30a). Here, the planar regular image 30 is a part of a planar regular image obtained by converting a distorted circular image.
　そして、対応座標算出部１７が、パラメータ入力部３からのパラメータに基づき、平面正則画像３０上で特定された画素に対応する歪曲円形画像における対応座標を算出し、入力画像２０における対応画素を特定する。 Then, the corresponding coordinate calculation unit 17 calculates the corresponding coordinates in the distorted circular image corresponding to the pixel specified on the planar regular image 30 based on the parameter from the parameter input unit 3, and specifies the corresponding pixel in the input image 20. To do.
　ここで、図８に示すように、平面正則画像３０における線３０ａは、歪曲円形画像部２１における線２１ａに対応し、平面正則画像３０における線３０ｂは、歪曲円形画像部２１における線２１ｂに対応する。このように、平面正則画像３０において直線であっても、歪曲円形画像ではほとんど曲線になる。ブロック画像２５を設定することにより、平面正則画像３０を直線の線３０ａでスキャンして行く際、暫く所定のブロック画像２５に属しているが、次のブロック画像２５に属することになる。 Here, as shown in FIG. 8, the line 30 a in the planar regular image 30 corresponds to the line 21 a in the distorted circular image portion 21, and the line 30 b in the planar regular image 30 corresponds to the line 21 b in the distorted circular image portion 21. To do. As described above, even if the planar regular image 30 is a straight line, the curved circular image is almost curved. By setting the block image 25, when the planar regular image 30 is scanned with the straight line 30a, it belongs to the predetermined block image 25 for a while, but belongs to the next block image 25.
　また、図８に示すように、線３０ａの画素ｐ０は、線２１ａの一部を含むブロック画像２５の画素ｐ０に対応し、線３０ａの画素ｐ０の隣の画素ｐ０は、ブロック画像２５の画素ｐ０の近接の画素ｐ１に対応する。 8, the pixel p0 of the line 30a corresponds to the pixel p0 of the block image 25 including a part of the line 21a, and the pixel p0 adjacent to the pixel p0 of the line 30a is a pixel of the block image 25. This corresponds to the pixel p1 adjacent to p0.
　このように、画像処理装置１０は、前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段の一例として機能する。また、画像処理装置１０は、前記平面正則画像を走査するように前記平面正則画像における前記所定の画素を決めて、当該決められた画素に対応する前記歪曲画像における画素を特定する画素特定手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a pixel specifying unit that specifies a pixel in the distorted image corresponding to a predetermined pixel of the planar regular image when the distorted image is converted into a planar regular image. . Further, the image processing apparatus 10 determines a predetermined pixel in the planar regular image so as to scan the planar regular image, and identifies a pixel in the distorted image corresponding to the determined pixel. It serves as an example.
　次に、画像処理装置１０は、ブロック画像を特定する（ステップＳ１１）。具体的には、画像処理装置１０の画像変換処理部１８が、対応画素を含むブロック画像のブロック番号を特定する。なお、入力画像２０における分割数は予め定めておくので、対応画素が決まると、ブロック番号が特定できる。 Next, the image processing apparatus 10 specifies a block image (step S11). Specifically, the image conversion processing unit 18 of the image processing apparatus 10 specifies the block number of the block image including the corresponding pixel. Since the number of divisions in the input image 20 is determined in advance, the block number can be specified when the corresponding pixel is determined.
　このように、画像処理装置１０は、前記画素特定手段により特定された画素を含むブロック画像を特定するブロック画像特定手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a block image specifying unit that specifies a block image including the pixel specified by the pixel specifying unit.
　次に、画像処理装置１０は、破棄のブロック画像か否かを判定する（ステップＳ１２）。具体的には、画像処理装置１０の画像変換処理部１８が、フレームメモリ４が容量オーバーしている場合、容量オーバーしたブロック画像２５のブロック番号以降のブロック番号か否かを判定する。 Next, the image processing apparatus 10 determines whether or not it is a discarded block image (step S12). Specifically, when the frame memory 4 has exceeded the capacity, the image conversion processing unit 18 of the image processing apparatus 10 determines whether or not the block number is a block number after the block number of the block image 25 that has exceeded the capacity.
　このように、画像処理装置１０は、前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれるか否かを判定するブロック画像判定手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a block image determination unit that determines whether or not the specified pixel is included in a block image corresponding to a compressed block image that has not been written in the frame memory. To do.
　破棄のブロック画像である場合（ステップＳ１２；ＹＥＳ）、画像処理装置１０は、固定値を出力する（ステップＳ１３）。具体的には、画像処理装置１０の画像変換処理部１８が、例えば、固定値として、RGBで(0, 0, 0)）を、ラインバッファ１９に出力する。 If the block image is discarded (step S12; YES), the image processing apparatus 10 outputs a fixed value (step S13). Specifically, the image conversion processing unit 18 of the image processing apparatus 10 outputs, for example, (0, 0, RGB0)) in RGB as a fixed value to the line buffer 19.
　このように、画像処理装置１０は、前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれる画素である場合、前記キャッシュメモリから前記特定された画素を読み出さず、所定の値を出力する出力手段の一例として機能する。 As described above, when the specified pixel is a pixel included in the block image corresponding to the compressed block image that has not been written in the frame memory, the image processing apparatus 10 determines the specified pixel from the cache memory. Functions as an example of an output unit that outputs a predetermined value without reading out.
　破棄のブロック画像でない場合（ステップＳ１２；ＮＯ）、画像処理装置１０は、キャッシュメモリ１６に該当するブロック画像があるか否かを判定する（ステップＳ１４）。具体的には、画像処理装置１０の画像変換処理部１８が、メモリ制御部１４のメモリを参照して、キャッシュメモリ１６に格納されているブロック画像のブロック番号が、ステップＳ１１で特定したブロック番号と同じであるか否かを判定する。なお、キャッシュメモリ１６にブロック番号が記憶されている場合、画像変換処理部１８は、キャッシュメモリ１６を参照して、特定したブロック番号と同じであるか否かを判定してもよい。 If it is not a discarded block image (step S12; NO), the image processing apparatus 10 determines whether there is a corresponding block image in the cache memory 16 (step S14). Specifically, the block number of the block image stored in the cache memory 16 by the image conversion processing unit 18 of the image processing apparatus 10 referring to the memory of the memory control unit 14 is the block number specified in step S11. It is determined whether or not the same. When the block number is stored in the cache memory 16, the image conversion processing unit 18 may refer to the cache memory 16 and determine whether the block number is the same as the specified block number.
　キャッシュメモリ１６に該当するブロック画像がない場合（ステップＳ１４；ＮＯ）、画像処理装置１０は、フレームメモリ４から圧縮ブロック画像を読み出す（ステップＳ１５）。具体的には、キャッシュメモリ１６に格納されているブロック画像のブロック番号が、特定したブロック番号と同じでない場合、画像変換処理部１８が、フレームメモリ４から、特定したブロック番号に対応するブロック画像の圧縮ブロック画像を読み出す指令信号を、メモリ制御部１４に出力する。そして、メモリ制御部１４が、メモリ制御部１４のメモリから、特定したブロック番号のスタートアドレスを読み出す。メモリ制御部１４が、読み出したスタートアドレスに対応する圧縮ブロック画像を、フレームメモリ４から読み出し、伸張部１５に出力する。 If there is no corresponding block image in the cache memory 16 (step S14; NO), the image processing apparatus 10 reads the compressed block image from the frame memory 4 (step S15). Specifically, when the block number of the block image stored in the cache memory 16 is not the same as the specified block number, the image conversion processing unit 18 reads the block image corresponding to the specified block number from the frame memory 4. A command signal for reading the compressed block image is output to the memory control unit 14. Then, the memory control unit 14 reads the start address of the specified block number from the memory of the memory control unit 14. The memory control unit 14 reads out the compressed block image corresponding to the read start address from the frame memory 4 and outputs it to the decompression unit 15.
　このように、画像処理装置１０は、前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段の一例として機能する。また、画像処理装置１０は、前記特定されたブロック画像が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された前記ブロック画像に対応する前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段の一例として機能する。 As described above, when the specified pixel is not stored in the cache memory, the image processing apparatus 10 refers to the address storage unit in order to expand the compressed block image and store it in the cache memory. Thus, it functions as an example of second reading means for reading out the compressed block image including the specified pixel from the frame memory. Further, the image processing apparatus 10 refers to the address storage unit for decompressing the compressed block image and storing it in the cache memory when the identified block image is not stored in the cache memory. , And functions as an example of second reading means for reading out the compressed block image corresponding to the identified block image from the frame memory.
　次に、画像処理装置１０は、圧縮ブロック画像をブロック画像に伸張する（ステップＳ１６）。具体的には、画像処理装置１０の伸張部１５が、圧縮ブロック画像をブロック画像に伸張する。 Next, the image processing apparatus 10 expands the compressed block image into a block image (step S16). Specifically, the decompression unit 15 of the image processing apparatus 10 decompresses the compressed block image into a block image.
　このように、画像処理装置１０は、前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a decompressing unit that decompresses the compressed block image read from the frame memory.
　次に、画像処理装置１０は、ブロック画像をキャッシュメモリ１６に書き込む（ステップＳ１７）。具体的には、画像処理装置１０の伸張部１５が、伸張したブロック画像をキャッシュメモリ１６に出力し、ブロック画像が、キャッシュメモリ１６に書き込まれる。ここで、キャッシュメモリ１６が１ブロック画像分しかメモリの容量がない場合、伸張部１５から出力されたブロック画像にキャッシュメモリ１６の内容が書き換えられる。 Next, the image processing apparatus 10 writes the block image in the cache memory 16 (step S17). Specifically, the decompression unit 15 of the image processing apparatus 10 outputs the decompressed block image to the cache memory 16, and the block image is written to the cache memory 16. Here, when the cache memory 16 has a memory capacity for only one block image, the contents of the cache memory 16 are rewritten to the block image output from the decompression unit 15.
　このように、画像処理装置１０は、前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a storage unit that stores a block image obtained by decompressing the read compressed block image in the cache memory.
　次に、画像処理装置１０は、キャッシュメモリ１６から画素情報を読み出す（ステップＳ１８）。具体的には、画像処理装置１０の画像変換処理部１８が、キャッシュメモリ１６から、ステップＳ１０で特定した画素の画素情報を読み出す。そして画像変換処理部１８が、読み出した画素情報をラインバッファ１９に出力する。ラインバッファ１９において、１ライン分の画素情報を取得したら、１ライン分の画素情報がラインバッファ１９から表示用モニタ５に出力される。 Next, the image processing apparatus 10 reads pixel information from the cache memory 16 (step S18). Specifically, the image conversion processing unit 18 of the image processing apparatus 10 reads out the pixel information of the pixel specified in step S <b> 10 from the cache memory 16. Then, the image conversion processing unit 18 outputs the read pixel information to the line buffer 19. When the line buffer 19 acquires pixel information for one line, the pixel information for one line is output from the line buffer 19 to the display monitor 5.
　このように、画像処理装置１０は、前記キャッシュメモリから前記特定された画素を読み出す第１読出手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a first reading unit that reads the specified pixel from the cache memory.
　キャッシュメモリ１６に該当するブロック画像がある場合も（ステップＳ１４；ＹＥＳ）、画像処理装置１０は、キャッシュメモリ１６から画素情報を読み出す（ステップＳ１８）。 Even when there is a corresponding block image in the cache memory 16 (step S14; YES), the image processing apparatus 10 reads pixel information from the cache memory 16 (step S18).
　ここで、図８に示すように、画素ｐ０と画素ｐ１とは、同じブロック画像２５内の画素なので、画像処理装置１０は、キャッシュメモリ１６から画素情報を高速に読み出す。そして、画像処理装置１０は、平面正則画像３０上の線３０ａに沿って、画素を特定していき、同じブロック画像２５内、対応する画素が無い場合、隣接したブロック画像２５に移るため、フレームメモリ４から圧縮ブロック画像を読み出し、伸張してキャッシュメモリ１６に書き込む。 Here, as shown in FIG. 8, since the pixel p0 and the pixel p1 are pixels in the same block image 25, the image processing apparatus 10 reads pixel information from the cache memory 16 at high speed. Then, the image processing apparatus 10 identifies pixels along the line 30a on the planar regular image 30, and moves to the adjacent block image 25 when there is no corresponding pixel in the same block image 25. The compressed block image is read from the memory 4, decompressed, and written to the cache memory 16.
　以上、本実施形態によれば、歪曲画像を所定の大きさに分割した複数のブロック画像に分割し、ブロック画像２５を圧縮ブロック画像に圧縮し、圧縮ブロック画像をフレームメモリ４に書き込むので、フレームメモリ４は、入力画像２０に対する圧縮率に対応した低容量のメモリで、歪曲画像を平面正則画像に補正することができる。画像変換処理をするために１画面分の画像データを格納する大容量のフレームメモリが不要になり、コストダウンと、回路規模の縮小を図ることができる。車載のバックカメラを小型化できる。 As described above, according to the present embodiment, the distorted image is divided into a plurality of block images divided into a predetermined size, the block image 25 is compressed into a compressed block image, and the compressed block image is written into the frame memory 4. The memory 4 is a low-capacity memory corresponding to the compression rate for the input image 20, and can correct a distorted image into a planar regular image. A large-capacity frame memory for storing image data for one screen is not required to perform the image conversion process, so that the cost can be reduced and the circuit scale can be reduced. Car-mounted back camera can be downsized.
　また、キャッシュメモリ１６には、ブロック画像単位に、圧縮ブロック画像から伸張されたブロック画像が格納されるので、歪曲画像を平面正則画像に変換する際に、平面正則画像の所定の画素に隣接する画素に対応する歪曲画像における画素も、同じブロック画像に含まれていることが多い。従って、フレームメモリ４から圧縮ブロック画像を読み出し、伸張する処理の回数が減り、画像処理が高速になる。また、補正変換の時に１フレーム分の画像を全て伸張する必要がない。 Further, since the cache memory 16 stores the block image expanded from the compressed block image for each block image, when the distorted image is converted into the planar regular image, it is adjacent to a predetermined pixel of the planar regular image. The pixels in the distorted image corresponding to the pixels are often included in the same block image. Accordingly, the number of times of reading and decompressing the compressed block image from the frame memory 4 is reduced, and the image processing becomes faster. Further, it is not necessary to expand all the images for one frame at the time of correction conversion.
　また、特定された画素を含むブロック画像を特定し、特定されたブロック画像がキャッシュメモリ１６に格納されていない場合、圧縮ブロック画像を伸張してキャッシュメモリ１６に格納するために、メモリ制御部１４のメモリを参照して、特定されたブロック画像に対応する圧縮ブロック画像をフレームメモリ４から読み出す場合、効率的にブロック画像を選択できる。 In addition, when the block image including the specified pixel is specified, and the specified block image is not stored in the cache memory 16, the memory control unit 14 expands the compressed block image and stores it in the cache memory 16. When the compressed block image corresponding to the identified block image is read out from the frame memory 4 with reference to the memory, the block image can be selected efficiently.
　圧縮ブロック画像をフレームメモリ４に書き込むか否かを判定する場合、フレームメモリ４に記憶するブロック画像の量を減少させることができる。すなわち、フレームメモリ４に記憶させる圧縮ブロック画像を削減できる。さらにフレームメモリ４の容量を小さくできるため、画像処理システム１を小型化できる。 When determining whether or not to write a compressed block image to the frame memory 4, the amount of block image stored in the frame memory 4 can be reduced. That is, the compressed block image stored in the frame memory 4 can be reduced. Furthermore, since the capacity of the frame memory 4 can be reduced, the image processing system 1 can be reduced in size.
　例えば、フレームメモリ４に書き込まれていく圧縮ブロック画像の画像データのトータルの容量が、フレームメモリ４のメモリ容量をオーバーした場合、フレームメモリ４のメモリ容量をオーバーした以降のブロック画像は、ラスタスキャンの最後の方に対応するブロック画像である場合、すなわち、非歪曲円形画像部２２に属している場合が多いので、余分なブロック画像がフレームメモリ４に記憶されることが防止できる。 For example, when the total capacity of the image data of the compressed block image written to the frame memory 4 exceeds the memory capacity of the frame memory 4, the block image after the memory capacity of the frame memory 4 exceeds the raster scan In many cases, the block image corresponds to the last part of the image, that is, the image belongs to the non-distorted circular image unit 22, so that it is possible to prevent an extra block image from being stored in the frame memory 4.
　特定された画素が、フレームメモリ４に書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれるか否かを判定し、特定された画素が、フレームメモリ４に書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれる画素である場合、キャッシュメモリ１６から特定された画素を読み出さず、所定の値を出力するとき、歪曲画像から平面正則画像への補正の画像処理をより高速化することができる。 It is determined whether or not the specified pixel is included in a block image corresponding to a compressed block image that has not been written to the frame memory 4, and the specified pixel is added to the compressed block image that has not been written to the frame memory 4. When the pixel included in the corresponding block image does not read out the specified pixel from the cache memory 16 and outputs a predetermined value, the correction image processing from the distorted image to the planar regular image is further accelerated. Can do.
　また、平面正則画像を走査するように平面正則画像における所定の画素（例えば、線３０ａ上の画素）を決めて、当該決められた画素に対応する歪曲画像における画素（例えば、線２１ａ上の画素）を特定する場合、線２１ａが曲線であってもブロック画像単位により、キャッシュメモリ１６から、画素情報を読み出せばよいので、フレームメモリ４へのアクセス回数が減少するので、歪曲画像から平面正則画像への補正の画像処理が高速にできる。 Further, a predetermined pixel (for example, a pixel on the line 30a) in the planar regular image is determined so as to scan the planar regular image, and a pixel (for example, a pixel on the line 21a) in the distorted image corresponding to the determined pixel is determined. ) Is specified, it is only necessary to read out the pixel information from the cache memory 16 in units of block images even if the line 21a is a curve. Therefore, the number of accesses to the frame memory 4 is reduced. Image processing for image correction can be performed at high speed.
　なお、フレームメモリ４の容量を超えているか否かを判定し、フレームメモリ４の容量を超えている場合、圧縮部１３における画像の圧縮率を高くしてもよい。この場合、次のフレームの画像データに対する圧縮率を上げることにより、画像データが欠損することを抑制することができる。 Note that it is determined whether or not the capacity of the frame memory 4 is exceeded. If the capacity of the frame memory 4 is exceeded, the compression rate of the image in the compression unit 13 may be increased. In this case, it is possible to suppress the loss of image data by increasing the compression rate for the image data of the next frame.
　ステップＳ４において、容量オーバーしている場合、次のフレームに対しては、ステップＳ３における画像の圧縮率を上げる。 In step S4, if the capacity is exceeded, the compression rate of the image in step S3 is increased for the next frame.
　このように、画像処理装置１０は、前記フレームメモリの容量を超えている場合、前記圧縮手段における画像の圧縮率を高くする圧縮手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a compression unit that increases the compression rate of the image in the compression unit when the capacity of the frame memory is exceeded.
［３．変形例］
　次に、圧縮ブロック画像のデータをフレームメモリに書き込む動作の変形例について、図９を用いて説明する。 [3. Modified example]
Next, a modified example of the operation of writing the compressed block image data into the frame memory will be described with reference to FIG.
　この変形例は、非歪曲円形画像部２２に完全に含まれるブロック画像２５を予め取り除き、ブロック画像２５の圧縮を行い、フレームメモリ４に書き込む動作である。入力画像２０における歪曲円形画像部２１の位置は、カメラ部２のレンズとイメージセンサとの位置関係等が変わらない限り、固定されている。従って、図３に示すように、非歪曲円形画像部２２に完全に含まれるブロック画像２５のブロック番号は予め決まっている。このブロック番号を、例えば、パラメータ入力部３から予め入力しておく。なお、画像変換処理部１８は、メモリ制御部１４に、予め破棄するブロック画像のブロック番号を出力しておく。メモリ制御部１４は、破棄するブロック画像のブロック番号をメモリ制御部１４のメモリに記憶しておく。 This modification is an operation in which the block image 25 completely included in the undistorted circular image portion 22 is removed in advance, the block image 25 is compressed, and written into the frame memory 4. The position of the distorted circular image portion 21 in the input image 20 is fixed as long as the positional relationship between the lens of the camera portion 2 and the image sensor does not change. Therefore, as shown in FIG. 3, the block number of the block image 25 that is completely included in the non-distorted circular image portion 22 is determined in advance. This block number is input in advance from the parameter input unit 3, for example. The image conversion processing unit 18 outputs the block number of the block image to be discarded in advance to the memory control unit 14. The memory control unit 14 stores the block number of the block image to be discarded in the memory of the memory control unit 14.
　図９に示すように、画像処理装置１０は、ステップＳ１からステップＳ４のように、歪曲円形画像を含む入力画像を取得し（ステップＳ２１）、入力画像をブロック画像に分割し（ステップＳ２２）、ブロック画像を圧縮ブロック画像に圧縮し（ステップＳ２３）、容量オーバーしているか否かを判定する（ステップＳ２４）。 As shown in FIG. 9, the image processing apparatus 10 acquires an input image including a distorted circular image (step S21) and divides the input image into block images (step S22), as in steps S1 to S4. The block image is compressed into a compressed block image (step S23), and it is determined whether or not the capacity is exceeded (step S24).
　容量オーバーしていない場合（ステップＳ２４；ＮＯ）、画像処理装置１０は、破棄のブロック画像であるか否かを判定する（ステップＳ２５）。具体的には、メモリ制御部１４は、メモリ制御部１４のメモリを参照して、カウントしたブロック番号が、破棄するブロック画像のブロック番号か否かを判定する。このように、画像処理装置１０は、前記圧縮ブロック画像をフレームメモリに書き込むか否かを判定する書き込み判定手段の一例として機能する。 If the capacity is not over (step S24; NO), the image processing apparatus 10 determines whether the block image is a discard block (step S25). Specifically, the memory control unit 14 refers to the memory of the memory control unit 14 and determines whether or not the counted block number is a block number of a block image to be discarded. As described above, the image processing apparatus 10 functions as an example of a write determination unit that determines whether or not to write the compressed block image to the frame memory.
　破棄のブロック画像でない場合（ステップＳ２５；ＮＯ）、画像処理装置１０は、ステップＳ５のように、圧縮ブロック画像をフレームメモリ４に書き込む（ステップＳ２６）。 If it is not a discarded block image (step S25; NO), the image processing apparatus 10 writes the compressed block image in the frame memory 4 as in step S5 (step S26).
　破棄のブロック画像である場合（ステップＳ２５；ＹＥＳ）、画像処理装置１０は、ステップＳ２３に戻り、次のブロック画像２５を圧縮する。 If it is a discarded block image (step S25; YES), the image processing apparatus 10 returns to step S23 and compresses the next block image 25.
　この変形例の場合、フレームメモリ４に記憶させる圧縮ブロック画像を削減でき、さらにフレームメモリ４の容量を小さくできるため、画像処理システム１を小型化できる。 In the case of this modification, the compressed block images stored in the frame memory 4 can be reduced, and the capacity of the frame memory 4 can be further reduced.
　さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。 Furthermore, the present invention is not limited to the above embodiments. Each of the embodiments described above is an exemplification, and any configuration that has substantially the same configuration as the technical idea described in the claims of the present invention and has the same operational effects can be used. It is included in the technical scope of the present invention.
　１：画像処理システム
　２：カメラ部
　３：パラメータ入力部
　４：フレームメモリ
　５：表示用モニタ（表示手段）
　１０：画像処理装置
　１１：ラインバッファ（歪曲画像取得手段）
　１２：ブロック画像部（ブロック画像手段）
　１３：圧縮部（圧縮手段）
　１４：メモリ制御部（書込手段、アドレス記憶手段、第２読出手段）
　１５：伸張部（伸張手段）
　１６：キャッシュメモリ
　１７：対応座標算出部（画素特定手段）
　１８：画像変換処理部（画素特定手段、第１読出手段、ブロック画像特定手段）
　２１：歪曲円形画像部（歪曲画像）
　２５：ブロック画像 1: Image processing system 2: Camera unit 3: Parameter input unit 4: Frame memory 5: Monitor for display (display means)
10: Image processing device 11: Line buffer (distorted image acquisition means)
12: Block image part (block image means)
13: Compression section (compression means)
14: Memory control unit (writing means, address storage means, second reading means)
15: Extension part (extension means)
16: Cache memory 17: Corresponding coordinate calculation unit (pixel specifying means)
18: Image conversion processing unit (pixel specifying means, first reading means, block image specifying means)
21: Distorted circular image part (distorted image)
25: Block image

Claims (9)

  1. 　広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段と、
    　前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段と、
    　前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段と、
    　前記圧縮ブロック画像をフレームメモリに書き込む書込手段と、
    　前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段と、
    　前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段と、
    　前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段と、
    　前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段と、
    　前記キャッシュメモリから前記特定された画素を読み出す第１読出手段と、
    　前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段と、
    　を備えたことを特徴とする画像処理装置。     A distorted image acquisition means for acquiring image data of a distorted image from a wide-angle lens or an omnidirectional mirror from an imaging means;
    Block image means for dividing the distorted image into a plurality of block images divided into a predetermined size;
    Compression means for compressing the block image into a compressed block image;
    Writing means for writing the compressed block image into a frame memory;
    Address storage means for storing a storage location of the compressed block image in the frame memory;
    Decompression means for decompressing the compressed block image read from the frame memory;
    Storage means for storing a block image obtained by decompressing the read compressed block image in a cache memory;
    A pixel specifying means for specifying a pixel in the distorted image corresponding to a predetermined pixel of the planar regular image when converting the distorted image into a planar regular image;
    First reading means for reading out the specified pixel from the cache memory;
    If the identified pixel is not stored in the cache memory, the identified pixel is included with reference to the address storage means to decompress and store the compressed block image in the cache memory Second reading means for reading the compressed block image from the frame memory;
    An image processing apparatus comprising:
  2. 　請求項１に記載の画像処理装置において、
    　前記画素特定手段により特定された画素を含むブロック画像を特定するブロック画像特定手段を更に備え、
    　前記第２読出手段が、前記特定されたブロック画像が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された前記ブロック画像に対応する前記圧縮ブロック画像を前記フレームメモリから読み出すことを特徴とする画像処理装置。     The image processing apparatus according to claim 1.
    A block image specifying means for specifying a block image including the pixel specified by the pixel specifying means;
    The second reading means refers to the address storage means to decompress the compressed block image and store it in the cache memory when the identified block image is not stored in the cache memory, An image processing apparatus, wherein the compressed block image corresponding to the identified block image is read from the frame memory.
  3. 　請求項１または請求項２に記載の画像処理装置において、
    　前記圧縮ブロック画像を前記フレームメモリに書き込むか否かを判定する書き込み判定手段を更に備えたことを特徴とする画像処理装置。     The image processing apparatus according to claim 1 or 2,
    An image processing apparatus, further comprising: a writing determination unit that determines whether or not to write the compressed block image to the frame memory.
  4. 　請求項３に記載の画像処理装置において、
    　前記書き込み判定手段が、前記フレームメモリの容量を超えているか否かを判定し、
    　前記フレームメモリの容量を超えている場合、前記圧縮手段における画像の圧縮率を高くすることを特徴とする画像処理装置。     The image processing apparatus according to claim 3.
    The write determination means determines whether the frame memory capacity is exceeded,
    An image processing apparatus characterized in that, when the capacity of the frame memory is exceeded, the compression ratio of the image in the compression means is increased.
  5. 　請求項３または請求項４に記載の画像処理装置において、
    　前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれるか否かを判定するブロック画像判定手段と、
    　前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれる画素である場合、前記キャッシュメモリから前記特定された画素を読み出さず、所定の値を出力する出力手段と、
    　を更に備えたことを特徴とする画像処理装置。     The image processing apparatus according to claim 3 or 4,
    Block image determination means for determining whether or not the specified pixel is included in a block image corresponding to a compressed block image that has not been written to the frame memory;
    If the specified pixel is a pixel included in a block image corresponding to a compressed block image that has not been written to the frame memory, a predetermined value is output without reading the specified pixel from the cache memory Output means;
    An image processing apparatus further comprising:
  6. 　請求項１から請求項５のいずれか１項に記載の画像処理装置において、
    　画素特定手段が、前記平面正則画像を走査するように前記平面正則画像における前記所定の画素を決めて、当該決められた画素に対応する前記歪曲画像における画素を特定することを特徴とする画像処理装置。     The image processing apparatus according to any one of claims 1 to 5,
    Image processing characterized in that a pixel specifying means determines the predetermined pixel in the planar regular image so as to scan the planar regular image, and identifies a pixel in the distorted image corresponding to the determined pixel. apparatus.
  7. 　画像を処理する画像処理装置の画像処理方法において、
    　広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得ステップと、
    　前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像ステップと、
    　前記ブロック画像を圧縮ブロック画像に圧縮する圧縮ステップと、
    　前記圧縮ブロック画像をフレームメモリに書き込む書込ステップと、
    　前記圧縮ブロック画像の前記フレームメモリにおける記憶場所をアドレス記憶手段に記憶するアドレス記憶ステップと、
    　前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張ステップと、
    　前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納ステップと、
    　前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定ステップと、
    　前記キャッシュメモリから前記特定された画素を読み出す第１読出ステップと、
    　前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出ステップと、
    　を含むことを特徴とする画像処理方法。     In an image processing method of an image processing apparatus for processing an image,
    A distorted image acquisition step of acquiring image data of a distorted image from a wide-angle lens or an omnidirectional mirror from the imaging means;
    A block image step for dividing the distorted image into a plurality of block images divided into a predetermined size;
    A compression step of compressing the block image into a compressed block image;
    A writing step of writing the compressed block image into a frame memory;
    An address storage step of storing a storage location of the compressed block image in the frame memory in an address storage means;
    An expansion step of expanding the compressed block image read from the frame memory;
    A storage step of storing, in a cache memory, a block image obtained by decompressing the read compressed block image;
    A pixel specifying step of specifying a pixel in the distorted image corresponding to a predetermined pixel of the planar regular image when converting the distorted image into a planar regular image;
    A first reading step of reading the identified pixel from the cache memory;
    If the identified pixel is not stored in the cache memory, the identified pixel is included with reference to the address storage means to decompress and store the compressed block image in the cache memory A second reading step of reading the compressed block image from the frame memory;
    An image processing method comprising:
  8. 　コンピュータを、
    　広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段、
    　前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段、
    　前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段、
    　前記圧縮ブロック画像をフレームメモリに書き込む書込手段、
    　前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段、
    　前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段、
    　前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段、
    　前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段、
    　前記キャッシュメモリから前記特定された画素を読み出す第１読出手段、および、
    　前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段として機能させることを特徴とする画像処理用プログラム。     Computer
    A distorted image acquisition means for acquiring image data of a distorted image from a wide-angle lens or an omnidirectional mirror from an imaging means;
    Block image means for dividing the distorted image into a plurality of block images divided into a predetermined size;
    Compression means for compressing the block image into a compressed block image;
    Writing means for writing the compressed block image into a frame memory;
    Address storage means for storing a storage location of the compressed block image in the frame memory;
    Decompression means for decompressing the compressed block image read from the frame memory;
    Storage means for storing a block image obtained by decompressing the read compressed block image in a cache memory;
    A pixel specifying means for specifying a pixel in the distorted image corresponding to a predetermined pixel of the planar regular image when converting the distorted image into a planar regular image;
    First reading means for reading the specified pixel from the cache memory; and
    If the identified pixel is not stored in the cache memory, the identified pixel is included with reference to the address storage means to decompress and store the compressed block image in the cache memory An image processing program that causes the compressed block image to function as second reading means for reading from the frame memory.
  9. 　広角レンズまたは全方位ミラーからの歪曲画像を撮像する撮像手段と、
    　前記歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段と、
    　前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段と、
    　前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段と、
    　前記圧縮ブロック画像をフレームメモリに書き込む書込手段と、
    　前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段と、
    　前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段と、
    　前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段と、
    　前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段と、
    　前記キャッシュメモリから前記特定された画素を読み出す第１読出手段と、
    　前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第２読出手段と、
    　を備えたことを特徴とする撮像装置。     Imaging means for imaging a distorted image from a wide-angle lens or an omnidirectional mirror;
    A distorted image acquisition means for acquiring image data of the distorted image from an imaging means;
    Block image means for dividing the distorted image into a plurality of block images divided into a predetermined size;
    Compression means for compressing the block image into a compressed block image;
    Writing means for writing the compressed block image into a frame memory;
    Address storage means for storing a storage location of the compressed block image in the frame memory;
    Decompression means for decompressing the compressed block image read from the frame memory;
    Storage means for storing, in a cache memory, a block image obtained by decompressing the read compressed block image;
    A pixel specifying means for specifying a pixel in the distorted image corresponding to a predetermined pixel of the planar regular image when converting the distorted image into a planar regular image;
    First reading means for reading out the specified pixel from the cache memory;
    If the identified pixel is not stored in the cache memory, the identified pixel is included with reference to the address storage means to decompress and store the compressed block image in the cache memory Second reading means for reading the compressed block image from the frame memory;
    An imaging apparatus comprising:
PCT/JP2014/083650 2013-12-27 2014-12-19 Image processing device, image processing method, image processing program, and imaging device WO2015098721A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-273566 2013-12-27
JP2013273566A JP2015128263A (en) 2013-12-27 2013-12-27 Image processing system, image processing method, program for image processing and imaging apparatus

Publications (1)

Publication Number Publication Date
WO2015098721A1 true WO2015098721A1 (en) 2015-07-02

Family

ID=53478579

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/083650 WO2015098721A1 (en) 2013-12-27 2014-12-19 Image processing device, image processing method, image processing program, and imaging device

Country Status (2)

Country Link
JP (1) JP2015128263A (en)
WO (1) WO2015098721A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678680A (en) * 2015-12-30 2016-06-15 魅族科技（中国）有限公司 Image processing method and device
CN110874809A (en) * 2018-08-29 2020-03-10 上海商汤智能科技有限公司 Image processing method and device, electronic equipment and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01296850A (en) * 1988-05-25 1989-11-30 Matsushita Graphic Commun Syst Inc Picture communication equipment
JP2004272767A (en) * 2003-03-11 2004-09-30 Lsi Systems:Kk Image processing device, image providing server device, image processing method and image processing program
JP2010176547A (en) * 2009-01-30 2010-08-12 Dainippon Printing Co Ltd Controller included in image processor, control method and control processing program
JP2012019357A (en) * 2010-07-07 2012-01-26 Canon Inc Image processing device and compression method
JP2012089954A (en) * 2010-10-15 2012-05-10 Dainippon Printing Co Ltd Conference system, monitoring system, image processing system, image processing method, and image processing program or the like

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01296850A (en) * 1988-05-25 1989-11-30 Matsushita Graphic Commun Syst Inc Picture communication equipment
JP2004272767A (en) * 2003-03-11 2004-09-30 Lsi Systems:Kk Image processing device, image providing server device, image processing method and image processing program
JP2010176547A (en) * 2009-01-30 2010-08-12 Dainippon Printing Co Ltd Controller included in image processor, control method and control processing program
JP2012019357A (en) * 2010-07-07 2012-01-26 Canon Inc Image processing device and compression method
JP2012089954A (en) * 2010-10-15 2012-05-10 Dainippon Printing Co Ltd Conference system, monitoring system, image processing system, image processing method, and image processing program or the like

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678680A (en) * 2015-12-30 2016-06-15 魅族科技（中国）有限公司 Image processing method and device
CN110874809A (en) * 2018-08-29 2020-03-10 上海商汤智能科技有限公司 Image processing method and device, electronic equipment and storage medium

Also Published As

Publication number Publication date
JP2015128263A (en) 2015-07-09

Similar Documents

Publication Publication Date Title
TWI524306B (en) Image transformation and multi-view output systems and methods
JP5376313B2 (en) Image processing apparatus and image pickup apparatus
JP5906028B2 (en) Image processing apparatus and image processing method
US8724923B2 (en) Image processing apparatus and image processing method for correcting distorted image data
JP2004362069A (en) Image processor
JP4608436B2 (en) Image shooting device
JP2015053644A (en) Imaging device
US8269859B2 (en) Photographing apparatus that performs distortion correction in association with digital and optical zoom, method of controlling the same, and recording medium having recorded thereon computer program to implement the method
US10713757B2 (en) Image processing apparatus, control method thereof, and storage medium
US20040001152A1 (en) Digital image data correction apparatus, digital image data correction method and digital image pickup apparatus
JP7170478B2 (en) Image processing device, image processing method and image processing program
JP2005135096A (en) Image processing method, image processing apparatus and program
JP5585885B2 (en) Image processing apparatus and image processing method
WO2015098721A1 (en) Image processing device, image processing method, image processing program, and imaging device
JP4380740B2 (en) Image processing device
JP2009164674A (en) Distortion correction device
JP6524644B2 (en) Image processing apparatus and electronic device
JP6295619B2 (en) Image processing apparatus and method, and electronic apparatus
JP5521641B2 (en) Method and apparatus for compressing image processing data, and image pickup apparatus having the same
JP6440465B2 (en) Image processing apparatus, image processing method, and program
US10244179B2 (en) Image processing apparatus, image capturing apparatus, control method, and recording medium
JP2009003953A (en) Image processor
JP6273881B2 (en) Image processing apparatus, image processing method, and program
TWI424371B (en) Video processing device and processing method thereof
JP2008191921A (en) Optical distortion correction method and device, imaging device with video recording function, and optical distortion correction program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14873145

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14873145

Country of ref document: EP

Kind code of ref document: A1