JP2015128263A - Image processing system, image processing method, program for image processing and imaging apparatus - Google Patents
Image processing system, image processing method, program for image processing and imaging apparatus Download PDFInfo
- Publication number
- JP2015128263A JP2015128263A JP2013273566A JP2013273566A JP2015128263A JP 2015128263 A JP2015128263 A JP 2015128263A JP 2013273566 A JP2013273566 A JP 2013273566A JP 2013273566 A JP2013273566 A JP 2013273566A JP 2015128263 A JP2015128263 A JP 2015128263A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- block image
- block
- frame memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims description 18
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000007906 compression Methods 0.000 claims description 46
- 230000006835 compression Effects 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 23
- 230000006837 decompression Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 12
- 238000013144 data compression Methods 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、カメラ等により撮像された画像を画像処理する画像処理装置、画像処理方法、画像処理用プログラム、および、撮像装置に関する。 The present invention relates to an image processing apparatus, an image processing method, an image processing program, and an imaging apparatus that process an image captured by a camera or the like.
カメラ等により撮像された画像の歪みを補正する際のメモリの削減するための技術が開発されている。例えば、特許文献1では、入力画像の画素のデータを用いて出力画像の画素毎に補正処理を行い、補正処理が完了した画素のデータを出力画像の走査順で1ライン毎に出力するように、入力画像の画素を読み込むことで、出力画像を1ライン得るために必要な入力画像のライン数のみを確保する画像歪曲補正処理方法が開示されている。 A technique for reducing memory when correcting distortion of an image captured by a camera or the like has been developed. For example, in Patent Document 1, correction processing is performed for each pixel of an output image using pixel data of an input image, and pixel data for which correction processing has been completed is output for each line in the scanning order of the output image. An image distortion correction processing method that secures only the number of lines of an input image necessary for obtaining one line of an output image by reading pixels of the input image is disclosed.
しかしながら、特許文献1の技術では、魚眼レンズ等により動画で撮像された入力画像の歪曲画像を平面正則画像に補正して出力する際には、歪曲補正後の出力画像を1ライン分得るために必要な入力画像は、ほぼ1フレーム分の画像のメモリが必要となっていた。 However, in the technique of Patent Document 1, it is necessary to obtain a distortion-corrected output image for one line when a distortion image of an input image captured as a moving image by a fisheye lens or the like is corrected to a planar regular image and output. Such an input image requires an image memory for almost one frame.
そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、低容量のメモリで、歪曲画像を平面正則画像に補正する画像処理装置等を提供することを目的とする。 Therefore, the present invention has been made in view of the above-described problems, and an example of the problem is to provide an image processing apparatus that corrects a distorted image into a planar regular image with a low-capacity memory. And
上記の課題を解決するために、請求項1に記載の発明は、広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段と、前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段と、前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段と、前記圧縮ブロック画像をフレームメモリに書き込む書込手段と、前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段と、前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段と、前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段と、前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段と、前記キャッシュメモリから前記特定された画素を読み出す第1読出手段と、前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第2読出手段と、を備えたことを特徴とする。 In order to solve the above-described problem, the invention described in claim 1 includes a distorted image acquisition unit that acquires image data of a distorted image from a wide-angle lens or an omnidirectional mirror from an imaging unit, and the distorted image is a predetermined size. Block image means for dividing the block image into a plurality of block images; compression means for compressing the block image into a compressed block image; writing means for writing the compressed block image into a frame memory; Address storage means for storing a storage location in the frame memory, expansion means for expanding the compressed block image read from the frame memory, and a block image obtained by expanding the read compressed block image are stored in the cache memory A storage unit and a predetermined image of the planar regular image when converting the distorted image into a planar regular image; A pixel specifying unit that specifies a pixel in the distorted image corresponding to the first read unit that reads the specified pixel from the cache memory, and when the specified pixel is not stored in the cache memory, Second reading means for reading out the compressed block image including the specified pixel from the frame memory with reference to the address storage means for decompressing the compressed block image and storing it in the cache memory; It is characterized by having.
また、請求項2に記載の発明は、請求項1に記載の画像処理装置において、前記画素特定手段により特定された画素を含むブロック画像を特定するブロック画像特定手段を更に備え、前記第2読出手段が、前記特定されたブロック画像が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された前記ブロック画像に対応する前記圧縮ブロック画像を前記フレームメモリから読み出すことを特徴とする。 The invention according to claim 2 is the image processing apparatus according to claim 1, further comprising block image specifying means for specifying a block image including a pixel specified by the pixel specifying means, wherein the second reading is performed. Means refers to the address storage means for decompressing the compressed block image and storing it in the cache memory if the identified block image is not stored in the cache memory; The compressed block image corresponding to the block image is read from the frame memory.
また、請求項3に記載の発明は、請求項1または請求項2に記載の画像処理装置において、前記圧縮ブロック画像を前記フレームメモリに書き込むか否かを判定する書き込み判定手段を更に備えたことを特徴とする。 The invention according to claim 3 further comprises a write determination means for determining whether or not to write the compressed block image to the frame memory in the image processing device according to claim 1 or 2. It is characterized by.
また、請求項4に記載の発明は、請求項3に記載の画像処理装置において、前記書き込み判定手段が、前記フレームメモリの容量を超えているか否かを判定し、前記フレームメモリの容量を超えている場合、前記圧縮手段における画像の圧縮率を高くすることを特徴とする。 According to a fourth aspect of the present invention, in the image processing apparatus according to the third aspect, the write determination means determines whether or not the capacity of the frame memory is exceeded, and exceeds the capacity of the frame memory. The compression rate of the image in the compression means is increased.
また、請求項5に記載の発明は、請求項3または請求項4に記載の画像処理装置において、前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれるか否かを判定するブロック画像判定手段と、前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれる画素である場合、前記キャッシュメモリから前記特定された画素を読み出さず、所定の値を出力する出力手段と、を更に備えたことを特徴とする。 According to a fifth aspect of the present invention, in the image processing apparatus according to the third or fourth aspect, the specified pixel is a block image corresponding to a compressed block image that has not been written to the frame memory. Block image determination means for determining whether or not the image is included, and when the specified pixel is a pixel included in a block image corresponding to a compressed block image that has not been written in the frame memory, Output means for outputting a predetermined value without reading the specified pixel.
また、請求項6に記載の発明は、請求項1から請求項5のいずれか1項に記載の画像処理装置において、画素特定手段が、前記平面正則画像を走査するように前記平面正則画像における前記所定の画素を決めて、当該決められた画素に対応する前記歪曲画像における画素を特定することを特徴とする。 The invention according to claim 6 is the image processing apparatus according to any one of claims 1 to 5, wherein the pixel specifying unit scans the planar regular image so as to scan the planar regular image. The predetermined pixel is determined, and a pixel in the distorted image corresponding to the determined pixel is specified.
また、請求項7に記載の発明は、画像を処理する画像処理装置の画像処理方法において、広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得ステップと、前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像ステップと、前記ブロック画像を圧縮ブロック画像に圧縮する圧縮ステップと、前記圧縮ブロック画像をフレームメモリに書き込む書込ステップと、前記圧縮ブロック画像の前記フレームメモリにおける記憶場所をアドレス記憶手段に記憶するアドレス記憶ステップと、前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張ステップと、前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納ステップと、前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定ステップと、前記キャッシュメモリから前記特定された画素を読み出す第1読出ステップと、前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第2読出ステップと、を含むことを特徴とする。 According to a seventh aspect of the present invention, in the image processing method of the image processing apparatus for processing an image, a distorted image acquisition step of acquiring image data of a distorted image from a wide-angle lens or an omnidirectional mirror from an imaging unit, A block image step for dividing the distorted image into a plurality of block images divided into a predetermined size, a compression step for compressing the block image into a compressed block image, and a writing step for writing the compressed block image into a frame memory; An address storage step of storing the storage location of the compressed block image in the frame memory in an address storage means, an expansion step of expanding the compressed block image read from the frame memory, and the read compressed block image A storage step for storing the expanded block image in the cache memory A pixel specifying step of specifying a pixel in the distorted image corresponding to a predetermined pixel of the planar regular image, and reading the identified pixel from the cache memory when converting the distorted image into a planar regular image. A first reading step and, if the identified pixel is not stored in the cache memory, refer to the address storage means to decompress the compressed block image and store it in the cache memory; A second reading step of reading out the compressed block image including the processed pixels from the frame memory.
また、請求項8に記載の発明は、コンピュータを、広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段、前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段、前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段、前記圧縮ブロック画像をフレームメモリに書き込む書込手段、前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段、前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段、前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段、前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段、前記キャッシュメモリから前記特定された画素を読み出す第1読出手段、および、前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第2読出手段として機能させることを特徴とする。 According to an eighth aspect of the present invention, there is provided a distorted image obtaining unit that obtains image data of a distorted image from a wide-angle lens or an omnidirectional mirror from an imaging unit, and a plurality of divided distorted images having a predetermined size. Block image means for dividing the block image into block images; compression means for compressing the block image into a compressed block image; writing means for writing the compressed block image into a frame memory; storing a storage location of the compressed block image in the frame memory Address storage means, decompression means for decompressing the compressed block image read from the frame memory, storage means for storing the block image obtained by decompressing the read compressed block image in a cache memory, and the distorted image as a planar regular image The distortion corresponding to a predetermined pixel of the planar regular image. Pixel specifying means for specifying pixels in the image, first reading means for reading out the specified pixels from the cache memory, and decompressing the compressed block image if the specified pixels are not stored in the cache memory In order to store in the cache memory, the address storage unit is referred to function as a second reading unit that reads the compressed block image including the identified pixel from the frame memory. .
また、請求項9に記載の発明は、広角レンズまたは全方位ミラーからの歪曲画像を撮像する撮像手段と、前記歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段と、前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段と、前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段と、前記圧縮ブロック画像をフレームメモリに書き込む書込手段と、前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段と、前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段と、前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段と、前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段と、前記キャッシュメモリから前記特定された画素を読み出す第1読出手段と、前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第2読出手段と、を備えたことを特徴とする。 According to a ninth aspect of the present invention, there is provided an imaging unit that captures a distorted image from a wide-angle lens or an omnidirectional mirror, a distorted image acquisition unit that acquires image data of the distorted image from the imaging unit, and the distorted image. Block image means for dividing the block image into a plurality of block images divided into a predetermined size; compression means for compressing the block image into a compressed block image; writing means for writing the compressed block image into a frame memory; and the compressed block Address storage means for storing the storage location of the image in the frame memory; decompression means for decompressing the compressed block image read from the frame memory; and a block memory obtained by decompressing the read compressed block image Storage means for storing the flat regular image when the distorted image is converted into a flat regular image. Pixel specifying means for specifying a pixel in the distorted image corresponding to the predetermined pixel, first reading means for reading out the specified pixel from the cache memory, and the specified pixel stored in the cache memory If not, a second read is performed to read out the compressed block image including the specified pixel from the frame memory with reference to the address storage means in order to decompress the compressed block image and store it in the cache memory Means.
本発明によれば、低容量のメモリで、歪曲画像を平面正則画像に補正することができる。 According to the present invention, a distorted image can be corrected to a planar regular image with a low-capacity memory.
以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、画像処理システムに対して本発明を適用した場合の実施形態である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The embodiment described below is an embodiment when the present invention is applied to an image processing system.
[1.画像処理システムの構成および機能の概要]
(1.1 画像処理システム1の構成および機能)
[1. Overview of image processing system configuration and functions]
(1.1 Configuration and Function of Image Processing System 1)
まず、本発明の一実施形態に係る画像処理システムの構成および概要機能について、図1から図4を用いて説明する。 First, the configuration and outline function of an image processing system according to an embodiment of the present invention will be described with reference to FIGS.
図1は、本発明の実施形態に係る画像処理システムの概要構成例を示すブロック図である。図2は、カメラにより撮像された歪曲画像の一例を示す模式図である。図3は、歪曲画像の分割の一例を示す模式図である。図4は、ブロック画像の一例を示す模式図である。 FIG. 1 is a block diagram illustrating a schematic configuration example of an image processing system according to an embodiment of the present invention. FIG. 2 is a schematic diagram illustrating an example of a distorted image captured by a camera. FIG. 3 is a schematic diagram illustrating an example of the division of the distorted image. FIG. 4 is a schematic diagram illustrating an example of a block image.
図1に示すように、画像処理システム1(画像処理装置の一例)は、広角レンズまたは全方位ミラーを有するカメラ部2と、カメラ部2により撮影された歪曲画像に平面正則画像に画像変換する画像処理を行う画像処理装置10と、画像処理装置10の画像変換の処理に必要なパラメータを入力するパラメータ入力部3と、画像処理装置10において歪曲画像がブロック画像に分割されて圧縮された画像データを記憶するフレームメモリ4と、画像処理装置10により処理された画像を表示する表示用モニタ5と、を備えている。 As shown in FIG. 1, an image processing system 1 (an example of an image processing device) converts a camera unit 2 having a wide-angle lens or an omnidirectional mirror into a planar regular image into a distorted image photographed by the camera unit 2. An image processing apparatus 10 that performs image processing, a parameter input unit 3 that inputs parameters necessary for image conversion processing of the image processing apparatus 10, and an image in which a distorted image is divided into block images and compressed in the image processing apparatus 10 A frame memory 4 for storing data and a display monitor 5 for displaying an image processed by the image processing apparatus 10 are provided.
なお、カメラ部2と画像処理装置10とにより撮像装置を形成する。この撮像装置が、例えば、車載のバックカメラとして使用される。 The camera unit 2 and the image processing device 10 form an imaging device. This imaging device is used as, for example, an in-vehicle back camera.
カメラ部2は、例えば、正射影方式の魚眼レンズと、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)のようなイメージセンサ(撮像手段の一例)とを有するカメラである。カメラ部2は、動画の歪曲円形画像(歪曲画像の一例)を出力する。また、カメラ部2は、車両の後方等に所定の向きに設置され、運転者の死角をなくすような広範囲な画像を捉える。図2に示すように、カメラ部2により撮像された入力画像20は、魚眼レンズからの光りがイメージセンサに結像した歪曲円形画像部21と、歪曲円形画像部21以外の非歪曲円形画像部22とを有する。非歪曲円形画像部22は、魚眼レンズからの光が当たらない部分である。 The camera unit 2 is a camera having, for example, an orthographic fisheye lens and an image sensor (an example of an imaging unit) such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device). The camera unit 2 outputs a distorted circular image of a moving image (an example of a distorted image). The camera unit 2 is installed in a predetermined direction behind the vehicle and captures a wide range of images that eliminate the blind spot of the driver. As shown in FIG. 2, an input image 20 captured by the camera unit 2 includes a distorted circular image unit 21 in which light from a fisheye lens forms an image sensor, and an undistorted circular image unit 22 other than the distorted circular image unit 21. And have. The non-distorted circular image portion 22 is a portion where light from the fisheye lens does not strike.
なお、カメラ部2のレンズは、広角レンズに限らず、全方位ミラーと組み合わせた通常の画角のレンズでもよい。また、広角レンズの画角は180°に限らず、180°より大きくても、小さくてもよい。また、カメラ部2が撮影する画像は、静止画でもよい。また、カメラ部2が、対角線魚眼レンズを有する場合、矩形の歪曲画像を出力する。カメラ部2は、等距離射影方式のレンズや、等立体角射影方式のレンズ等の非正射影方式のレンズでもよい。 The lens of the camera unit 2 is not limited to a wide-angle lens, but may be a normal angle-of-view lens combined with an omnidirectional mirror. The angle of view of the wide-angle lens is not limited to 180 °, and may be larger or smaller than 180 °. The image captured by the camera unit 2 may be a still image. Moreover, when the camera part 2 has a diagonal fisheye lens, a rectangular distortion image is output. The camera unit 2 may be a non-orthogonal projection lens such as an equidistant projection lens or an equisolid angle projection lens.
パラメータ入力部3は、歪曲円形画像から平面正則画像への画像変換に必要なパラメータの入力を受け付ける。例えば、パラメータ入力部3は、歪曲円形画像の撮影の視点を基点とした視線ベクトルや、歪曲円形画像から切り出す切出領域に対応する平面正則画像のサイズを示すパラメータや、表示させる平面正則画像の倍率等を設定するために必要なパラメータの入力を、ユーザの指示入力に基づいて受け付ける。ここで、平面正則画像とは、歪曲画像の歪みを軽減させため、ある規則に従って、座標変換された平面正則画像である。 The parameter input unit 3 receives input of parameters necessary for image conversion from a distorted circular image to a planar regular image. For example, the parameter input unit 3 includes a line-of-sight vector based on the viewpoint of photographing a distorted circular image, a parameter indicating the size of a planar regular image corresponding to a cut-out area cut out from the distorted circular image, and a planar regular image to be displayed. Input of parameters necessary for setting the magnification and the like is received based on user instruction input. Here, the planar regular image is a planar regular image that is coordinate-transformed according to a certain rule in order to reduce distortion of the distorted image.
フレームメモリ4は、DDR(Double-Data-Rate)方式のようなRAM(Random Access Memory)等により構成されている。フレームメモリ4は、カメラ部2から出力された動画の少なくとも1フレーム分に対応する画像データを記憶する。例えば、フレームメモリ4は、2フレーム分のメモリ領域を有し、一方が、書き込み用のフレームメモリとなり、他方が、読み出し用のフレームメモリとなる。また、フレームメモリ4における1フレーム分の容量は、カメラ部2から出力された動画のフレーム画像のサイズに対して、所定の圧縮率に対応した容量を有する。例えば、フレームメモリ4の容量は、フレーム画像のサイズに対して90%の容量を有する。 The frame memory 4 is configured by a RAM (Random Access Memory) such as a DDR (Double-Data-Rate) system. The frame memory 4 stores image data corresponding to at least one frame of the moving image output from the camera unit 2. For example, the frame memory 4 has a memory area for two frames, one being a frame memory for writing and the other being a frame memory for reading. The frame memory 4 has a capacity corresponding to a predetermined compression rate with respect to the size of the frame image of the moving image output from the camera unit 2. For example, the capacity of the frame memory 4 has a capacity of 90% with respect to the size of the frame image.
表示用モニタ5は、表示手段の一例として、液晶表示素子またはEL(Electro Luminescence)素子等によって構成されているモニタ画面(平面画面)である。表示用モニタ5は、カメラ部2により撮影された歪曲円形画像や、画像変換で得られた平面正則画像等を表示する。 The display monitor 5 is a monitor screen (planar screen) configured by a liquid crystal display element, an EL (Electro Luminescence) element, or the like as an example of display means. The display monitor 5 displays a distorted circular image taken by the camera unit 2, a planar regular image obtained by image conversion, and the like.
画像処理装置10は、カメラ部2からの入力画像20を、図3に示すように、所定の大きさに分割した複数のブロック画像に分割する。各ブロック画像には、ブロック番号b0、b1、b2,b3・・・のように、ブロック番号が割り振られる。 The image processing apparatus 10 divides the input image 20 from the camera unit 2 into a plurality of block images divided into a predetermined size as shown in FIG. Each block image is assigned a block number such as block numbers b0, b1, b2, b3.
ブロック画像の大きさは、例えば、図4に示すように、8×8画素である。ここで、入力画像20の大きさは、例えば、2048×1536画素であり、ブロック画像の大きさは8×8画素であるので、図3の分割は模式的である。 The size of the block image is, for example, 8 × 8 pixels as shown in FIG. Here, since the size of the input image 20 is, for example, 2048 × 1536 pixels and the size of the block image is 8 × 8 pixels, the division in FIG. 3 is schematic.
次に、画像処理装置10の構成について図1を用いて詳細に説明する。 Next, the configuration of the image processing apparatus 10 will be described in detail with reference to FIG.
図1に示すように、画像処理装置10は、カメラ部2から出力された歪曲円形画像の画像データ(入力画像20)の一部を一時的に記憶するラインバッファ11と、ラインバッファ11からの歪曲円形画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像部12と、ブロック画像を圧縮ブロック画像に圧縮する圧縮部13と、圧縮ブロック画像をフレームメモリ4に書き込むメモリ制御部14と、フレームメモリ4から読み出された圧縮ブロック画像を伸張する伸張部15と、読み出された圧縮ブロック画像を伸張したブロック画像を格納するキャッシュメモリ16と、パラメータ入力部3からのパラメータに基づき、歪曲円形画像と平面正則画像との対応座標を算出する対応座標算出部17と、対応座標算出部17により算出された対応座標の画素の情報をキャッシュメモリ16から読み出す画像変換処理部18と、画像変換処理部18からの画素の情報を一時的に記憶するラインバッファ19と、を有する。 As shown in FIG. 1, the image processing apparatus 10 includes a line buffer 11 that temporarily stores a part of image data (input image 20) of a distorted circular image output from the camera unit 2, and a A block image unit 12 that divides a distorted circular image into a plurality of block images divided into a predetermined size, a compression unit 13 that compresses the block image into a compressed block image, and a memory control unit that writes the compressed block image into the frame memory 4 14, a decompression unit 15 for decompressing the compressed block image read from the frame memory 4, a cache memory 16 for storing the block image obtained by decompressing the read compressed block image, and a parameter from the parameter input unit 3 Based on the corresponding coordinate calculation unit 17 that calculates the corresponding coordinates between the distorted circular image and the planar regular image, Ri has the image conversion processing unit 18 for reading the information of the pixels of the calculated corresponding coordinates from the cache memory 16, a line buffer 19 for temporarily storing the information of the pixels from the image conversion processing section 18, the.
画像処理装置10は、専用の演算等を行うLSI(Large Scale Integration)チップを用いたハードウェアにより構成されている。画像処理装置10の各部の機能は、回路により実現される。 The image processing apparatus 10 is configured by hardware using an LSI (Large Scale Integration) chip that performs dedicated calculations and the like. The function of each part of the image processing apparatus 10 is realized by a circuit.
ラインバッファ11(歪曲画像取得手段の一例)は、SRAM(Static Random Access Memory)等のRAMにより構成されている。ラインバッファ11は、ブロック画像のサイズに対応したライン数を記憶するメモリを有する。例えば、ブロック画像が8×8画素であるならば、ラインバッファ11は、入力画像20に対して、ブロック画像のy方向の画素数8に対応した8ラインのバッファを少なくとも有する。図3に示すように、ラインバッファ11は、入力画像20をラスタスキャンするようにカメラ部2から順に出力された画像データを1ラインずつ記憶して、8ライン分であるブロック画像25がx方向(走査の主走査方向)に一列に並んだ画像データ(ブロックライン画像26)を記憶する。なお、ラインバッファ11は、8ライン×2のバッファを有し、一方が、入力用のラインバッファとなり、他方が、出力用のラインバッファに切り替わる構成でもよい。 The line buffer 11 (an example of a distorted image acquisition unit) is configured by a RAM such as an SRAM (Static Random Access Memory). The line buffer 11 has a memory for storing the number of lines corresponding to the size of the block image. For example, if the block image is 8 × 8 pixels, the line buffer 11 has at least an 8-line buffer corresponding to the number of pixels 8 in the y direction of the block image with respect to the input image 20. As shown in FIG. 3, the line buffer 11 stores the image data sequentially output from the camera unit 2 so as to raster-scan the input image 20 line by line, and the block image 25 corresponding to 8 lines is in the x direction. Image data (block line image 26) arranged in a line in the (main scanning direction of scanning) is stored. The line buffer 11 may have an 8 line × 2 buffer, one of which is an input line buffer and the other of which is switched to an output line buffer.
ブロック画像部12(ブロック画像手段の一例)は、ブロックライン画像26をブロック画像25に分割する回路を有する。例えば、ブロック画像部12は、ブロックライン画像26を記憶できるメモリを有し、このメモリから、ブロック画像25の8×8画素の範囲をラスタスキャンして読み出して圧縮部13に出力し、次の隣のブロック画像25に対応する8×8画素の範囲をラスタスキャンして読み出して圧縮部13に出力する回路を有する。 The block image unit 12 (an example of a block image unit) includes a circuit that divides the block line image 26 into block images 25. For example, the block image unit 12 has a memory capable of storing the block line image 26, and from this memory, the range of 8 × 8 pixels of the block image 25 is raster-scanned and read out and output to the compression unit 13. It has a circuit that reads out a range of 8 × 8 pixels corresponding to the adjacent block image 25 by raster scanning and outputs it to the compression unit 13.
圧縮部13(圧縮手段の一例)は、デジタルデータの圧縮方式を実現する回路を有する。圧縮部13の画像の圧縮率は可変であってもよい。ここで、デジタルデータの圧縮方式として、JPEG(Joint Photographic Experts Group)等の静止画の圧縮方式が挙げられる。 The compression unit 13 (an example of a compression unit) includes a circuit that realizes a digital data compression method. The image compression rate of the compression unit 13 may be variable. Here, as a digital data compression method, a still image compression method such as JPEG (Joint Photographic Experts Group) can be cited.
メモリ制御部14(書込手段、第2読出手段の一例)は、圧縮ブロック画像のフレームメモリ空間における記憶場所およびブロック画像25のブロック番号等を記憶するメモリと、圧縮ブロック画像をフレームメモリ4に書き込む動作を実現する回路と、画像変換処理部18からの情報に基づき、フレームメモリ4から圧縮ブロック画像を読み出す動作を実現する回路等を有する。まは、メモリ制御部14のメモリ(アドレス記憶手段の一例)は、キャッシュメモリ16に出力したブロック画像のブロック番号を記憶している。 The memory control unit 14 (an example of a writing unit and a second reading unit) stores a memory for storing a storage location of the compressed block image in the frame memory space, a block number of the block image 25, and the like, and the compressed block image in the frame memory 4. A circuit for realizing a writing operation and a circuit for realizing an operation for reading a compressed block image from the frame memory 4 based on information from the image conversion processing unit 18 are included. Alternatively, the memory (an example of the address storage unit) of the memory control unit 14 stores the block number of the block image output to the cache memory 16.
伸張部15(伸張手段の一例)は、圧縮部13の圧縮方式における圧縮変換とは逆変換の動作(画像データを伸張する動作)を実現する回路を有する。 The decompression unit 15 (an example of decompression means) includes a circuit that realizes an operation of inverse conversion (operation of decompressing image data) opposite to the compression conversion in the compression method of the compression unit 13.
キャッシュメモリ16は、SRAM(Static Random Access Memory)等のRAMにより構成されている。少なくとも1つのブロック画像が記憶できる容量を有する。通常の容量は、ブロック画像1つ分でよい。なお、最大の容量は、入力画像を所定の大きさに分割した複数のブロック画像のうち、全ブロック数よりも少ない数のブロック画像を格納するできる容量である。 The cache memory 16 is configured by a RAM such as an SRAM (Static Random Access Memory). It has a capacity capable of storing at least one block image. The normal capacity may be one block image. The maximum capacity is a capacity that can store a smaller number of block images than the total number of blocks among a plurality of block images obtained by dividing the input image into a predetermined size.
対応座標算出部17(画素特定手段の一例)は、パラメータ入力部3からのパラメータに基づき、歪曲円形画像と平面正則画像との対応座標を算出する回路を有する。 The corresponding coordinate calculation unit 17 (an example of a pixel specifying unit) includes a circuit that calculates the corresponding coordinates between the distorted circular image and the planar regular image based on the parameters from the parameter input unit 3.
画像変換処理部18(画素特定手段、第1読出手段、ブロック画像特定手段の一例)は、対応座標算出部17により算出された対応座標の画素の情報をキャッシュメモリ16から読み出す等の動作を実現する回路を有する。 The image conversion processing unit 18 (an example of a pixel specifying unit, a first reading unit, and a block image specifying unit) realizes an operation such as reading out information on pixels of corresponding coordinates calculated by the corresponding coordinate calculating unit 17 from the cache memory 16. Circuit.
ラインバッファ19は、SRAM等のRAMにより構成されている。ラインバッファ19は、入力画像20に対して、少なくとも1ライン数を記憶するメモリを有する。 The line buffer 19 is configured by a RAM such as an SRAM. The line buffer 19 has a memory for storing at least one line number for the input image 20.
ラインバッファ11は、ブロック画像部12と接続して、ブロックライン画像26を出力する。ブロック画像部12は、圧縮部13と接続して、ブロック画像25を出力する。圧縮部13は、メモリ制御部14と接続して、ブロック画像25を圧縮した圧縮ブロック画像を出力する。メモリ制御部14は、フレームメモリ4と接続し、画像データの読み書きを行う。 The line buffer 11 is connected to the block image unit 12 and outputs a block line image 26. The block image unit 12 is connected to the compression unit 13 and outputs a block image 25. The compression unit 13 is connected to the memory control unit 14 and outputs a compressed block image obtained by compressing the block image 25. The memory control unit 14 is connected to the frame memory 4 and reads / writes image data.
伸張部15は、メモリ制御部14およびキャッシュメモリ16に接続し、メモリ制御部14からの圧縮ブロック画像を伸張し、キャッシュメモリ16に出力する。キャッシュメモリ16は、画像変換処理部18と接続し、画像変換処理部18から、読み出す画素の位置情報が与えられ、画素情報を画像変換処理部18に出力する。対応座標算出部17は、パラメータ入力部3および画像変換処理部18に接続し、パラメータ入力部3からパラメータに基づき、画像変換処理部18に対応座標を出力する。 The decompression unit 15 is connected to the memory control unit 14 and the cache memory 16, decompresses the compressed block image from the memory control unit 14, and outputs the decompressed block image to the cache memory 16. The cache memory 16 is connected to the image conversion processing unit 18, is given position information of the pixel to be read from the image conversion processing unit 18, and outputs the pixel information to the image conversion processing unit 18. The corresponding coordinate calculation unit 17 is connected to the parameter input unit 3 and the image conversion processing unit 18, and outputs the corresponding coordinates to the image conversion processing unit 18 based on the parameters from the parameter input unit 3.
画像変換処理部18は、メモリ制御部14とキャッシュメモリ16とラインバッファ19に接続して、対応座標算出部17からの対応座標に基づき、フレームメモリ4から読み出すブロック画像のブロック番号の情報をメモリ制御部14に出力したり、キャッシュメモリ16から対応座標の画素の画素情報を読み出したり、読み出した画素情報をラインバッファ19に出力したりする。 The image conversion processing unit 18 is connected to the memory control unit 14, the cache memory 16, and the line buffer 19, and stores information on the block number of the block image read from the frame memory 4 based on the corresponding coordinates from the corresponding coordinate calculation unit 17. The information is output to the control unit 14, the pixel information of the pixel at the corresponding coordinate is read from the cache memory 16, and the read pixel information is output to the line buffer 19.
なお、画像処理装置10は、コンピュータとして、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成されていてもよい。CPUが、ROMやRAMに記憶された各種プログラムを読み出し実行する。画像処理用プログラム等の各種プログラムは、記録媒体から読み込み、RAM等に記録される。 The image processing apparatus 10 may be configured by a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), or the like as a computer. The CPU reads and executes various programs stored in the ROM and RAM. Various programs such as an image processing program are read from a recording medium and recorded in a RAM or the like.
[2.画像処理システムの動作]
次に、本発明の1実施形態に係る画像処理システムの動作について図を用いて説明する。
[2. Operation of image processing system]
Next, the operation of the image processing system according to the embodiment of the present invention will be described with reference to the drawings.
(2.1 圧縮ブロック画像のフレームメモリへの書き込み動作)
圧縮ブロック画像のフレームメモリ4への書き込み動作について図5および図6を用いて説明する。
図5は、画像処理装置10において圧縮ブロック画像のデータをフレームメモリに書き込む動作例を示すフローチャートである。図6は、圧縮ブロック画像のデータを格納するフレームメモリのメモリ空間の一例を示す模式図である。
(2.1 Write operation to frame memory of compressed block image)
The operation of writing the compressed block image into the frame memory 4 will be described with reference to FIGS.
FIG. 5 is a flowchart showing an example of an operation of writing compressed block image data in the frame memory in the image processing apparatus 10. FIG. 6 is a schematic diagram illustrating an example of a memory space of a frame memory that stores compressed block image data.
図5に示すように、画像処理装置10は、歪曲円形画像を含む入力画像を取得する(ステップS1)。具体的には、画像処理装置10のラインバッファ11が、カメラ部2が撮像した入力画像20のうち、1ラインずつ画像データを取得して記憶し、8ライン分のブロックライン画像26を生成する。そして、ラインバッファ11は、生成されたブロックライン画像26をブロック画像部12に出力して、y方向に次のブロックライン画像26を生成する。 As shown in FIG. 5, the image processing apparatus 10 acquires an input image including a distorted circular image (step S1). Specifically, the line buffer 11 of the image processing apparatus 10 acquires and stores image data line by line from the input image 20 captured by the camera unit 2, and generates a block line image 26 for eight lines. . Then, the line buffer 11 outputs the generated block line image 26 to the block image unit 12 and generates the next block line image 26 in the y direction.
このように、画像処理装置10は、広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a distorted image acquisition unit that acquires image data of a distorted image from a wide-angle lens or an omnidirectional mirror from an imaging unit.
次に、画像処理装置10は、入力画像をブロック画像に分割する(ステップS2)。具体的には、画像処理装置10のブロック画像部12が、ブロックライン画像26をブロック画像25に分割する。更に具体的には、ブロック画像部12が、ブロックライン画像26に対して、ブロック画像25の8×8画素の範囲(所定の大きさの一例)をラスタスキャンして読み出して圧縮部13に出力し、x方向に次の隣のブロック画像25に対応する8×8画素の範囲をラスタスキャンして読み出して圧縮部13に出力する。ブロック画像部12は、ブロックライン画像26から、ブロック画像部12のメモリからブロック画像25をx方向に順に取り出して、ブロックライン画像26をブロック画像25に分割する。 Next, the image processing apparatus 10 divides the input image into block images (step S2). Specifically, the block image unit 12 of the image processing apparatus 10 divides the block line image 26 into block images 25. More specifically, the block image unit 12 raster-scans and reads out an 8 × 8 pixel range (an example of a predetermined size) of the block image 25 from the block line image 26 and outputs it to the compression unit 13. Then, the range of 8 × 8 pixels corresponding to the next adjacent block image 25 in the x direction is raster scanned and read out and output to the compression unit 13. The block image unit 12 sequentially extracts the block images 25 from the block line image 26 from the memory of the block image unit 12 in the x direction, and divides the block line image 26 into block images 25.
このように、画像処理装置10は、前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段の一例として機能する。 Thus, the image processing apparatus 10 functions as an example of a block image unit that divides the distorted image into a plurality of block images divided into a predetermined size.
次に、画像処理装置10は、ブロック画像を圧縮ブロック画像に圧縮する(ステップS3)。具体的には、画像処理装置10の圧縮部13が、ブロック画像部12から出力されたブロック画像25を、既知のデジタルデータの圧縮方式により圧縮する。圧縮部13が、圧縮された圧縮ブロック画像の画像データをメモリ制御部14に出力する。なお、ブロック画像25の画像によって実際の圧縮率が異なり、圧縮ブロック画像のデータ長が異なってくる。 Next, the image processing apparatus 10 compresses the block image into a compressed block image (step S3). Specifically, the compression unit 13 of the image processing apparatus 10 compresses the block image 25 output from the block image unit 12 by a known digital data compression method. The compression unit 13 outputs the compressed compressed block image image data to the memory control unit 14. The actual compression rate differs depending on the block image 25, and the data length of the compressed block image varies.
このように、画像処理装置10は、前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a compression unit that compresses the block image into a compressed block image.
次に、画像処理装置10は、容量オーバーしているか否かを判定する(ステップS4)。具体的には、画像処理装置10のメモリ制御部14が、フレームメモリ4に書き込まれていく圧縮ブロック画像の画像データのトータルの容量が、フレームメモリ4のメモリ容量をオーバーしているか否かを判定する。なお、フレームメモリ4のメモリ容量をオーバーした以降のブロック画像は、ラスタスキャンの最後の方に対応するブロック画像である場合、すなわち、非歪曲円形画像部22に属している場合が多い。 Next, the image processing apparatus 10 determines whether the capacity has been exceeded (step S4). Specifically, the memory control unit 14 of the image processing apparatus 10 determines whether or not the total capacity of the compressed block image image data written to the frame memory 4 exceeds the memory capacity of the frame memory 4. judge. The block image after the memory capacity of the frame memory 4 is exceeded is often the block image corresponding to the last part of the raster scan, that is, often belongs to the non-distorted circular image portion 22.
このように、画像処理装置10は、前記圧縮ブロック画像を前記フレームメモリに書き込むか否かを判定する書き込み判定手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a write determination unit that determines whether or not to write the compressed block image to the frame memory.
容量オーバーしていない場合(ステップS4;NO)、画像処理装置10は、圧縮ブロック画像をフレームメモリ4に書き込む(ステップS5)。具体的には、画像処理装置10のメモリ制御部14が、図6に示すように、フレームメモリ4のフレームメモリ空間に、圧縮ブロック画像の画像データをブロック単位で記憶する。 When the capacity is not over (step S4; NO), the image processing apparatus 10 writes the compressed block image in the frame memory 4 (step S5). Specifically, the memory control unit 14 of the image processing apparatus 10 stores the image data of the compressed block image in the block memory space of the frame memory 4 as shown in FIG.
このように、画像処理装置10は、前記圧縮ブロック画像をフレームメモリに書き込む書込手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a writing unit that writes the compressed block image in the frame memory.
次に、画像処理装置10は、圧縮ブロック画像のフレームメモリ空間における記憶場所を記憶する(ステップS6)。具体的には、画像処理装置10のメモリ制御部14が、圧縮ブロック画像のデータ長に応じて、図6に示すように、各圧縮ブロック画像のフレームメモリ空間におけるスタートアドレスと、ブロック画像番号とを、メモリ制御部14のメモリに記憶する。図6に示すように、ブロック番号b0の場合、スタートアドレスは、(0x000,0x000)、ブロック番号b1の場合、スタートアドレスは、(0x001,0x002)、ブロック番号b2の場合、スタートアドレスは、(0x002,0x003)、ブロック番号b3の場合、スタートアドレスは、(0x001,0x005)となる。このように、画像処理装置10は、各ブロックのスタートアドレスは別途管理している。なお、読み出す際は、画像処理装置10は、スタートアドレスを参照して圧縮ブロック画像の画像データのブロックを読み出す。 Next, the image processing apparatus 10 stores the storage location of the compressed block image in the frame memory space (step S6). Specifically, the memory control unit 14 of the image processing apparatus 10 determines the start address, the block image number, and the like in the frame memory space of each compressed block image, as shown in FIG. 6, according to the data length of the compressed block image. Is stored in the memory of the memory control unit 14. As shown in FIG. 6, in the case of block number b0, the start address is (0x000,0x000), in the case of block number b1, the start address is (0x001,0x002), and in the case of block number b2, the start address is ( 0x002, 0x003) and block number b3, the start address is (0x001,0x005). As described above, the image processing apparatus 10 separately manages the start address of each block. Note that when reading, the image processing apparatus 10 reads the block of image data of the compressed block image with reference to the start address.
なお、メモリ制御部14が、圧縮ブロック画像を圧縮部13から受け取る際、ブロック番号がカウントされる。 When the memory control unit 14 receives a compressed block image from the compression unit 13, the block number is counted.
このように、画像処理装置10は、前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of an address storage unit that stores a storage location of the compressed block image in the frame memory.
次に、画像処理装置10は、最後のブロック画像か否かを判定する(ステップS7)。具体的には、画像処理装置10のメモリ制御部14が、処理したブロック数をカウントし、入力画像20における最後のブロック番号か否かを判定する。なお、入力画像20の大きさが2048×1536画素であり、ブロック画像の大きさは8×8画素である場合、最後のブロック番号は、49,152番目のブロック番号となる。 Next, the image processing apparatus 10 determines whether it is the last block image (step S7). Specifically, the memory control unit 14 of the image processing apparatus 10 counts the number of processed blocks and determines whether or not it is the last block number in the input image 20. When the size of the input image 20 is 2048 × 1536 pixels and the size of the block image is 8 × 8 pixels, the last block number is the 49,152th block number.
最後のブロック画像でない場合(ステップS7;NO)、ステップS3に戻り、画像処理装置10は、次のブロック画像25を圧縮する。具体的には、圧縮部13が、ブロック画像部12から出力された次のブロック画像25を圧縮する。ステップS3からステップS9を繰り返すことにより、ブロック画像部12から出力されたブロック画像25が順次圧縮され、圧縮された圧縮ブロック画像がフレームメモリ4に順次書き込まれていく。 If it is not the last block image (step S7; NO), the process returns to step S3, and the image processing apparatus 10 compresses the next block image 25. Specifically, the compression unit 13 compresses the next block image 25 output from the block image unit 12. By repeating step S3 to step S9, the block image 25 output from the block image unit 12 is sequentially compressed, and the compressed block image is sequentially written in the frame memory 4.
最後のブロック画像である場合(ステップS7;YES)、画像処理装置10は、一連の処理を終了する。具体的には、画像処理装置10は、ステップS1のように、次のフレームの画像データをカメラ部2から取得する。そして、画像処理装置10は、フレームメモリ4の他のフレームメモリ空間に、圧縮ブロック画像の画像データをブロック単位で記憶していく。 If it is the last block image (step S7; YES), the image processing apparatus 10 ends the series of processes. Specifically, the image processing apparatus 10 acquires the image data of the next frame from the camera unit 2 as in step S1. The image processing apparatus 10 stores the image data of the compressed block image in a block unit in another frame memory space of the frame memory 4.
また、容量オーバーしている場合(ステップS4;YES)、画像処理装置10は、容量オーバーしたブロック画像25のブロック番号を記憶して、一連の処理を終了する。具体的には、画像処理装置10のメモリ制御部14が、容量オーバーしたブロック画像25のブロック番号をメモリ制御部14のメモリに記憶する。そして、画像処理装置10は、ステップS1のように、次のフレームの画像データをカメラ部2から取得する。次に、画像処理装置10は、フレームメモリ4の他のフレームメモリ空間に、圧縮ブロック画像の画像データをブロック単位で記憶していく。 If the capacity is exceeded (step S4; YES), the image processing apparatus 10 stores the block number of the block image 25 that has exceeded the capacity, and ends the series of processes. Specifically, the memory control unit 14 of the image processing apparatus 10 stores the block number of the block image 25 whose capacity has been exceeded in the memory of the memory control unit 14. Then, the image processing apparatus 10 acquires the image data of the next frame from the camera unit 2 as in step S1. Next, the image processing apparatus 10 stores the image data of the compressed block image in a block unit in another frame memory space of the frame memory 4.
なお、容量オーバーしたブロック画像25のブロック番号以降のブロック画像は、破棄のブロック画像として取り扱われる。この破棄されたブロック画像は、入力画像20の大きさに対して、平均的な画像圧縮率に対応した大きさのフレームメモリ4の大きさに設定されているので、ラスタスキャンした際の入力画像20の図中右下部分の非歪曲円形画像部22内のブロック画像であることが多い。すなわち、容量オーバーしたブロック画像25のブロック番号以降のブロック画像は黒色の情報(例えば、RGBで(0, 0, 0))であることが多い。 Note that block images after the block number of the block image 25 that has exceeded the capacity are handled as discarded block images. Since the discarded block image is set to the size of the frame memory 4 corresponding to the average image compression rate with respect to the size of the input image 20, the input image at the time of raster scanning is set. In many cases, the image is a block image in the undistorted circular image portion 22 in the lower right part of FIG. That is, the block images after the block number of the block image 25 that has exceeded the capacity are often black information (for example, (0, 0, 0) in RGB).
(2.2 フレームメモリからの圧縮ブロック画像のデータの読み出す動作)
次に、フレームメモリ4からの圧縮ブロック画像のデータの読み出す動作について図7および図8に用いて説明する。
図7は、画像処理装置10においてフレームメモリ4から圧縮ブロック画像のデータを読み出す動作例を示すフローチャートである。図8は、歪曲画像と平面正則画像との関連の一例を示す模式図である。
(2.2 Operation for reading compressed block image data from frame memory)
Next, an operation of reading compressed block image data from the frame memory 4 will be described with reference to FIGS.
FIG. 7 is a flowchart illustrating an example of an operation for reading compressed block image data from the frame memory 4 in the image processing apparatus 10. FIG. 8 is a schematic diagram illustrating an example of a relationship between a distorted image and a planar regular image.
図7に示すように、画像処理装置10は、歪曲円形画像における画素を特定する(ステップS10)。具体的には、図8に示すように、画像処理装置10の画像変換処理部18が、平面正則画像30上の画素を特定する。走査の主走査方向(例えば、線30a)に沿って、1画素ずつ画素が特定される。ここで、平面正則画像30は、歪曲円形画像を画像変換した平面正則画像の一部である。 As shown in FIG. 7, the image processing apparatus 10 identifies pixels in the distorted circular image (step S10). Specifically, as illustrated in FIG. 8, the image conversion processing unit 18 of the image processing apparatus 10 identifies pixels on the planar regular image 30. Pixels are specified pixel by pixel along the main scanning direction of scanning (for example, line 30a). Here, the planar regular image 30 is a part of a planar regular image obtained by converting a distorted circular image.
そして、対応座標算出部17が、パラメータ入力部3からのパラメータに基づき、平面正則画像30上で特定された画素に対応する歪曲円形画像における対応座標を算出し、入力画像20における対応画素を特定する。 Then, the corresponding coordinate calculation unit 17 calculates the corresponding coordinates in the distorted circular image corresponding to the pixel specified on the planar regular image 30 based on the parameter from the parameter input unit 3, and specifies the corresponding pixel in the input image 20. To do.
ここで、図8に示すように、平面正則画像30における線30aは、歪曲円形画像部21における線21aに対応し、平面正則画像30における線30bは、歪曲円形画像部21における線21bに対応する。このように、平面正則画像30において直線であっても、歪曲円形画像ではほとんど曲線になる。ブロック画像25を設定することにより、平面正則画像30を直線の線30aでスキャンして行く際、暫く所定のブロック画像25に属しているが、次のブロック画像25に属することになる。 Here, as shown in FIG. 8, the line 30 a in the planar regular image 30 corresponds to the line 21 a in the distorted circular image portion 21, and the line 30 b in the planar regular image 30 corresponds to the line 21 b in the distorted circular image portion 21. To do. As described above, even if the planar regular image 30 is a straight line, the curved circular image is almost curved. By setting the block image 25, when the planar regular image 30 is scanned with the straight line 30a, it belongs to the predetermined block image 25 for a while, but belongs to the next block image 25.
また、図8に示すように、線30aの画素p0は、線21aの一部を含むブロック画像25の画素p0に対応し、線30aの画素p0の隣の画素p0は、ブロック画像25の画素p0の近接の画素p1に対応する。 8, the pixel p0 of the line 30a corresponds to the pixel p0 of the block image 25 including a part of the line 21a, and the pixel p0 adjacent to the pixel p0 of the line 30a is a pixel of the block image 25. This corresponds to the pixel p1 adjacent to p0.
このように、画像処理装置10は、前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段の一例として機能する。また、画像処理装置10は、前記平面正則画像を走査するように前記平面正則画像における前記所定の画素を決めて、当該決められた画素に対応する前記歪曲画像における画素を特定する画素特定手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a pixel specifying unit that specifies a pixel in the distorted image corresponding to a predetermined pixel of the planar regular image when the distorted image is converted into a planar regular image. . Further, the image processing apparatus 10 determines a predetermined pixel in the planar regular image so as to scan the planar regular image, and identifies a pixel in the distorted image corresponding to the determined pixel. It serves as an example.
次に、画像処理装置10は、ブロック画像を特定する(ステップS11)。具体的には、画像処理装置10の画像変換処理部18が、対応画素を含むブロック画像のブロック番号を特定する。なお、入力画像20における分割数は予め定めておくので、対応画素が決まると、ブロック番号が特定できる。 Next, the image processing apparatus 10 specifies a block image (step S11). Specifically, the image conversion processing unit 18 of the image processing apparatus 10 specifies the block number of the block image including the corresponding pixel. Since the number of divisions in the input image 20 is determined in advance, the block number can be specified when the corresponding pixel is determined.
このように、画像処理装置10は、前記画素特定手段により特定された画素を含むブロック画像を特定するブロック画像特定手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a block image specifying unit that specifies a block image including a pixel specified by the pixel specifying unit.
次に、画像処理装置10は、破棄のブロック画像か否かを判定する(ステップS12)。具体的には、画像処理装置10の画像変換処理部18が、フレームメモリ4が容量オーバーしている場合、容量オーバーしたブロック画像25のブロック番号以降のブロック番号か否かを判定する。 Next, the image processing apparatus 10 determines whether or not it is a discarded block image (step S12). Specifically, when the frame memory 4 has exceeded the capacity, the image conversion processing unit 18 of the image processing apparatus 10 determines whether or not the block number is a block number after the block number of the block image 25 that has exceeded the capacity.
このように、画像処理装置10は、前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれるか否かを判定するブロック画像判定手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a block image determination unit that determines whether or not the specified pixel is included in a block image corresponding to a compressed block image that has not been written in the frame memory. To do.
破棄のブロック画像である場合(ステップS12;YES)、画像処理装置10は、固定値を出力する(ステップS13)。具体的には、画像処理装置10の画像変換処理部18が、例えば、固定値として、RGBで(0, 0, 0))を、ラインバッファ19に出力する。 If it is a discarded block image (step S12; YES), the image processing apparatus 10 outputs a fixed value (step S13). Specifically, the image conversion processing unit 18 of the image processing apparatus 10 outputs, for example, (0, 0, 0) in RGB as a fixed value to the line buffer 19.
このように、画像処理装置10は、前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれる画素である場合、前記キャッシュメモリから前記特定された画素を読み出さず、所定の値を出力する出力手段の一例として機能する。 As described above, when the specified pixel is a pixel included in the block image corresponding to the compressed block image that has not been written in the frame memory, the image processing apparatus 10 determines the specified pixel from the cache memory. Functions as an example of an output unit that outputs a predetermined value without reading out.
破棄のブロック画像でない場合(ステップS12;NO)、画像処理装置10は、キャッシュメモリ16に該当するブロック画像があるか否かを判定する(ステップS14)。具体的には、画像処理装置10の画像変換処理部18が、メモリ制御部14のメモリを参照して、キャッシュメモリ16に格納されているブロック画像のブロック番号が、ステップS11で特定したブロック番号と同じであるか否かを判定する。なお、キャッシュメモリ16にブロック番号が記憶されている場合、画像変換処理部18は、キャッシュメモリ16を参照して、特定したブロック番号と同じであるか否かを判定してもよい。 If it is not a discarded block image (step S12; NO), the image processing apparatus 10 determines whether there is a corresponding block image in the cache memory 16 (step S14). Specifically, the block number of the block image stored in the cache memory 16 by the image conversion processing unit 18 of the image processing apparatus 10 referring to the memory of the memory control unit 14 is the block number specified in step S11. It is determined whether or not the same. When the block number is stored in the cache memory 16, the image conversion processing unit 18 may refer to the cache memory 16 and determine whether the block number is the same as the specified block number.
キャッシュメモリ16に該当するブロック画像がない場合(ステップS14;NO)、画像処理装置10は、フレームメモリ4から圧縮ブロック画像を読み出す(ステップS15)。具体的には、キャッシュメモリ16に格納されているブロック画像のブロック番号が、特定したブロック番号と同じでない場合、画像変換処理部18が、フレームメモリ4から、特定したブロック番号に対応するブロック画像の圧縮ブロック画像を読み出す指令信号を、メモリ制御部14に出力する。そして、メモリ制御部14が、メモリ制御部14のメモリから、特定したブロック番号のスタートアドレスを読み出す。メモリ制御部14が、読み出したスタートアドレスに対応する圧縮ブロック画像を、フレームメモリ4から読み出し、伸張部15に出力する。 When there is no corresponding block image in the cache memory 16 (step S14; NO), the image processing apparatus 10 reads the compressed block image from the frame memory 4 (step S15). Specifically, when the block number of the block image stored in the cache memory 16 is not the same as the specified block number, the image conversion processing unit 18 reads the block image corresponding to the specified block number from the frame memory 4. A command signal for reading the compressed block image is output to the memory control unit 14. Then, the memory control unit 14 reads the start address of the specified block number from the memory of the memory control unit 14. The memory control unit 14 reads out the compressed block image corresponding to the read start address from the frame memory 4 and outputs it to the decompression unit 15.
このように、画像処理装置10は、前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第2読出手段の一例として機能する。また、画像処理装置10は、前記特定されたブロック画像が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された前記ブロック画像に対応する前記圧縮ブロック画像を前記フレームメモリから読み出す第2読出手段の一例として機能する。 As described above, when the specified pixel is not stored in the cache memory, the image processing apparatus 10 refers to the address storage unit in order to expand the compressed block image and store it in the cache memory. Thus, it functions as an example of second reading means for reading out the compressed block image including the specified pixel from the frame memory. Further, the image processing apparatus 10 refers to the address storage unit for decompressing the compressed block image and storing it in the cache memory when the identified block image is not stored in the cache memory. , And functions as an example of second reading means for reading out the compressed block image corresponding to the identified block image from the frame memory.
次に、画像処理装置10は、圧縮ブロック画像をブロック画像に伸張する(ステップS16)。具体的には、画像処理装置10の伸張部15が、圧縮ブロック画像をブロック画像に伸張する。 Next, the image processing apparatus 10 expands the compressed block image into a block image (step S16). Specifically, the decompression unit 15 of the image processing apparatus 10 decompresses the compressed block image into a block image.
このように、画像処理装置10は、前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a decompressing unit that decompresses the compressed block image read from the frame memory.
次に、画像処理装置10は、ブロック画像をキャッシュメモリ16に書き込む(ステップS17)。具体的には、画像処理装置10の伸張部15が、伸張したブロック画像をキャッシュメモリ16に出力し、ブロック画像が、キャッシュメモリ16に書き込まれる。ここで、キャッシュメモリ16が1ブロック画像分しかメモリの容量がない場合、伸張部15から出力されたブロック画像にキャッシュメモリ16の内容が書き換えられる。 Next, the image processing apparatus 10 writes the block image in the cache memory 16 (step S17). Specifically, the decompression unit 15 of the image processing apparatus 10 outputs the decompressed block image to the cache memory 16, and the block image is written to the cache memory 16. Here, when the cache memory 16 has a memory capacity for only one block image, the contents of the cache memory 16 are rewritten to the block image output from the decompression unit 15.
このように、画像処理装置10は、前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a storage unit that stores a block image obtained by decompressing the read compressed block image in the cache memory.
次に、画像処理装置10は、キャッシュメモリ16から画素情報を読み出す(ステップS18)。具体的には、画像処理装置10の画像変換処理部18が、キャッシュメモリ16から、ステップS10で特定した画素の画素情報を読み出す。そして画像変換処理部18が、読み出した画素情報をラインバッファ19に出力する。ラインバッファ19において、1ライン分の画素情報を取得したら、1ライン分の画素情報がラインバッファ19から表示用モニタ5に出力される。 Next, the image processing apparatus 10 reads pixel information from the cache memory 16 (step S18). Specifically, the image conversion processing unit 18 of the image processing apparatus 10 reads out the pixel information of the pixel specified in step S <b> 10 from the cache memory 16. Then, the image conversion processing unit 18 outputs the read pixel information to the line buffer 19. When the line buffer 19 acquires pixel information for one line, the pixel information for one line is output from the line buffer 19 to the display monitor 5.
このように、画像処理装置10は、前記キャッシュメモリから前記特定された画素を読み出す第1読出手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a first reading unit that reads out the specified pixel from the cache memory.
キャッシュメモリ16に該当するブロック画像がある場合も(ステップS14;YES)、画像処理装置10は、キャッシュメモリ16から画素情報を読み出す(ステップS18)。 Even when there is a block image corresponding to the cache memory 16 (step S14; YES), the image processing apparatus 10 reads pixel information from the cache memory 16 (step S18).
ここで、図8に示すように、画素p0と画素p1とは、同じブロック画像25内の画素なので、画像処理装置10は、キャッシュメモリ16から画素情報を高速に読み出す。そして、画像処理装置10は、平面正則画像30上の線30aに沿って、画素を特定していき、同じブロック画像25内、対応する画素が無い場合、隣接したブロック画像25に移るため、フレームメモリ4から圧縮ブロック画像を読み出し、伸張してキャッシュメモリ16に書き込む。 Here, as illustrated in FIG. 8, the pixel p <b> 0 and the pixel p <b> 1 are pixels in the same block image 25, so the image processing apparatus 10 reads pixel information from the cache memory 16 at high speed. Then, the image processing apparatus 10 identifies pixels along the line 30a on the planar regular image 30, and moves to the adjacent block image 25 when there is no corresponding pixel in the same block image 25. The compressed block image is read from the memory 4, decompressed, and written to the cache memory 16.
以上、本実施形態によれば、歪曲画像を所定の大きさに分割した複数のブロック画像に分割し、ブロック画像25を圧縮ブロック画像に圧縮し、圧縮ブロック画像をフレームメモリ4に書き込むので、フレームメモリ4は、入力画像20に対する圧縮率に対応した低容量のメモリで、歪曲画像を平面正則画像に補正することができる。画像変換処理をするために1画面分の画像データを格納する大容量のフレームメモリが不要になり、コストダウンと、回路規模の縮小を図ることができる。車載のバックカメラを小型化できる。 As described above, according to the present embodiment, the distorted image is divided into a plurality of block images divided into a predetermined size, the block image 25 is compressed into a compressed block image, and the compressed block image is written into the frame memory 4. The memory 4 is a low-capacity memory corresponding to the compression rate for the input image 20, and can correct a distorted image into a planar regular image. A large-capacity frame memory for storing image data for one screen is not required to perform the image conversion process, so that the cost can be reduced and the circuit scale can be reduced. Car-mounted back camera can be downsized.
また、キャッシュメモリ16には、ブロック画像単位に、圧縮ブロック画像から伸張されたブロック画像が格納されるので、歪曲画像を平面正則画像に変換する際に、平面正則画像の所定の画素に隣接する画素に対応する歪曲画像における画素も、同じブロック画像に含まれていることが多い。従って、フレームメモリ4から圧縮ブロック画像を読み出し、伸張する処理の回数が減り、画像処理が高速になる。また、補正変換の時に1フレーム分の画像を全て伸張する必要がない。 Further, since the cache memory 16 stores the block image expanded from the compressed block image for each block image, when the distorted image is converted into the planar regular image, it is adjacent to a predetermined pixel of the planar regular image. The pixels in the distorted image corresponding to the pixels are often included in the same block image. Accordingly, the number of times of reading and decompressing the compressed block image from the frame memory 4 is reduced, and the image processing becomes faster. Further, it is not necessary to expand all the images for one frame at the time of correction conversion.
また、特定された画素を含むブロック画像を特定し、特定されたブロック画像がキャッシュメモリ16に格納されていない場合、圧縮ブロック画像を伸張してキャッシュメモリ16に格納するために、メモリ制御部14のメモリを参照して、特定されたブロック画像に対応する圧縮ブロック画像をフレームメモリ4から読み出す場合、効率的にブロック画像を選択できる。 In addition, when the block image including the specified pixel is specified, and the specified block image is not stored in the cache memory 16, the memory control unit 14 expands the compressed block image and stores it in the cache memory 16. When the compressed block image corresponding to the identified block image is read out from the frame memory 4 with reference to the memory, the block image can be selected efficiently.
圧縮ブロック画像をフレームメモリ4に書き込むか否かを判定する場合、フレームメモリ4に記憶するブロック画像の量を減少させることができる。すなわち、フレームメモリ4に記憶させる圧縮ブロック画像を削減できる。さらにフレームメモリ4の容量を小さくできるため、画像処理システム1を小型化できる。 When determining whether or not to write the compressed block image to the frame memory 4, the amount of the block image stored in the frame memory 4 can be reduced. That is, the compressed block image stored in the frame memory 4 can be reduced. Furthermore, since the capacity of the frame memory 4 can be reduced, the image processing system 1 can be reduced in size.
例えば、フレームメモリ4に書き込まれていく圧縮ブロック画像の画像データのトータルの容量が、フレームメモリ4のメモリ容量をオーバーした場合、フレームメモリ4のメモリ容量をオーバーした以降のブロック画像は、ラスタスキャンの最後の方に対応するブロック画像である場合、すなわち、非歪曲円形画像部22に属している場合が多いので、余分なブロック画像がフレームメモリ4に記憶されることが防止できる。 For example, when the total capacity of the image data of the compressed block image written to the frame memory 4 exceeds the memory capacity of the frame memory 4, the block image after the memory capacity of the frame memory 4 exceeds the raster scan In many cases, the block image corresponds to the last part of the image, that is, the image belongs to the non-distorted circular image unit 22, so that it is possible to prevent an extra block image from being stored in the frame memory 4.
特定された画素が、フレームメモリ4に書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれるか否かを判定し、特定された画素が、フレームメモリ4に書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれる画素である場合、キャッシュメモリ16から特定された画素を読み出さず、所定の値を出力するとき、歪曲画像から平面正則画像への補正の画像処理をより高速化することができる。 It is determined whether or not the specified pixel is included in a block image corresponding to a compressed block image that has not been written to the frame memory 4, and the specified pixel is added to the compressed block image that has not been written to the frame memory 4. When the pixel included in the corresponding block image does not read out the specified pixel from the cache memory 16 and outputs a predetermined value, the correction image processing from the distorted image to the planar regular image is further accelerated. Can do.
また、平面正則画像を走査するように平面正則画像における所定の画素(例えば、線30a上の画素)を決めて、当該決められた画素に対応する歪曲画像における画素(例えば、線21a上の画素)を特定する場合、線21aが曲線であってもブロック画像単位により、キャッシュメモリ16から、画素情報を読み出せばよいので、フレームメモリ4へのアクセス回数が減少するので、歪曲画像から平面正則画像への補正の画像処理が高速にできる。 Further, a predetermined pixel (for example, a pixel on the line 30a) in the planar regular image is determined so as to scan the planar regular image, and a pixel (for example, a pixel on the line 21a) in the distorted image corresponding to the determined pixel is determined. ) Is specified, it is only necessary to read out the pixel information from the cache memory 16 in units of block images even if the line 21a is a curve. Therefore, the number of accesses to the frame memory 4 is reduced. Image processing for image correction can be performed at high speed.
なお、フレームメモリ4の容量を超えているか否かを判定し、フレームメモリ4の容量を超えている場合、圧縮部13における画像の圧縮率を高くしてもよい。この場合、次のフレームの画像データに対する圧縮率を上げることにより、画像データが欠損することを抑制することができる。 It is determined whether or not the capacity of the frame memory 4 is exceeded. If the capacity of the frame memory 4 is exceeded, the compression rate of the image in the compression unit 13 may be increased. In this case, it is possible to suppress the loss of image data by increasing the compression rate for the image data of the next frame.
ステップS4において、容量オーバーしている場合、次のフレームに対しては、ステップS3における画像の圧縮率を上げる。 If the capacity is exceeded in step S4, the image compression rate in step S3 is increased for the next frame.
このように、画像処理装置10は、前記フレームメモリの容量を超えている場合、前記圧縮手段における画像の圧縮率を高くする圧縮手段の一例として機能する。 As described above, the image processing apparatus 10 functions as an example of a compression unit that increases the compression rate of the image in the compression unit when the capacity of the frame memory is exceeded.
[3.変形例]
次に、圧縮ブロック画像のデータをフレームメモリに書き込む動作の変形例について、図9を用いて説明する。
[3. Modified example]
Next, a modified example of the operation of writing the compressed block image data into the frame memory will be described with reference to FIG.
この変形例は、非歪曲円形画像部22に完全に含まれるブロック画像25を予め取り除き、ブロック画像25の圧縮を行い、フレームメモリ4に書き込む動作である。入力画像20における歪曲円形画像部21の位置は、カメラ部2のレンズとイメージセンサとの位置関係等が変わらない限り、固定されている。従って、図3に示すように、非歪曲円形画像部22に完全に含まれるブロック画像25のブロック番号は予め決まっている。このブロック番号を、例えば、パラメータ入力部3から予め入力しておく。なお、画像変換処理部18は、メモリ制御部14に、予め破棄するブロック画像のブロック番号を出力しておく。メモリ制御部14は、破棄するブロック画像のブロック番号をメモリ制御部14のメモリに記憶しておく。 In this modification, the block image 25 completely included in the non-distorted circular image portion 22 is removed in advance, the block image 25 is compressed, and written to the frame memory 4. The position of the distorted circular image portion 21 in the input image 20 is fixed as long as the positional relationship between the lens of the camera portion 2 and the image sensor does not change. Therefore, as shown in FIG. 3, the block number of the block image 25 that is completely included in the non-distorted circular image portion 22 is determined in advance. This block number is input in advance from the parameter input unit 3, for example. The image conversion processing unit 18 outputs the block number of the block image to be discarded in advance to the memory control unit 14. The memory control unit 14 stores the block number of the block image to be discarded in the memory of the memory control unit 14.
図9に示すように、画像処理装置10は、ステップS1からステップS4のように、歪曲円形画像を含む入力画像を取得し(ステップS21)、入力画像をブロック画像に分割し(ステップS22)、ブロック画像を圧縮ブロック画像に圧縮し(ステップS23)、容量オーバーしているか否かを判定する(ステップS24)。 As shown in FIG. 9, the image processing apparatus 10 acquires an input image including a distorted circular image (step S21) and divides the input image into block images (step S22), as in steps S1 to S4. The block image is compressed into a compressed block image (step S23), and it is determined whether or not the capacity is exceeded (step S24).
容量オーバーしていない場合(ステップS24;NO)、画像処理装置10は、破棄のブロック画像であるか否かを判定する(ステップS25)。具体的には、メモリ制御部14は、メモリ制御部14のメモリを参照して、カウントしたブロック番号が、破棄するブロック画像のブロック番号か否かを判定する。このように、画像処理装置10は、前記圧縮ブロック画像をフレームメモリに書き込むか否かを判定する書き込み判定手段の一例として機能する。 When the capacity is not over (step S24; NO), the image processing apparatus 10 determines whether the block image is a discard block (step S25). Specifically, the memory control unit 14 refers to the memory of the memory control unit 14 and determines whether or not the counted block number is a block number of a block image to be discarded. As described above, the image processing apparatus 10 functions as an example of a write determination unit that determines whether or not to write the compressed block image to the frame memory.
破棄のブロック画像でない場合(ステップS25;NO)、画像処理装置10は、ステップS5のように、圧縮ブロック画像をフレームメモリ4に書き込む(ステップS26)。 If it is not a discarded block image (step S25; NO), the image processing apparatus 10 writes the compressed block image in the frame memory 4 as in step S5 (step S26).
破棄のブロック画像である場合(ステップS25;YES)、画像処理装置10は、ステップS23に戻り、次のブロック画像25を圧縮する。 If it is a discarded block image (step S25; YES), the image processing apparatus 10 returns to step S23 and compresses the next block image 25.
この変形例の場合、フレームメモリ4に記憶させる圧縮ブロック画像を削減でき、さらにフレームメモリ4の容量を小さくできるため、画像処理システム1を小型化できる。 In the case of this modification, the compressed block images to be stored in the frame memory 4 can be reduced, and the capacity of the frame memory 4 can be further reduced, so that the image processing system 1 can be downsized.
さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。 Furthermore, the present invention is not limited to the above embodiments. Each of the embodiments described above is an exemplification, and any configuration that has substantially the same configuration as the technical idea described in the claims of the present invention and has the same operational effects can be used. It is included in the technical scope of the present invention.
1:画像処理システム
2:カメラ部
3:パラメータ入力部
4:フレームメモリ
5:表示用モニタ(表示手段)
10:画像処理装置
11:ラインバッファ(歪曲画像取得手段)
12:ブロック画像部(ブロック画像手段)
13:圧縮部(圧縮手段)
14:メモリ制御部(書込手段、アドレス記憶手段、第2読出手段)
15:伸張部(伸張手段)
16:キャッシュメモリ
17:対応座標算出部(画素特定手段)
18:画像変換処理部(画素特定手段、第1読出手段、ブロック画像特定手段)
21:歪曲円形画像部(歪曲画像)
25:ブロック画像
1: Image processing system 2: Camera unit 3: Parameter input unit 4: Frame memory 5: Monitor for display (display means)
10: Image processing device 11: Line buffer (distorted image acquisition means)
12: Block image part (block image means)
13: Compression section (compression means)
14: Memory control unit (writing means, address storage means, second reading means)
15: Extension part (extension means)
16: Cache memory 17: Corresponding coordinate calculation unit (pixel specifying means)
18: Image conversion processing unit (pixel specifying means, first reading means, block image specifying means)
21: Distorted circular image part (distorted image)
25: Block image
Claims (9)
前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段と、
前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段と、
前記圧縮ブロック画像をフレームメモリに書き込む書込手段と、
前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段と、
前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段と、
前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段と、
前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段と、
前記キャッシュメモリから前記特定された画素を読み出す第1読出手段と、
前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第2読出手段と、
を備えたことを特徴とする画像処理装置。 A distorted image acquisition means for acquiring image data of a distorted image from a wide-angle lens or an omnidirectional mirror from an imaging means;
Block image means for dividing the distorted image into a plurality of block images divided into a predetermined size;
Compression means for compressing the block image into a compressed block image;
Writing means for writing the compressed block image into a frame memory;
Address storage means for storing a storage location of the compressed block image in the frame memory;
Decompression means for decompressing the compressed block image read from the frame memory;
Storage means for storing, in a cache memory, a block image obtained by decompressing the read compressed block image;
A pixel specifying means for specifying a pixel in the distorted image corresponding to a predetermined pixel of the planar regular image when converting the distorted image into a planar regular image;
First reading means for reading out the specified pixel from the cache memory;
If the identified pixel is not stored in the cache memory, the identified pixel is included with reference to the address storage means to decompress and store the compressed block image in the cache memory Second reading means for reading the compressed block image from the frame memory;
An image processing apparatus comprising:
前記画素特定手段により特定された画素を含むブロック画像を特定するブロック画像特定手段を更に備え、
前記第2読出手段が、前記特定されたブロック画像が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された前記ブロック画像に対応する前記圧縮ブロック画像を前記フレームメモリから読み出すことを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
A block image specifying means for specifying a block image including the pixel specified by the pixel specifying means;
The second reading means refers to the address storage means to decompress the compressed block image and store it in the cache memory when the identified block image is not stored in the cache memory, An image processing apparatus, wherein the compressed block image corresponding to the identified block image is read from the frame memory.
前記圧縮ブロック画像を前記フレームメモリに書き込むか否かを判定する書き込み判定手段を更に備えたことを特徴とする画像処理装置。 The image processing apparatus according to claim 1 or 2,
An image processing apparatus, further comprising: a writing determination unit that determines whether or not to write the compressed block image to the frame memory.
前記書き込み判定手段が、前記フレームメモリの容量を超えているか否かを判定し、
前記フレームメモリの容量を超えている場合、前記圧縮手段における画像の圧縮率を高くすることを特徴とする画像処理装置。 The image processing apparatus according to claim 3.
The write determination means determines whether the frame memory capacity is exceeded,
An image processing apparatus characterized in that, when the capacity of the frame memory is exceeded, the compression ratio of the image in the compression means is increased.
前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれるか否かを判定するブロック画像判定手段と、
前記特定された画素が、前記フレームメモリに書き込まれなかった圧縮ブロック画像に対応するブロック画像に含まれる画素である場合、前記キャッシュメモリから前記特定された画素を読み出さず、所定の値を出力する出力手段と、
を更に備えたことを特徴とする画像処理装置。 The image processing apparatus according to claim 3 or 4,
Block image determination means for determining whether or not the specified pixel is included in a block image corresponding to a compressed block image that has not been written to the frame memory;
If the specified pixel is a pixel included in a block image corresponding to a compressed block image that has not been written to the frame memory, a predetermined value is output without reading the specified pixel from the cache memory Output means;
An image processing apparatus further comprising:
画素特定手段が、前記平面正則画像を走査するように前記平面正則画像における前記所定の画素を決めて、当該決められた画素に対応する前記歪曲画像における画素を特定することを特徴とする画像処理装置。 The image processing apparatus according to any one of claims 1 to 5,
Image processing characterized in that a pixel specifying means determines the predetermined pixel in the planar regular image so as to scan the planar regular image, and identifies a pixel in the distorted image corresponding to the determined pixel. apparatus.
広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得ステップと、
前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像ステップと、
前記ブロック画像を圧縮ブロック画像に圧縮する圧縮ステップと、
前記圧縮ブロック画像をフレームメモリに書き込む書込ステップと、
前記圧縮ブロック画像の前記フレームメモリにおける記憶場所をアドレス記憶手段に記憶するアドレス記憶ステップと、
前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張ステップと、
前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納ステップと、
前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定ステップと、
前記キャッシュメモリから前記特定された画素を読み出す第1読出ステップと、
前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第2読出ステップと、
を含むことを特徴とする画像処理方法。 In an image processing method of an image processing apparatus for processing an image,
A distorted image acquisition step of acquiring image data of a distorted image from a wide-angle lens or an omnidirectional mirror from the imaging means;
A block image step for dividing the distorted image into a plurality of block images divided into a predetermined size;
A compression step of compressing the block image into a compressed block image;
A writing step of writing the compressed block image into a frame memory;
An address storage step of storing a storage location of the compressed block image in the frame memory in an address storage means;
An expansion step of expanding the compressed block image read from the frame memory;
A storage step of storing, in a cache memory, a block image obtained by decompressing the read compressed block image;
A pixel specifying step of specifying a pixel in the distorted image corresponding to a predetermined pixel of the planar regular image when converting the distorted image into a planar regular image;
A first reading step of reading the identified pixel from the cache memory;
If the identified pixel is not stored in the cache memory, the identified pixel is included with reference to the address storage means to decompress and store the compressed block image in the cache memory A second reading step of reading the compressed block image from the frame memory;
An image processing method comprising:
広角レンズまたは全方位ミラーからの歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段、
前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段、
前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段、
前記圧縮ブロック画像をフレームメモリに書き込む書込手段、
前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段、
前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段、
前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段、
前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段、
前記キャッシュメモリから前記特定された画素を読み出す第1読出手段、および、
前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第2読出手段として機能させることを特徴とする画像処理用プログラム。 Computer
A distorted image acquisition means for acquiring image data of a distorted image from a wide-angle lens or an omnidirectional mirror from an imaging means;
Block image means for dividing the distorted image into a plurality of block images divided into a predetermined size;
Compression means for compressing the block image into a compressed block image;
Writing means for writing the compressed block image into a frame memory;
Address storage means for storing a storage location of the compressed block image in the frame memory;
Decompression means for decompressing the compressed block image read from the frame memory;
Storage means for storing a block image obtained by decompressing the read compressed block image in a cache memory;
A pixel specifying means for specifying a pixel in the distorted image corresponding to a predetermined pixel of the planar regular image when converting the distorted image into a planar regular image;
First reading means for reading the specified pixel from the cache memory; and
If the identified pixel is not stored in the cache memory, the identified pixel is included with reference to the address storage means to decompress and store the compressed block image in the cache memory An image processing program that causes the compressed block image to function as second reading means for reading from the frame memory.
前記歪曲画像の画像データを撮像手段から取得する歪曲画像取得手段と、
前記歪曲画像を所定の大きさに分割した複数のブロック画像に分割するブロック画像手段と、
前記ブロック画像を圧縮ブロック画像に圧縮する圧縮手段と、
前記圧縮ブロック画像をフレームメモリに書き込む書込手段と、
前記圧縮ブロック画像の前記フレームメモリにおける記憶場所を記憶するアドレス記憶手段と、
前記フレームメモリから読み出された圧縮ブロック画像を伸張する伸張手段と、
前記読み出された圧縮ブロック画像を伸張したブロック画像をキャッシュメモリに格納する格納手段と、
前記歪曲画像を平面正則画像に変換する際に、前記平面正則画像の所定の画素に対応する前記歪曲画像における画素を特定する画素特定手段と、
前記キャッシュメモリから前記特定された画素を読み出す第1読出手段と、
前記特定された画素が前記キャッシュメモリに格納されていない場合、前記圧縮ブロック画像を伸張して前記キャッシュメモリに格納するために、前記アドレス記憶手段を参照して、前記特定された画素が含まれる前記圧縮ブロック画像を前記フレームメモリから読み出す第2読出手段と、
を備えたことを特徴とする撮像装置。 Imaging means for imaging a distorted image from a wide-angle lens or an omnidirectional mirror;
A distorted image acquisition means for acquiring image data of the distorted image from an imaging means;
Block image means for dividing the distorted image into a plurality of block images divided into a predetermined size;
Compression means for compressing the block image into a compressed block image;
Writing means for writing the compressed block image into a frame memory;
Address storage means for storing a storage location of the compressed block image in the frame memory;
Decompression means for decompressing the compressed block image read from the frame memory;
Storage means for storing, in a cache memory, a block image obtained by decompressing the read compressed block image;
A pixel specifying means for specifying a pixel in the distorted image corresponding to a predetermined pixel of the planar regular image when converting the distorted image into a planar regular image;
First reading means for reading out the specified pixel from the cache memory;
If the identified pixel is not stored in the cache memory, the identified pixel is included with reference to the address storage means to decompress and store the compressed block image in the cache memory Second reading means for reading the compressed block image from the frame memory;
An imaging apparatus comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013273566A JP2015128263A (en) | 2013-12-27 | 2013-12-27 | Image processing system, image processing method, program for image processing and imaging apparatus |
PCT/JP2014/083650 WO2015098721A1 (en) | 2013-12-27 | 2014-12-19 | Image processing device, image processing method, image processing program, and imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013273566A JP2015128263A (en) | 2013-12-27 | 2013-12-27 | Image processing system, image processing method, program for image processing and imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015128263A true JP2015128263A (en) | 2015-07-09 |
Family
ID=53478579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013273566A Pending JP2015128263A (en) | 2013-12-27 | 2013-12-27 | Image processing system, image processing method, program for image processing and imaging apparatus |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2015128263A (en) |
WO (1) | WO2015098721A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105678680A (en) * | 2015-12-30 | 2016-06-15 | 魅族科技(中国)有限公司 | Image processing method and device |
CN110874809A (en) * | 2018-08-29 | 2020-03-10 | 上海商汤智能科技有限公司 | Image processing method and device, electronic equipment and storage medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01296850A (en) * | 1988-05-25 | 1989-11-30 | Matsushita Graphic Commun Syst Inc | Picture communication equipment |
JP2004272767A (en) * | 2003-03-11 | 2004-09-30 | Lsi Systems:Kk | Image processing device, image providing server device, image processing method and image processing program |
JP2010176547A (en) * | 2009-01-30 | 2010-08-12 | Dainippon Printing Co Ltd | Controller included in image processor, control method and control processing program |
JP2012019357A (en) * | 2010-07-07 | 2012-01-26 | Canon Inc | Image processing device and compression method |
JP2012089954A (en) * | 2010-10-15 | 2012-05-10 | Dainippon Printing Co Ltd | Conference system, monitoring system, image processing system, image processing method, and image processing program or the like |
-
2013
- 2013-12-27 JP JP2013273566A patent/JP2015128263A/en active Pending
-
2014
- 2014-12-19 WO PCT/JP2014/083650 patent/WO2015098721A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01296850A (en) * | 1988-05-25 | 1989-11-30 | Matsushita Graphic Commun Syst Inc | Picture communication equipment |
JP2004272767A (en) * | 2003-03-11 | 2004-09-30 | Lsi Systems:Kk | Image processing device, image providing server device, image processing method and image processing program |
JP2010176547A (en) * | 2009-01-30 | 2010-08-12 | Dainippon Printing Co Ltd | Controller included in image processor, control method and control processing program |
JP2012019357A (en) * | 2010-07-07 | 2012-01-26 | Canon Inc | Image processing device and compression method |
JP2012089954A (en) * | 2010-10-15 | 2012-05-10 | Dainippon Printing Co Ltd | Conference system, monitoring system, image processing system, image processing method, and image processing program or the like |
Also Published As
Publication number | Publication date |
---|---|
WO2015098721A1 (en) | 2015-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI524306B (en) | Image transformation and multi-view output systems and methods | |
JP4960992B2 (en) | Image processing method and image processing apparatus for fisheye correction and perspective distortion reduction | |
JP5906028B2 (en) | Image processing apparatus and image processing method | |
JP5376313B2 (en) | Image processing apparatus and image pickup apparatus | |
CN108564551B (en) | Fisheye image processing method and fisheye image processing device | |
US8724923B2 (en) | Image processing apparatus and image processing method for correcting distorted image data | |
JP4608436B2 (en) | Image shooting device | |
US8269859B2 (en) | Photographing apparatus that performs distortion correction in association with digital and optical zoom, method of controlling the same, and recording medium having recorded thereon computer program to implement the method | |
JP2015053644A (en) | Imaging device | |
US10713757B2 (en) | Image processing apparatus, control method thereof, and storage medium | |
JP7170478B2 (en) | Image processing device, image processing method and image processing program | |
WO2005041124A1 (en) | Image processing method, image processing device, and program | |
JP5585885B2 (en) | Image processing apparatus and image processing method | |
WO2015098721A1 (en) | Image processing device, image processing method, image processing program, and imaging device | |
JP2010176547A (en) | Controller included in image processor, control method and control processing program | |
JP4380740B2 (en) | Image processing device | |
JP2009164674A (en) | Distortion correction device | |
JP6524644B2 (en) | Image processing apparatus and electronic device | |
JP6295619B2 (en) | Image processing apparatus and method, and electronic apparatus | |
US10244179B2 (en) | Image processing apparatus, image capturing apparatus, control method, and recording medium | |
JP6440465B2 (en) | Image processing apparatus, image processing method, and program | |
JP2017016511A (en) | Distortion correction image processor and program | |
JP6273881B2 (en) | Image processing apparatus, image processing method, and program | |
JP2011182040A (en) | Method of compressing data for image processing, and compressor and imaging apparatus including the same | |
JP2010181953A (en) | Image distortion correction device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171003 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180327 |