JP2009064225A - Image processor and image processing method - Google Patents
Image processor and image processing method Download PDFInfo
- Publication number
- JP2009064225A JP2009064225A JP2007231348A JP2007231348A JP2009064225A JP 2009064225 A JP2009064225 A JP 2009064225A JP 2007231348 A JP2007231348 A JP 2007231348A JP 2007231348 A JP2007231348 A JP 2007231348A JP 2009064225 A JP2009064225 A JP 2009064225A
- Authority
- JP
- Japan
- Prior art keywords
- image
- interpolation
- conversion
- coordinate
- point coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000000034 method Methods 0.000 claims abstract description 124
- 238000006243 chemical reaction Methods 0.000 claims abstract description 87
- 238000012545 processing Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000003384 imaging method Methods 0.000 claims description 71
- 230000003287 optical effect Effects 0.000 claims description 46
- 230000009466 transformation Effects 0.000 claims description 28
- 230000004075 alteration Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000015654 memory Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、幾何変換手法を用いて画像処理を行う画像処理装置及び画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method for performing image processing using a geometric transformation technique.
魚眼光学系や全方位光学系等に代表される超広視野光学系は、監視・遠隔操作、ＴＶ会議、医療用内視鏡等の様々な分野で利用されている。その特徴は、画角１８０度以上の超広視野像を特殊な射影方式により撮像面の有限領域に投影可能な点である。これにより、一般的な透視投影方式で撮像する撮像装置では理論的に撮像できないような超広視野像を撮像できる。 Ultra-wide-field optical systems represented by fish-eye optical systems, omnidirectional optical systems, and the like are used in various fields such as monitoring / remote operation, TV conferences, and medical endoscopes. The feature is that an ultra-wide field image having an angle of view of 180 degrees or more can be projected onto a finite region of the imaging surface by a special projection method. Accordingly, it is possible to capture an ultra-wide field image that cannot be theoretically captured by an image capturing apparatus that captures images using a general perspective projection method.
ただし、超広視野像を撮像するための魚眼光学系等の特殊な射影方式の光学系は、撮像される像の被写体形状を歪ませるため、人間が観察する観点では本来の被写体形状との相違が著しい。このため、超広視野像を透視投影方式で撮像したように幾何変換することが一般的に行われている。その例を、図１０を用いて示す。 However, a special projection optical system such as a fish-eye optical system for capturing an ultra-wide-field image distorts the subject shape of the image to be captured. The difference is significant. For this reason, it is common to perform geometric transformation as if an ultra-wide field image was captured by a perspective projection method. The example is shown using FIG.
図１０の（ａ）図は被写体を示し、（ｂ）図は被写体を魚眼光学系を用いて撮像した魚眼像を示している。また、（ｃ）図は、魚眼像の一部である幾何変換領域１００１を示している。さらに、（ｄ）図は、魚眼像における上記幾何変換領域１００１を、透視投影方式で撮像したような透視投影像に幾何変換をした像を示している。 10A shows a subject, and FIG. 10B shows a fish-eye image obtained by imaging the subject using a fish-eye optical system. FIG. 10C shows a geometric transformation area 1001 that is a part of the fisheye image. Furthermore, (d) figure has shown the image which carried out the geometric transformation to the perspective projection image which imaged the said geometric transformation area | region 1001 in a fish-eye image by the perspective projection system.
以上のとおり、被写体である格子模様（ａ）は、魚眼光学系を介して撮像されることで歪み（ｂ）、それを幾何変換することで（ｃ）、本来の被写体の持つ形状（ｄ）を視認することができる。 As described above, the lattice pattern (a) as the subject is distorted (b) by being imaged through the fish-eye optical system, and (c) by geometrically transforming it (d), the shape (d) of the original subject ).
このような幾何変換を行う工程には、魚眼像の画素位置の座標を変換する工程と、画素が有する値（以下、画素値という）を算出する補間工程とを含む。これらの工程の概略を図８を用いて説明する。 The step of performing such geometric transformation includes a step of transforming the coordinates of the pixel position of the fisheye image and an interpolation step of calculating a value of the pixel (hereinafter referred to as a pixel value). The outline of these steps will be described with reference to FIG.
図８の（ａ）図は、変換前座標系としての魚眼像座標系において、魚眼像における標本化される格子点を表している。各格子点位置に対応して画素値が存在する。図８の（ｂ）図では、変換後座標系において、透視投影像に幾何変換されたときの格子点を表している。 FIG. 8A shows lattice points to be sampled in the fish-eye image in the fish-eye image coordinate system as the pre-conversion coordinate system. There is a pixel value corresponding to each grid point position. FIG. 8B shows lattice points when geometrically transformed into a perspective projection image in the transformed coordinate system.
魚眼像から透視投影像を幾何変換により求める場合は、次のような工程により変換を行う。まず、図８の（ｂ）図に示す座標８０１の画素値を算出するために、座標８０１を（ａ）図に示す魚眼像座標系の座標に変換する。この結果、座標８０１は魚眼像の座標８０２に対応する関係になる。これは、後述するように、光学系の魚眼射影方式から透視投影方式への幾何変換関係から算出される。 When obtaining a perspective projection image from a fisheye image by geometric transformation, the transformation is performed by the following process. First, in order to calculate the pixel value of the coordinate 801 shown in FIG. 8B, the coordinate 801 is converted into the coordinates of the fish-eye image coordinate system shown in FIG. As a result, the coordinates 801 correspond to the fish-eye image coordinates 802. As will be described later, this is calculated from the geometric conversion relationship from the fish-eye projection method of the optical system to the perspective projection method.
次に、魚眼像の座標８０２の画素値を算出するために、座標８０２の周辺領域８０３の各格子点位置の画素値に適当な重みを掛けて算出する補間処理を行う。このとき、補間方法としては、非特許文献１にて開示された、共一次内挿法、共三次内挿法、３次たたみ込み内挿法等を用いる。この一連の流れを透視投影像の全ての格子位置について行うことで、魚眼像から透視投影像を得ることができる。 Next, in order to calculate the pixel value of the fisheye image coordinate 802, an interpolation process is performed in which the pixel value at each grid point position in the peripheral area 803 of the coordinate 802 is multiplied by an appropriate weight. At this time, as an interpolation method, a bilinear interpolation method, a bicubic interpolation method, a cubic convolution interpolation method, etc. disclosed in Non-Patent Document 1 are used. By performing this series of flows for all lattice positions of the perspective projection image, the perspective projection image can be obtained from the fisheye image.
しかし、上述のように魚眼像から透視投影像へ幾何変換を行う場合、魚眼像の周辺部は光学系によって歪んで撮像されているため、上述したような補間を行うと滑らかな補間を実現できない。この理由について図６を用いて説明する。 However, when performing geometric transformation from a fish-eye image to a perspective projection image as described above, the periphery of the fish-eye image is imaged distorted by the optical system. Cannot be realized. The reason for this will be described with reference to FIG.
図６には、魚眼像６０１と透視投影像６０２を示しており、それぞれにおける中央領域６０１１，６０２１を拡大した図を（ａ）、（ｂ）に示す。また、周辺領域６０１２、６０２２を拡大した図を（ｃ）、（ｄ）に示す。それぞれの拡大図には、格子点座標が表されている。 FIG. 6 shows a fish-eye image 601 and a perspective projection image 602. FIGS. 6A and 6B are enlarged views of central regions 6011 and 6021 in the respective images. Further, enlarged views of the peripheral regions 6012 and 6022 are shown in (c) and (d). In each enlarged view, lattice point coordinates are represented.
魚眼像の中央部に注目すると、中央領域（ａ）の魚眼像の格子点●は上下左右等間隔に配置されており、それらを透視投影像に変換した場合も、（ｂ）に示すように、間隔は縮小されるもののほぼ等間隔な格子点に変換される。 When attention is paid to the center of the fisheye image, the lattice points ● of the fisheye image in the central region (a) are arranged at equal intervals in the vertical and horizontal directions, and the case where they are converted into a perspective projection image is also shown in FIG. As described above, although the interval is reduced, it is converted into lattice points with substantially equal intervals.
一方、魚眼像の周辺領域（ｃ）の格子点●を透視投影像に変換した場合は、（ｄ）に示すように不等間隔な格子点に変換される。このことは、魚眼像の周辺領域を前述した魚眼像座標系で補間した場合は、本来の正しい形状を無視した補間が行われることを意味する。この結果、滑らかな補間結果を得ることができない。 On the other hand, when the lattice points ● in the peripheral region (c) of the fisheye image are converted into a perspective projection image, they are converted into lattice points with unequal intervals as shown in (d). This means that when the peripheral area of the fisheye image is interpolated by the above-described fisheye image coordinate system, interpolation is performed while ignoring the original correct shape. As a result, a smooth interpolation result cannot be obtained.
このような問題を解決する手法としては、図９に示すように、魚眼像の格子点上で画素値の補間を行わず、幾何変換後の透視投影像の格子点位置で補間を行うことが考えられる。図９において、図（ａ）は魚眼像の格子点座標を表しており、図（ｂ）は透視投影像の格子点座標を表している。図（ａ）の格子点座標を図（ｂ）のように座標変換し、この座標変換後の座標系を基準として、算出したい格子点９０１をその周辺の格子点●の画素値を用いて補間する。 As a technique for solving such a problem, as shown in FIG. 9, interpolation is not performed on pixel values on the lattice points of the fisheye image, but on the lattice point positions of the perspective projection image after geometric transformation. Can be considered. In FIG. 9, (a) represents the lattice point coordinates of the fisheye image, and (b) represents the lattice point coordinates of the perspective projection image. The coordinate of the grid point of FIG. (A) is transformed as shown in FIG. (B), and the grid point 901 to be calculated is interpolated using the pixel values of the surrounding grid points ● based on the coordinate system after the coordinate conversion. To do.
このような補間を実現する手法として、特許文献１にて開示された最小二乗法を用いる方法や、非特許文献２にて開示された重調和スプライン関数を用いる方法等がある。これらの手法を用いることで、自然な補間結果を得ることができる。これらのいずれの手法においても、図９の（ｂ）図に示すように不等間隔に配置されている座標位置の値を補間して算出することが可能である。この結果、魚眼像から透視投影像への幾何変換といった複雑な幾何変換においても自然な補間結果を得ることができる。
しかしながら、特許文献１、非特許文献２にて開示された手法を、魚眼像から透視投影像への幾何変換を行う場合に全ての領域の補間に適用すると、非特許文献１にて開示された一般的な補間手法を用いる場合に比べて、非常に多くの計算量が必要である。このため、計算に多大な時間を要する。 However, when the methods disclosed in Patent Document 1 and Non-Patent Document 2 are applied to interpolation of all regions when performing geometric transformation from a fish-eye image to a perspective projection image, it is disclosed in Non-Patent Document 1. Compared with the case of using a general interpolation method, a much larger amount of calculation is required. For this reason, much time is required for calculation.
本発明は、幾何変換を行う画像処理において、滑らかな補間を高速な計算により行うことができる画像処理装置及び画像処理方法を提供する。 The present invention provides an image processing apparatus and an image processing method capable of performing smooth interpolation by high-speed calculation in image processing for performing geometric transformation.
本発明の一側面としての画像処理装置は、第１の射影方式で取得された原画像に対して格子点座標の座標変換処理及び画素値の補間処理を行って第２の射影方式による変換画像を生成する。そして、該装置は、原画像の格子点座標に対して、第１及び第２の射影方式間の幾何変換関係に基づいた座標変換を行う座標変換手段と、座標変換手段による変換後の格子点座標に基づいて、補間手法を切り換えて補間処理を行う補間手段とを有することを特徴とする。 An image processing apparatus according to an aspect of the present invention performs a coordinate conversion process of lattice point coordinates and an interpolation process of pixel values on an original image acquired by a first projection system, thereby converting a converted image by a second projection system. Is generated. The apparatus includes coordinate conversion means for performing coordinate conversion based on the geometric conversion relationship between the first and second projection methods with respect to the lattice point coordinates of the original image, and lattice points after conversion by the coordinate conversion means. Interpolation means for performing interpolation processing by switching the interpolation method based on the coordinates is provided.
また、本発明の他の一側面としての画像処理方法は、第１の射影方式で取得された原画像に対して格子点座標の座標変換処理及び画素値の補間処理を行って第２の射影方式による変換画像を生成する方法である。該方法は、原画像の格子点座標に対して、第１及び第２の射影方式間の幾何変換関係に基づいた座標変換を行う座標変換ステップと、座標変換手段による変換後の格子点座標に基づいて、補間手法を切り換えて補間処理を行う補間ステップとを有することを特徴とする。 According to another aspect of the present invention, there is provided an image processing method in which a second projection is performed by performing coordinate conversion processing of grid point coordinates and pixel value interpolation processing on an original image acquired by the first projection method. This is a method for generating a converted image by a method. The method includes a coordinate conversion step for performing coordinate conversion based on a geometric conversion relationship between the first and second projection methods with respect to the lattice point coordinates of the original image, and the lattice point coordinates after conversion by the coordinate conversion means. And an interpolation step for performing an interpolation process by switching the interpolation method.
本発明によれば、幾何変換による画像処理、例えば魚眼像から透視投影像への複雑な幾何変換を行うような画像処理においても、滑らかな変換画像を高速な処理によって得ることができる。 According to the present invention, a smooth converted image can be obtained by high-speed processing even in image processing by geometric conversion, for example, image processing for performing complicated geometric conversion from a fisheye image to a perspective projection image.
以下、本発明の実施例について図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図１には、本発明の実施例である画像処理装置を含む撮像装置１の構成を示す。 FIG. 1 shows a configuration of an imaging apparatus 1 including an image processing apparatus that is an embodiment of the present invention.
図１において、撮像装置１は、デジタルスチルカメラやビデオカメラであり、不図示の被写体の光学像を撮像素子１０２に投影する撮像レンズ１００、画像形成回路１０３、画像処理装置としての画像変換回路１０９を含む。撮像素子１０２及び画像形成回路１０３により撮像部が構成される。また、撮像装置１は、システム制御回路１０８、メモリ制御回路１１２及び映像出力部１１３等を含む。 In FIG. 1, an imaging apparatus 1 is a digital still camera or a video camera, and includes an imaging lens 100 that projects an optical image of a subject (not shown) onto an imaging element 102, an image forming circuit 103, and an image conversion circuit 109 as an image processing apparatus. including. The imaging device 102 and the image forming circuit 103 constitute an imaging unit. The imaging apparatus 1 includes a system control circuit 108, a memory control circuit 112, a video output unit 113, and the like.
撮像レンズ１００は、撮像光学系として、被写体の魚眼像を形成する魚眼光学系を有し該魚眼像を撮像素子１０２上に投影する。魚眼光学系の射影方式（魚眼射影方式）は、後述するように非透視投影方式が用いられる。なお、本実施例では、固定焦点タイプの撮像レンズ１００を用いている。１０１は絞りやシャッタ等を含む露光量制御部材である。 The imaging lens 100 has a fish-eye optical system that forms a fish-eye image of a subject as an imaging optical system, and projects the fish-eye image onto the image sensor 102. The fisheye optical system projection method (fisheye projection method) uses a non-perspective projection method as described later. In this embodiment, a fixed focus type imaging lens 100 is used. Reference numeral 101 denotes an exposure amount control member including an aperture and a shutter.
被写体から撮像レンズ１００に入射した光は、露光量制御部材１０１を介して撮像素子１０２に到達する。 Light incident on the imaging lens 100 from the subject reaches the imaging element 102 via the exposure amount control member 101.
撮像素子１０２は、その受光面（撮像面）に形成された被写体像（魚眼像）を電気信号に変換して出力する光電変換素子であり、ＣＣＤセンサやＣＭＯＳセンサ等のイメージ・センサにより構成される。 The imaging element 102 is a photoelectric conversion element that converts a subject image (fisheye image) formed on the light receiving surface (imaging surface) into an electrical signal and outputs the electrical signal, and is configured by an image sensor such as a CCD sensor or a CMOS sensor. Is done.
画像形成回路１０３は、撮像素子１０２からのアナログ出力信号をデジタル信号に変換して魚眼像のデジタル画像である原画像を生成（取得）する。画像形成回路１０３は、アナログ／デジタル変換回路１０３１、オートゲイン制御回路１０３２、オートホワイトバランス回路１０３３の他、不図示の画素補間処理や色変換処理等の回路によって構成される。 The image forming circuit 103 converts an analog output signal from the image sensor 102 into a digital signal, and generates (acquires) an original image that is a digital image of a fisheye image. The image forming circuit 103 includes an analog / digital conversion circuit 1031, an auto gain control circuit 1032, an auto white balance circuit 1033, and other circuits such as pixel interpolation processing and color conversion processing (not shown).
１０６は絞りやシャッタ等を含む露光量制御部材１０１を制御する露光制御部である。１０７は撮像レンズ１００のフォーカシングを制御するＡＦ制御部である。露光制御部１０６及びＡＦ制御部１０７は、例えば、ＴＴＬ方式で制御される。 An exposure control unit 106 controls the exposure amount control member 101 including a diaphragm, a shutter, and the like. Reference numeral 107 denotes an AF control unit that controls focusing of the imaging lens 100. The exposure control unit 106 and the AF control unit 107 are controlled by, for example, the TTL method.
システム制御回路１０８は、撮像装置１全体の動作の制御を司る。１０８１はシステム制御回路１０８での動作制御用のデータ及び処理プログラム等を記録するＦＬＡＳＨ ＲＯＭ等を用いたメモリである。１０８２は各種調整値等の情報を記憶する電気的に消去及び記録が可能なＥＥＰＲＯＭ等の不揮発性メモリである。 The system control circuit 108 controls the operation of the entire imaging apparatus 1. Reference numeral 1081 denotes a memory using a FLASH ROM or the like for recording operation control data and processing programs in the system control circuit 108. Reference numeral 1082 denotes an electrically erasable and recordable nonvolatile memory such as an EEPROM that stores information such as various adjustment values.
画像変換回路１０９は、画像形成回路１０３で生成された魚眼像（原画像）を、一般的な透視投影像に変換する。１１０は画像形成回路１０３で生成された魚眼像を記憶・保持する第１フレームメモリであり、１１１は魚眼像に対して画像変換回路１０９で画像変換処理を行って生成された透視投影像を、一時的に記憶・保持する第２フレームメモリである。 The image conversion circuit 109 converts the fisheye image (original image) generated by the image forming circuit 103 into a general perspective projection image. 110 is a first frame memory that stores and holds the fisheye image generated by the image forming circuit 103, and 111 is a perspective projection image generated by performing image conversion processing on the fisheye image by the image conversion circuit 109. Is a second frame memory for temporarily storing / holding.
メモリ制御回路１１２は、フレームメモリ１１０、１１１に入出力される画像信号を制御する。 The memory control circuit 112 controls image signals input / output to / from the frame memories 110 and 111.
画像出力部１１３は、画像変換回路１０９で生成された透視投影像（変換画像）を、不図示の表示デバイスに表示したり不図示の記録媒体（半導体メモリや光ディスク等）に記録したりする。 The image output unit 113 displays the perspective projection image (converted image) generated by the image conversion circuit 109 on a display device (not shown) or records it on a recording medium (semiconductor memory, optical disk, etc.) (not shown).
次に、画像変換回路１０９の構成について説明する。１０９１は画像形成回路１０３で生成された原画像としての魚眼像を透視投影像に幾何変換する際に、所定の位置の画素値を補間して算出する補間回路である。１０９２は補間回路１０９１で補間する手法を後述するように切り換えるための補間マップを作成する補間マップ作成回路である。補間回路１０９１及び補間マップ作成回路１０９２により、補間手段が構成される。 Next, the configuration of the image conversion circuit 109 will be described. Reference numeral 1091 denotes an interpolation circuit that interpolates and calculates pixel values at predetermined positions when a fisheye image as an original image generated by the image forming circuit 103 is geometrically converted into a perspective projection image. Reference numeral 1092 denotes an interpolation map creation circuit for creating an interpolation map for switching the method of interpolation by the interpolation circuit 1091 as described later. The interpolation circuit 1091 and the interpolation map creation circuit 1092 constitute an interpolation means.
１０９４は魚眼像を透視投影像に幾何変換する際の座標変換を行う座標変換回路（座標変換手段）である。１０９５は一時記憶用メモリ回路であり、１０９６は電気的に消去及び記録可能は不揮発性メモリである。１０９３は、画像変換回路１０９内の各回路を制御する制御部であり、ＭＰＵ等で構成される。 Reference numeral 1094 denotes a coordinate conversion circuit (coordinate conversion means) that performs coordinate conversion when the fisheye image is geometrically converted into a perspective projection image. Reference numeral 1095 denotes a temporary storage memory circuit, and reference numeral 1096 denotes a nonvolatile memory that can be electrically erased and recorded. A control unit 1093 controls each circuit in the image conversion circuit 109, and is configured by an MPU or the like.
次に、撮像装置１の動作（画像処理方法）について、図２〜図５に示すフローチャートを用いて説明する。この動作は、システム制御回路１０８や画像変換回路１０９内に格納されたコンピュータプログラムに従って実行される。このことは、後述する他の実施例でも同じである。 Next, the operation (image processing method) of the imaging apparatus 1 will be described using the flowcharts shown in FIGS. This operation is executed according to a computer program stored in the system control circuit 108 or the image conversion circuit 109. This is the same in other embodiments described later.
図２には、撮像装置１を用いて被写体像（魚眼像：原画像）を撮像（取得）し、該魚眼像から透視投影像に変換された画像（変換画像）が、画像出力部１１３から出力されるまでの処理を示す。 In FIG. 2, an image (converted image) obtained by capturing (acquiring) a subject image (fisheye image: original image) using the imaging device 1 and converting the fisheye image into a perspective projection image is displayed in an image output unit. The process until it is output from 113 is shown.
図２では、不図示のレリーズボタンが押下され、システム制御回路１０８がＡＦ制御部１０７を通じて撮像レンズ１００を動作させ、合焦対象である被写体に合焦した時点等、撮像装置１の撮像準備動作が完了した時点から処理が開始される。 In FIG. 2, when an unillustrated release button is pressed and the system control circuit 108 operates the imaging lens 100 through the AF control unit 107 to focus on the subject to be focused, the imaging preparation operation of the imaging apparatus 1 is performed. The processing is started from the time when is completed.
ステップＳ２０１では、システム制御回路１０８は、撮像素子１０２を動作させて被写体の魚眼像を光電変換させる。これにより、被写体輝度に応じたアナログ信号を生成させる。 In step S201, the system control circuit 108 operates the image sensor 102 to photoelectrically convert the fisheye image of the subject. Thereby, an analog signal corresponding to the subject luminance is generated.
ステップＳ２０２では、システム制御回路１０８は、画像形成回路１０３に、ステップＳ２０１で生成されたアナログ画像信号をデジタル画像に変換させ、該デジタル画像を第１フレームメモリ１１０に記録・保持させる。 In step S <b> 202, the system control circuit 108 causes the image forming circuit 103 to convert the analog image signal generated in step S <b> 201 into a digital image and record / hold the digital image in the first frame memory 110.
ステップＳ２０３では、システム制御回路１０８は、画像変換回路１０９に、ステップＳ２０２で第１フレームメモリ１１０に記憶・保持された魚眼像を一般的な透視投影像に変換させる。 In step S203, the system control circuit 108 causes the image conversion circuit 109 to convert the fisheye image stored and held in the first frame memory 110 in step S202 into a general perspective projection image.
ステップＳ２０４では、システム制御回路１０８は、ステップＳ２０３において変換された透視投影像を画像出力部１１３から不図示の表示デバイス又は記録媒体に出力させる。 In step S204, the system control circuit 108 causes the perspective output image converted in step S203 to be output from the image output unit 113 to a display device or recording medium (not shown).
図３のフローチャートには、図２のステップＳ２０３における画像変換回路１０９による画像変換処理の詳細を示している。 The flowchart in FIG. 3 shows details of the image conversion processing by the image conversion circuit 109 in step S203 in FIG.
ステップＳ３０１では、画像変換回路１０９の制御部１０９３は、後述する補間マップが存在するか否かを判定し、存在する場合はステップＳ３０４へ、存在しない場合はステップＳ３０２に進む。 In step S301, the control unit 1093 of the image conversion circuit 109 determines whether or not an interpolation map to be described later exists. If it exists, the process proceeds to step S304. If not, the process proceeds to step S302.
ステップＳ３０２では、補間マップ作成回路１０９２は、補間マップを作成する際に必要な光学情報、すなわち撮像光学系に関する情報を取得する。光学情報は、撮像光学系の射影方式やそれに付随する定数、撮像光学系の歪曲収差や色収差のうち少なくとも１つを含む。 In step S302, the interpolation map creation circuit 1092 acquires optical information necessary for creating the interpolation map, that is, information related to the imaging optical system. The optical information includes at least one of a projection method of the imaging optical system, a constant associated therewith, and distortion and chromatic aberration of the imaging optical system.
ステップＳ３０３では、補間マップ作成回路１０９２は、ステップＳ３０２で取得した情報に基づいて補間マップを作成する。 In step S303, the interpolation map creation circuit 1092 creates an interpolation map based on the information acquired in step S302.
そして、ステップＳ３０４では、補間回路１０９１及び座標変換回路１０９５は、魚眼像から透視投影像への幾何変換処理を行う。 In step S304, the interpolation circuit 1091 and the coordinate conversion circuit 1095 perform a geometric conversion process from a fisheye image to a perspective projection image.
図４のフローチャート及び図１１を用いて、ステップＳ３０３での補間マップの作成について説明する。 The creation of the interpolation map in step S303 will be described with reference to the flowchart of FIG. 4 and FIG.
ステップＳ４０１では、補間マップ作成回路１０９２は、魚眼像の格子点座標を透視投影像の座標位置に座標変換する。ここで、光学系の射影方式間の幾何変換関係について、図１１を用いて説明する。 In step S401, the interpolation map creation circuit 1092 converts the coordinate of the lattice point of the fisheye image into the coordinate position of the perspective projection image. Here, the geometric transformation relationship between the projection methods of the optical system will be described with reference to FIG.
図１１は光学系を介して撮像素子１０２に結像する際の射影方式と像高との関係を表している。ここでは、撮像される被写体は、半球面１１０１上に存在し、光学系は光学中心１１０２にあるとする。 FIG. 11 shows the relationship between the projection method and the image height when forming an image on the image sensor 102 via the optical system. Here, it is assumed that the subject to be imaged exists on the hemispherical surface 1101 and the optical system is at the optical center 1102.
入射角θ（１１０４）で光学系に入射した光線１１０３は、その光学系を介して焦点距離１１０５だけ離れた画像面１１０６中の像点１１０８に像を結ぶ。光線１１０３は、光学系中心１１０２を含むＸＹ平面上で見ると、Ｘ軸に対して角度φ（方位角）だけ傾いている。像点１１０８は、画像面１１０６の中心（画像中心）１１０７から像高１１０９だけ離れている。像高１１０９は、光学系の射影方式によって異なる。 A light ray 1103 incident on the optical system at an incident angle θ (1104) forms an image at an image point 1108 in the image plane 1106 separated by a focal length 1105 via the optical system. When viewed on the XY plane including the optical system center 1102, the light beam 1103 is inclined by an angle φ (azimuth angle) with respect to the X axis. The image point 1108 is separated from the center (image center) 1107 of the image plane 1106 by the image height 1109. The image height 1109 differs depending on the projection method of the optical system.
ここで、焦点距離をｆ、像高ｈとして射影方式を表す関数をＰ（θ）とすると、
ｈ＝ｆ×Ｐ（θ）
と表すことができる。透視投影方式の場合は、
Ｐ（θ）＝ｆ×ｔａｎ（θ）
である。
Here, when the focal length is f and the image height h is P (θ), the function representing the projection method is
h = f × P (θ)
It can be expressed as. In the case of perspective projection,
P (θ) = f × tan (θ)
It is.
また、魚眼光学系においては、複数の射影方式が存在し、例えば、正射影方式では、
Ｐ（θ）＝ｆ×ｓｉｎ（θ）、
等距離射影方式では、
Ｐ（θ）＝ｆ×θ
となる。その他、魚眼光学系には、等立体角射影方式のものや、双曲面ミラーを有するもの等もある。
Moreover, in the fisheye optical system, there are a plurality of projection methods. For example, in the orthogonal projection method,
P (θ) = f × sin (θ),
In the equidistant projection method,
P (θ) = f × θ
It becomes. In addition, fish-eye optical systems include those having an equal solid angle projection system and those having a hyperboloidal mirror.
次に、魚眼像から透視投影像への幾何変換について説明する。なお、添え字ｆが付されている変数は魚眼像における変数を表しており、添え字ｐ付されている変数は透視投影像における変数を表している。また、添え字ｆ→ｐ及びｐ→ｆが付されている変数はそれぞれ、魚眼像から透視投影像への幾何変換及びその逆の変換を表している。 Next, geometric conversion from a fisheye image to a perspective projection image will be described. Note that the variable with the subscript f represents a variable in the fisheye image, and the variable with the subscript p represents a variable in the perspective projection image. Further, variables with subscripts f → p and p → f represent a geometric transformation from a fisheye image to a perspective projection image and vice versa.
画像面１１０６の座標系において、画像中心１１０７を原点として考えると、像点１１０８（ｘｆ，ｙｆ）の像高１１０９は、
ｈｆ＝ＳＱＲＴ（ｘｆ ２＋ｙｆ ２）
（但し、ＳＱＲＴはルートの意味）
と表すことができる。また、方位角φ１１０４は、
φ＝ａｒｃｔａｎ（ｙｆ／ｘｆ）
と表すことができる。
Considering the image center 1107 as the origin in the coordinate system of the image plane 1106, the image height 1109 of the image point 1108 (x f , y f ) is
h f = SQRT (x f 2 + y f 2 )
(However, SQRT means the route)
It can be expressed as. Also, the azimuth angle φ1104 is
φ = arctan (y f / x f )
It can be expressed as.
魚眼射影方式（第１の射影方式）をＰｆ(θ)とすると、光線１１０３の入射角θ１１０４は、
θ＝Ｐｆ −１（ｈｆ）
で算出される。ここで、Ｐｆ −１は魚眼射影方式の逆関数であり、例えば、
Ｐｆ（θ）＝ｆｆ×ｓｉｎθ
の場合は、Ｐｆ −１は逆正弦関数となる。
When the fisheye projection method (first projection method) is P f (θ), the incident angle θ1104 of the light beam 1103 is
θ = P f −1 (h f )
Is calculated by Here, P f −1 is an inverse function of the fish-eye projection method, for example,
P f (θ) = f f × sin θ
In this case, P f −1 is an inverse sine function.
このように算出された光線１１０３の入射角θ１１０４を用いて、透視投影方式（第２の射影方式）により得られる透視投影像への投影座標を算出する。 Using the incident angle θ1104 of the light ray 1103 calculated in this way, the projection coordinates on the perspective projection image obtained by the perspective projection method (second projection method) are calculated.
まず、像高は、
ｈｆ→ｐ＝ｆｐ×ｔａｎ（θ）
で算出される。また、投影座標は、先に算出された方位角φを用いて次式により算出される。
First, the image height is
h f → p = f p × tan (θ)
Is calculated by Further, the projected coordinates are calculated by the following equation using the previously calculated azimuth angle φ.
ｘｆ→ｐ＝ｈｆ→ｐｃｏｓφ
ｙｆ→ｐ＝ｈｆ→ｐｓｉｎφ。
x f → p = h f → p cos φ
y f → p = h f → p sinφ.
以上の射影方式間（魚眼射影方式と透視投影方式間：第１及び第２の射影方式間）の幾何変換関係に基づいた座標変換処理を魚眼座標の各格子点座標に対して行う。これにより、魚眼像の各格子点座標を透視投影像の格子点座標に変換することができる。なお、ここでは射影方式を定義した関数をそのまま利用するよう記述したが、必ずしもそのように行う必要はない。例えば、像高１１０９に対して多項式近似法を用いて透視投影像の格子点座標を算出するようにしてもよい。 A coordinate conversion process based on the geometric conversion relationship between the above projection methods (between the fisheye projection method and the perspective projection method: between the first and second projection methods) is performed on each lattice point coordinate of the fisheye coordinate. Thereby, each lattice point coordinate of a fish-eye image can be converted into the lattice point coordinate of a perspective projection image. Although the function defining the projection method is used as it is here, it is not always necessary to do so. For example, the lattice point coordinates of the perspective projection image may be calculated for the image height 1109 using a polynomial approximation method.
次に、ステップＳ４０２では、補間マップ作成回路１０９２は、ステップＳ４０１で算出した、魚眼像の格子点座標から透視投影像の格子点座標への変換結果（変換後の格子点座標）を用いて、補間マップを作成する。具体的には、変換後の格子点の座標間距離（例えば、上下左右の距離）が１より大きいか１以下か、すなわち魚眼像の画素値データを拡大して画素値を算出する拡大補間領域か、縮小して画素値を補間する縮小補間領域かを表す補間マップを作成する。この補間マップの例を図７に示す。 Next, in step S402, the interpolation map creating circuit 1092 uses the conversion result (lattice point coordinate after conversion) from the lattice point coordinate of the fisheye image to the lattice point coordinate of the perspective projection image calculated in step S401. Create an interpolation map. Specifically, the interpolated coordinate distance (for example, the vertical and horizontal distances) of the converted grid point is greater than 1 or less than 1, that is, enlargement interpolation for enlarging the fisheye image pixel value data and calculating pixel values An interpolation map is created that represents a region or a reduced interpolation region that is reduced and interpolates pixel values. An example of this interpolation map is shown in FIG.
図７中の７００は、透視投影像での格子点座標で定義された領域であり、その中の中央の領域７０１は、魚眼像の格子点座標から透視投影像の格子点座標に変換した際の座標間距離が１以下となる縮小補間領域を表している。また、周辺の領域７０２は、座標間距離が１より大きくなる拡大補間領域を表している。 7 in FIG. 7 is an area defined by the grid point coordinates in the perspective projection image, and the central area 701 in the area is converted from the grid point coordinates of the fisheye image to the grid point coordinates of the perspective projection image. This represents a reduced interpolation area in which the inter-coordinate distance is 1 or less. A peripheral area 702 represents an enlarged interpolation area where the inter-coordinate distance is greater than 1.
このような補間マップは、図１に示した固定焦点タイプの撮像装置の場合は、該撮像装置の工場出荷時に作成して不揮発性メモリ１０９７に記憶しておいたり、起動時に１度のみ作成してメモリ１０９６に記憶しておいたりすればよい。また、ここでは説明を簡単にするため、撮像装置１に光学系に起因する誤差（例えば、光学中心と画像中心のずれ、歪曲収差、色収差）といった要因を考慮せずに補間マップを作成した。しかし、格子点座標変換を行う際に、上記誤差を補正するような格子点座標変換も可能である。 In the case of the fixed focus type imaging apparatus shown in FIG. 1, such an interpolation map is created at the time of factory shipment of the imaging apparatus and stored in the non-volatile memory 1097, or is created only once at startup. Or stored in the memory 1096. Further, here, in order to simplify the description, an interpolation map is created in the imaging apparatus 1 without considering factors such as errors caused by the optical system (for example, a shift between the optical center and the image center, distortion aberration, and chromatic aberration). However, lattice point coordinate conversion that corrects the above error when performing lattice point coordinate conversion is also possible.
上記補間マップを表現するデータ構造の例を図１２に示す。図１２の（ａ）図に示すデータは、透視投影像の格子点座標と、それが拡大補間領域か縮小補間領域かを表す符合（０と１）と、その透視投影像の画素値を推定する際に利用する周辺の魚眼像の格子点座標を一意に表すインデックス値とにより構成される。このインデックス値は、（ｂ）図に示すように、魚眼像の格子点座標（ｘｆ，ｙｆ）と１対１に定義されており、さらに、この魚眼像の格子点座標を透視投影像の格子点座標に座標変換した（ｘｆ→ｐ，ｙｆ→ｐ）も含まれている。また、インデックス値は、後述する補間手法に応じた格子点座標の個数も含む。このようなデータ構造を採用することにより、後段の補間処理を効率的に行うことが可能となる。 An example of the data structure expressing the interpolation map is shown in FIG. The data shown in FIG. 12A estimates the lattice point coordinates of the perspective projection image, a code (0 and 1) indicating whether it is an enlargement interpolation region or a reduction interpolation region, and the pixel value of the perspective projection image. And an index value that uniquely represents the lattice point coordinates of the surrounding fisheye image to be used. This index value is defined in a one-to-one relationship with the fish-eye image grid point coordinates (x f , y f ), as shown in FIG. Also included are coordinate transformations (x f → p , y f → p ) into the grid point coordinates of the projected image. The index value also includes the number of grid point coordinates corresponding to an interpolation method described later. By adopting such a data structure, it is possible to efficiently perform the subsequent interpolation process.
次に、図３のステップＳ３０４で行う幾何変換処理の詳細を、図５のフローチャートを用いて説明する。 Next, details of the geometric transformation processing performed in step S304 in FIG. 3 will be described using the flowchart in FIG.
まず、ステップＳ５０１では、座標変換回路１０９５は、先に作成されてメモリ１０９６又は不揮発性メモリ１０９７に記憶されている補間マップを読み込む。 First, in step S501, the coordinate conversion circuit 1095 reads an interpolation map that has been created and stored in the memory 1096 or the nonvolatile memory 1097.
次に、ステップＳ５０２では、座標変換回路１０９５は、算出したい透視投影像の格子点座標（ｘｐ，ｙｐ）を設定する。 Next, in step S502, the coordinate conversion circuit 1095 sets the lattice point coordinates (x p , y p ) of the perspective projection image to be calculated.
次に、ステップＳ５０３では、座標変換回路１０９５は、設定された座標の周辺に存在するデータを、先に作成した補間マップから抽出する。すなわち、透視投影像の格子点座標（ｘｐ，ｙｐ）に対応した複数の魚眼像格子点座標を表すインデックス値Ｉｎｄ１，Ｉｎｄ２，…，Ｉｎｄｎを抽出する。 In step S503, the coordinate conversion circuit 1095 extracts data existing around the set coordinates from the previously created interpolation map. In other words, the lattice point coordinates of the perspective projection image (x p, y p) index value Ind 1, Ind 2 representing a plurality of fish-eye image grid point coordinates corresponding to, ..., to extract Ind n.
さらに、ステップＳ５０４では、座標変換回路１０９５は、現在の透視投影像の格子点座標が拡大補間領域か縮小補間領域かを前述した符号を用いて判定する。縮小補間領域と判定した場合は、ステップＳ５０５に進む。 Further, in step S504, the coordinate conversion circuit 1095 determines whether the grid point coordinates of the current perspective projection image are the enlargement interpolation region or the reduction interpolation region using the above-described code. If it is determined to be a reduced interpolation area, the process proceeds to step S505.
ステップＳ５０５では、補間回路１０９１は、従来の補間手法である座標変換前の座標系での格子点座標の画素値を用いた補間手法によって格子点座標（ｘｐ，ｙｐ）の画素値を推定する。 In step S505, the interpolation circuit 1091 estimates the pixel value of the grid point coordinate (x p , y p ) by an interpolation method using the pixel value of the grid point coordinate in the coordinate system before coordinate conversion, which is a conventional interpolation method. To do.
具体的には、まず、Ｉｎｄ１，…，Ｉｎｄｎから魚眼像の格子点座標（ｘｆ，ｙｆ）を逆引きする。 Specifically, first, Ind 1, ..., reverse pull grid point coordinates fisheye image (x f, y f) from Ind n.
次に、座標変換回路１０９５は、現在の格子点座標（ｘｐ，ｙｐ）を魚眼像の格子点座標に変換して（ｘｐ→ｆ，ｙｐ→ｆ）を算出する。これは、（ｘｆ→ｐ，ｙｆ→ｐ）を算出した演算と逆の工程で演算することで算出することができる。そこで、（ｘｐ→ｆ，ｙｐ→ｆ）における画素値をＩｎｄ１〜Ｉｎｄｎから逆引きされた（ｘｆ，ｙｆ）の画素値から補間して算出する。 Next, the coordinate conversion circuit 1095 converts the current lattice point coordinates (x p , y p ) to the lattice point coordinates of the fisheye image, and calculates (x p → f , yp → f ). This can be calculated by calculating in the reverse process to the calculation of (x f → p , y f → p ). Therefore, calculated by interpolation from the pixel values of (x p → f, y p → f) pixel values in the reverse off from Ind 1 ~Ind n (x f, y f).
この際の補間方法としては、先に述べたように、共一次内挿法、共三次内挿法、３次たたみ込み内挿法等を利用する。 As the interpolation method at this time, as described above, a bilinear interpolation method, a bicubic interpolation method, a cubic convolution interpolation method, or the like is used.
一方、ステップＳ５０４において、現在の透視投影像の格子点座標が拡大補間領域である判定した場合は、ステップＳ５０６において、補間回路１０９１は、座標変換後の座標系での格子点座標の画素値を基準とした補間を行う。すなわち、現在の格子点座標（ｘｐ，ｙｐ）に対応した魚眼像格子点座標のインデックス値Ｉｎｄ１〜Ｉｎｄｎに対応している座標変換後の座標（ｘｆ→ｐ，ｙｆ→ｐ）とそれに対応した画素値とから、格子点座標（ｘｐ、ｙｐ）の画素値を推定する。 On the other hand, if it is determined in step S504 that the grid point coordinate of the current perspective projection image is an enlarged interpolation region, the interpolation circuit 1091 in step S506 calculates the pixel value of the grid point coordinate in the coordinate system after coordinate conversion. Performs reference interpolation. That is, the current grid point coordinates (x p, y p) to the index value Ind 1 ~Ind n coordinates after coordinate transformation corresponds to the corresponding fisheye image grid point coordinates (x f → p, y f → from p) and the pixel value corresponding thereto, estimating the pixel values of the grid point coordinates (x p, y p).
この際の補間手法としては、例えば、先に説明した非特許文献２，３や特許文献１にて開示された、不等間隔な格子点座標に対応した補間手法を用いる。 As an interpolation method at this time, for example, the interpolation method corresponding to the unequal interval lattice point coordinates disclosed in Non-Patent Documents 2 and 3 and Patent Document 1 described above is used.
次に、ステップＳ５０７では、座標変換回路１０９５は、全ての透視投影像の格子点座標について画素値を算出したか否かを判定する。算出していない場合は、ステップＳ５０２に戻り、算出が終了した場合は処理を終了する。 In step S507, the coordinate conversion circuit 1095 determines whether pixel values have been calculated for the lattice point coordinates of all the perspective projection images. If not calculated, the process returns to step S502. If the calculation is completed, the process ends.
このように、本実施例では、幾何変換後の透視投影像の格子点座標に基づいて、その座標が拡大補間領域の座標か縮小補間領域の座標かに応じて補間手法を変更する。これは、拡大補間領域では補間手法の効果が顕著に見られるが、縮小補間領域では補間手法による画質の違いが判別しにくいことを利用したものである。 Thus, in this embodiment, based on the grid point coordinates of the perspective projection image after geometric transformation, the interpolation method is changed according to whether the coordinates are the coordinates of the enlarged interpolation area or the reduced interpolation area. This is because the effect of the interpolation method is noticeable in the enlarged interpolation region, but the difference in image quality due to the interpolation method is difficult to discriminate in the reduced interpolation region.
以上説明したように、本実施例によれば、魚眼像から透視投影像のような幾何変換において、縮小補間領域と拡大補間領域とで補間手法を切り換えることで、高速かつ滑らかな補間処理を実現することができる。 As described above, according to this embodiment, in a geometric transformation such as a fisheye image to a perspective projection image, a high-speed and smooth interpolation process can be performed by switching the interpolation method between the reduced interpolation region and the enlarged interpolation region. Can be realized.
また、格子点座標変換に際して、撮像レンズ１００の光学系に起因する誤差（例えば、光学中心ずれ、歪曲収差及び色収差）も考慮することも可能である。この結果、光学系の誤差も同時に補正した変換画像を得ることも可能となる。 In addition, when lattice point coordinate conversion is performed, errors (for example, optical center shift, distortion, and chromatic aberration) caused by the optical system of the imaging lens 100 can be taken into consideration. As a result, it is possible to obtain a converted image in which errors in the optical system are also corrected.
さらに、前述したデータ構造を持つ補間マップを事前に作成することで、より高速で滑らかな幾何変換処理を行うことができる。 Furthermore, by creating an interpolation map having the above-described data structure in advance, a faster and smoother geometric transformation process can be performed.
実施例１では、固定焦点タイプの撮像レンズを有する撮像装置について説明したが、本実施例では、可変焦点（ズームレンズ）タイプの撮像レンズを有する場合について説明する。 In the first embodiment, an imaging apparatus having a fixed focus type imaging lens has been described. In the present embodiment, a case of having a variable focus (zoom lens) type imaging lens will be described.
図１３には、本実施例の撮像装置１３の構成を示している。１３０１はズームレンズとしての撮像レンズであり、撮像光学系としての魚眼ズーム光学系を有する。１３０２は撮像レンズ１３０１のズーム位置（焦点距離）を検出するズーム位置検出回路である。また、１３０３は撮像レンズ１３０１のズーミングを制御するズーム制御部である。 FIG. 13 shows the configuration of the imaging device 13 of the present embodiment. An imaging lens 1301 as a zoom lens has a fish-eye zoom optical system as an imaging optical system. A zoom position detection circuit 1302 detects the zoom position (focal length) of the imaging lens 1301. Reference numeral 1303 denotes a zoom control unit that controls zooming of the imaging lens 1301.
これら以外の構成要素は、実施例１の撮像装置と同じであり、共通する構成要素には実施例１と同じ符号を付す。 The other constituent elements are the same as those of the imaging apparatus of the first embodiment, and common constituent elements are denoted by the same reference numerals as those of the first embodiment.
図１４のフローチャートには、本実施例の撮像装置１３の動作（画像処理方法）を示している。図１４には、撮像装置１３を用いて被写体像（魚眼像：原画像）を撮像（取得）し、該魚眼像から透視投影像に変換された画像（変換画像）が、画像出力部１１３から出力されるまでの処理を示す。 The flowchart of FIG. 14 shows the operation (image processing method) of the imaging device 13 of the present embodiment. In FIG. 14, an image (converted image) obtained by capturing (acquiring) a subject image (fisheye image: original image) using the imaging device 13 and converting the fisheye image into a perspective projection image is displayed in an image output unit. The process until it is output from 113 is shown.
ここでは、撮像レンズ１３０１としてズームレンズを用いたことによる実施例１の撮像装置の動作と異なる動作（ステップＳ１４０１とステップＳ１４０４）を中心に説明する。 Here, a description will be given focusing on operations (steps S1401 and S1404) that are different from the operations of the image pickup apparatus of the first embodiment using a zoom lens as the imaging lens 1301.
本実施例では、撮像装置１３の電源が投入されたとき（起動時）や不図示のズームスイッチが操作されたときにステップＳ１４０１から処理が開始される。 In the present embodiment, the processing starts from step S1401 when the power of the imaging device 13 is turned on (when activated) or when a zoom switch (not shown) is operated.
ステップＳ１４０１では、システム制御回路１０８は、ズーム位置検出回路１３０２を通じて、撮像レンズ１３０１のズーム位置情報を検出する。これにより、前述した図１１における焦点距離１１０５が決定され、撮像レンズ１３０１を介して魚眼像が撮像素子１０２に投影されるときの投影関数Ｐ（θ）が確定される。焦点距離に応じて確定した投影関数Ｐ（θ）に応じて、魚眼像の格子点座標から透視投影像の格子点座標への座標変換の結果が異なり、それに基づいて作成される補間マップも異なる。 In step S1401, the system control circuit 108 detects zoom position information of the imaging lens 1301 through the zoom position detection circuit 1302. Accordingly, the focal length 1105 in FIG. 11 described above is determined, and the projection function P (θ) when the fisheye image is projected onto the image sensor 102 via the imaging lens 1301 is determined. The result of coordinate conversion from the lattice point coordinates of the fisheye image to the lattice point coordinates of the perspective projection image differs according to the projection function P (θ) determined according to the focal length, and an interpolation map created based on the result Different.
なお、この間に不図示のレリーズボタンが押下され、システム制御回路１０８がＡＦ制御部１０７を通じて撮像レンズ１３０１を動作させ、合焦対象である被写体に合焦した（撮像準備動作が完了した）ものとする。 During this time, a release button (not shown) is pressed, and the system control circuit 108 operates the imaging lens 1301 through the AF control unit 107 to focus on the subject to be focused (the imaging preparation operation is completed). To do.
ステップＳ１４０２では、システム制御回路１０８は、撮像素子１０２を動作させて被写体の魚眼像を光電変換させる。これにより、被写体輝度に応じたアナログ信号を生成させる。 In step S1402, the system control circuit 108 operates the image sensor 102 to photoelectrically convert the fisheye image of the subject. Thereby, an analog signal corresponding to the subject luminance is generated.
ステップＳ１４０３では、システム制御回路１０８は、画像形成回路１０３に、ステップＳ１４０２で生成されたアナログ画像信号をデジタル画像に変換させ、該デジタル画像を第１フレームメモリ１１０に記録・保持させる。 In step S1403, the system control circuit 108 causes the image forming circuit 103 to convert the analog image signal generated in step S1402 into a digital image and record / hold the digital image in the first frame memory 110.
次に、ステップＳ１４０４では、システム制御回路１０８は、画像変換回路１０９に、ステップＳ１４０３で第１フレームメモリ１１０に記憶・保持された魚眼像を透視投影像に変換させる。 Next, in step S1404, the system control circuit 108 causes the image conversion circuit 109 to convert the fisheye image stored and held in the first frame memory 110 in step S1403 into a perspective projection image.
ここでは、先に説明したように、撮像レンズ１３０１の焦点距離に応じて補間マップが異なるため、実施例１にて説明した図３のフローチャートにおけるステップＳ３０１での判断基準が変わる。このため、本ステップでは、ズーム位置が変更されたか否かで補間マップを作成するか否かを判断する。すなわち、撮像装置１３の起動時やズーム位置が変更された場合にのみ、ステップＳ３０２及びステップＳ３０３にて補間マップを作成するものとする。 Here, as described above, since the interpolation map differs depending on the focal length of the imaging lens 1301, the determination criterion in step S301 in the flowchart of FIG. Therefore, in this step, it is determined whether or not to create an interpolation map based on whether or not the zoom position has been changed. That is, the interpolation map is created in steps S302 and S303 only when the imaging device 13 is activated or the zoom position is changed.
こうして画像変換処理が終了すると、ステップＳ１４０５では、システム制御回路１０８は、変換画像である透視投影像を画像出力部１１３から不図示の表示デバイス又は記録媒体に出力させる。 When the image conversion process ends in this way, in step S1405, the system control circuit 108 causes the perspective output image, which is the converted image, to be output from the image output unit 113 to a display device or recording medium (not shown).
本実施例によれば、撮像レンズ１３０１がズームレンズである場合にも、魚眼像から透視投影像のような幾何変換において縮小補間領域と拡大補間領域とで補間手法を切り換えることで、高速かつ滑らかな補間処理を実現することができる。 According to the present embodiment, even when the imaging lens 1301 is a zoom lens, the interpolation method is switched between the reduced interpolation area and the enlarged interpolation area in a geometric transformation such as a fish-eye image to a perspective projection image, thereby achieving high speed. Smooth interpolation processing can be realized.
なお、本実施例では、ズーム位置が変更されるごとに補間マップを作成する場合について説明したが、必ずしもそのようにする必要なない。例えば、所定値以上ズーム位置が変更された場合にのみ補間マップを作成するようにしてもよい。 In this embodiment, the case where the interpolation map is created every time the zoom position is changed has been described, but it is not always necessary to do so. For example, the interpolation map may be created only when the zoom position is changed by a predetermined value or more.
さらに、所定の焦点距離以下の焦点距離が設定されている場合、つまりある程度広角の画角が設定されている場合にのみ補間マップを作成するようにしてもよい。これは、図１５に模式的に示したように、撮像レンズ１３０１がテレ側からワイド側へズームする場合、拡大補間領域が１５０１から１５０２へと増加するからである。 Furthermore, the interpolation map may be created only when a focal length equal to or smaller than a predetermined focal length is set, that is, when a wide angle of view is set to some extent. This is because, as schematically shown in FIG. 15, when the imaging lens 1301 zooms from the tele side to the wide side, the enlargement interpolation region increases from 1501 to 1502.
さらに、複数の焦点距離（代表ズーム位置）に対応する複数の補間マップを作成し、ズーム位置に対応する補間マップとして、該ズーム位置に近い代表ズーム位置の補間マップを用いるようにしてもよい。 Furthermore, a plurality of interpolation maps corresponding to a plurality of focal lengths (representative zoom positions) may be created, and an interpolation map of a representative zoom position close to the zoom position may be used as the interpolation map corresponding to the zoom position.
これらのようにしてズーム位置の変化による補間マップの作成処理を削減することで、処理をより高速化することができる。 By reducing the interpolation map creation process by changing the zoom position as described above, the process can be further speeded up.
上記各実施例では、撮像装置に画像処理装置としての画像変換回路を内蔵した場合について説明したが、本発明はこれに限らない。 In each of the above-described embodiments, the case where the image conversion circuit as the image processing apparatus is built in the imaging apparatus has been described, but the present invention is not limited to this.
例えば図１６に示すように、撮像装置１６０１で生成した魚眼画像や画像変換処理に必要な情報をパーソナルコンピュータ１６０２に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。 For example, as shown in FIG. 16, a fisheye image generated by the imaging device 1601 and information necessary for image conversion processing are transmitted to a personal computer 1602. The transmission method may be either a cable method or a wireless method, and may be transmitted via the Internet or a LAN.
そして、パーソナルコンピュータ１６０２において、実施例１又は実施例２で説明した画像変換処理を行い、透視投影像を生成する。この場合、パーソナルコンピュータ１６０２が本発明にいう画像処理装置として機能する。 Then, the personal computer 1602 performs the image conversion processing described in the first or second embodiment, and generates a perspective projection image. In this case, the personal computer 1602 functions as an image processing apparatus according to the present invention.
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。 Each embodiment described above is only a representative example, and various modifications and changes can be made to each embodiment in carrying out the present invention.
例えば、上記各実施例では、魚眼光学系による魚眼射影方式で取得された原画像を透視投影方式で得られる画像に変換する場合について説明した。しかし、本発明は、全方位光学系等の他の超広視野光学系の射影方式により取得された画像を、これとは異なる射影方式で得られる画像に変換する場合にも適用することができる。本発明は、特に、非透視投影方式の射影方式で取得された原画像を透視投影方式で得られる画像に変換する場合に有効である。 For example, in each of the above-described embodiments, a case has been described in which an original image acquired by a fish-eye projection method using a fish-eye optical system is converted into an image obtained by a perspective projection method. However, the present invention can also be applied to a case where an image acquired by a projection method of another ultra-wide field optical system such as an omnidirectional optical system is converted into an image obtained by a different projection method. . The present invention is particularly effective when converting an original image acquired by a non-perspective projection projection method into an image obtained by a perspective projection method.
１，１３，１６０１ 撮像装置
１００，１３０１ 撮像レンズ
１０１ 露光量制御部材
１０２ 撮像素子
１０３ 画像形成回路
１０８ システム制御回路
１０９ 画像変換回路
１１０，１１１ フレームメモリ
１１２ メモリ制御回路
１１３ 画像出力部
１６０２ パーソナルコンピュータ
DESCRIPTION OF SYMBOLS 1,13,1601 Image pick-up device 100,1301 Image pick-up lens 101 Exposure amount control member 102 Image pick-up element 103 Image formation circuit 108 System control circuit 109 Image conversion circuit 110,111 Frame memory 112 Memory control circuit 113 Image output part 1602 Personal computer
Claims (9)
前記原画像の格子点座標に対して、前記第１及び第２の射影方式間の幾何変換関係に基づいた座標変換を行う座標変換手段と、
前記座標変換手段による変換後の格子点座標に基づいて、補間手法を切り換えて前記補間処理を行う補間手段とを有することを特徴とする画像処理装置。 An image processing device that performs coordinate conversion processing of lattice point coordinates and pixel value interpolation processing on an original image acquired by a first projection method to generate a converted image by a second projection method,
Coordinate transformation means for performing coordinate transformation based on the geometric transformation relationship between the first and second projection methods with respect to the lattice point coordinates of the original image;
An image processing apparatus comprising: interpolation means for performing the interpolation processing by switching an interpolation method based on the lattice point coordinates after the conversion by the coordinate conversion means.
前記第２の射影方式は、透視投影方式であることを特徴とする請求項１又は２に記載の画像処理装置。 The first projection method is a non-perspective projection method,
The image processing apparatus according to claim 1, wherein the second projection method is a perspective projection method.
前記第１の射影方式の撮像光学系を用いて前記原画像を取得する撮像部とを有することを特徴とする撮像装置。 An image processing apparatus according to any one of claims 1 to 6,
An imaging apparatus comprising: an imaging unit that acquires the original image using the first projection imaging optical system.
前記撮像光学系の焦点距離が可変であり、
前記第１の射影方式の撮像光学系を用いて前記原画像を取得する撮像部とを有し、
前記撮像光学系は、焦点距離が可変であり、
前記補間手段は、前記撮像光学系の焦点距離に応じた前記補間マップを作成することを特徴とする撮像装置。 An image processing apparatus according to claim 5;
The focal length of the imaging optical system is variable,
An imaging unit that acquires the original image using the imaging optical system of the first projection method,
The imaging optical system has a variable focal length,
The imaging apparatus, wherein the interpolation means creates the interpolation map according to a focal length of the imaging optical system.
前記原画像の格子点座標に対して、前記第１及び第２の射影方式間の幾何変換関係に基づいた座標変換を行う座標変換ステップと、
前記座標変換手段による変換後の格子点座標に基づいて、補間手法を切り換えて前記補間処理を行う補間ステップとを有することを特徴とする画像処理方法。
An image processing method for generating a converted image by a second projection method by performing coordinate conversion processing of lattice point coordinates and pixel value interpolation processing on an original image acquired by a first projection method,
A coordinate conversion step for performing coordinate conversion based on a geometric conversion relationship between the first and second projection methods with respect to the lattice point coordinates of the original image;
An image processing method comprising: an interpolation step of performing the interpolation process by switching an interpolation method based on the lattice point coordinates after the conversion by the coordinate conversion means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007231348A JP2009064225A (en) | 2007-09-06 | 2007-09-06 | Image processor and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007231348A JP2009064225A (en) | 2007-09-06 | 2007-09-06 | Image processor and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009064225A true JP2009064225A (en) | 2009-03-26 |
Family
ID=40558760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007231348A Pending JP2009064225A (en) | 2007-09-06 | 2007-09-06 | Image processor and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009064225A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013133456A1 (en) * | 2012-03-09 | 2013-09-12 | Ricoh Company, Limited | Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium |
| US9436973B2 (en) | 2013-06-24 | 2016-09-06 | Mitsubishi Electric Corporation | Coordinate computation device and method, and an image processing device and method |
| JP2017220785A (en) * | 2016-06-07 | 2017-12-14 | キヤノン株式会社 | Image processor, image processing method, and program |
| JP2018038680A (en) * | 2016-09-08 | 2018-03-15 | ザイオソフト株式会社 | Medical image processing apparatus and medical image processing program |
| CN110766604A (en) * | 2019-09-04 | 2020-02-07 | 国网浙江省电力有限公司湖州供电公司 | Expansion method of image data of double-column horizontal rotary isolating switch |
-
2007
- 2007-09-06 JP JP2007231348A patent/JP2009064225A/en active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013133456A1 (en) * | 2012-03-09 | 2013-09-12 | Ricoh Company, Limited | Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium |
| JP2013214947A (en) * | 2012-03-09 | 2013-10-17 | Ricoh Co Ltd | Image capturing apparatus, image capturing system, image processing method, information processing apparatus, and program |
| US9607358B2 (en) | 2012-03-09 | 2017-03-28 | Ricoh Company, Limited | Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium |
| US11049215B2 (en) | 2012-03-09 | 2021-06-29 | Ricoh Company, Ltd. | Image capturing apparatus, image capture system, image processing method, information processing apparatus, and computer-readable storage medium |
| US9436973B2 (en) | 2013-06-24 | 2016-09-06 | Mitsubishi Electric Corporation | Coordinate computation device and method, and an image processing device and method |
| JP2017220785A (en) * | 2016-06-07 | 2017-12-14 | キヤノン株式会社 | Image processor, image processing method, and program |
| JP2018038680A (en) * | 2016-09-08 | 2018-03-15 | ザイオソフト株式会社 | Medical image processing apparatus and medical image processing program |
| CN110766604A (en) * | 2019-09-04 | 2020-02-07 | 国网浙江省电力有限公司湖州供电公司 | Expansion method of image data of double-column horizontal rotary isolating switch |
| CN110766604B (en) * | 2019-09-04 | 2023-06-06 | 国网浙江省电力有限公司湖州供电公司 | Expansion method for image data of double-column horizontal rotary isolating switch |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5666069B1 (en) | Coordinate calculation apparatus and method, and image processing apparatus and method | |
| US7834907B2 (en) | Image-taking apparatus and image processing method | |
| JP6029380B2 (en) | Image processing apparatus, imaging apparatus including image processing apparatus, image processing method, and program | |
| US9071751B2 (en) | Image processor method and program for correcting distance distortion in panorama images | |
| US9538085B2 (en) | Method of providing panoramic image and imaging device thereof | |
| JP5704984B2 (en) | Imaging device | |
| KR20180129667A (en) | Display control apparatus, display control method, and storage medium | |
| US20140168371A1 (en) | Image processing apparatus and image refocusing method | |
| JP2018152782A (en) | Image processing system, imaging apparatus, image processing method, and program | |
| JP2018101951A (en) | Imaging device, imaging method, and program for computer | |
| JP2009064225A (en) | Image processor and image processing method | |
| US10218919B2 (en) | Image pickup system, image processing method, and recording medium | |
| JP2007184720A (en) | Image photographing apparatus | |
| JP2007013791A (en) | Image processing apparatus and its method, as well as imaging apparatus | |
| JP2016053978A (en) | Image processor | |
| JP2005151317A (en) | Distortion aberration changeable photographing apparatus | |
| JP2015046051A (en) | Image processing apparatus, image processing method, program, and imaging system | |
| JP6590894B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP2006121384A (en) | Imaging device | |
| JP6079838B2 (en) | Image processing apparatus, program, image processing method, and imaging system | |
| JP5847570B2 (en) | Image processing apparatus and control method thereof | |
| JP6439845B2 (en) | Image processing device | |
| JP2010050599A (en) | Electronic camera | |
| JP2019186831A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP2019047145A (en) | Image processing system, imaging apparatus, control method and program of image processing system |