JP6310320B2 - Image processing apparatus, imaging apparatus, image processing method, and program - Google Patents
Image processing apparatus, imaging apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP6310320B2 JP6310320B2 JP2014099189A JP2014099189A JP6310320B2 JP 6310320 B2 JP6310320 B2 JP 6310320B2 JP 2014099189 A JP2014099189 A JP 2014099189A JP 2014099189 A JP2014099189 A JP 2014099189A JP 6310320 B2 JP6310320 B2 JP 6310320B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinates
- image
- coordinate
- interpolation
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 61
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 149
- 238000000034 method Methods 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 32
- 239000011159 matrix material Substances 0.000 description 25
- 230000014509 gene expression Effects 0.000 description 22
- 230000006870 function Effects 0.000 description 14
- 238000010606 normalization Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000009466 transformation Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本技術は、画像処理装置、撮像装置、画像処理方法、および、プログラムに関する。詳しくは、画像を変換する画像処理装置、撮像装置、画像処理方法、および、プログラムに関する。 The present technology relates to an image processing device, an imaging device, an image processing method, and a program. Specifically, the present invention relates to an image processing apparatus, an imaging apparatus, an image processing method, and a program for converting an image.
従来より、一般的なレンズより広い視野角（例えば、１８０度）の視野を撮像するために、撮像装置において魚眼レンズが用いられている。この魚眼レンズを用いると、その光学的特性のために被写体の形と像の形とが相似にならず、例えば、像の形が円形に歪んだ魚眼画像が得られる。像の形状が歪んだままではユーザにとって観察が困難となるため、魚眼画像の歪みを補正して、歪みのない中心射影画像に変換する撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置は、画像変換において所定の座標変換関数に中心射影画像内の全ての座標を順に入力して、その座標に対応する魚眼画像内の座標を算出している。 Conventionally, a fish-eye lens is used in an imaging apparatus in order to image a field of view with a wider viewing angle (for example, 180 degrees) than a general lens. When this fisheye lens is used, the shape of the subject and the shape of the image are not similar because of the optical characteristics, and for example, a fisheye image in which the shape of the image is distorted into a circle is obtained. Since it is difficult for a user to observe if the shape of the image remains distorted, an imaging device that corrects distortion of a fisheye image and converts it into a central projection image without distortion has been proposed (for example, see Patent Document 1). .) In the image conversion, all the coordinates in the central projection image are sequentially input to a predetermined coordinate conversion function in image conversion, and the coordinates in the fisheye image corresponding to the coordinates are calculated.
しかしながら、上述の従来技術では、魚眼画像の画素数が増大するほど、計算量が大きくなってしまう。これに対して、座標変換関数により予め算出しておいた座標をメモリ等の記憶部に保持しておき、変換時に読み出す構成とすれば計算を行わずに済むが、この構成では画素数の増大に伴って記憶部の容量が大きくなってしまう。したがって、計算量と記憶部の容量とをともに削減することは困難である。 However, in the above-described conventional technology, the amount of calculation increases as the number of pixels of the fisheye image increases. On the other hand, if the coordinates calculated in advance by the coordinate conversion function are stored in a storage unit such as a memory and read at the time of conversion, the calculation is not necessary. As a result, the capacity of the storage unit increases. Therefore, it is difficult to reduce both the calculation amount and the capacity of the storage unit.
本技術はこのような状況に鑑みて生み出されたものであり、画像処理において計算量と記憶部の容量とを削減することを目的とする。 The present technology has been created in view of such a situation, and aims to reduce the amount of calculation and the capacity of a storage unit in image processing.
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部と、上記特定座標および上記対応座標の一方の座標が入力されると上記入力された座標に対応する他方の座標を上記記憶部から取得する座標取得部と、上記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、上記他方の座標と上記補間座標とに基づいて上記非中心射影画像および上記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部とを具備する画像処理装置、および、画像処理方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、特定座標または対応座標に基づいて補間座標が補間され、それらの座標に基づいて非中心射影画像および中心射影画像のうち一方の画像が他方の画像に変換されるという作用をもたらす。 The present technology has been made to solve the above-described problems, and a first aspect of the present technology is that some specific coordinates among the coordinates in the non-central projection image generated by the projection that does not correspond to the central projection. And a storage unit that stores the corresponding coordinates in the central projection image associated with the specific coordinates, and when one of the specific coordinates and the corresponding coordinates is input, the other coordinates corresponding to the input coordinates Based on the coordinate acquisition unit that acquires from the storage unit, an interpolation unit that interpolates coordinates different from the other coordinate based on the acquired other coordinate, and the other coordinate and the interpolation coordinate An image processing apparatus comprising: an image conversion unit that converts one of the non-central projection image and the central projection image into the other image; and an image processing method and the computer executing the method A program for causing. Thus, the interpolated coordinates are interpolated based on the specific coordinates or the corresponding coordinates, and one of the non-center projected image and the center projected image is converted into the other image based on the coordinates.
また、この第１の側面において、上記座標取得部は、上記特定座標を上記他方の座標として取得し、上記補間部は、上記非中心射影画像において所定の座標を中心として上記特定座標を回転させた座標を上記補間座標として補間してもよい。これにより、特定座標を回転させた座標が補間座標として補間されるという作用をもたらす。 In the first aspect, the coordinate acquisition unit acquires the specific coordinate as the other coordinate, and the interpolation unit rotates the specific coordinate around a predetermined coordinate in the non-centered projection image. Interpolated coordinates may be used as the interpolation coordinates. This brings about the effect that coordinates obtained by rotating specific coordinates are interpolated as interpolation coordinates.
また、この第１の側面において、上記座標取得部は、上記特定座標を上記他方の座標として取得し、上記補間部は、上記非中心射影画像において所定の座標と上記特定座標とを結ぶ線分上の座標を上記補間座標として補間して当該補間座標を上記所定の座標を中心として回転させた座標を新たな上記補間座標として補間してもよい。これにより、所定の座標と特定座標とを結ぶ線分上の座標が補間座標として補間され、その補間座標を回転させた座標が新たな上記補間座標として補間されるという作用をもたらす。 In the first aspect, the coordinate acquisition unit acquires the specific coordinate as the other coordinate, and the interpolation unit is a line segment connecting the predetermined coordinate and the specific coordinate in the non-centered projection image. The coordinates obtained by interpolating the upper coordinates as the interpolation coordinates and rotating the interpolation coordinates around the predetermined coordinates may be interpolated as the new interpolation coordinates. As a result, the coordinates on the line segment connecting the predetermined coordinates and the specific coordinates are interpolated as interpolation coordinates, and the coordinates obtained by rotating the interpolation coordinates are interpolated as new interpolation coordinates.
また、この第１の側面において、上記座標取得部は、上記特定座標を上記他方の座標として取得し、上記補間部は、２つの上記特定座標を結ぶ線分上の座標を上記補間座標として補間してもよい。これにより、２つの上記特定座標を結ぶ線分上の座標が補間座標として補間されるという作用をもたらす。 In the first aspect, the coordinate acquisition unit acquires the specific coordinate as the other coordinate, and the interpolation unit interpolates a coordinate on a line segment connecting the two specific coordinates as the interpolation coordinate. May be. This brings about the effect that coordinates on a line segment connecting the two specific coordinates are interpolated as interpolation coordinates.
また、この第１の側面において、上記特定座標は、上記非中心射影画像において面積の異なる複数の上記閉曲線のそれぞれを分割した分割点の座標であってもよい。これにより、閉曲線のそれぞれを分割した分割点の座標に基づいて補間座標が補間されるという作用をもたらす。 In the first aspect, the specific coordinate may be a coordinate of a dividing point obtained by dividing each of the plurality of closed curves having different areas in the non-centered projection image. This brings about the effect that the interpolation coordinates are interpolated based on the coordinates of the dividing points obtained by dividing each of the closed curves.
また、この第１の側面において、上記特定座標は、上記閉曲線の面積が小さいほど少ない分割数により上記閉曲線のそれぞれを分割した分割点の座標であってもよい。これにより、閉曲線の面積が小さいほど少ない分割数により閉曲線のそれぞれを分割した分割点の座標に基づいて補間座標が補間されるという作用をもたらす。 In the first aspect, the specific coordinate may be a coordinate of a division point obtained by dividing each of the closed curves by a smaller number of divisions as the area of the closed curve is smaller. As a result, the smaller the area of the closed curve is, the smaller the number of divisions is, and the interpolation coordinates are interpolated based on the coordinates of the division points obtained by dividing each of the closed curves.
また、この第１の側面において、上記中心射影画像内の座標に対して透視射影変換を行って当該透視射影変換を行った座標を上記座標取得部および上記補間部に入力する透視射影変換部をさらに具備し、上記補間部は、上記入力された座標に対応する上記補間座標を補間してもよい。これにより、透視射影変換を行った座標に対応する補間座標が補間されるという作用をもたらす。 Further, in the first aspect, a perspective projection conversion unit that performs perspective projection conversion on the coordinates in the central projection image and inputs the coordinates obtained by the perspective projection conversion to the coordinate acquisition unit and the interpolation unit. In addition, the interpolation unit may interpolate the interpolated coordinates corresponding to the input coordinates. This brings about the effect | action that the interpolation coordinate corresponding to the coordinate which performed perspective projection transformation is interpolated.
また、この第１の側面において、上記中心射影画像内の座標を所定の軸周りに回転させる回転部をさらに具備し、上記透視射影変換部は、上記回転された座標に対して上記透視射影変換を行ってよい。これにより、中心射影画像内の座標を所定の軸周りに回転させた座標が透視射影変換されるという作用をもたらす。 The first aspect may further include a rotation unit that rotates the coordinates in the central projection image around a predetermined axis, and the perspective projection conversion unit converts the perspective projection conversion with respect to the rotated coordinates. May be done. This brings about the effect that the coordinates obtained by rotating the coordinates in the central projection image around a predetermined axis are subjected to perspective projection transformation.
また、この第１の側面において、上記中心射影画像内の座標に対して円筒投影変換を行って当該円筒投影変換を行った座標を上記座標取得部および上記補間部に入力する円筒投影変換部をさらに具備し、上記補間部は、上記入力された座標に対応する上記補間座標を補間してもよい。これにより、中心射影画像内の座標に対して円筒投影変換を行った座標に対応する補間座標が補間されるという作用をもたらす。 Further, in the first aspect, a cylindrical projection conversion unit that performs cylindrical projection conversion on the coordinates in the central projection image and inputs the coordinates obtained by the cylindrical projection conversion to the coordinate acquisition unit and the interpolation unit. In addition, the interpolation unit may interpolate the interpolated coordinates corresponding to the input coordinates. This brings about the effect | action that the interpolation coordinate corresponding to the coordinate which performed cylindrical projection conversion with respect to the coordinate in a center projection image is interpolated.
また、この第１の側面において、撮像された画像が上記一方の画像であるか否かを判断して上記一方の画像である場合には上記一方の座標を上記座標取得部および上記補間部に入力する判断部をさらに具備し、上記補間部は、上記入力された座標に対応する上記補間座標を補間してもよい。これにより、撮像された画像が一方の画像である場合に補間座標が補間されるという作用をもたらす。 Further, in the first aspect, it is determined whether or not the captured image is the one image, and when the image is the one image, the one coordinate is transferred to the coordinate acquisition unit and the interpolation unit. An input determination unit may be further included, and the interpolation unit may interpolate the interpolated coordinates corresponding to the input coordinates. Thereby, when the imaged image is one image, the interpolated coordinates are interpolated.
また、本技術の第２の側面は、中心射影に該当しない射影により生成される非中心射影画像と中心射影画像とのうち一方を撮像する撮像部と、上記非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた上記中心射影画像内の対応座標とを記憶する記憶部と、上記特定座標および上記対応座標の一方の座標が入力されると上記入力された座標に対応する他方の座標を上記記憶部から取得する座標取得部と、上記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、上記他方の座標と上記補間座標とに基づいて上記非中心射影画像および上記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部とを具備する撮像装置である。これにより、特定座標または対応座標に基づいて補間座標が補間され、それらの座標に基づいて非中心射影画像および中心射影画像のうち一方の画像が他方の画像に変換されるという作用をもたらす。 In addition, the second aspect of the present technology provides an imaging unit that captures one of a non-central projection image and a central projection image generated by a projection that does not correspond to the central projection, and coordinates of the non-central projection image. A storage unit that stores some specific coordinates and corresponding coordinates in the central projection image that are associated with the specific coordinates, and the input coordinates when one of the specific coordinates and the corresponding coordinates is input. A coordinate acquisition unit that acquires the other coordinate corresponding to the coordinate from the storage unit, an interpolation unit that interpolates a coordinate different from the other coordinate based on the acquired other coordinate as an interpolation coordinate, and the other coordinate An image pickup apparatus comprising: an image conversion unit that converts one of the non-center projected image and the center projected image into the other image based on the interpolation coordinates. Thus, the interpolated coordinates are interpolated based on the specific coordinates or the corresponding coordinates, and one of the non-center projected image and the center projected image is converted into the other image based on the coordinates.
本技術によれば、画像処理において計算量と記憶部の容量とを削減することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。 According to the present technology, it is possible to achieve an excellent effect that the amount of calculation and the capacity of the storage unit can be reduced in image processing. Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（座標を補間して画像を変換する例）
２．第２の実施の形態（円筒投影した座標から座標を補間して画像を変換する例）
３．第３の実施の形態（密度が均等なメッシュ交点から座標を補間して画像を変換する例）
４．第４の実施の形態（魚眼画像の撮像時に座標を補間して画像を変換する例）
Hereinafter, modes for carrying out the present technology (hereinafter referred to as embodiments) will be described. The description will be made in the following order.
1. First embodiment (an example of converting an image by interpolating coordinates)
2. Second Embodiment (Example in which an image is converted by interpolating coordinates from cylindrically projected coordinates)
3. Third embodiment (an example in which an image is converted by interpolating coordinates from mesh intersections of equal density)
4). Fourth embodiment (example in which an image is converted by interpolating coordinates when a fisheye image is captured)
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、魚眼レンズ１１０、撮像素子１２０、入力信号処理部１３０、フレームメモリ１４０、制御部１５０、画像変換部１６０、画素補間部１７０、出力信号処理部１８０および記録部１９０を備える。また、撮像装置１００は、座標変換部２００を備える。
<1. First Embodiment>
[Configuration example of imaging device]
FIG. 1 is a block diagram illustrating a configuration example of the
魚眼レンズ１１０は、中心射影以外の射影（例えば、等距離射影）により光を集光して撮像素子１２０に導くものである。なお、魚眼レンズ１１０の射影方式は、中心射影以外のものであれば、等距離射影に限定されない。例えば、正射影や等立体角射影であってもよい。
The
撮像素子１２０は、制御部１５０の制御に従って魚眼レンズ１１０からの光を電気信号に変換して画像を生成するものである。例えば、ＣＣＤ（Charge Coupled Device）センサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーが撮像素子１２０として用いられる。撮像素子１２０は、生成した画像を入力画像として入力信号処理部１３０に信号線１２９を介して供給する。この入力画像は、２次元格子状に配列された複数の画素からなり、円形の魚眼画像を含む。なお、撮像素子１２０は、特許請求の範囲に記載の撮像部の一例である。
The
入力信号処理部１３０は、入力画像に対して、ノイズ除去処理、デモザイク処理、ホワイトバランス処理およびＹＣ変換処理などの各種の信号処理を必要に応じて行うものである。この入力信号処理部１３０は、信号処理を行った入力画像を信号線１３９を介してフレームメモリ１４０に供給する。フレームメモリ１４０は、入力画像を保持するものである。
The input
制御部１５０は、撮像装置１００全体を制御するものである。この制御部１５０は、ユーザの操作などに従って撮像素子１２０を制御して画像を撮像させる。また、制御部１５０は、複数の出力座標を画像変換部１６０および座標変換部２００に信号線１５９を介して順に供給し、ズーム倍率、出力画像サイズ、パン角、チルト角およびロール角を座標変換部２００に供給する。
The
ここで、出力座標は、魚眼画像から生成される中心射影画像内の座標である。この中心射影画像は、２次元格子上に配列された複数の画素からなる。また、中心射影画像において、所定の方向（例えば、水平方向）に沿って並ぶ画素からなる配列は行と呼ばれる。出力座標の供給においては、行のそれぞれが順に選択され、選択された行内の画素の座標のそれぞれが順に出力座標として供給される。 Here, the output coordinates are coordinates in the central projection image generated from the fisheye image. This central projection image is composed of a plurality of pixels arranged on a two-dimensional grid. In the central projection image, an array composed of pixels arranged in a predetermined direction (for example, the horizontal direction) is called a row. In supplying the output coordinates, each of the rows is sequentially selected, and each of the coordinates of the pixels in the selected row is sequentially supplied as an output coordinate.
また、出力画像サイズは、中心射影画像のサイズである。ズーム倍率は、出力画像平面に対する出力画像サイズの比を示す。この出力画像平面は、魚眼画像の少なくとも一部が透視射影により射影される矩形の射影面であり、この出力座標平面をズーム倍率により拡大した画像が中心射影画像として生成される。パン角、チルト角およびロール角については後述する。 The output image size is the size of the central projection image. The zoom magnification indicates the ratio of the output image size to the output image plane. The output image plane is a rectangular projection plane on which at least a part of the fisheye image is projected by perspective projection, and an image obtained by enlarging the output coordinate plane with the zoom magnification is generated as a central projection image. The pan angle, tilt angle, and roll angle will be described later.
座標変換部２００は、出力座標を読出座標に変換するものである。ここで、読出座標は魚眼画像内の座標を示す。座標変換部２００は、出力座標が供給されるたびに、出力座標を、対応する読出座標に変換し、画像変換部１６０に信号線２０９を介して供給する。
The coordinate
画像変換部１６０は、魚眼画像を中心射影画像に変換するものである。この画像変換部１６０は、制御部１５０から出力座標を受け取るたびに、その出力座標に対応する読出座標の画素値をフレームメモリ１４０から読み出す。そして、画像変換部１６０は、読み出した画素値を、中心射影画像内の出力座標の画素値として画素補間部１７０に信号線１６９を介して供給する。これにより、魚眼画像は中心射影画像に変換される。
The
画素補間部１７０は、中心射影画像において画素を必要に応じて補間するものである。例えば、魚眼画像の一部または全部を拡大する際に、画素補間部１７０は、必要な画素をサブピクセル精度で求めて補間する。この補間においては、バイリニア補間アルゴリズム、バイキュービック補間アルゴリズム、または、Ｌａｎｚｏｓ補間アルゴリズムなどのアルゴリズムが用いられる。画素補間部１７０は、画素を補間した中心射影画像を出力信号処理部１８０に信号線１７９を介して供給する。
The
出力信号処理部１８０は、ＯＳＤ（On Screen Display）処理、マスク処理、および、画像フォーマット変換処理などを必要に応じて中心射影画像に対して行うものである。出力信号処理部１８０は、処理後の中心射影画像を信号線１８９を介して記録部１９０に供給する。記録部１９０は、中心射影画像を記録するものである。
The output
なお、撮像装置１００は、魚眼レンズ１１０により生成された魚眼画像を変換対象として中心射影画像に変換しているが、変換対象は、中心射影でない射影により生成された画像であれば、魚眼画像に限定されない。撮像装置１００は、例えば、曲面ミラーに写し出された被写体を、中心射影レンズにより撮像した画像を変換対象としてもよい。
Note that the
また、撮像装置１００は、魚眼画像を中心射影画像に変換しているが、逆に中心射影画像を魚眼画像に変換してもよい。この場合、例えば、魚眼レンズ１１０の代わりに中心射影レンズを設け、制御部１５０は、中心射影画像内の読出座標を座標変換部２００および画像変換部１６０に順に供給する。また、座標変換部２００は、読出座標を、魚眼画像内の出力座標に変換する。
Further, the
また、魚眼レンズ１１０や撮像素子１２０などの各部を１つの装置（撮像装置１００）に設ける構成としているが、これらを複数の装置に分散して設けてもよい。例えば、魚眼レンズ１１０を交換レンズユニットに設け、撮像素子１２０などを撮像装置１００に設け、座標変換部２００や画像変換部１６０などを画像処理装置に設けてもよい。
Moreover, although each part, such as the
また、撮像装置１００は、入力信号処理部１３０において、ノイズ除去処理、デモザイク処理、ホワイトバランス処理およびＹＣ変換処理などを画像変換前に行っているが、これらのうち少なくとも１つを画像変換後に行ってもよい。例えば、デモザイク処理を行っていないＲＡＷデータ形式の魚眼画像を中心射影画像に変換し、その後にデモザイク処理を行ってもよい。
In addition, the
また、撮像装置１００は、中心射影画像を外部に出力してもよいし、表示部をさらに備え、その表示部に中心射影画像を表示させてもよい。また、撮像装置１００は、記録部１９０に中心射影画像を記録しているが、記録せずに外部への出力や表示部における表示などを行ってもよい。
Further, the
［座標変換部の構成例］
図２は、第１の実施の形態における座標変換部２００の一構成例を示すブロック図である。座標変換部２００は、座標正規化部２１０、出力座標回転行列演算部２２０、透視射影変換部２３０、魚眼画像歪補正テーブル２４０および読出座標出力部３００を備える。
[Configuration example of coordinate conversion unit]
FIG. 2 is a block diagram illustrating a configuration example of the coordinate
ここで、魚眼画像に平行な所定の軸をｘ軸とし、魚眼画像に平行でｘ軸に直交する軸をｙ軸とする。また、これらのｘ軸およびｙ軸に直交する軸をｚ軸とする。ｘ軸、ｙ軸およびｚ軸の原点は、例えば、魚眼画像の中心とする。そして、その原点を中心とする半球の表面を仮想球面と称する。仮想球面は、魚眼レンズ１１０により撮像された視野範囲を表す。出力画像平面（すなわち、射影面）は、初期状態において、例えば、その中心が魚眼画像の中心と一致する位置に配置される。また、出力画像平面は、初期状態において、その中心が仮想球面と接する位置に配置される。
Here, a predetermined axis parallel to the fisheye image is defined as the x axis, and an axis parallel to the fisheye image and orthogonal to the x axis is defined as the y axis. Further, an axis orthogonal to these x-axis and y-axis is taken as a z-axis. The origin of the x-axis, y-axis, and z-axis is, for example, the center of the fisheye image. And the surface of the hemisphere centering on the origin is called a virtual spherical surface. The virtual spherical surface represents the visual field range imaged by the
座標正規化部２１０は、ズーム倍率や出力画像サイズに基づいて出力座標を正規化するものである。例えば、中心射影画像の水平座標を０乃至ｏｕｔ_ｈとし、垂直座標を０乃至ｏｕｔ_ｖとする場合、ｏｕｔ_ｈおよびｏｕｔ_ｖが出力画像サイズとして供給される。この座標正規化部２１０は、例えば、次の式により出力座標を正規化する。
ｒ＝ｍｉｎ（ｏｕｔ_ｈ、ｏｕｔ_ｖ）／２ ・・・式１
r = min (out_h, out_v) / 2
式１において、ｍｉｎ（Ａ、Ｂ）は、ＡおよびＢのうち値が小さい方を返す関数である。また、式２および式３において、「ｚｏｏｍ」は、魚眼画像の直径と出力画像平面の短辺とが一致し、出力画像平面（すなわち、射影面）を仮想球面に接するように配置した際の倍率を「１」とするズーム倍率である。式２乃至式４において、ｘnorm、ｙnormおよびｚnormは、正規化したｘ、ｙおよびｚ座標である。座標正規化部２１０は、正規化した出力座標（ｘnorm、ｙnorm、ｚnorm）を出力座標回転行列演算部２２０に供給する。式１乃至式４により、出力座標は、半径１の半球の球面上の座標に正規化される。
In
なお、撮像装置１００は、魚眼画像の少なくとも一部をズーム倍率により拡大しているが、魚眼画像の少なくとも一部を縮小してもよい。縮小する際には、制御部１５０は、ズーム倍率「ｚｏｏｍ」の代わりに、縮小率を供給する。この場合、式２および式３において「ｚｏｏｍ」が縮小率に置き換えられる。
Note that the
出力座標回転行列演算部２２０は、出力画像平面を回転行列演算により回転させるものである。この出力座標回転行列演算部２２０は、パン角、チルト角およびロール角を制御部１５０から受け取る。ここで、パン角は、出力座標をｘ軸周りに回転させる回転角度である。また、チルト角は、出力座標をｙ軸周りに回転させる回転角度であり、ロール角は、ｚ軸周りに回転させる回転角度である。そして、出力座標回転行列演算部２２０は、例えば、次の式により回転行列演算を行う。
式５において、Ｒｔは、チルト角である。また、Ｒｒはロール角であり、Ｒｐはパン角である。また、（ｘrot、ｙrot、ｚrot）は、回転後の出力座標である。出力座標回転行列演算部２２０は、この出力座標（ｘrot、ｙrot、ｚrot）を透視射影変換部２３０に供給する。なお、出力座標回転行列演算部２２０は、特許請求の範囲に記載の回転部の一例である。
In Equation 5, R t is the tilt angle. R r is the roll angle and R p is the pan angle. Further, (x rot , y rot , z rot ) are output coordinates after rotation. The output coordinate rotation
透視射影変換部２３０は、出力座標に対して透視射影変換を行うものである。この透視射影変換部２３０は、例えば、次の式により透視射影変換を行う。
ｘsph＝ｘrot／（ｘrot 2＋ｙrot 2＋ｚrot 2）1/2 ・・・式６
ｙsph＝ｙrot／（ｘrot 2＋ｙrot 2＋ｚrot 2）1/2 ・・・式７
ｚsph＝ｚrot／（ｘrot 2＋ｙrot 2＋ｚrot 2）1/2 ・・・式８
Ｒｘ＝ａｒｃｔａｎ２（ｙsph、ｘsph） ・・・式９
Ｒｚ＝ａｒｃｃｏｓ（ｚsph） ・・・式１０
The perspective
x sph = x rot / (x rot 2 + y rot 2 + z rot 2 ) 1/2 Equation 6
y sph = y rot / (x rot 2 + y rot 2 + z rot 2 ) 1/2 Equation 7
z sph = z rot / (x rot 2 + y rot 2 + z rot 2 ) 1/2 Equation 8
R x = arctan2 (y sph , x sph ) Equation 9
R z = arccos (z sph ) Equation 10
式６乃至式８において、ｘsph、ｙsphおよびｚsphは、出力座標を仮想天球面の表面上の座標に射影した座標である。また、式９および式１０において、ａｒｃｔａｎ２（ｙ、ｘ）は、（ｙ、ｘ）および原点を結ぶ直線とｘ軸とのなす角度を返す関数である。また、ａｒｃｃｏｓは、正弦関数の逆関数を示す。また、ＲｘおよびＲｚは、投影射影変換された極座標表記の出力座標のうちｘ軸およびｚ軸に対する角度を示す。透視射影変換部２３０は、投影射影変換した出力座標（ｒ、Ｒｘ、Ｒｚ）のうち（Ｒｘ、Ｒｚ）を読出座標出力部３００に供給する。ここで、ｒは極座標系における半径を示す。ｒを供給しないのは、ｒを固定値（例えば、「１」）としているためである。
In Expressions 6 to 8, x sph , y sph and z sph are coordinates obtained by projecting the output coordinates to the coordinates on the surface of the virtual celestial sphere. In Expressions 9 and 10, arctan2 (y, x) is a function that returns an angle formed by a straight line connecting (y, x) and the origin and the x axis. Arccos represents an inverse function of a sine function. R x and R z indicate angles with respect to the x axis and the z axis in the output coordinates in the polar coordinate notation subjected to the projective projection transformation. The perspective
読出座標出力部３００は、出力座標を読出座標に変換して画像変換部１６０に出力するものである。出力座標に対応する読出座標が魚眼画像歪補正テーブル２４０に記憶されている場合には、読出座標出力部３００は、その読出座標を魚眼画像歪補正テーブル２４０から取得して出力する。一方、出力座標に対応する読出座標が魚眼画像歪補正テーブル２４０に記憶されていない場合には、読出座標出力部３００は、所定の補間処理により出力座標に対応する読出座標を補間して出力する。補間処理の詳細については、後述する。
The read coordinate
魚眼画像歪補正テーブル２４０は、魚眼画像内の読出座標のうち一部の特定座標を、中心射影画像内の出力座標に対応づけて記憶するものである。 The fisheye image distortion correction table 240 stores some specific coordinates among the read coordinates in the fisheye image in association with the output coordinates in the central projection image.
このように、撮像装置１００は、魚眼画像内の一部の座標を補間して求めるため、魚眼画像内の全ての座標を演算する構成と比較して計算量を少なくすることができる。
As described above, since the
なお、座標変換部２００に正規化部２１０、出力座標回転行列演算部２２０を設けてパン、チルトおよびロールを行う構成としているが、パン、チルトおよびロールを行わないのであれば、出力座標回転行列演算部２２０を設けなくてもよい。
The coordinate
図３は、第１の実施の形態における魚眼画像および中心射影画像の一例を示す図である。同図におけるａは、第１の実施の形態における入力画像５００の一例を示す図である。同図のａに例示するように、入力画像５００は、例えば、二次元格子状に配列された複数の画素からなる矩形の画像である。この入力画像５００は、円形のイメージサークル５０１を含む。このイメージサークル５０１は、魚眼レンズ１１０により集光された光を変換した領域であり、このサークル内の画素からなる画像が魚眼画像として扱われる。この魚眼画像（５０１）は、前述したように、中心射影でない射影により生成されているため、被写体の実際の形と、その被写体を撮像した像の形とが相似にならない。例えば、像の形は円形に歪む。
FIG. 3 is a diagram illustrating an example of a fish-eye image and a central projection image in the first embodiment. A in the same figure is a figure which shows an example of the
また、図３におけるｂは、魚眼画像（５０１）から生成された中心射影画像６００の一例を示す図である。同図におけるｂに示すように、魚眼画像の歪みが補正され、像の形状が被写体の実際の形状と相似になる。
Further, b in FIG. 3 is a diagram illustrating an example of the
図４は、第１の実施の形態における魚眼画像歪補正テーブル２４０の一例を示す図である。この魚眼画像歪補正テーブル２４０には、魚眼画像内の読出座標のうち一部の特定座標が、中心射影画像内の出力座標に対応づけて格納されている。例えば、仮想球面をメッシュ状に分割した分割点を魚眼画像に投影した読出座標が格納される。読出座標に対応する出力座標は、例えば、特許文献１の第００１８段落に記載の座標変換関数により、予め算出された座標である。なお、座標変換関数などにより理論的に求める代わりに、メッシュ交点がプロットされた半球状の被写体を実際に用意し、その被写体を撮像することによりレンズごとにキャリブレーションして求めてもよい。具体的には、例えば、その半球状の被写体を魚眼レンズおよび中心射影レンズのそれぞれにより撮像して、得られた魚眼画像および中心射影画像からメッシュ交点座標およびメッシュ対応座標の対応関係が求められる。
FIG. 4 is a diagram illustrating an example of the fisheye image distortion correction table 240 according to the first embodiment. In this fisheye image distortion correction table 240, some specific coordinates among the readout coordinates in the fisheye image are stored in association with the output coordinates in the central projection image. For example, read coordinates obtained by projecting a division point obtained by dividing a virtual spherical surface into a mesh shape onto a fisheye image are stored. The output coordinates corresponding to the read coordinates are, for example, coordinates calculated in advance by a coordinate conversion function described in paragraph 0018 of
以下、メッシュ交点をｚ軸に平行に魚眼画像に投影した読出座標を「メッシュ交点座標」と称し、そのメッシュ交点座標に対応する中心射影画像内の出力座標を「メッシュ対応座標」と称する。このメッシュ対応座標は、例えば、極座標系により表され、一方、メッシュ交点座標は、例えば直交座標系により表される。なお、メッシュ交点座標は、特許請求の範囲に記載の特定座標の一例であり、メッシュ対応座標は、特許請求の範囲に記載の対応座標の一例である。 Hereinafter, the readout coordinates obtained by projecting the mesh intersection point onto the fisheye image in parallel with the z axis are referred to as “mesh intersection point coordinates”, and the output coordinates in the central projection image corresponding to the mesh intersection point coordinates are referred to as “mesh correspondence coordinates”. The mesh corresponding coordinates are represented by, for example, a polar coordinate system, while the mesh intersection coordinates are represented by, for example, an orthogonal coordinate system. Note that the mesh intersection coordinates are an example of specific coordinates described in the claims, and the mesh corresponding coordinates are an example of corresponding coordinates described in the claims.
メッシュ交点座標が（ｘ１、ｙ１）であり、その座標に対応する中心射影画像内のメッシュ対応座標が（Ｒｘ１、Ｒｚ１）である場合、そのメッシュ対応座標（Ｒｘ１、Ｒｚ１）に対応付けてメッシュ交点座標（ｘ１、ｙ１）が記憶される。 When the mesh intersection coordinates are (x 1 , y 1 ) and the mesh corresponding coordinates in the central projection image corresponding to the coordinates are (R x1 , R z1 ), the mesh corresponding coordinates (R x1 , R z1 ) The mesh intersection coordinates (x 1 , y 1 ) are stored in association with.
図５は、第１の実施の形態における読出座標出力部３００の一構成例を示すブロック図である。この読出座標出力部３００は、直交座標取得部３２０および座標補間部３３０を備える。
FIG. 5 is a block diagram illustrating a configuration example of the read coordinate
直交座標取得部３２０は、出力座標に対応する読出座標を魚眼画像歪補正テーブル２４０から取得するものである。この直交座標取得部３２０は、透視射影変換部２３０から供給された出力座標に対応する読出座標が魚眼画像歪補正テーブル２４０に記憶されているか否か、言い換えれば、出力座標がメッシュ対応座標であるか否かを判断する。メッシュ対応座標である場合には直交座標取得部３２０は、そのメッシュ対応座標に対応するメッシュ交点座標（すなわち、読出座標）を魚眼画像歪補正テーブル２４０から取得して画像変換部１６０へ供給する。
The orthogonal coordinate
一方、出力座標がメッシュ対応座標でない場合に直交座標取得部３２０は、供給された出力座標の周囲のメッシュ対応座標の中から、出力座標との間の距離の近いものを優先して４つのメッシュ対応座標を選択する。これらの４つのメッシュ対応座標をそれぞれ（Ｒｘｎ、Ｒｚｎ）、（Ｒｘｎ＋１、Ｒｚｎ）、（Ｒｘｎ、Ｒｚｎ＋１）および（Ｒｘｎ＋１、Ｒｚｎ＋１）とする。直交座標取得部３２０は、これらのメッシュ対応座標と、メッシュ対応座標に対応するメッシュ交点座標のそれぞれとを魚眼画像歪補正テーブル２４０から取得して座標補間部３３０に供給する。なお、直交座標取得部３２０は、特許請求の範囲に記載の座標取得部の一例である。
On the other hand, when the output coordinates are not mesh-corresponding coordinates, the orthogonal coordinate
座標補間部３３０は、直交座標取得部３２０により取得されたメッシュ交点座標に基づいて、供給された出力座標に対応する読出座標を補間するものである。この座標補間部３３０は、回転後線形補間部３３１、回転後補間係数演算部３３２、回転前線形補間部３３３、回転前補間係数演算部３３４、回転角度演算部３３５および読出座標回転行列演算部３４０を備える。なお、座標補間部３３０は、特許請求の範囲に記載の補間部の一例である。
The coordinate
回転前補間係数演算部３３４は、回転前線形補間部３３３において用いられる補間係数ａｚを演算して回転前線形補間部３３３に供給するものである。補間係数ａｚは、例えば、次の式により算出される。
ａｚ＝Ｒｚ／（Ｒｚｎ＋１−Ｒｚｎ） ・・・式１１
The pre-rotation interpolation
az = Rz / ( Rzn + 1- Rzn ) ... Formula 11
回転前線形補間部３３３は、放射方向において隣り合う２つのメッシュ対応座標の間の座標を線形補間により線形補間座標として補間して読出座標回転行列演算部３４０に供給するものである。線形補間座標は、例えば、次の式により求められる。
ｘａ'＝ｆｘ（Ｒxn、Ｒzn）・（１−ａｚ）＋ｆｘ（Ｒｘn、Ｒｚn+1）・ａｚ ・・・式１２
ｙａ'＝ｆｙ（Ｒxn、Ｒzn）・（１−ａｚ）＋ｆｙ（Ｒｘn、Ｒｚn+1）・ａｚ ・・・式１３
ｘｂ'＝ｆｘ（Ｒxn+1、Ｒzn）・（１−ａｚ）＋ｆｘ（Ｒxn+1、Ｒzn+1）・ａｚ …式１４
ｙｂ'＝ｆｙ（Ｒxn+1、Ｒzn）・（１−ａｚ）＋ｆｙ（Ｒxn+1、Ｒzn+1）・ａｚ …式１５
The pre-rotation
x a ′ = f x (R xn , R zn ) · (1−a z ) + f x (R xn , R zn + 1 ) · a z (12)
y a ′ = f y (R xn , R zn ) · (1−a z ) + f y (R xn , R zn + 1 ) · a z Equation 13
x b '= f x (R
y b ′ = fy (R xn + 1 , R zn ) · (1−a z ) + fy (R xn + 1 , R zn + 1 ) · a z Equation 15
式１２乃至式１５においてｆｘ（Ｒｘ、Ｒｚ）は、メッシュ対応座標（Ｒｘ、Ｒｚ）に対応するメッシュ交点座標（ｘ、ｙ）のうちｘ座標を返す関数である。また、ｆｙ（Ｒｘ、Ｒｚ）は、メッシュ対応座標（Ｒｘ、Ｒｚ）に対応するメッシュ交点座標（ｘ、ｙ）のうちｙ座標を返す関数である。式１２乃至式１５により、２つのメッシュ交点座標を結ぶ線分上の座標が線形補間座標として求められる。また、式１２乃至式１５において（ｘａ'、ｙａ'）および（ｘｂ'、ｙｂ'）は、線形補間座標である。 In Expressions 12 to 15, f x (R x , R z ) is a function that returns the x coordinate of the mesh intersection coordinates (x, y) corresponding to the mesh corresponding coordinates (R x , R z ). F y (R x , R z ) is a function that returns the y coordinate of the mesh intersection coordinates (x, y) corresponding to the mesh corresponding coordinates (R x , R z ). From the equations 12 to 15, the coordinates on the line segment connecting the two mesh intersection coordinates are obtained as linear interpolation coordinates. In Expressions 12 to 15, (x a ′, y a ′) and (x b ′, y b ′) are linear interpolation coordinates.
回転角度演算部３３５は、線形補間座標を回転させる回転角度ＲｘａおよびＲｘｂを演算するものである。回転角度ＲｘａおよびＲｘｂは、例えば、次の式により求められる。
Ｒｘａ＝Ｒｘ−Ｒｘｎ ・・・式１６
Ｒｘｂ＝Ｒｘ−Ｒｘｎ＋１ ・・・式１７
The rotation
R xa = R x −R xn Equation 16
R xb = R x −R xn + 1 Equation 17
回転角度演算部３３５は、例えば、回転角度Ｒｘａの正弦および余弦を読出座標回転行列演算部３４０に供給し、次いで回転角度Ｒｘｂの正弦および余弦を読出座標回転行列演算部３４０に供給する。
The rotation
読出座標回転行列演算部３４０は、線形補間座標（ｘａ'、ｙａ'）および（ｘｂ'、ｙｂ'）のそれぞれを回転行列演算により回転させ、回転させた座標を回転補間座標として線形補間部３３１に順に供給するものである。例えば、次の式により、回転後の座標が求められる。
式１８において（ｘrot_a'、ｙrot_a'）は、線形補間座標（ｘａ'、ｙａ'）を回転させた回転補間座標である。また、式１９において（ｘrot_b'、ｙrot_b'）は、線形補間座標（ｘｂ'、ｙｂ'）を回転させた回転補間座標である。 In formula 18 (x rot_a ', y rot_a ') is linear interpolation coordinate (x a ', y a' ) a rotation interpolation coordinates rotate. In Expression 19, (x rot_b ′, y rot_b ′) are rotation interpolation coordinates obtained by rotating the linear interpolation coordinates (x b ′, y b ′).
回転後補間係数演算部３３２は、回転後線形補間部３３１において用いられる補間係数ａｘを演算して回転前線形補間部３３３に供給するものである。補間係数ａｘは、例えば、次の式により算出される。
ａｘ＝Ｒｘ／（Ｒｘｎ＋１−Ｒｘｎ） ・・・式２０
Rotation after interpolation
a x = R x / (R xn + 1 −R xn ) Equation 20
回転後線形補間部３３１は、２つの回転補間座標の間の座標を線形補間により最終的な補間座標として補間して画像変換部１６０に供給するものである。補間座標は、例えば、次の式により求められる。
ｘ'＝ｘrot_a'・（１−ａｘ）＋ｘrot_b'・ａｘ ・・・式２１
ｙ'＝ｙrot_a'・（１−ａｘ）＋ｙrot_b'・ａｘ ・・・式２２
The post-rotation
x ′ = x rot — a ′ · (1−a x ) + x rot — b ′ · a x Expression 21
y ′ = y rot — a ′ · (1−a x ) + y rot — b ′ · a x.
なお、座標補間部３３０は、線形補間と、座標の回転による補間とを行っているが、線形補間のみを行ってもよい。ただし、魚眼画像においては、像が円形に歪んで写っているため、円周方向において補間する際には、式１８や式１９などを用いて回転による補間を行うことが望ましい。
The coordinate
また、座標補間部３３０は、放射方向において、線形補間を行っているが、放射方向において隣接する２つの座標の間を適切に補間することができるのであれば、線形補間以外の補間（スプライン補間など）を行ってもよい。
Also, the coordinate
［読出座標回転行列演算部の構成例］
図６は、第１の実施の形態における読出座標回転行列演算部３４０の一構成例を示すブロック図である。この読出座標回転行列演算部３４０は、乗算器３４１、３４２、３４３および３４４と、減算器３４５と、加算器３４６とを備える。
[Configuration example of readout coordinate rotation matrix calculation unit]
FIG. 6 is a block diagram illustrating a configuration example of the read coordinate rotation
乗算器３４１は、座標ｘａ'またはｘｂ'と角度ＲｘａおよびＲｘｂの正弦とを乗算して乗算結果を減算器３４５に供給するものである。乗算器３４２は、座標ｙａ'またはｙｂ'と角度ＲｘａまたはＲｘｂの余弦とを乗算して乗算結果を減算器３４５に供給するものである。減算器３４５は、乗算器３４１の乗算結果から乗算器３４２の乗算結果を減算して、座標ｘrot_a'またはｘrot_b'として回転後線形補間部３３１に供給するものである。
The multiplier 341 multiplies the coordinate x a ′ or x b ′ by the sine of the angles R xa and R xb and supplies the multiplication result to the
乗算器３４３は、座標ｘａ'またはｘｂ'と角度ＲｘａおよびＲｘｂの余弦とを乗算して乗算結果を加算器３４６に供給するものである。乗算器３４４は、座標ｙａ'またはｙｂ'と角度ＲｘａまたはＲｘｂの正弦とを乗算して乗算結果を加算器３４６に供給するものである。加算器３４６は、乗算器３４３の乗算結果と乗算器３４４の乗算結果とを加算して座標ｙrot_a'またはｙrot_b'として回転後線形補間部３３１に供給するものである。
The
図７は、第１の実施の形態におけるメッシュ交点の配置例を示す図である。矩形の入力画像５００は、円形のイメージサークル５０１（すなわち、魚眼画像）を含む。その魚眼画像の中心を原点とする仮想球面５０２が、メッシュ状に分割される。分割においては、例えば、仮想球面５０２の緯度および経度が等間隔で分割される。分割した分割点（メッシュ交点）５０３や５０４を、ｚ軸に平行に魚眼画像に投影した点の座標が、メッシュ交点座標５０５や５０６として、魚眼画像歪補正テーブル２４０に保持される。
FIG. 7 is a diagram illustrating an arrangement example of mesh intersections according to the first embodiment. The
図７では、理想的な射影により像が円形に歪む魚眼画像を前提としてメッシュ交点座標がプロットされている。この理想的な状態においては、同心円状の複数の真円のそれぞれを所定数に等分割した点の座標がメッシュ交点座標として保持される。しかし、実際の魚眼レンズ１１０は、製品ばらつきなどにより理想的な射影方式となっていない場合が多く、また、光軸に対する光線の入射角だけでなく、光軸を中心とした回転角についても理論値からずれる場合がある。これらの要因により、例えば、像が円状でなく、楕円状に歪むことがある。この場合には、メッシュ交点座標は、中心が同一の複数の楕円のそれぞれを分割した点の座標がメッシュ交点座標として保持される。像の一部が楕円形に歪む場合は、その部分において楕円上にメッシュ交点座標が設けられる。このように、面積の異なる複数の閉曲線（円や楕円など）を等分割した分割点の座標がメッシュ交点座標として保持される。
In FIG. 7, the mesh intersection coordinates are plotted on the premise of a fish-eye image in which the image is distorted into a circle by ideal projection. In this ideal state, the coordinates of a point obtained by equally dividing each of a plurality of concentric circles into a predetermined number are held as mesh intersection coordinates. However, the
このように、魚眼画像の一部の座標（例えば、メッシュ交点座標）のみを魚眼画像歪補正テーブル２４０に記憶させているため、魚眼画像内の全ての座標を記憶させる構成と比較して、テーブルサイズを小さくすることができる。したがって、魚眼画像歪補正テーブル２４０を保持する記憶部（メモリなど）の容量を小さくすることができる。 In this way, since only a part of the coordinates (for example, mesh intersection coordinates) of the fisheye image is stored in the fisheye image distortion correction table 240, it is compared with a configuration in which all the coordinates in the fisheye image are stored. The table size can be reduced. Therefore, the capacity of the storage unit (memory or the like) that holds the fisheye image distortion correction table 240 can be reduced.
図８は、第１の実施の形態における出力画像平面５１０の一例を示す図である。例えば、矩形の出力画像平面５１０が、イメージサークル５０１（魚眼画像）において設定される。出力画像平面５１０は、初期状態において、例えば、その中心が魚眼画像の中心と一致する位置に配置される。また、出力画像平面５１０は、初期状態において、その中心が仮想球面５０２と接する位置に配置される。
FIG. 8 is a diagram illustrating an example of the
図９は、第１の実施の形態における回転させた出力画像平面５１０の一例を示す図である。例えば、パン角、チルト角およびロール角により、出力画像平面５１０は、ｘ軸、ｙ軸およびｚ軸周りに回転される。
FIG. 9 is a diagram illustrating an example of the rotated
図１０は、第１の実施の形態における出力画像平面５１０を仮想球面５０２に透視射影（すなわち、中心射影）した領域５１１の一例を示す図である。この領域５１１上の直交座標（ｘsph、ｙsph、ｚsph）は、上述の式６乃至式８により算出される。この直交座標は、式９および式１０により極座標（Ｒｘ、Ｒｚ）に変換され、この極座標が魚眼画像上の読出座標に変換される。
FIG. 10 is a diagram illustrating an example of a
図１１は、第１の実施の形態における読出座標および出力座標を示す図である。同図におけるａは、理想的な射影が行われた魚眼画像における読出座標の一例を示す図である。同図のａにおける黒丸の画素６０１、６０３、６０７および６０９は、メッシュ交点座標の画素を示す。また、白丸の画素６０２、６０４、６０５、６０６および６０８は、補間座標の画素を示す。
FIG. 11 is a diagram showing read coordinates and output coordinates in the first embodiment. A in the same figure is a figure which shows an example of the read-out coordinate in the fish-eye image in which ideal projection was performed.
円周方向において隣接するメッシュ交点座標の間の座標は、それらのメッシュ交点座標の少なくとも一方の回転により補間される。 Coordinates between mesh intersection coordinates adjacent in the circumferential direction are interpolated by rotation of at least one of the mesh intersection coordinates.
例えば、座標変換部２００が、円周方向において隣接する画素６０１および６０３の間の座標を補間する場合、まず、画素６０１のメッシュ交点座標を（Ｒｘｎ、Ｒｚｎ）および（Ｒｘｎ、Ｒｚｎ＋１）の両方に設定する。また、座標変換部２００は、画素６０３のメッシュ交点座標を（Ｒｘｎ＋１、Ｒｚｎ）および（Ｒｘｎ＋１、Ｒｚｎ＋１）の両方に設定する。このように設定すれば、回転前において、実質的に線形補間が行われない。
For example, when the coordinate
そして、座標変換部２００は、画素６０１の座標を回転角度Ｒｘａだけ回転させて回転補間座標（ｘrot_a'、ｙrot_a'）を求め、画素６０３の座標を回転角度Ｒｘｂだけ回転させて回転補間座標（ｘrot_b'、ｙrot_b'）を求める。理想的な魚眼画像では、これらの回転補間座標は、同じ座標となる。このため、回転後において、実質的に線形補間が行われない。なお、座標変換部２００は、画素６０１および６０３の両方の座標を回転させているが、一方の座標のみを回転させて補間を行ってもよい。
The coordinate
また、放射方向において隣接する２つのメッシュ交点座標の間の座標は、線形補間により求められる。例えば、座標変換部２００が、放射方向において隣接する画素６０１および６０７の間の座標を補間する場合、回転による補間を行わずに、画素６０４の座標を線形補間により補間する。例えば、画素６０４の周囲の４つのメッシュ交点座標が設定され、回転による補間座標の混合率が０％に設定される。
In addition, the coordinates between two mesh intersection coordinates adjacent in the radial direction are obtained by linear interpolation. For example, when the coordinate
また、４つのメッシュ交点座標で囲まれる領域の内部の座標を補間する際には、線形補間と回転による補間とが行われる。例えば、４つの画素６０１、６０３、６０７および６０９の内部の画素６０５の座標を補間する場合を考える。この場合、画素６０１、６０３、６０７および６０９のメッシュ交点座標が（Ｒｘｎ、Ｒｚｎ）、（Ｒｘｎ＋１、Ｒｚｎ）、（Ｒｘｎ、Ｒｚｎ＋１）および（Ｒｘｎ＋１、Ｒｚｎ＋１）に設定される。このように設定すれば、画素６０４および６０６の座標が線形補間により補間され、それらの座標の回転により、画素６０５の補間座標が取得される。
Further, when interpolating the coordinates inside the region surrounded by the four mesh intersection coordinates, linear interpolation and interpolation by rotation are performed. For example, consider a case where the coordinates of the
図１１におけるｂは、第１の実施の形態における出力座標を示す図である。同図のｂにおいて、黒丸の画素７０１、７０３、７０７および７０９は、メッシュ対応座標の画素を示す。また、白丸の画素７０２、７０４、７０５、７０６および７０８は、補間座標に対応する座標の画素を示す。画像変換部１６０が、同図におけるａのそれぞれの画素の画素値を、その読出座標に対応する出力座標の画素値として出力すると、歪みが補正された中心射影画像が生成される。
B in FIG. 11 is a diagram illustrating output coordinates in the first embodiment. In FIG. 5b,
図１２は、第１の実施の形態におけるメッシュ交点座標および補間座標を示す図である。同図では、魚眼画像が理想的なものでなく、像の少なくとも一部が楕円に歪んでしまう場合を想定している。この場合、座標変換部２００は、放射方向に沿って線形補間を行い、円周方向に沿って回転させる補間を行い、さらに線形補間を行って最終的な補間座標を求める。例えば、画素６０５の座標を補間する場合、その画素６０５の周囲の４つの画素６０１、６０３、６０７および６０９のメッシュ交点座標が（Ｒｘｎ、Ｒｚｎ）、（Ｒｘｎ＋１、Ｒｚｎ）、（Ｒｘｎ、Ｒｚｎ＋１）および（Ｒｘｎ＋１、Ｒｚｎ＋１）に設定される。このように設定すれば、画素６０４および６０６の座標が線形補間により補間され、それらの線形補間座標を回転させる補間により、画素６０８および６０９の座標が補間される。像が楕円に歪む場合は、これらの画素６０８および６０９の座標が異なる座標となる。そこで、座標変換部２００は、それらの画素６０８および６０９の座標から線形補間により、画素６０５の座標を補間する。実際上の魚眼画像は、理想的な状態とは限らないため、回転後に線形補間を行うことが望ましいが、図１１に例示したように、理想的な魚眼画像が想定される場合や精度の低下が許容される場合には、座標変換部２００は、回転後の線形補間を行わない構成としてもよい。
FIG. 12 is a diagram illustrating mesh intersection coordinates and interpolation coordinates according to the first embodiment. In the figure, it is assumed that the fish-eye image is not ideal and at least a part of the image is distorted into an ellipse. In this case, the coordinate
図１３は、第１の実施の形態における魚眼画像および中心射影画像の一例を示す図である。同図におけるａは、魚眼画像を含む入力画像５００の一例である。同図のａにおいて、太い実線で囲った領域は出力画像平面を示す。
FIG. 13 is a diagram illustrating an example of a fisheye image and a central projection image according to the first embodiment. A in the same figure is an example of the
図１３におけるｂは、線形補間のみを行う比較例における中心射影画像の一例を示す図である。同図におけるｂに示すように、仮に回転による補間を行わず、線形補間のみを行った場合、特に円周方向において歪みが十分に補間されなくなり、歪残りが生じてしまう。 B in FIG. 13 is a diagram illustrating an example of a central projection image in a comparative example in which only linear interpolation is performed. As indicated by b in the figure, if only linear interpolation is performed without interpolation by rotation, distortion is not sufficiently interpolated, particularly in the circumferential direction, and distortion remains.
図１３におけるｃは、線形補間に加えて回転による補間を行った第１の実施の形態における中心射影画像の一例を示す図である。同図におけるｃに示すように、回転による補間を行った場合には、円周方向において歪みが適切に補間され、自然な中心射影画像が得られる。 FIG. 13C is a diagram illustrating an example of a central projection image in the first embodiment in which interpolation by rotation is performed in addition to linear interpolation. As indicated by c in the figure, when interpolation by rotation is performed, distortion is appropriately interpolated in the circumferential direction, and a natural central projection image is obtained.
図１４は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、画像が撮像されるたびに実行される。
FIG. 14 is a flowchart illustrating an example of the operation of the
撮像装置１００は、魚眼画像を含む入力画像に対して所定の信号処理を行う（ステップＳ９０１）。そして、撮像装置１００は、魚眼画像を中心射影画像に変換する画像変換処理を行う（ステップＳ９１０）。撮像装置１００は、中心射影画像において画素を補間し（ステップＳ９０２）、所定の信号処理を行う（ステップＳ９０３）。ステップＳ９０３の後、撮像装置１００は、動作を終了する。
The
図１５は、第１の実施の形態における画像変換処理の一例を示すフローチャートである。撮像装置１００は、出力座標を取得し（ステップＳ９１１）、その座標を正規化する（ステップＳ９１２）。そして、撮像装置１００は、正規化した出力座標に対して回転行列演算を行い（ステップＳ９１３）、透視射影（中心射影）変換を行う（ステップＳ９１４）。
FIG. 15 is a flowchart illustrating an example of image conversion processing according to the first embodiment. The
撮像装置１００は、透視射影変換した出力座標に対応する読出座標が魚眼画像歪補正テーブル２４０にあるか否かを判断する（ステップＳ９１５）。読出座標がある場合に（ステップＳ９１５：Ｙｅｓ）、撮像装置１００は、魚眼画像歪補正テーブル２４０から出力座標に対応する読出座標を取得する（ステップＳ９１６）。一方、読出座標がない場合に（ステップＳ９１５：Ｎｏ）、撮像装置１００は、補間座標を補間する座標補間処理を行う（ステップＳ９２０）。
The
ステップＳ９２０またはＳ９１６の後、撮像装置１００は、魚眼画像内の読出座標の画素の画素値を読み出して、対応する出力座標の画素値として出力する（ステップＳ９１７）。そして、撮像装置１００は、全ての出力座標の変換が終了したか否かを判断する（ステップＳ９１８）。変換が終了していない場合に（ステップＳ９１８：Ｎｏ）、撮像装置１００は、ステップＳ９１１に戻る。一方、変換が終了した場合に（ステップＳ９１８：Ｙｅｓ）、撮像装置１００は、画像変換処理を終了する。
After step S920 or S916, the
図１６は、第１の実施の形態における座標補間処理の一例を示すフローチャートである。撮像装置１００は、出力座標の周囲の４つのメッシュ対応座標に対応するメッシュ交点座標（すなわち、読出座標）を魚眼画像歪補正テーブル２４０から取得する（ステップＳ９２１）。
FIG. 16 is a flowchart illustrating an example of the coordinate interpolation process in the first embodiment. The
撮像装置１００は、必要に応じて放射方向に線形補間を行い、２つの線形補間座標を取得する（ステップＳ９２２）。また、撮像装置１００は、必要に応じて、それらの線形補間座標を回転して２つの回転補間座標を取得する（ステップＳ９２３）。そして、撮像装置１００は、必要に応じて、線形補間を行い、２つの回転補間座標から読出座標を取得する（ステップＳ９２４）。ステップＳ９２４の後、撮像装置１００は、座標補間処理を終了する。
The
このように、本技術の第１の実施の形態によれば、一部の特定座標および対応座標を対応付けて記憶部に記憶し、その記憶部から取得した座標に基づいて補間座標を補間するため、記憶部の容量および計算量を削減することができる。 As described above, according to the first embodiment of the present technology, some specific coordinates and corresponding coordinates are stored in the storage unit in association with each other, and interpolation coordinates are interpolated based on the coordinates acquired from the storage unit. Therefore, the capacity and calculation amount of the storage unit can be reduced.
＜２．第２の実施の形態＞
第１の実施の形態では、透視射影変換により魚眼画像を中心射影画像に変換していたが、透視射影変換の代わりに円筒投影変換を行ってもよい。円筒投影変換を行うと、透視射影変換の場合よりも視野の広いパノラマ画像に魚眼画像を変換することができる。第２の実施の形態の撮像装置１００は、透視射影変換の代わりに円筒投影変換を行う点において第１の実施の形態と異なる。
<2. Second Embodiment>
In the first embodiment, the fisheye image is converted into the central projection image by the perspective projection conversion. However, the cylindrical projection conversion may be performed instead of the perspective projection conversion. When cylindrical projection conversion is performed, it is possible to convert a fisheye image into a panoramic image having a wider field of view than in the case of perspective projection conversion. The
図１７は、第２の実施の形態における座標変換部２００の一例を示すブロック図である。第２の実施の形態の座標変換部２００は、座標正規化部２１０、出力座標回転行列演算部２２０、および、透視射影変換部２３０の代わりに座標正規化部２１１およびパノラマ座標変換部２５０を備える点において第１の実施の形態と異なる。
FIG. 17 is a block diagram illustrating an example of the coordinate
座標正規化部２１１は、魚眼画像内の投影範囲の視野角および出力画像サイズに基づいて座標を正規化するものである。この視野角は、ｄｇ_ｏｆｆｓｅｔおよびｄｇ_ａｐｌの組合せにより設定される。ｄｇ_ｏｆｆｓｅｔは、固定の角度であり、ｘ−ｙ平面において基準の軸（例えば、ｘ軸）に対するマイナスの角度が設定される。ｄｇ_ａｐｌは、アプリケーションなどにより変更することができる可変の角度であり、ｘ−ｙ平面において基準の軸に対するプラスの角度が設定される。円筒投影変換としてメルカトル投影変換を行う場合、座標正規化部２１１は、例えば、次の式を使用して正規化を行う。
式２３および式２４においてｘpanoおよびｙpanoは、正規化したｘ座標およびｙ座標である。式２５において、ｒａｄ（）は、「度」の単位で表された値を「ラジアン」表記の値に変換して返す関数である。また、ｔａｎ-1（）は、正接関数の逆関数である。ｌｎ Ａは、Ａの自然対数である。 In Expression 23 and Expression 24, x pano and y pano are the normalized x coordinate and y coordinate. In Equation 25, rad () is a function that returns a value expressed in units of “degrees” and returns a value expressed in “radians”. Further, tan −1 () is an inverse function of the tangent function. ln A is the natural logarithm of A.
式２４および式２５により、ｚ軸に対する角度が一定の許容角度（例えば、８５度）を超える天頂付近を除いた範囲がパノラマ展開される。これは、天頂付近をパノラマ展開すると、天頂に近いほど拡大率が大きくなり、視認性が低下するためである。 According to Expression 24 and Expression 25, the range excluding the vicinity of the zenith where the angle with respect to the z axis exceeds a certain allowable angle (for example, 85 degrees) is panorama developed. This is because when the panorama is developed near the zenith, the closer to the zenith, the larger the enlargement ratio and the lower the visibility.
座標正規化部２１１は、正規化した出力座標（ｘpano、ｙpano）をパノラマ座標変換部２５０に供給する。
The coordinate
パノラマ座標変換部２５０は、出力座標（ｘpano、ｙpano）を極座標に変換するものである。パノラマ座標変換部２５０は、例えば、次の式を使用して極座標を求める。
Ｒｘ＝ｘpano ・・・式２６
R x = x pano ... Formula 26
式２３乃至式２７により、出力座標は、正規化されるとともに円筒投影変換される。パノラマ座標変換部２５０は、変換された極座標（Ｒｘ、Ｒｙ）を読出座標出力部３００に供給する。
The output coordinates are normalized and converted into a cylindrical projection by Expressions 23 to 27. The panorama coordinate
なお、座標正規化部２１１およびパノラマ座標変換部２５０は、特許請求の範囲における円筒投影変換部の一例である。
The coordinate
なお、パノラマ座標変換部２５０は、極座標を算出しているが、直交座標（ｘpano、ｙpano）ごとに、予め算出しておいた極座標を保持する極座標テーブルをさらに設け、そのテーブルから極座標を読み出す構成であってもよい。また、正規化部２１１およびパノラマ座標変換部２５０は、メルカトル投影変換を行っているが、正距円筒投影変換など、メルカトル投影変換以外の円筒投影変換を行ってもよい。メルカトル投影変換以外の変換を行う際にパノラマ座標変換部２５０は、予め極座標テーブルに保持しておいた極座標を使用して、その変換を行ってもよい。
The panorama coordinate
図１８は、第２の実施の形態における投影範囲および投影面の一例を示す図である。同図に示す投影範囲５１２は、魚眼画像において、円筒投影変換の対象とされる範囲である。ｄｇ_ｏｆｆｓｅｔにｄｇ_ａｐｌを加えた角度の扇型の範囲が投影範囲５１２として設定される。また、投影面５１３は、投影範囲５１２が円筒投影される面であり、同図においては、矩形の平面の一辺を魚眼画像の外周に沿って湾曲させた形で記載されている。この投影面５１３に投影された画像を平面上に展開したものが中心射影画像として生成される。
FIG. 18 is a diagram illustrating an example of a projection range and a projection surface according to the second embodiment. A
図１９は、第２の実施の形態における画像変換処理の一例を示すフローチャートである。第２の実施の形態の画像変換処理は、ステップＳ９１３およびＳ９１４の代わりにステップＳ９１９を実行する点において、第１の実施の形態と異なる。 FIG. 19 is a flowchart illustrating an example of image conversion processing according to the second embodiment. The image conversion process of the second embodiment is different from the first embodiment in that step S919 is executed instead of steps S913 and S914.
撮像装置１００は、視野角および出力画像サイズに基づいて座標を正規化し（ステップＳ９１２）、正規化した出力座標を極座標に変換する（ステップＳ９１９）。
The
このように、第２の実施の形態によれば、出力座標に対して円筒投影変換を行い、円筒投影変換を行った座標に対応する読出座標および補間座標を取得するため、魚眼画像を中心射影方式のパノラマ画像に変換することができる。 Thus, according to the second embodiment, the cylindrical projection conversion is performed on the output coordinates, and the readout coordinates and the interpolation coordinates corresponding to the coordinates subjected to the cylindrical projection conversion are obtained. It can be converted into a panoramic image of the projection method.
＜３．第３の実施の形態＞
第１の実施の形態では、複数の閉曲線（例えば、円）のそれぞれのメッシュ交点の個数を同一にしていた。しかしながら、閉曲線の半径が小さいほど、その外周の長さは短くなる。このため、分割数を同一にすると、中心に近づくほどメッシュ交点の密度が高くなってしまう。メッシュ交点の密度が高いほど補正精度が高くなるため、補正精度を均等にする観点から、半径が小さいほどメッシュ交点の個数を少なくして、メッシュ交点の密度を一定に近づけることが望ましい。第３の実施の形態の撮像装置１００は、半径が小さいほど（言い換えれば、面積が小さいほど）メッシュ交点の個数を少なくした点において第１の実施の形態と異なる。
<3. Third Embodiment>
In the first embodiment, the number of mesh intersections of a plurality of closed curves (for example, circles) is the same. However, the smaller the radius of the closed curve, the shorter the outer circumference. For this reason, if the number of divisions is the same, the density of mesh intersections increases as the distance from the center is approached. The higher the mesh intersection density, the higher the correction accuracy. Therefore, from the viewpoint of equalizing the correction accuracy, it is desirable to reduce the number of mesh intersections as the radius is smaller and to make the mesh intersection density closer to a constant value. The
図２０は、第３の実施の形態におけるメッシュ交点の配置例５２１を示す図である。同図におけるａは、最も半径が大きい閉曲線と、次に半径の大きい閉曲線とにおいて、メッシュ交点を２倍に増加した際の配置例である。同図のａにおける点線で囲った黒丸は、追加したメッシュ交点を示す。同図におけるｂは、最も半径の小さい閉曲線において、メッシュ交点を半分に削減した際の配置例５２２である。同図のｂにおける点線の白丸は、削減したメッシュ交点を示す。このように、外側のメッシュ交点を増加するか、内側のメッシュ交点を削減することにより、メッシュ交点の密度が一定に近くなる。 FIG. 20 is a diagram illustrating an arrangement example 521 of mesh intersections according to the third embodiment. In the figure, a is an arrangement example when the mesh intersection point is doubled in the closed curve having the largest radius and the closed curve having the next largest radius. A black circle surrounded by a dotted line in a in the figure indicates an added mesh intersection. B in the same figure is the example 522 of arrangement | positioning when a mesh intersection is reduced in half in the closed curve with the smallest radius. The dotted white circles in b in FIG. 6 indicate the reduced mesh intersections. Thus, increasing the outer mesh intersection or reducing the inner mesh intersection makes the density of the mesh intersections nearly constant.
図２１は、第３の実施の形態における密度を均等にした際のメッシュ交点の配置例５２３を示す図である。同図において、最も半径が大きい閉曲線と、次に半径の大きい閉曲線とにおいてメッシュ交点が追加され、最も半径の小さい閉曲線においてメッシュ交点が削減されている。 FIG. 21 is a diagram illustrating a mesh intersection arrangement example 523 when the densities in the third embodiment are equalized. In the figure, mesh intersections are added to the closed curve having the largest radius and the closed curve having the next largest radius, and the mesh intersections are reduced to the closed curve having the smallest radius.
第３の実施の形態の座標補間部３３０は、削減したメッシュ交点の座標を、周囲のメッシュ交点座標から補間して求める。例えば、円周方向の隣接する２つのメッシュ交点を回転させる補間や、放射方向の隣接する２つのメッシュ交点からの線形補間などが行われる。
The coordinate
また、外側の閉曲線にメッシュ交点を追加し、その内側の閉曲線には追加しない場合、それらの閉曲線の間の座標の周囲には、４つのメッシュ交点と追加したメッシュ交点とを含む５つのメッシュ交点が配置されることになる。 If a mesh intersection is added to the outer closed curve and not added to the inner closed curve, five mesh intersections including four mesh intersections and the added mesh intersection are located around the coordinates between the closed curves. Will be placed.
ここで、点線の枠５２４は、追加したメッシュ交点を含まない４つのメッシュ交点を頂点とする多角形である。一方、実線の枠５２５は、追加したメッシュ交点と中心との間に補間座標を補間して、放射方向に隣接するメッシュ交点と、追加したメッシュ交点と、補間座標とを頂点とする多角形である。この場合、枠５２４の内部の座標は、それらの４つの頂点のメッシュ交点から補間される。あるいは、枠５２５の頂点に補間座標を補間して、その内部の座標をそれらのメッシュ交点および頂点から補間してもよい。もしくは、撮像装置１００は、枠５２４の頂点から補間した座標と、枠５２５の頂点から補間した座標とを混合し、その混合した座標を最終的な補間座標として補間してもよい。歪補正の連続性を考えると、中心または外周に近づくにつれて、徐々に混合していく方法が望ましい。徐々に混合する際は、例えば、中心に近づくほど、枠５２４の頂点から補間した座標の混合率が高く設定される。
Here, the
このように、本技術の第３の実施の形態によれば、閉曲線の面積が小さいほど少ない分割数により、その閉曲線を分割した分割点をメッシュ交点とするため、メッシュ交点の密度を均等に近づけることができる。 As described above, according to the third embodiment of the present technology, the smaller the closed curve area, the smaller the number of divisions, the division points obtained by dividing the closed curve are set as mesh intersections, so that the density of mesh intersections is evenly approximated. be able to.
＜４．第４の実施の形態＞
第１の実施の形態では、撮像装置１００は、魚眼画像の歪みを補正していたが、中心射影画像が入力された際に、その中心射影画像の歪みを補正することもできる。第４の実施の形態の撮像装置１００は、魚眼画像および中心射影画像のいずれが入力されたかを判断して、歪み補正の方法を変更する点において第１の実施の形態と異なる。
<4. Fourth Embodiment>
In the first embodiment, the
図２２は、第４の実施の形態における撮像システムの一構成例を示すブロック図である。この撮像システムは、交換レンズユニット４００および撮像装置１００を備える。
FIG. 22 is a block diagram illustrating a configuration example of an imaging system according to the fourth embodiment. This imaging system includes an
交換レンズユニット４００は、魚眼レンズまたは中心射影レンズが装着される部品である。この交換レンズユニット４００は、レンズが装着されると、そのレンズの種別を撮像装置１００に通知する。
The
第４の実施の形態の撮像装置１００の構成は、魚眼レンズ１１０を備えない点以外は、第１の実施の形態と同様である。第４の実施の形態の制御部１５０は、レンズの種別を取得し、装着されたレンズが魚眼レンズであるか否かを判断する。そして、制御部１５０は、判断結果に基づいて切替信号を生成して送信する。切替信号は、変換方法の切り替えを指示する信号である。なお、制御部１５０は、特許請求の範囲に記載の判断部の一例である。
The configuration of the
図２３は、第４の実施の形態における座標変換部２００の一例を示すブロック図である。第４の実施の形態の座標変換部２００は、中心射影画像歪補正テーブル２６０をさらに備える点において第１の実施の形態と異なる。中心射影画像歪補正テーブル２６０は、歪補正前の中心射影画像の読出座標の一部について、歪補正後の中心射影画像の出力座標を対応付けたテーブルである。
FIG. 23 is a block diagram illustrating an example of the coordinate
図２４は、第４の実施の形態における読出座標出力部３００の一構成例を示すブロック図である。第４の実施の形態の読出座標出力部３００は、切替器３１０をさらに備える点において第１の実施の形態と異なる。
FIG. 24 is a block diagram illustrating a configuration example of the read coordinate
切替器３１０は、切替信号に従って、魚眼画像歪補正テーブル２４０または中心射影画像歪補正テーブル２６０における読出座標を直交座標取得部３２０に供給するものである。例えば、レンズ種別が魚眼レンズである場合に、魚眼画像歪補正テーブル２４０からの読出座標が供給され、そうでない場合に中心射影画像歪補正テーブル２６０からの読出座標が供給される。
The
また、第４の実施の形態の回転前補間係数演算部３３４は、切替信号に従って、補間係数を変更する。例えば、レンズが魚眼レンズである場合に、式１１により算出された補間係数が供給され、そうでない場合に「０」の補間係数が供給される。
Also, the pre-rotation interpolation
また、第４の実施の形態の回転角度演算部３３５は、切替信号に従って、回転角度を変更する。例えば、レンズが魚眼レンズである場合に、式１６または式１７により算出された回転角度の正弦および余弦が供給される。一方、レンズが魚眼レンズでない場合には、「０」度の角度が設定され、正弦として「１」が、余弦として「０」が供給される。
In addition, the rotation
なお、読出座標出力部３００は、中心射影画像に対する歪補正を行っているが、中心射影画像が入力された際には、歪補正を行わず、読出座標をそのまま出力画像として出力してもよい。この場合には、中心射影画像歪補正テーブル２６０は設けられず、画像変換部１６０は、実質的に画像変換を行わない。
The readout coordinate
このように、第４の実施の形態によれば、撮像装置１００は、入力画像が魚眼画像であるか否かを判断して、魚眼画像であれば中心射影画像に変換するため、魚眼画像以外の入力画像に対しても画像処理を行うことができる。
As described above, according to the fourth embodiment, the
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。 The above-described embodiment shows an example for embodying the present technology, and the matters in the embodiment and the invention-specific matters in the claims have a corresponding relationship. Similarly, the invention specific matter in the claims and the matter in the embodiment of the present technology having the same name as this have a corresponding relationship. However, the present technology is not limited to the embodiment, and can be embodied by making various modifications to the embodiment without departing from the gist thereof.
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。 Further, the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and a program for causing a computer to execute these series of procedures or a recording medium storing the program. You may catch it. As this recording medium, for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray disc (Blu-ray (registered trademark) Disc), or the like can be used.
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。 Note that the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
なお、本技術は以下のような構成もとることができる。
（１）中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部と、
前記特定座標および前記対応座標の一方の座標が入力されると前記入力された座標に対応する他方の座標を前記記憶部から取得する座標取得部と、
前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、
前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部と
を具備する画像処理装置。
（２）前記座標取得部は、前記特定座標を前記他方の座標として取得し、
前記補間部は、前記非中心射影画像において所定の座標を中心として前記特定座標を回転させた座標を前記補間座標として補間する
前記（１）記載の画像処理装置。
（３）前記座標取得部は、前記特定座標を前記他方の座標として取得し、
前記補間部は、前記非中心射影画像において所定の座標と前記特定座標とを結ぶ線分上の座標を前記補間座標として補間して当該補間座標を前記所定の座標を中心として回転させた座標を新たな前記補間座標として補間する
前記（１）または（２）に記載の画像処理装置。
（４）前記座標取得部は、前記特定座標を前記他方の座標として取得し、
前記補間部は、２つの前記特定座標を結ぶ線分上の座標を前記補間座標として補間する
前記（１）に記載の画像処理装置。
（５）前記特定座標は、前記非中心射影画像において面積の異なる複数の前記閉曲線のそれぞれを分割した分割点の座標である
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）前記特定座標は、前記閉曲線の面積が小さいほど少ない分割数により前記閉曲線のそれぞれを分割した分割点の座標である
前記（５）記載の画像処理装置。
（７）前記中心射影画像内の座標に対して透視射影変換を行って当該透視射影変換を行った座標を前記座標取得部および前記補間部に入力する透視射影変換部をさらに具備し、
前記補間部は、前記入力された座標に対応する前記補間座標を補間する
前記（１）から（６）のいずれかに記載の画像処理装置。
（８）前記中心射影画像内の座標を所定の軸周りに回転させる回転部をさらに具備し、
前記透視射影変換部は、前記回転された座標に対して前記透視射影変換を行う
前記（１）から（７）のいずれかに記載の画像処理装置。
（９）前記中心射影画像内の座標に対して円筒投影変換を行って当該円筒投影変換を行った座標を前記座標取得部および前記補間部に入力する円筒投影変換部をさらに具備し、
前記補間部は、前記入力された座標に対応する前記補間座標を補間する
前記（１）記載の画像処理装置。
（１０）撮像された画像が前記一方の画像であるか否かを判断して前記一方の画像である場合には前記一方の座標を前記座標取得部および前記補間部に入力する判断部をさらに具備し、
前記補間部は、前記入力された座標に対応する前記補間座標を補間する
前記（１）から（９）のいずれかに記載の画像処理装置。
（１１）中心射影に該当しない射影により生成される非中心射影画像と中心射影画像とのうち一方を撮像する撮像部と、
前記非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた前記中心射影画像内の対応座標とを記憶する記憶部と、
前記特定座標および前記対応座標の一方の座標が入力されると前記入力された座標に対応する他方の座標を前記記憶部から取得する座標取得部と、
前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、
前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部と
を具備する撮像装置。
（１２）座標取得部が、前記特定座標および前記対応座標の一方の座標が入力されると中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部から前記入力された座標に対応する他方の座標を取得する座標取得手順と、
補間部が、前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間手順と、
画像変換部が、前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する変換手順と
を具備する画像処理方法。
（１３）座標取得部が、前記特定座標および前記対応座標の一方の座標が入力されると中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部から前記入力された座標に対応する他方の座標を取得する座標取得手順と、
補間部が、前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間手順と、
画像変換部が、前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する変換手順と
をコンピュータに実行させるためのプログラム。
In addition, this technique can also take the following structures.
(1) a storage unit that stores some specific coordinates among the coordinates in the non-centered projection image generated by the projection not corresponding to the central projection and the corresponding coordinates in the central projection image associated with the specific coordinates;
When one of the specific coordinates and the corresponding coordinates is input, a coordinate acquisition unit that acquires the other coordinates corresponding to the input coordinates from the storage unit;
An interpolation unit that interpolates, as interpolation coordinates, coordinates different from the other coordinates based on the obtained other coordinates;
An image processing apparatus comprising: an image conversion unit that converts one of the non-center projected image and the center projected image into the other image based on the other coordinate and the interpolated coordinate.
(2) The coordinate acquisition unit acquires the specific coordinate as the other coordinate,
The image processing apparatus according to (1), wherein the interpolation unit interpolates, as the interpolation coordinates, coordinates obtained by rotating the specific coordinates around a predetermined coordinate in the non-center projected image.
(3) The coordinate acquisition unit acquires the specific coordinate as the other coordinate,
The interpolation unit interpolates coordinates on a line segment connecting predetermined coordinates and the specific coordinates in the non-centered projection image as the interpolation coordinates, and coordinates obtained by rotating the interpolation coordinates around the predetermined coordinates. The image processing apparatus according to (1) or (2), wherein interpolation is performed as new interpolation coordinates.
(4) The coordinate acquisition unit acquires the specific coordinate as the other coordinate,
The image processing apparatus according to (1), wherein the interpolation unit interpolates coordinates on a line segment connecting two specific coordinates as the interpolation coordinates.
(5) The image processing device according to any one of (1) to (4), wherein the specific coordinate is a coordinate of a dividing point obtained by dividing each of the plurality of closed curves having different areas in the non-center projected image.
(6) The image processing apparatus according to (5), wherein the specific coordinate is a coordinate of a division point obtained by dividing each of the closed curves by a smaller number of divisions as the area of the closed curve is smaller.
(7) further comprising a perspective projection conversion unit that performs perspective projection conversion on the coordinates in the central projection image and inputs the coordinates obtained by the perspective projection conversion to the coordinate acquisition unit and the interpolation unit;
The image processing apparatus according to any one of (1) to (6), wherein the interpolation unit interpolates the interpolation coordinates corresponding to the input coordinates.
(8) It further comprises a rotating unit that rotates the coordinates in the central projection image around a predetermined axis,
The image processing apparatus according to any one of (1) to (7), wherein the perspective projection conversion unit performs the perspective projection conversion on the rotated coordinates.
(9) It further includes a cylindrical projection conversion unit that performs cylindrical projection conversion on the coordinates in the central projection image and inputs the coordinates obtained by the cylindrical projection conversion to the coordinate acquisition unit and the interpolation unit,
The image processing apparatus according to (1), wherein the interpolation unit interpolates the interpolation coordinates corresponding to the input coordinates.
(10) A determination unit that determines whether or not the captured image is the one image and inputs the one coordinate to the coordinate acquisition unit and the interpolation unit when the image is the one image; Equipped,
The image processing apparatus according to any one of (1) to (9), wherein the interpolation unit interpolates the interpolation coordinates corresponding to the input coordinates.
(11) an imaging unit that captures one of a non-centered projection image and a center projected image generated by a projection that does not correspond to the center projection;
A storage unit that stores some specific coordinates among the coordinates in the non-center projected image and the corresponding coordinates in the central projected image associated with the specific coordinates;
When one of the specific coordinates and the corresponding coordinates is input, a coordinate acquisition unit that acquires the other coordinates corresponding to the input coordinates from the storage unit;
An interpolation unit that interpolates, as interpolation coordinates, coordinates different from the other coordinates based on the obtained other coordinates;
An image pickup apparatus comprising: an image conversion unit that converts one of the non-center projected image and the center projected image into the other image based on the other coordinate and the interpolated coordinate.
(12) When one of the specific coordinates and the corresponding coordinates is input, the coordinate acquisition unit and a part of the specific coordinates among the coordinates in the non-centered projection image generated by the projection that does not correspond to the central projection A coordinate acquisition procedure for acquiring the other coordinate corresponding to the input coordinate from the storage unit storing the corresponding coordinate in the central projection image associated with the specific coordinate;
An interpolation procedure in which an interpolation unit interpolates coordinates different from the other coordinates based on the acquired other coordinates as interpolation coordinates;
An image processing method comprising: a conversion procedure in which an image conversion unit converts one of the non-center projected image and the center projected image into the other image based on the other coordinate and the interpolated coordinate.
(13) When one of the specific coordinates and the corresponding coordinates is input, the coordinate acquisition unit receives a part of the coordinates in the non-centered projection image generated by the projection that does not correspond to the central projection and the specific coordinates A coordinate acquisition procedure for acquiring the other coordinate corresponding to the input coordinate from the storage unit storing the corresponding coordinate in the central projection image associated with the specific coordinate;
An interpolation procedure in which an interpolation unit interpolates coordinates different from the other coordinates based on the acquired other coordinates as interpolation coordinates;
A program for causing a computer to execute a conversion procedure in which an image conversion unit converts one of the non-center projected image and the center projected image into the other image based on the other coordinate and the interpolated coordinate. .
１００ 撮像装置
１１０ 魚眼レンズ
１２０ 撮像素子
１３０ 入力信号処理部
１４０ フレームメモリ
１５０ 制御部
１６０ 画像変換部
１７０ 画素補間部
１８０ 出力信号処理部
１９０ 記録部
２００ 座標変換部
２１０、２１１ 座標正規化部
２２０ 出力座標回転行列演算部
２３０ 透視射影変換部
２４０ 魚眼画像歪補正テーブル
２５０ パノラマ座標変換部
２６０ 中心射影画像歪補正テーブル
３００ 読出座標出力部
３１０ 切替器
３２０ 直交座標取得部
３３０ 座標補間部
３３１ 回転後線形補間部
３３２ 回転後補間係数演算部
３３３ 回転前線形補間部
３３４ 回転前補間係数演算部
３３５ 回転角度演算部
３４０ 読出座標回転行列演算部
３４１、３４２、３４３、３４４ 乗算器
３４５ 減算器
３４６ 加算器
４００ 交換レンズユニット
DESCRIPTION OF
Claims (12)
前記対応座標が入力されると前記対応座標に対応する前記特定座標を前記記憶部から取得する座標取得部と、
前記非中心射影画像において所定の中心座標と前記取得された特定座標とを結ぶ線分上の座標を前記中心座標を中心として回転させた座標を回転補間座標として補間する補間部と、
前記特定座標と前記回転補間座標とに基づいて前記非中心射影画像を前記中心射影画像に変換する画像変換部と
を具備する画像処理装置。 A storage unit for storing the corresponding coordinate in the central projection image associated with some specific coordinates and the specific coordinates of the coordinates in the non-central projection image generated by the projection does not correspond to centered projection,
A coordinate acquisition unit that acquires the specific coordinates corresponding to the corresponding coordinates from the storage unit when the corresponding coordinates are input ;
An interpolation unit that interpolates, as rotational interpolation coordinates, coordinates obtained by rotating a coordinate on a line segment connecting a predetermined center coordinate and the acquired specific coordinate in the non-center projected image with the center coordinate as a center ;
An image processing apparatus comprising: an image conversion unit that converts the non-center projected image into the center projected image based on the specific coordinates and the rotation interpolation coordinates.
請求項１記載の画像処理装置。 Before SL interpolation unit, the image processing apparatus according to claim 1, wherein the coordinate obtained by rotating a specific coordinate about said center coordinates in the non-central projection image to interpolate as the rotation interpolation coordinates.
請求項１記載の画像処理装置。 Before SL interpolation unit, said interpolation to the linear interpolation coordinates the coordinates on the line connecting the said specific coordinates and the center coordinates in the non-central projection image as linear interpolation coordinate is rotated about said center coordinates The image processing apparatus according to claim 1, wherein coordinates are interpolated as the rotation interpolation coordinates.
前記特定座標および前記対応座標の一方の座標が入力されると前記入力された座標に対応する他方の座標を前記記憶部から取得する座標取得部と、
前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、
前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部と
を具備し、
前記特定座標は、前記非中心射影画像において面積の異なる複数の閉曲線のそれぞれを分割した分割点の座標である
画像処理装置。 A storage unit that stores some specific coordinates among the coordinates in the non-central projection image generated by the projection not corresponding to the central projection and the corresponding coordinates in the central projection image associated with the specific coordinates;
When one of the specific coordinates and the corresponding coordinates is input, a coordinate acquisition unit that acquires the other coordinates corresponding to the input coordinates from the storage unit;
An interpolation unit that interpolates, as interpolation coordinates, coordinates different from the other coordinates based on the obtained other coordinates;
An image conversion unit that converts one of the non-center projected image and the center projected image into the other image based on the other coordinate and the interpolated coordinate;
Comprising
The specific coordinates, the non-central Ru coordinates der division points obtained by dividing each of the plurality of closed curves having different areas in the projection image <br/> image processing apparatus.
請求項４記載の画像処理装置。 The image processing apparatus according to claim 4 , wherein the specific coordinates are coordinates of a dividing point obtained by dividing each of the closed curves by a smaller number of divisions as the area of the closed curve is smaller.
前記補間部は、前記入力された座標に対応する前記補間座標を補間する
請求項４記載の画像処理装置。 Further comprising a perspective projection conversion unit that performs perspective projection conversion on the coordinates in the central projection image and inputs the coordinates obtained by the perspective projection conversion to the coordinate acquisition unit and the interpolation unit;
The image processing apparatus according to claim 4 , wherein the interpolation unit interpolates the interpolation coordinates corresponding to the input coordinates.
前記透視射影変換部は、前記回転された座標に対して前記透視射影変換を行う
請求項６記載の画像処理装置。 A rotation unit that rotates the coordinates in the central projection image around a predetermined axis;
The image processing apparatus according to claim 6 , wherein the perspective projection conversion unit performs the perspective projection conversion on the rotated coordinates.
前記補間部は、前記入力された座標に対応する前記補間座標を補間する
請求項４記載の画像処理装置。 A cylindrical projection conversion unit that performs cylindrical projection conversion on the coordinates in the central projection image and inputs the coordinates obtained by the cylindrical projection conversion to the coordinate acquisition unit and the interpolation unit;
The image processing apparatus according to claim 4 , wherein the interpolation unit interpolates the interpolation coordinates corresponding to the input coordinates.
前記補間部は、前記入力された座標に対応する前記補間座標を補間する
請求項４記載の画像処理装置。 If the captured image is the one image, and if the image is the one image, further comprises a determination unit that inputs the one coordinate to the coordinate acquisition unit and the interpolation unit,
The image processing apparatus according to claim 4 , wherein the interpolation unit interpolates the interpolation coordinates corresponding to the input coordinates.
前記非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた前記中心射影画像内の対応座標とを記憶する記憶部と、
前記特定座標および前記対応座標の一方の座標が入力されると前記入力された座標に対応する他方の座標を前記記憶部から取得する座標取得部と、
前記取得された他方の座標とに基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、
前記他方の座標と前記補間座標に基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部と
を具備し、
前記特定座標は、前記非中心射影画像において面積の異なる複数の閉曲線のそれぞれを分割した分割点の座標である
撮像装置。 An imaging unit that captures one of a non-central projection image and a central projection image generated by a projection that does not correspond to the central projection;
A storage unit that stores some specific coordinates among the coordinates in the non-center projected image and the corresponding coordinates in the central projected image associated with the specific coordinates;
When one of the specific coordinates and the corresponding coordinates is input, a coordinate acquisition unit that acquires the other coordinates corresponding to the input coordinates from the storage unit;
An interpolation unit that interpolates, as interpolation coordinates, coordinates different from the other coordinates based on the acquired other coordinates;
An image conversion unit that converts one of the non-center projected image and the center projected image into the other image based on the other coordinate and the interpolation coordinate ;
The specific device is a coordinate of a dividing point obtained by dividing each of a plurality of closed curves having different areas in the non-center projected image .
補間部が、前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間手順と、
画像変換部が、前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する変換手順と
を具備し、
前記特定座標は、前記非中心射影画像において面積の異なる複数の閉曲線のそれぞれを分割した分割点の座標である
画像処理方法。 One of the coordinates in the non-central projection image generated by the projection not corresponding to the central projection and the corresponding coordinates in the central projection image associated with the specific coordinate is obtained by the coordinate acquisition unit. When input, a coordinate acquisition procedure for acquiring the other coordinates corresponding to the input coordinates from the storage unit storing the specific coordinates and the corresponding coordinates ;
An interpolation procedure in which an interpolation unit interpolates coordinates different from the other coordinates based on the acquired other coordinates as interpolation coordinates;
An image conversion unit comprising: a conversion procedure for converting one of the non-center projected image and the center projected image into the other image based on the other coordinate and the interpolated coordinate ;
In the image processing method , the specific coordinate is a coordinate of a dividing point obtained by dividing each of a plurality of closed curves having different areas in the non-center projected image .
補間部が、前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間手順と、
画像変換部が、前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する変換手順と
をコンピュータに実行させるためのプログラムであって、
前記特定座標は、前記非中心射影画像において面積の異なる複数の閉曲線のそれぞれを分割した分割点の座標である
プログラム。 One of the coordinates in the non-central projection image generated by the projection not corresponding to the central projection and the corresponding coordinates in the central projection image associated with the specific coordinate is obtained by the coordinate acquisition unit. When input, a coordinate acquisition procedure for acquiring the other coordinates corresponding to the input coordinates from the storage unit storing the specific coordinates and the corresponding coordinates ;
An interpolation procedure interpolation unit interpolates the coordinates different from the other coordinates based on the obtained other coordinate as the interpolation coordinates,
Image conversion unit, a program for executing a conversion procedure for converting one of the images of the non-central projection image and the central projection image based on the other coordinate and said interpolation coordinates to other image to the computer Because
The specific coordinates are coordinates of a dividing point obtained by dividing each of a plurality of closed curves having different areas in the non-centered projection image.
program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014099189A JP6310320B2 (en) | 2014-05-13 | 2014-05-13 | Image processing apparatus, imaging apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014099189A JP6310320B2 (en) | 2014-05-13 | 2014-05-13 | Image processing apparatus, imaging apparatus, image processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015215817A JP2015215817A (en) | 2015-12-03 |
| JP6310320B2 true JP6310320B2 (en) | 2018-04-11 |
Family
ID=54752630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014099189A Active JP6310320B2 (en) | 2014-05-13 | 2014-05-13 | Image processing apparatus, imaging apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6310320B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7248172B2 (en) | 2016-03-25 | 2023-03-29 | 株式会社プロテリアル | inductor |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3523777A4 (en) * | 2016-12-06 | 2019-11-13 | SZ DJI Technology Co., Ltd. | System and method for rectifying a wide-angle image |
| CN206594372U (en) * | 2017-03-29 | 2017-10-27 | 迎刃而解有限公司 | A kind of reflective Wrap display system |
| CN108805805B (en) * | 2017-04-27 | 2021-10-01 | 星宸科技股份有限公司 | Image processing method and image processing device |
| JP2019012935A (en) * | 2017-06-30 | 2019-01-24 | アイホン株式会社 | Intercom device |
| KR102028469B1 (en) * | 2018-01-15 | 2019-10-04 | 주식회사 스트리스 | System and Method for Removing Distortion of Fisheye Lens and Omnidirectional Image |
| JP7008531B2 (en) * | 2018-02-20 | 2022-01-25 | 日本放送協会 | Image geometry conversion device, image geometry inverse conversion device and program |
| WO2023153075A1 (en) * | 2022-02-08 | 2023-08-17 | 日立グローバルライフソリューションズ株式会社 | Household appliance |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11175709A (en) * | 1997-12-17 | 1999-07-02 | Fujitsu Ltd | Image deforming device and storage medium stored with program thereof |
| JP3025255B1 (en) * | 1999-02-19 | 2000-03-27 | 有限会社フィット | Image data converter |
| JP2007013791A (en) * | 2005-07-01 | 2007-01-18 | Canon Inc | Image processing apparatus and its method, as well as imaging apparatus |
| JP2009010730A (en) * | 2007-06-28 | 2009-01-15 | Kyocera Corp | Image processing method and imaging apparatus employing the same |
| JP5245963B2 (en) * | 2009-03-19 | 2013-07-24 | 大日本印刷株式会社 | Image converter |
| JP5558973B2 (en) * | 2010-08-31 | 2014-07-23 | 株式会社日立情報通信エンジニアリング | Image correction apparatus, correction image generation method, correction table generation apparatus, correction table generation method, correction table generation program, and correction image generation program |
-
2014
- 2014-05-13 JP JP2014099189A patent/JP6310320B2/en active Active
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7248172B2 (en) | 2016-03-25 | 2023-03-29 | 株式会社プロテリアル | inductor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015215817A (en) | 2015-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6310320B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP5558973B2 (en) | Image correction apparatus, correction image generation method, correction table generation apparatus, correction table generation method, correction table generation program, and correction image generation program | |
| CN110456967B (en) | Information processing method, information processing apparatus, and program | |
| CN105981073B (en) | Video generation device, image generating method and program | |
| JP4434653B2 (en) | Portable electronic imaging device with digital zoom function and method for providing digital zoom function | |
| EP3016065B1 (en) | Coordinate computation device and method, and image processing device and method | |
| JP5046132B2 (en) | Image data converter | |
| JP4935440B2 (en) | Image processing apparatus and camera apparatus | |
| CN103020900B (en) | Method and device for image processing | |
| JP5029645B2 (en) | Image data converter | |
| KR101140953B1 (en) | Method and apparatus for correcting distorted image | |
| JP4875887B2 (en) | Image composition system and image composition method | |
| JP2008225522A (en) | Image processor, camera device, image processing method, and program | |
| JP2011248630A (en) | Viewpoint conversion device and viewpoint conversion method | |
| JP2005135096A (en) | Image processing method, image processing apparatus and program | |
| JP6838918B2 (en) | Image data processing device and method | |
| JP2005063141A (en) | Image conversion system and image conversion method | |
| JP6777208B2 (en) | program | |
| JP2005063141A5 (en) | ||
| JP6320165B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP2014165866A (en) | Image processing device, control method therefor and program | |
| JP2014120000A (en) | Image processor, image processing method and program | |
| JP5344647B2 (en) | Image processing method, image processing apparatus, and image processing program | |
| JP6708483B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6901580B2 (en) | Horizontal calibration method of panoramic image or video, system and mobile terminal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20160720 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20160721 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170112 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180316 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6310320 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |