JP2014071496A - Panoramic image creation device and program - Google Patents
Panoramic image creation device and program Download PDFInfo
- Publication number
- JP2014071496A JP2014071496A JP2012214938A JP2012214938A JP2014071496A JP 2014071496 A JP2014071496 A JP 2014071496A JP 2012214938 A JP2012214938 A JP 2012214938A JP 2012214938 A JP2012214938 A JP 2012214938A JP 2014071496 A JP2014071496 A JP 2014071496A
- Authority
- JP
- Japan
- Prior art keywords
- image
- plane
- panoramic image
- creation
- panorama
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005520 cutting process Methods 0.000 claims abstract description 38
- 230000003287 optical effect Effects 0.000 claims abstract description 24
- 238000012937 correction Methods 0.000 claims description 110
- 238000003860 storage Methods 0.000 claims description 54
- 238000013507 mapping Methods 0.000 abstract description 60
- 230000000052 comparative effect Effects 0.000 description 40
- 238000000034 method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 17
- 238000012544 monitoring process Methods 0.000 description 15
- 230000008901 benefit Effects 0.000 description 14
- 230000002093 peripheral effect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 235000009508 confectionery Nutrition 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000009434 installation Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000002265 prevention Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、魚眼レンズカメラによって撮影された魚眼画像に基づいてパノラマ画像を作成するパノラマ画像作成装置に関し、特に、ターゲットを監視し易いパノラマ画像を作成するパノラマ画像作成装置に関する。また、本発明は、コンピュータで当該パノラマ画像作成装置を実現するプログラムに関する。 The present invention relates to a panorama image creation apparatus that creates a panorama image based on a fisheye image photographed by a fisheye lens camera, and more particularly to a panorama image creation apparatus that creates a panorama image that allows easy monitoring of a target. The present invention also relates to a program for realizing the panoramic image creation apparatus with a computer.
近年、魚眼レンズカメラ(以下、単に「カメラ」と称する場合がある)によって撮影された魚眼画像に基づいてパノラマ画像を作成するパノラマ画像作成装置が、普及している(例えば、特許文献1及び特許文献2参照)。
In recent years, panoramic image creation apparatuses that create a panoramic image based on a fisheye image photographed by a fisheye lens camera (hereinafter sometimes simply referred to as “camera”) have become widespread (for example,
魚眼レンズカメラは、カメラの周囲のほぼ180°の半球視野の空間を魚眼画像として撮影する全方位型のカメラである。魚眼レンズカメラは、通常、ドーム型の形状に形成されており、天井や壁面に設置される。魚眼レンズカメラは、広い空間の撮影に適している。そのため、魚眼レンズカメラは、例えば、パノラマ画像作成装置と組み合わされて、全方位の監視システムに用いられる。 The fisheye lens camera is an omnidirectional camera that captures a space of a hemispherical field of about 180 ° around the camera as a fisheye image. A fisheye lens camera is usually formed in a dome shape and is installed on a ceiling or a wall surface. The fisheye lens camera is suitable for photographing a wide space. Therefore, the fisheye lens camera is used in an omnidirectional monitoring system in combination with a panoramic image creation device, for example.
全方位の監視システム(以下、単に「監視システム」と称する場合がある)では、魚眼レンズカメラが、カメラの周囲の空間を魚眼画像として撮影して、魚眼画像をパノラマ画像作成装置に出力する。 In an omnidirectional monitoring system (hereinafter sometimes simply referred to as a “monitoring system”), a fisheye lens camera captures a space around the camera as a fisheye image and outputs the fisheye image to a panoramic image creation apparatus. .
パノラマ画像作成装置は、魚眼レンズカメラから魚眼画像が入力されると、魚眼画像を撮影画像として格納部に格納する。そして、パノラマ画像作成装置は、格納部に格納された撮影画像(魚眼画像)に基づいて、パノラマ画像を作成して、撮影画像(魚眼画像)やパノラマ画像を表示部に表示する。これにより、表示部に表示された画像を見る監視者は、表示部に表示された画像の中に映る所望の監視したい部分(以下、「ターゲット」と称する)の動きを監視する。 When a fisheye image is input from the fisheye lens camera, the panorama image creation apparatus stores the fisheye image as a captured image in the storage unit. Then, the panorama image creation apparatus creates a panorama image based on the photographed image (fisheye image) stored in the storage unit, and displays the photographed image (fisheye image) or the panorama image on the display unit. As a result, the supervisor who views the image displayed on the display unit monitors the movement of a desired portion (hereinafter referred to as “target”) to be monitored in the image displayed on the display unit.
ところで、監視システムは、視野の周辺部(画像の左右部分)の歪みが少ないパノラマ画像を作成するために、カメラを真下の方向又は水平方向に向けて撮影する必要があった。そのため、監視システムは、カメラが真下の方向に向くように、カメラを天井等に吊り下げ設置して、天井直下の空間を撮影する構造か、又は、カメラが水平方向に向くように、カメラを略垂直な壁の表面(壁面)等に水平設置して、水平方向の空間を撮影する構造になっていた。 By the way, in order to create a panoramic image with little distortion in the peripheral portion of the visual field (the left and right portions of the image), the monitoring system has to shoot with the camera directed in the direction directly below or in the horizontal direction. For this reason, the surveillance system has a structure in which the camera is suspended from a ceiling or the like so that the camera faces directly below, and the camera is placed so that the camera faces in the horizontal direction. It was structured to be horizontally installed on the surface (wall surface) of a substantially vertical wall and photograph a horizontal space.
その魚眼レンズカメラは、設置角度を変更できないものが多く、変更できたとしても、その角度はせいぜい10°程度である。また、魚眼レンズカメラは、水平設置される場合で、かつ、ターゲットが人等である場合に、ターゲットがカメラの画角に入るように、なるべく低い位置に設置する必要があった。このように、魚眼レンズカメラは、設置場所の制約が多かった。 Many fisheye lens cameras cannot change the installation angle, and even if it can be changed, the angle is about 10 ° at most. Further, when the fisheye lens camera is installed horizontally and the target is a person or the like, it is necessary to install the fisheye lens camera as low as possible so that the target falls within the angle of view of the camera. As described above, the fisheye lens camera has many restrictions on the installation location.
このような監視システムにおいて、パノラマ画像作成装置は、カメラが吊り下げ設置されている場合に、ターゲットを上から見下ろす構成のパノラマ画像を作成する。この構成のパノラマ画像は、ターゲットの特徴が分かり難い構成になるため、あまり好ましくない。 In such a monitoring system, the panoramic image creation device creates a panoramic image having a configuration in which the target is looked down from above when the camera is suspended and installed. A panoramic image having this configuration is not preferable because it makes it difficult to understand the characteristics of the target.
一方、パノラマ画像作成装置は、カメラが水平設置されている場合で、かつ、ターゲットがカメラの画角に入るときに、ターゲットを横方向から見る構成のパノラマ画像を作成する。この構成のパノラマ画像は、ターゲットの特徴が分かり易い構成になるため、好ましい。 On the other hand, the panorama image creation apparatus creates a panorama image configured to view the target from the lateral direction when the camera is horizontally installed and when the target enters the angle of view of the camera. A panoramic image having this configuration is preferable because the features of the target are easily understood.
特に、パノラマ画像作成装置は、カメラが標準的な人の目線の高さ(例えば、床面から約1500mmの高さ)の位置に水平設置されている場合に、あたかも人が首を左右に振って見たときのような自然な構成のパノラマ画像を作成する。この構成のパノラマ画像は、ターゲットの特徴が非常に分かり易い構成になるため、特に好ましい。 In particular, a panoramic image creation device is designed to make a person shake his / her head left and right when the camera is installed horizontally at a standard human eye level (for example, about 1500 mm above the floor). Create a panoramic image with a natural structure as if it were viewed. The panoramic image having this configuration is particularly preferable because the feature of the target is very easy to understand.
したがって、監視システムは、ターゲットの特徴が分かり易い構成のパノラマ画像を取得するためには、カメラを水平設置することが好ましく、特に、カメラを標準的な人の目線の高さの位置に水平設置することが好ましい。 Therefore, in order to obtain a panoramic image in which the target features are easily understood, it is preferable that the surveillance system is installed horizontally, and in particular, the camera is installed horizontally at a standard human eye level. It is preferable to do.
しかしながら、監視システムは、カメラを標準的な人の目線の高さの位置に設置した場合に、カメラが人によって触られる可能性がある。そのため、仮に悪意ある人物がいる場合に、カメラは、その人物によって「バンダリズム」と称される悪戯(例えば、破壊されたり、スプレーを吹き付けられたりして、撮影不能な状態にされる悪戯)を受ける可能性がある。また、カメラは、その用途が防犯用である場合に、人に威圧感を与えたり、景観を損ねたりする可能性がある。 However, the surveillance system may be touched by a person when the camera is installed at a standard human eye level. Therefore, if there is a malicious person, the camera is mischief called “vandalism” by that person (for example, a mischief that is destroyed or sprayed to make it impossible to shoot) There is a possibility of receiving. In addition, when the camera is used for crime prevention, there is a possibility that the camera may be intimidating or damage the scenery.
したがって、監視システムは、カメラを標準的な人の目線の高さの位置に水平設置することが好ましいにも関わらず、このような悪戯を防止するために、また、人に威圧感を与えたり、景観を損ねたりするのを抑制するために、カメラを、人の手が届かない高い位置に、設置する必要があった。 Therefore, although it is preferable to install the camera horizontally at a standard human eye level, the surveillance system can prevent such mischief and also intimidate people. In order to prevent damage to the landscape, it was necessary to install the camera at a high position where human hands could not reach.
ただし、監視システムは、カメラを高い位置に水平設置した場合に、カメラがターゲットから外れた天井の周囲の空間ばかりを撮影してしまう。そのため、この場合に、パノラマ画像作成装置は、ターゲットが少ししか写っていない(又は、全く写っていない)パノラマ画像を作成してしまう。 However, when the camera is installed horizontally at a high position, the surveillance system captures only the space around the ceiling where the camera is removed from the target. Therefore, in this case, the panorama image creation apparatus creates a panorama image in which only a small amount of the target is captured (or not captured at all).
したがって、監視システムは、カメラを人の手が届かない高い位置に設置する場合に、下げ振り設置する必要がある。なお、「下げ振り設置」とは、カメラが斜め下方向に向くように、カメラを下方向に傾斜させて設置することを意味している。 Therefore, it is necessary to install the surveillance system by swinging it down when the camera is installed at a high position where human hands cannot reach. Note that the “down swing installation” means that the camera is installed while being tilted downward so that the camera faces obliquely downward.
監視システムは、カメラを人の手が届かない高い位置に下げ振り設置した場合に、カメラに対する悪戯を防止することができるとともに、人に威圧感を与えたり、景観を損ねたりするのを抑制することができる。しかも、監視システムは、この場合に、カメラが斜め上方向からターゲットを見る構成の魚眼画像を撮影する。そのため、この場合に、パノラマ画像作成装置は、斜め上方向からターゲットを見る構成のパノラマ画像を作成することができる。以下、このパノラマ画像の作成手法を「第1の作成手法」と称する。 The surveillance system can prevent mischief against the camera and suppress intimidation and damage to the landscape when the camera is swung down to a high position where human hands cannot reach be able to. Moreover, in this case, the monitoring system captures a fisheye image in which the camera looks at the target from an obliquely upward direction. Therefore, in this case, the panorama image creation apparatus can create a panorama image configured to view the target from an obliquely upward direction. Hereinafter, this panoramic image creation method is referred to as a “first creation method”.
第1の作成手法によって作成されたパノラマ画像は、ターゲットが画像の中央付近に写り込み易い、というメリットを有している。しかしながら、その一方で、このパノラマ画像は、下げ振り設置に起因して、比較的大きな歪みが視野の周辺部(画像の左右部分)に発生する。その歪みは、画像の中央から外れるほど(画像の端部になるほど)大きくなる。そのため、このパノラマ画像は、視野の周辺部(画像の左右部分)が下がって見える構成になり、これにより、ターゲットの特徴が分かり難くなる、というデメリットを有している。換言すると、このパノラマ画像は、一番奥の壁や直線が湾曲するため、左右部分の歪みが大きい、つまり、奥行きが分かり難い画像になる、というデメリットを有している。 The panoramic image created by the first creation method has an advantage that the target is easily reflected near the center of the image. However, on the other hand, in this panoramic image, a relatively large distortion occurs in the peripheral portion of the visual field (the left and right portions of the image) due to the downward swing installation. The distortion increases as the distance from the center of the image increases. For this reason, this panoramic image has a demerit that the peripheral part of the visual field (the left and right parts of the image) can be seen to be lowered, which makes it difficult to understand the characteristics of the target. In other words, this panoramic image has a demerit that since the innermost wall and straight line are curved, the distortion of the left and right parts is large, that is, the depth is difficult to understand.
そこで、パノラマ画像作成装置は、例えば、以下の手法によって、歪みが目立たないパノラマ画像を作成する構成になっている場合もある。
すなわち、パノラマ画像作成装置は、例えば、魚眼画像のレンズ中心から水平方向に切り出された写像に基づいてパノラマ画像を作成する。以下、このパノラマ画像の作成手法を「第2の作成手法」と称する。なお、「第2の作成手法」の詳細については、「発明を実施するための形態」の章の中で、比較例2(図7A(b)参照)として説明する。
Therefore, the panorama image creation apparatus may be configured to create a panorama image with less noticeable distortion, for example, by the following method.
That is, the panorama image creation apparatus creates a panorama image based on, for example, a map cut out in the horizontal direction from the lens center of the fisheye image. Hereinafter, this panoramic image creation method is referred to as a “second creation method”. The details of the “second creation method” will be described as Comparative Example 2 (see FIG. 7A (b)) in the “Mode for Carrying Out the Invention” chapter.
第2の作成手法によって作成されたパノラマ画像は、視野の周辺部(画像の左右部分)の歪みが解消される、というメリットを有している。しかしながら、その一方で、このパノラマ画像は、以下に説明するように、画像の中央付近に、ターゲットの特徴部分(具体的には、魚眼画像の、有効解像度が高い中央部分)の画像をあまり含まない画像になるため、ターゲットの特徴が分かり難くなる、というデメリットを有している。 The panoramic image created by the second creation method has an advantage that distortion in the peripheral portion of the visual field (the left and right portions of the image) is eliminated. However, on the other hand, as will be described below, this panoramic image has an image of a characteristic part of the target (specifically, a central part having a high effective resolution of a fish-eye image) in the vicinity of the center of the image. Since the image is not included, it has a demerit that it becomes difficult to understand the characteristics of the target.
すなわち、魚眼画像は、歪みが、画像の中央に近いほど小さく、画像の中央から外れるほど大きくなる。そのため、魚眼画像は、有効解像度が、画像の中央に近いほど高く、画像の中央から外れるほど低くなる、という特性がある。 That is, the fisheye image has a smaller distortion as it is closer to the center of the image and becomes larger as it is farther from the center of the image. Therefore, the fish-eye image has a characteristic that the effective resolution is higher as it is closer to the center of the image and lower as it is farther from the center of the image.
第2の作成手法によって作成されたパノラマ画像は、このような魚眼画像の特性があるにも関わらず、魚眼画像の中央部分から外れた構成になる。したがって、このパノラマ画像は、ターゲットの特徴部分(具体的には、魚眼画像の、有効解像度が高い中央部分)の画像をあまり含まない画像になるため、ターゲットの特徴が分かり難くなる。 The panorama image created by the second creation method has a configuration that deviates from the central portion of the fisheye image, despite the characteristics of the fisheye image. Therefore, the panoramic image is an image that does not include the image of the target feature portion (specifically, the central portion of the fish-eye image having a high effective resolution), and thus the target feature is difficult to understand.
従来のパノラマ画像装置は、仮に魚眼レンズカメラを斜めに傾斜させて撮影した場合に、通常、前記した第1の作成手法又は第2の作成手法によってパノラマ画像を作成する。 A conventional panoramic image device normally creates a panoramic image by the first creation method or the second creation method described above when a fisheye lens camera is photographed obliquely.
しかしながら、前記した第1の作成手法によって作成されたパノラマ画像は、視野の周辺部(画像の左右部分)が下がって見える構成になり、これにより、ターゲットの特徴が分かり難くなる、という課題があった。 However, the panoramic image created by the first creation method described above has a configuration in which the peripheral part of the visual field (the left and right parts of the image) appears to be lowered, which makes it difficult to understand the characteristics of the target. It was.
また、前記した第2の作成手法によって作成されたパノラマ画像は、画像の中央付近に、ターゲットの特徴部分(具体的には、魚眼画像の、有効解像度が高い中央部分)の画像をあまり含まない画像になるため、ターゲットの特徴が分かり難くなる、という課題があった。 In addition, the panoramic image created by the second creation method described above includes an image of the target characteristic part (specifically, the central part of the fisheye image having a high effective resolution) near the center of the image. There is a problem that it becomes difficult to understand the characteristics of the target because the image does not exist.
本発明は、前記した課題を解決するためになされたものであり、画像の中央付近に、ターゲットの特徴部分を多く含む、ターゲットを監視し易いパノラマ画像を作成するパノラマ画像作成装置、及び、コンピュータで当該パノラマ画像作成装置を実現するプログラムを提供することを主な目的とする。
特に、本発明は、仮に魚眼レンズカメラを斜めに傾斜させて撮影した場合であっても、このようなパノラマ画像を作成するパノラマ画像作成装置、及び、コンピュータで当該パノラマ画像作成装置を実現するプログラムを提供することを主な目的とする。
The present invention has been made to solve the above-described problem, and a panoramic image creation apparatus and computer for creating a panoramic image that includes a large number of target features near the center of the image and that allows easy monitoring of the target. The main object is to provide a program for realizing the panoramic image creation apparatus.
In particular, the present invention provides a panorama image creation device that creates such a panorama image and a program that realizes the panorama image creation device with a computer even if the fisheye lens camera is obliquely photographed. The main purpose is to provide.
前記目的を達成するため、第1発明は、魚眼レンズを用いる魚眼レンズカメラによって撮影された魚眼画像に基づいてパノラマ画像を作成するパノラマ画像作成装置であって、画像を表示する表示部と、前記魚眼レンズカメラによって撮影された前記魚眼画像を撮影画像として格納する撮影画像格納部と、前記撮影画像格納部に格納された前記撮影画像に基づいてパノラマ画像を作成するパノラマ画像作成部と、前記撮影画像及び前記パノラマ画像のいずれか一方又は双方を前記表示部に表示させる表示制御部とを有し、前記パノラマ画像作成部は、(a)前記魚眼レンズカメラの光軸を中心にしてその左右方向に展開する平面を撮影水平面とし、(b)前記撮影水平面を、前記パノラマ画像の初期作成時の写像の切り出しに用いる切出平面とし、(c)前記撮影水平面上に配置され、かつ、前記魚眼画像である前記撮影画像に対応する半球面画像の天頂に接する接線を、前記切出平面の仮想上の回転軸とし、(d)前記回転軸を中心にして、前記切出平面を任意の回転角度分だけ上方向又は下方向に回転させ、(e)前記切出平面と前記半球面画像とが交わる曲線を切出線とし、当該切出線に沿って当該半球面画像から写像を連続して切り出して、平面上に並べることによって、パノラマ画像を作成する構成とする。 In order to achieve the above object, the first invention is a panorama image creation device that creates a panorama image based on a fisheye image photographed by a fisheye lens camera using a fisheye lens, the display unit displaying the image, and the fisheye lens. A captured image storage unit that stores the fisheye image captured by the camera as a captured image, a panoramic image creation unit that creates a panoramic image based on the captured image stored in the captured image storage unit, and the captured image And a display control unit that displays either or both of the panoramic images on the display unit, and the panoramic image creation unit expands in the horizontal direction about the optical axis of the fisheye lens camera. A plane to be taken as a shooting horizontal plane, and (b) a cut-out plane that is used to cut out a map at the initial creation of the panoramic image. And (c) a tangent line that is arranged on the photographing horizontal plane and is in contact with the zenith of the hemispherical image corresponding to the photographed image that is the fisheye image is defined as a virtual rotation axis of the cut-out plane, d) The cutting plane is rotated upward or downward by an arbitrary rotation angle around the rotation axis, and (e) a curve intersecting the cutting plane and the hemispherical image is cut out. The panorama image is created by continuously cutting out the mapping from the hemispherical image along the cut-out line and arranging them on a plane.
このパノラマ画像作成装置は、撮影画像格納部に撮影画像として格納された魚眼画像に基づいてパノラマ画像を作成する。その際に、このパノラマ画像作成装置は、(a)魚眼レンズカメラの光軸を中心にしてその左右方向に展開する平面を撮影水平面とし、(b)撮影水平面を、パノラマ画像の初期作成時の写像の切り出しに用いる切出平面とし、(c)撮影水平面上に配置され、かつ、魚眼画像である撮影画像に対応する半球面画像の天頂に接する接線を、切出平面の仮想上の回転軸とし、(d)回転軸を中心にして、切出平面(具体的には、切出平面のカメラ側)を任意の回転角度分だけ上方向又は下方向に回転させ、(e)切出平面と半球面画像とが交わる曲線を切出線とし、切出線に沿って半球面画像から写像を連続して切り出して、平面上に並べることによって、パノラマ画像を作成する。 This panorama image creation device creates a panorama image based on a fisheye image stored as a photographed image in the photographed image storage unit. At this time, this panoramic image creation apparatus uses (a) a plane that expands in the left-right direction around the optical axis of the fisheye lens camera as a photographing horizontal plane, and (b) a mapping horizontal plane when the panoramic image is initially created. (C) A virtual axis of rotation of the cutting plane is defined as a tangent line that is arranged on the shooting horizontal plane and touches the zenith of the hemispherical image corresponding to the shooting image that is a fisheye image. (D) The cutting plane (specifically, the camera side of the cutting plane) is rotated upward or downward by an arbitrary rotation angle around the rotation axis, and (e) the cutting plane A panoramic image is created by continuously cutting out a map from the hemispherical image along the cut line and arranging them on a plane.
このパノラマ画像作成装置は、天頂に接する接線を回転軸とし、回転軸を中心にして切出平面を上方向又は下方向に回転させる。そして、このパノラマ画像作成装置は、切出平面と半球面画像とが交わる切出線に沿って撮影画像から写像を連続して切り出して、平面上に並べることによって、パノラマ画像を作成する。 This panoramic image creation apparatus uses a tangent line that is in contact with the zenith as a rotation axis, and rotates the cutting plane upward or downward about the rotation axis. And this panorama image production apparatus produces a panorama image by continuously cutting out a map from a picked-up image along the cut line which a cut-out plane and a hemispherical image cross, and arranging on a plane.
このパノラマ画像は、半球面画像の天頂が常に画像の中央付近に配置された構成になる。そして、カメラは、ターゲットが存在する方向(ターゲットが写り込み易い方向)に向けて設置されている。そのため、このパノラマ画像は、画像の中央付近に、ターゲットの特徴を多く含む構成となる。したがって、このパノラマ画像作成装置は、画像の中央付近に、ターゲットの特徴を多く含む、ターゲットを監視し易いパノラマ画像を作成することができる。 This panoramic image has a configuration in which the zenith of the hemispherical image is always arranged near the center of the image. The camera is installed in the direction in which the target exists (the direction in which the target is easily reflected). Therefore, this panoramic image has a configuration including many target features near the center of the image. Therefore, this panorama image creation apparatus can create a panorama image that includes many features of the target and is easy to monitor the target near the center of the image.
しかも、このパノラマ画像作成装置は、切出平面の回転角度を変更することにより、切出線を変動させることができる。切出線は、切出平面の回転軸が天頂に接する接線であるため、常に天頂を通過する。そのため、切出線は、画像の中央に近いほど(天頂に近いほど)、変動量が小さくなり、一方、画像の中央から外れるほど(天頂から外れるほど)、変動量が大きくなる。したがって、このパノラマ画像作成装置は、切出線を変動させることにより、パノラマ画像内の左右方向に水平に延伸する仮想上の直線の位置を上方向又は下方向に移動させることができる。その結果、このパノラマ画像作成装置は、切出平面の回転角度を変更して、切出線を変動させることにより、視野の周辺部の歪みが少ないパノラマ画像を作成することができる。よって、このパノラマ画像作成装置は、仮に魚眼レンズカメラを斜めに傾斜させて撮影した場合であっても、画像の中央付近に、ターゲットの特徴部分を多く含む、ターゲットを監視し易いパノラマ画像を作成することができる。 Moreover, this panoramic image creation apparatus can change the cut line by changing the rotation angle of the cut plane. The cut line always passes through the zenith because the rotation axis of the cut plane is a tangent line in contact with the zenith. For this reason, the amount of fluctuation of the cut line becomes smaller as it is closer to the center of the image (closer to the zenith), while the amount of fluctuation becomes larger as it becomes farther from the center of the image (away from the zenith). Therefore, the panoramic image creation apparatus can move the position of a virtual straight line extending horizontally in the left-right direction in the panoramic image upward or downward by changing the cut line. As a result, this panoramic image creation apparatus can create a panoramic image with less distortion in the peripheral portion of the field of view by changing the rotation angle of the cut plane and changing the cut line. Therefore, this panorama image creation device creates a panorama image that is easy to monitor a target and includes many target features near the center of the image, even if the fisheye lens camera is obliquely photographed. be able to.
また、第2発明は、画像を表示する表示部と、魚眼レンズを用いる魚眼レンズカメラによって撮影された魚眼画像を撮影画像として格納する撮影画像格納部とを有するコンピュータを、当該撮影画像に基づいてパノラマ画像を作成するパノラマ画像作成装置として機能させるプログラムであって、前記コンピュータを、(a)前記魚眼レンズカメラの光軸を中心にしてその左右方向に展開する平面を撮影水平面とし、(b)前記撮影水平面を、前記パノラマ画像の初期作成時の写像の切り出しに用いる切出平面とし、(c)前記撮影水平面上に配置され、かつ、前記魚眼画像である前記撮影画像に対応する半球面画像の天頂に接する接線を、前記切出平面の仮想上の回転軸とし、(d)前記回転軸を中心にして、前記切出平面を任意の回転角度分だけ上方向又は下方向に回転させ、(e)前記切出平面と前記半球面画像とが交わる曲線を切出線とし、当該切出線に沿って当該半球面画像から写像を連続して切り出して、平面上に並べることによって、パノラマ画像を作成するパノラマ画像作成部と、前記撮影画像及び前記パノラマ画像のいずれか一方又は双方を前記表示部に表示させる表示制御部として機能させる構成とする。
このプログラムは、コンピュータで、第1発明に係るパノラマ画像作成装置を実現することができる。
According to a second aspect of the present invention, a computer having a display unit that displays an image and a captured image storage unit that stores a fisheye image captured by a fisheye lens camera using a fisheye lens as a captured image is panorama based on the captured image. A program for causing a computer to function as a panoramic image creation device for creating an image, wherein (a) a plane that expands in a horizontal direction around the optical axis of the fisheye lens camera is defined as a photographing horizontal plane, and (b) the photographing The horizontal plane is a cut-out plane that is used to cut out the map at the initial creation of the panoramic image, and (c) a hemispherical image that is arranged on the horizontal plane and that corresponds to the captured image that is the fisheye image. A tangent line tangent to the zenith is set as a virtual rotation axis of the cut plane, and (d) the cut plane is an arbitrary rotation angle around the rotary axis. (E) a curve intersecting the cut plane and the hemispherical image is defined as a cut line, and mapping is continuously performed from the hemispherical image along the cut line. A configuration is made to function as a panoramic image creation unit that creates a panoramic image and a display control unit that displays either one or both of the captured image and the panoramic image on the display unit by cutting out and arranging them on a plane. .
This program can realize a panoramic image creation apparatus according to the first invention by a computer.
本発明によれば、画像の中央付近に、ターゲットの特徴部分を多く含む、ターゲットを監視し易いパノラマ画像を作成することができる。
特に、本発明によれば、仮に魚眼レンズカメラを斜めに傾斜させて撮影した場合であっても、このようなパノラマ画像を作成することができる。
According to the present invention, it is possible to create a panoramic image that can easily monitor a target, including many target features near the center of the image.
In particular, according to the present invention, such a panoramic image can be created even when the fisheye lens camera is photographed while being inclined obliquely.
以下、図面を参照して、本発明の実施の形態(以下、「本実施形態」と称する)につき詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。 Hereinafter, an embodiment of the present invention (hereinafter referred to as “the present embodiment”) will be described in detail with reference to the drawings. Each figure is only schematically shown so that the present invention can be fully understood. Therefore, the present invention is not limited to the illustrated example. Moreover, in each figure, the same code | symbol is attached | subjected about the common component and the same component, and those overlapping description is abbreviate | omitted.
[実施形態]
<パノラマ画像作成装置の構成>
以下、図1A及び図1Bを参照して、本実施形態に係るパノラマ画像作成装置3の構成につき説明する。図1Aは、実施形態に係るパノラマ画像作成装置3を用いる監視システム1の構成図である。また、図1Bは、実施形態に係るパノラマ画像作成装置3の構成図である。
[Embodiment]
<Configuration of panorama image creation device>
Hereinafter, the configuration of the panoramic
本実施形態に係るパノラマ画像作成装置3(以下、単に「作成装置3」と称する場合がある)は、魚眼レンズカメラ2によって撮影された魚眼画像iF(図5A(b)参照)に基づいてパノラマ画像iP(図5B(b)参照)を作成する装置である。
The panorama image creation device 3 (hereinafter, may be simply referred to as “
ここでは、図1Aに示すように、作成装置3が、魚眼レンズカメラ2と組み合わされて、全方位の監視システム(以下、単に「監視システム」と称する)1に用いられる場合を想定して説明する。図1Aに示すように、監視システム1は、魚眼レンズカメラ2、作成装置3、及び、表示部5を有している。ここでは、表示部5がLCD等のディスプレイであるものとして説明する。
Here, as shown in FIG. 1A, description will be made assuming that the
魚眼レンズカメラ(以下、単に「カメラ」と称する場合がある)2は、カメラ2の周囲のほぼ180°の半球視野の空間を魚眼画像iF(図5A(b)参照)として撮影する全方位型のカメラである。なお、図1Aに示す例では、カメラ2は、壁面に水平設置された構成になっている。しかしながら、実際の運用では、カメラ2は、図2B(a)に示すように、人の手が届かない高い位置に、傾斜角度ρAで下げ振り設置される。カメラ2は、撮影した魚眼画像iFを作成装置3に出力する。
A fish-eye lens camera (hereinafter sometimes simply referred to as “camera”) 2 is an omnidirectional type that captures a space around a hemispherical field of approximately 180 ° around the
作成装置3は、カメラ2から魚眼画像iFが入力されると、魚眼画像iFを撮影画像として撮影画像格納部32d(図1B参照)に格納する。そして、作成装置3は、撮影画像格納部32dに格納された撮影画像(魚眼画像iF)に基づいて、パノラマ画像iP(図5B(b)参照)を作成してパノラマ画像格納部32e(図1B参照)に格納する。
When the fisheye image iF is input from the
この後、作成装置3は、撮影画像格納部32dに格納された撮影画像(魚眼画像iF)及びパノラマ画像格納部32eに格納されたパノラマ画像iPのいずれか一方又は双方を表示部5に表示する。これにより、監視者は、表示部5に表示された画像の中に映る所望の監視したい部分(以下、「ターゲット」と称する)の動きを監視することができる。
Thereafter, the
本実施形態では、図1Bに示すように、作成装置3がパーソナルコンピュータ(PC)によって構成されている場合を想定して説明する。ただし、作成装置3は、パノラマ画像iPを作成するための専用の装置として構成することができる。また、作成装置3は、カメラ2によって撮影された撮影画像(魚眼画像iF)を外部の記録装置に保存する録画装置として構成することもできる。この場合に、外部の記録装置が後記する撮影画像格納部32dとして使用される。
In the present embodiment, as illustrated in FIG. 1B, description will be made assuming that the
図1Bに示すように、作成装置3は、カメラ2、入力部4、及び、表示部5と接続されている。なお、入力部4は、テンキーやキーボード(KB)等のキー入力部41と、マウスやタッチパネル(TP)等の座標入力部42とを備えている。ここでは、キー入力部41がテンキーとキーボードの双方によって構成されており、一方、座標入力部42がマウスによって構成されている場合を想定して説明する。
As illustrated in FIG. 1B, the
また、作成装置3は、内部に、制御部31と記憶部32とを有している。制御部31は、CPUによって構成されている。一方、記憶部32は、RAMや、ROM、HDD等によって構成されている。
The
制御部31を構成するCPUは、入力検知部31a、入力判定部31b、設定部31c、撮影画像取得部31d、パノラマ画像作成部31e、及び、表示制御部31fとして機能する。制御部31を構成するCPUは、記憶部32を構成するROMに予め格納された制御プログラムを実行することにより、これらの各機能を実現する。一方、記憶部32は、プログラム格納部32a、画面情報格納部32b、設定情報格納部32c、撮影画像格納部32d、及び、パノラマ画像格納部32eを有している。
The CPU constituting the
入力検知部31aは、何らかの情報が入力部4から入力情報として入力された場合に、その入力を検知する機能手段である。入力検知部31aは、入力を検知した場合に、入力情報を入力判定部31bに出力する。
The
入力判定部31bは、入力情報の内容を判定する機能手段である。入力判定部31bは、入力検知部31aから入力情報が入力された場合に、画面情報格納部32bに予め格納されている画面情報や設定情報格納部32cに格納されている設定情報等に基づいて、入力情報の内容を判定する。
The
ここで、「画面情報」とは、表示部5に表示させる画面の構成を規定する情報を意味している。また、「設定情報」とは、パノラマ画像iPを作成する際に必要となる各種の設定に関する情報を意味している。
Here, “screen information” means information that defines the configuration of the screen displayed on the
入力判定部31bは、入力情報が各種の設定情報である場合に、設定情報を設定部31c及び表示制御部31fに出力する。また、入力判定部31bは、入力情報が表示部5に表示されている画像に対する任意の処理の実行を指示する指示情報である場合に、指示情報をパノラマ画像作成部31e及び表示制御部31fに出力する。なお、「表示されている画像に対する任意の処理」としては、例えば、魚眼画像iFが表示されている場合の、魚眼画像iFに対応するパノラマ画像iPの作成や、パノラマ画像iPが表示されている場合の、後記する水平基準線hs(図5B(b)参照)の移動補正等がある。
When the input information is various types of setting information, the
設定部31cは、入力判定部31bから設定情報が入力された場合に、設定情報を設定情報格納部32cに格納する機能手段である。作成装置3は、運用開始時において、設定情報の初期値が設定情報格納部32cに予め格納されている。設定情報は、監視者が、キー入力部41としてのテンキーやキーボードを操作したり、座標入力部42としてのマウスを操作したりすることにより、最新の値に更新される。
The
撮影画像取得部31dは、カメラ2から撮影画像(魚眼画像iF)を取得する機能手段である。撮影画像取得部31dは、撮影画像(魚眼画像iF)を取得すると、撮影画像格納部32dに格納する。
The captured
パノラマ画像作成部31eは、撮影画像格納部32dに格納された撮影画像(魚眼画像iF)に基づいてパノラマ画像iPを作成する機能手段である。パノラマ画像作成部31eは、パノラマ画像iPを作成すると、パノラマ画像格納部32eに格納する。なお、パノラマ画像iPを作成する原理については、後記する「パノラマ画像の作成原理」の章で説明する。
The panorama
表示制御部31fは、画像を表示部5に表示させる機能手段である。表示制御部31fは、例えば、画面情報格納部32bから画面情報を読み出し、画面情報によって規定される画面を作成して表示部5に表示させる。また、表示制御部31fは、例えば、撮影画像格納部32dから撮影画像(魚眼画像iF)を読み出したり、又は、パノラマ画像格納部32eからパノラマ画像iPを読み出したりして、撮影画像(魚眼画像iF)及びパノラマ画像iPのいずれか一方又は双方を表示部5に表示させる。
The
プログラム格納部32aは、各種のプログラムを格納する領域である。プログラム格納部32aは、例えば、PCを作成装置3として機能させる制御プログラムを予め格納している。
The
画面情報格納部32bは、前記した「画面情報」を格納する領域である。「画面情報」としては、撮影画像(魚眼画像iF)やパノラマ画像iPを表示する画面の構成を規定する情報や、設定情報を入力する画面の構成を規定する情報等がある。
The screen
設定情報格納部32cは、前記した「設定情報」を格納する領域である。「設定情報」としては、後記する「パノラマ画像の作成に用いるパラメータ及び計算手法」の章で説明するパラメータがある。
The setting
撮影画像格納部32dは、カメラ2によって撮影された撮影画像(魚眼画像iF)を格納する領域である。
パノラマ画像格納部32eは、パノラマ画像作成部31eによって作成されたパノラマ画像iPを格納する領域である。
The captured
The panorama
<パノラマ画像の作成原理>
以下、図1A、並びに、図2A及び図2Bを参照して、パノラマ画像iPの作成原理につき説明する。図2A及び図2Bは、それぞれ、実施形態に係るパノラマ画像iPの作成原理の説明図である。ここでは、説明の都合上、カメラ2が壁面の標準的な人の目線の高さ(例えば、床面から約1500mmの高さ)の位置に水平設置されている場合を想定して説明する。
<Panorama image creation principle>
Hereinafter, the principle of creating the panoramic image iP will be described with reference to FIG. 1A and FIGS. 2A and 2B. 2A and 2B are explanatory diagrams of the principle of creating the panoramic image iP according to the embodiment, respectively. Here, for convenience of explanation, a description will be given assuming that the
作成装置3の動作は、記憶部32のプログラム格納部32aに読み出し自在に予め格納された制御プログラムによって規定されており、制御部31によって実行される。作成装置3のパノラマ画像作成部31eは、撮影画像格納部32dに格納された撮影画像(魚眼画像iF)に基づいてパノラマ画像iPを作成する。その際に、パノラマ画像作成部31eは、撮影画像(魚眼画像iF)に対応する半球面画像iS(図1A参照)を用いる。
The operation of the
「半球面画像iS」は、魚眼画像iFを仮想球面モデルMDの上に投影した画像である。「仮想球面モデルMD」は、カメラ2のレンズ中心Oを中心にして半球面状に展開された仮想上のモデルである。
The “hemispherical image iS” is an image obtained by projecting the fisheye image iF on the virtual spherical model MD. The “virtual spherical model MD” is a virtual model developed in a hemispherical shape with the lens center O of the
ここでは、レンズ中心Oの位置とカメラ2の図示せぬイメージセンサの撮像面の位置とがほぼ同じ位置であるものとして説明する。以下、レンズ中心Oを「原点O」と称する場合がある。また、ここでは、仮想球面モデルMD(半球面画像iS)の半径を規定するパラメータが、予め、監視者によって、キー入力部41から入力されて設定情報として設定情報格納部32cに格納されているものとして説明する。
Here, description will be made assuming that the position of the lens center O and the position of the imaging surface of the image sensor (not shown) of the
半球面画像iSは、カメラ2の光軸laと仮想球面モデルMDとが交差する点を天頂tpとし、天頂tpを中心にして、魚眼画像iFが仮想球面モデルMDの上に投影された構成になっている。図2Aは、半球面画像iSの構成を示している。
The hemispherical image iS has a configuration in which the point where the optical axis la of the
ここでは、図2Aに示すように、カメラ2の光軸laの方向と一致する水平方向をX軸方向とし、光軸laに直交する水平方向をY軸方向とし、光軸laに直交する垂直方向(上下方向)をZ軸方向として説明する。
Here, as shown in FIG. 2A, the horizontal direction coinciding with the direction of the optical axis la of the
また、ここでは、(1)カメラ2の光軸laを中心にしてその左右方向に展開する平面を撮影水平面XYとし、(2)その撮影水平面XYを、パノラマ画像iPの初期作成時の写像maの切り出しに用いる切出平面cpとし、(3)撮影水平面XY上に配置され、かつ、半球面画像iSの天頂tpに接する接線を、切出平面cpの仮想上の回転軸raとし、(4)切出平面cpと半球面画像iSとが交わる曲線を切出線clとして説明する。
Also, here, (1) a plane that expands in the left-right direction centered on the optical axis la of the
なお、「写像ma」は、仮想球面モデルMDの半球面上の任意の点で接する平面をスクリーンに見立てて、魚眼画像iFをこのスクリーンに投影させた画像である。写像maは、魚眼画像iFを3次元座標系に回転変換することによって、スクリーン上で平面正像化された画像として取得される。写像maは、半球面画像iS(厳密には、半球面画像iSに対応する魚眼画像iF)から連続して切り出される。このとき、写像maは、切り出しに際して、パノラマ画像iPに適した構成の画像に変換される。そして、写像maは、展開画像として平面上に並べられることにより、1枚のパノラマ画像iPを構成する。 Note that “mapped ma” is an image obtained by projecting a fish-eye image iF onto the screen as if a plane contacting an arbitrary point on the hemispherical surface of the virtual spherical model MD is regarded as a screen. The mapping ma is acquired as a plane-normalized image on the screen by rotationally converting the fish-eye image iF into a three-dimensional coordinate system. The mapping ma is continuously cut out from the hemispherical image iS (strictly speaking, the fisheye image iF corresponding to the hemispherical image iS). At this time, the mapping ma is converted into an image having a configuration suitable for the panoramic image iP at the time of clipping. The mapping ma is arranged on a plane as a developed image, thereby forming one panoramic image iP.
パノラマ画像作成部31eは、図2B(a)に示すように、パノラマ画像iPの作成に際して、切出平面cpが水平方向に展開する水平面になるように、回転軸raを中心にして、切出平面cp(具体的には、切出平面cpのカメラ2側)を任意の回転角度ρ分だけ上方向又は下方向に回転させる。
As shown in FIG. 2B (a), the panorama
例えば、図2B(a)に示す例では、カメラ2は、人の手が届かない高い位置に、傾斜角度ρAで下げ振り設置されている。この場合に、パノラマ画像作成部31eは、カメラ2の傾斜角度ρAを切出平面cpの回転角度ρとし、回転軸raを中心にして、切出平面cpを傾斜角度ρA分だけ下方向に回転させる。これにより、パノラマ画像作成部31eは、あたかも人が首を左右に振って見たときのような自然な構成のパノラマ画像iPを作成することができる。
For example, in the example shown in FIG. 2B (a), the
ただし、ここでは、前記した通り、カメラ2が壁面の標準的な人の目線の高さ(例えば、床面から約1500mmの高さ)の位置に水平設置されている場合を想定して説明する。したがって、ここでは、回転角度ρを0°とし、切出平面cpを回転させないものとして説明する。
However, here, as described above, it is assumed that the
次に、パノラマ画像作成部31eは、図2Aに示すように、切出線clに沿って半球面画像iS(厳密には、半球面画像iSに対応する魚眼画像iF)から所定枚数分の写像maを連続して切り出す。このとき、パノラマ画像作成部31eは、各写像maの中心点(後記する注視点P)を切出線cl上に配置し、その中心点(注視点P)を中心にして切出線clに対して垂直に交差する方向に所定の寸法の写像maを切り出して、パノラマ画像iPに適した構成の画像に変換する。図2B(b)は、魚眼画像iF上の、このとき切り出される写像maの位置を示している。
Next, as shown in FIG. 2A, the panoramic
ここでは、切り出される写像maの寸法は、縦幅がhピクセルであり、かつ、横幅が1ピクセルであるものとして説明する。また、切り出される写像maの枚数は、パノラマ画像iPの横幅のピクセル数と同じであるものとして説明する。写像maの寸法や写像maの枚数(パノラマ画像iPの横幅のピクセル数)等のパラメータは、予め、監視者によって、キー入力部41から入力されて設定情報として設定情報格納部32cに格納されている。
Here, the dimensions of the cut map ma will be described assuming that the vertical width is h pixels and the horizontal width is 1 pixel. Further, the description will be made assuming that the number of mapping ma to be cut out is the same as the number of horizontal pixels of the panoramic image iP. Parameters such as the size of the mapping ma and the number of mapping ma (the number of pixels in the horizontal width of the panoramic image iP) are input from the key input unit 41 by the supervisor in advance and stored as setting information in the setting
パノラマ画像作成部31eは、写像maを切り出すと、切り出された写像ma(厳密には、パノラマ画像iPに適した構成に変換された画像)を平面上に並べる。これによって、パノラマ画像作成部31eは、パノラマ画像iPを作成する。図2B(c)は、パノラマ画像iPの構成を示している。
When the panorama
ところで、写像maを切り出す基準となる切出線clは、図3に示すように、切出平面cpの回転角度ρの値によって変動する。図3は、実施形態で用いる切出線clの説明図である。ここでは、切出平面cpの回転角度ρは、切出平面cpが水平面になるように、カメラ2の傾斜角度ρAと同じ角度に予め設定されているものとして説明する。
By the way, the cut line cl serving as a reference for cutting out the mapping ma varies depending on the value of the rotation angle ρ of the cut plane cp as shown in FIG. FIG. 3 is an explanatory diagram of the cutting line cl used in the embodiment. Here, the rotation angle ρ of the cut plane cp will be described as being set in advance to the same angle as the tilt angle ρA of the
図3(a)は、カメラ2の傾斜角度ρAを0°とし、カメラ2を水平設置した場合の切出線clの形状を示している。この場合に、切出平面cpの回転角度ρは、0°となる。そして、切出線clの形状は、レンズ中心Oを中心とし、天頂tpを通る半径rの半円となる。
FIG. 3A shows the shape of the cut line cl when the tilt angle ρA of the
図3(b)は、カメラ2の傾斜角度ρAを−45°(すなわち、−(π/4))とし、カメラ2を下げ振り設置した場合の切出線clの形状を示している。この場合に、切出平面cpの回転角度ρは、−45°(すなわち、下方向に45°)となる。そして、切出線clの形状は、レンズ端点epと天頂tpとの中間点を中心とし、レンズ端点epと天頂tpとを通る半径(rcos(−45°))の真円となる。
FIG. 3B shows the shape of the cut line cl when the tilt angle ρA of the
図3(c)は、カメラ2の傾斜角度ρAを+45°(すなわち、+(π/4))とし、カメラ2を上げ振り設置した場合の切出線clの形状を示している。この場合に、切出平面cpの回転角度ρは、+45°(すなわち、上方向に45°)となる。そして、切出線clの形状は、レンズ端点epと天頂tpとの中間点を中心とし、レンズ端点epと天頂tpとを通る半径(rcos(+45°))の真円となる。
FIG. 3C shows the shape of the cut line cl when the tilt angle ρA of the
そのため、切出線clに沿って切り出される写像maは、切出平面cpの回転角度ρが−45°以上でかつ+45°以下の範囲内の角度である場合に、ターゲットの特徴部分が写り込む画素(以下、「有効画素」と称する)を多く含む構成になる。 Therefore, in the mapping ma cut out along the cut line cl, when the rotation angle ρ of the cut plane cp is an angle in the range of −45 ° or more and + 45 ° or less, the characteristic portion of the target is reflected. The configuration includes many pixels (hereinafter referred to as “effective pixels”).
したがって、作成装置3は、切出平面cpの回転角度ρが−45°以上でかつ+45°以下の範囲内の角度である場合に、好適なパノラマ画像iPを作成することができる。以下、−45°以上でかつ+45°以下の範囲内の角度を「適正角度」と称する。
Therefore, the
一方、切出線clに沿って切り出される写像maは、切出平面cpの回転角度ρが前記した適正角度から外れる場合(すなわち、−45°未満の角度である場合又は+45°よりも大きい角度である場合)に、有効画素が少ししか含まれない構成になる。そのため、切出平面cpの回転角度ρは、前記した適正角度から外れる場合に、パノラマ画像iPの作成に不適な値となる。 On the other hand, the map ma cut out along the cut line cl is when the rotation angle ρ of the cut plane cp deviates from the above-mentioned appropriate angle (that is, when the angle is less than −45 ° or larger than + 45 °). In this case, only a few effective pixels are included. Therefore, when the rotation angle ρ of the cut-out plane cp deviates from the appropriate angle described above, the rotation angle ρ becomes an inappropriate value for creating the panoramic image iP.
<パノラマ画像の補正処理>
(パノラマ画像の補正処理の概要)
本実施形態では、監視者は、表示部5に表示されたパノラマ画像iPの視野の周辺部(画像の左右部分)が歪んで見える場合に、座標入力部42としてのマウスを操作することによって、歪みがなくなるように、パノラマ画像iPを補正することができる。
<Panorama image correction processing>
(Overview of panorama image correction processing)
In the present embodiment, the monitor operates the mouse as the coordinate
以下、図1B、及び、図4を参照して、本実施形態に係るパノラマ画像iPの補正処理の概要につき説明する。図4は、実施形態に係るパノラマ画像iPの補正処理の概要説明図である。 Hereinafter, with reference to FIG. 1B and FIG. 4, an outline of correction processing of the panoramic image iP according to the present embodiment will be described. FIG. 4 is a schematic explanatory diagram of correction processing of the panoramic image iP according to the embodiment.
カメラ2は、カメラ2の周囲の空間を魚眼画像iFとして撮影して、作成装置3に出力する。作成装置3の撮影画像取得部31dは、カメラ2から魚眼画像iFを取得すると、魚眼画像iFを撮影画像として撮影画像格納部32dに格納する。
The
ここで、例えば、監視者が、入力部4を操作して、撮影画像(魚眼画像iF)の表示を作成装置3に指示したとする。この場合に、作成装置3の表示制御部31fは、撮影画像格納部32dから撮影画像(魚眼画像iF)を読み出して、表示部5に表示させる。図4(a)は、魚眼画像iFの一例を示している。
Here, for example, it is assumed that the supervisor operates the
次に、監視者が、入力部4を操作して、パノラマ画像iPの表示を作成装置3に指示したとする。この場合に、作成装置3のパノラマ画像作成部31eは、設定情報格納部32bから設定情報の初期値を読み出すとともに、撮影画像格納部32dから撮影画像(魚眼画像iF)を読み出す。
Next, it is assumed that the supervisor operates the
そして、パノラマ画像作成部31eは、設定情報の初期値を用いて、撮影画像(魚眼画像iF)に基づいてパノラマ画像iP(図4(b)参照)を作成する。図4(b)は、パノラマ画像iPの一例を示している。
Then, the panorama
以下、設定情報の初期値を用いてパノラマ画像iPを作成する動作を「初期作成」と称する。なお、パノラマ画像iPの作成は、前記した「パノラマ画像の作成原理」の章で説明した原理に基づいて行われる。 Hereinafter, the operation of creating the panoramic image iP using the initial value of the setting information is referred to as “initial creation”. The creation of the panorama image iP is performed based on the principle described in the chapter “Panorama Image Creation Principle”.
パノラマ画像作成部31eは、パノラマ画像iPを作成すると、パノラマ画像格納部32eに格納する。この後、作成装置3の表示制御部31fは、パノラマ画像格納部32eからパノラマ画像iPを読み出して、表示部5に表示させる。
When the panorama
初期作成時のパノラマ画像iPは、ターゲットを監視する際の視線の基準となる線(以下、「視線の基準線sl」と称する)の左右部分が画像の中央から外れるほど大きく歪んで見える場合がある。すなわち、初期作成時のパノラマ画像iPは、視野の周辺部(画像の左右部分)が歪んで見える場合がある。そのため、初期作成時のパノラマ画像iPは、ターゲットの特徴が分かり難くなる場合が多い。 The panoramic image iP at the time of initial creation may appear to be distorted so that the left and right parts of the line of reference (hereinafter referred to as “line of sight reference line sl”) for monitoring the target deviate from the center of the image. is there. That is, the panoramic image iP at the initial creation may appear to be distorted in the peripheral part of the visual field (the left and right parts of the image). For this reason, the panoramic image iP at the initial creation is often difficult to understand the characteristics of the target.
図4(b)に示す例では、パノラマ画像iPは、視野の周辺部(画像の左右部分)が下がって見える構成になっている。そこで、監視者は、視線の基準線slが水平方向に直線状に延伸する状態になるように、例えば、座標入力部42としてのマウスを使用して、任意の箇所を指定箇所として指定して、指定箇所を任意の方向に移動させるドラッグ操作を行うことによって、パノラマ画像iPを補正する。
In the example shown in FIG. 4B, the panoramic image iP has a configuration in which the peripheral portion of the visual field (the left and right portions of the image) appears to be lowered. Therefore, the monitor designates an arbitrary place as a designated place using, for example, a mouse as the coordinate
以下、このパノラマ画像iPの補正を「水平補正」と称する。また、水平補正するために行う操作を「水平補正操作」と称する。なお、ここでは、指定箇所を移動させる方向(マウスを移動させる方向)が上方向又は下方向であるものとして説明する。 Hereinafter, this correction of the panoramic image iP is referred to as “horizontal correction”. An operation performed for horizontal correction is referred to as “horizontal correction operation”. Here, a description will be given assuming that the direction in which the designated place is moved (the direction in which the mouse is moved) is the upward direction or the downward direction.
作成装置3の設定部31cは、水平補正操作でドラッグ操作される度に、切出平面cpの回転角度ρの値を更新する。そして、作成装置3のパノラマ画像作成部31eは、回転角度ρの更新値を用いて、撮影画像(魚眼画像iF)に基づいて補正後のパノラマ画像iP(図4(c)参照)を作成する。図4(c)は、補正後のパノラマ画像iPの一例を示している。
The
パノラマ画像作成部31eは、補正後のパノラマ画像iPを作成すると、パノラマ画像格納部32eに格納する。この後、作成装置3の表示制御部31fは、パノラマ画像格納部32eから補正後のパノラマ画像iPを読み出して、表示部5に表示させる。
When the panorama
作成装置3は、水平補正操作において、マウスでドラッグ操作される度に、このような処理を繰り返す。そして、作成装置3は、最終的に、視線の基準線slが水平方向に直線状に延伸して見える状態になったパノラマ画像iPを作成する。以下、図4(b)に示すパノラマ画像iPを「補正前のパノラマ画像iP1」と称し、図4(c)に示すパノラマ画像iPを「補正後のパノラマ画像iP2」と称する。
The
パノラマ画像iPの補正処理は、パノラマ画像iPの中の水平方向に延伸する仮想上の直線(以下、「水平基準線hs」と称する)の位置を前回作成時よりも上方向又は下方向に移動させることによって、行われる。その水平基準線hsの移動は、切出平面cpの回転角度ρ(図2B(a)参照)を変更することによって行われる。 The panorama image iP correction process moves the position of a virtual straight line (hereinafter referred to as “horizontal reference line hs”) extending in the horizontal direction in the panorama image iP upward or downward from the previous creation. Is done. The horizontal reference line hs is moved by changing the rotation angle ρ (see FIG. 2B (a)) of the cut-out plane cp.
図4(b)に示す例では、補正前のパノラマ画像iP1は、水平基準線hsが天頂tpに対応する箇所(以下、単に「天頂tp」と称する)の上に存在し、また、視線の基準線slの中央部分が水平基準線hsの中央部分よりも上方向に存在する構成になっている。この補正前のパノラマ画像iP1は、視野の周辺部(画像の左右部分)が下がって見える構成になっている。そのため、補正前のパノラマ画像iP1は、ターゲットの特徴が分かり難くなっている。 In the example shown in FIG. 4B, the panoramic image iP1 before correction is present on a position where the horizontal reference line hs corresponds to the zenith tp (hereinafter simply referred to as “zenith tp”), The center part of the reference line sl is configured to be present above the center part of the horizontal reference line hs. This uncorrected panoramic image iP1 has a configuration in which the peripheral part of the visual field (the left and right parts of the image) can be seen to be lowered. Therefore, it is difficult to understand the feature of the target in the panoramic image iP1 before correction.
これに対して、図4(c)に示す例では、補正後のパノラマ画像iP2は、水平基準線hsが補正前の位置よりも上方向に移動しており、その水平基準線hsの移動に伴って、視線の基準線slの左右部分が画像の中央から外れるほど大きく上昇するとともに、視線の基準線slの中央部分が若干下降している。これにより、補正後のパノラマ画像iP2は、左右部分が画像の中央から外れるほど大きく上昇し、中央付近が若干下降した構成になる。 On the other hand, in the example shown in FIG. 4C, in the corrected panoramic image iP2, the horizontal reference line hs is moved upward from the position before the correction, and the horizontal reference line hs is moved. Along with this, the left and right parts of the line-of-sight reference line sl rise as the distance from the center of the image increases, and the center part of the line-of-sight reference line sl falls slightly. As a result, the corrected panoramic image iP2 has a structure in which the left and right portions rise as the left and right portions deviate from the center of the image, and the vicinity of the center drops slightly.
補正後のパノラマ画像iP2は、切出平面cpの延伸方向が水平補正したいターゲットに一致した状態になったときに、視線の基準線slが水平方向に直線状に延伸する状態になり、視線の基準線slが水平基準線hsと重なった状態になる。そのため、補正後のパノラマ画像iP2は、ターゲットの特徴が分かり易くなる。 In the corrected panoramic image iP2, when the extending direction of the cut-out plane cp coincides with the target to be horizontally corrected, the line-of-sight reference line sl extends in a straight line in the horizontal direction. The reference line sl overlaps the horizontal reference line hs. Therefore, the corrected panoramic image iP2 makes it easy to understand the characteristics of the target.
(パノラマ画像の補正処理の原理)
以下、図5A〜図5Cを参照して、本実施形態に係るパノラマ画像iPの補正処理の原理につき説明する。図5A〜図5Cは、それぞれ、実施形態に係るパノラマ画像iPの補正処理の原理説明図である。
(Principle of panorama image correction processing)
Hereinafter, the principle of the correction process for the panoramic image iP according to the present embodiment will be described with reference to FIGS. 5A to 5C. 5A to 5C are explanatory diagrams of the principle of the correction processing of the panoramic image iP according to the embodiment.
図5Aは、カメラ2で3本の棒A,B,Cを撮影したときに得られるパノラマ画像iP(補正前のパノラマ画像iP1)の一例を示している。また、図5B及び図5Cは、それぞれ、補正前のパノラマ画像iP1を補正処理することによって得られる補正後のパノラマ画像iP2の一例を示している。
FIG. 5A shows an example of a panoramic image iP (a panoramic image iP1 before correction) obtained when the
図5A(a)は、3本の棒A,B,Cとカメラ2との配置関係を示している。図5A(a)に示すように、3本の棒A,B,Cは、上下方向に、平行で、かつ、等間隔に、上から順に配置されている。カメラ2は、上段の棒Aと同じ高さの位置に配置されており、光軸laが中段の棒Bに向けられた状態になっている。
FIG. 5A (a) shows the arrangement relationship between the three bars A, B, and C and the
例えば、カメラ2が、図5A(a)に示す状態で、光軸laを中段の棒Bに向けて撮影したとする。この場合に、カメラ2は、画像の中央付近で、中段の棒Bが水平方向に直線状に写っている魚眼画像iFを撮影する(図5A(b)参照)。
For example, it is assumed that the
図5A(b)は、このカメラ2によって撮影された魚眼画像iFの一例を示している。図5A(b)に示す例では、魚眼画像iFは、上段の棒Aが上向きに湾曲(すなわち、上段の棒Aの中央部分が上方向に湾曲)し、中段の棒Bが水平方向に直線状に延伸し、下段の棒Cが下向きに湾曲(すなわち、下段の棒Cの中央部分が下方向に湾曲)した構成になっている。
FIG. 5A (b) shows an example of a fisheye image iF photographed by the
次に、作成装置3は、図5A(b)に示す魚眼画像iFに基づいて、パノラマ画像iP(補正前のパノラマ画像iP1)を作成する。このとき作成されるパノラマ画像iP(補正前のパノラマ画像iP1)は、画像の中央付近で、中段の棒Bが水平方向に直線状に写っており、また、水平基準線hsが棒Bに一致する構成になっている(図5A(c)参照)。
Next, the creating
図5A(c)は、図5A(b)に示す魚眼画像iFに基づいて作成されるパノラマ画像iP(補正前のパノラマ画像iP1)の一例を示している。図5A(c)に示す例では、パノラマ画像iP(補正前のパノラマ画像iP1)は、水平基準線hsが中段の棒B上の位置に存在しており、上段の棒Aが上向きに湾曲し、中段の棒Bが水平方向に直線状に延伸し、下段の棒Cが下向きに湾曲した構成になっている。 FIG. 5A (c) shows an example of a panorama image iP (a panorama image iP1 before correction) created based on the fisheye image iF shown in FIG. 5A (b). In the example shown in FIG. 5A (c), in the panorama image iP (the panorama image iP1 before correction), the horizontal reference line hs exists at a position on the middle bar B, and the upper bar A is curved upward. The middle bar B extends in a straight line in the horizontal direction, and the lower bar C is curved downward.
図5Bは、上段の棒Aをターゲットにする場合のパノラマ画像iPの補正処理の原理を示している。この場合に、図5B(a)に示すように、作成装置3のパノラマ画像作成部31eは、カメラ2の傾斜角度ρAを切出平面cpの回転角度ρとし、切出平面cpの回転角度ρA分だけ下方向に回転させた状態で、補正後のパノラマ画像iP2を作成する。なお、カメラ2の傾斜角度ρAは、設定情報の初期値として設定情報格納部32cに予め格納される。
FIG. 5B shows the principle of the correction process for the panoramic image iP when the upper bar A is targeted. In this case, as shown in FIG. 5B (a), the panorama
図5B(b)は、補正前のパノラマ画像iP1の一例を示している。図5B(b)に示す補正前のパノラマ画像iP1は、図5A(c)に示す補正前のパノラマ画像iP1と同じものである。 FIG. 5B (b) shows an example of the panoramic image iP1 before correction. The panoramic image iP1 before correction shown in FIG. 5B (b) is the same as the panoramic image iP1 before correction shown in FIG. 5A (c).
一方、図5B(c)は、補正後のパノラマ画像iP2の一例を示している。図5B(c)に示す例では、補正後のパノラマ画像iP2は、補正前のパノラマ画像iP1(図5B(b)参照)と比較すると、水平基準線hsが、中段の棒B上の位置から上段の棒A上の位置に移動している。また、補正後のパノラマ画像iP2は、上段の棒Aが水平方向に直線状に延伸し、中段の棒Bが下向きに湾曲(すなわち、中段の棒Bの中央部分が下方向に湾曲)し、下段の棒Cが下向きにさらに大きく湾曲(すなわち、下段の棒Cの中央部分が下方向にさらに大きく湾曲)した構成になっている。 On the other hand, FIG. 5B (c) shows an example of the corrected panoramic image iP2. In the example shown in FIG. 5B (c), the corrected panoramic image iP2 is compared with the panoramic image iP1 before correction (see FIG. 5B (b)) so that the horizontal reference line hs is from the position on the middle bar B. It has moved to a position on the upper bar A. Further, in the corrected panoramic image iP2, the upper bar A extends in a straight line in the horizontal direction, the middle bar B curves downward (that is, the middle part of the middle bar B curves downward), The lower rod C is further curved downward (that is, the central portion of the lower rod C is further curved downward).
図5Cは、下段の棒Cをターゲットにする場合のパノラマ画像iPの補正処理の原理を示している。この場合に、図5C(a)に示すように、作成装置3のパノラマ画像作成部31eは、切出平面cpの回転角度ρ分だけ上方向に回転させた状態で、補正後のパノラマ画像iP2を作成する。
FIG. 5C shows the principle of the correction processing of the panoramic image iP when the lower bar C is targeted. In this case, as shown in FIG. 5C (a), the panorama
図5C(b)は、補正前のパノラマ画像iP1の一例を示している。図5C(b)に示す補正前のパノラマ画像iP1は、図5A(c)に示す補正前のパノラマ画像iP1と同じものである。 FIG. 5C (b) shows an example of the panoramic image iP1 before correction. The panorama image iP1 before correction shown in FIG. 5C (b) is the same as the panorama image iP1 before correction shown in FIG. 5A (c).
一方、図5C(c)は、補正後のパノラマ画像iP2の一例を示している。図5C(c)に示す例では、補正後のパノラマ画像iP2は、補正前のパノラマ画像iP1(図5C(b)参照)と比較すると、水平基準線hsが、中段の棒B上の位置から下段の棒C上の位置に移動している。また、補正後のパノラマ画像iP2は、上段の棒Aが上向きにさらに大きく湾曲(すなわち、上段の棒Aの中央部分が上方向にさらに大きく湾曲)し、中段の棒Bが上向きに湾曲(すなわち、中段の棒Bの中央部分が上方向に湾曲)し、下段の棒Cが水平方向に直線状に延伸した構成になっている。 On the other hand, FIG. 5C (c) shows an example of the corrected panoramic image iP2. In the example shown in FIG. 5C (c), the corrected panoramic image iP2 is compared with the panoramic image iP1 before correction (see FIG. 5C (b)) so that the horizontal reference line hs is from the position on the middle bar B. It has moved to a position on the lower bar C. Further, in the corrected panoramic image iP2, the upper bar A is further curved upward (that is, the central part of the upper bar A is further curved upward), and the middle bar B is curved upward (that is, The central portion of the middle bar B is curved upward), and the lower bar C is linearly extended in the horizontal direction.
ところで、監視者は、任意のタイミングで、水平補正操作を行うことができる。図6A及び図6Bは、それぞれ、実施形態に係る水平補正操作の説明図である。図6Aは、水平基準線hsを上方向に移動させる場合の水平補正操作例を示しており、また、図6Bは、水平基準線hsを下方向に移動させる場合の水平補正操作例を示している。 By the way, the supervisor can perform the horizontal correction operation at an arbitrary timing. 6A and 6B are explanatory diagrams of the horizontal correction operation according to the embodiment, respectively. FIG. 6A shows an example of horizontal correction operation when the horizontal reference line hs is moved upward, and FIG. 6B shows an example of horizontal correction operation when the horizontal reference line hs is moved downward. Yes.
ここでは、カメラ2が、図5A(a)に示すように、下げ振り設置されており、また、作成装置3が、図5B(b)に示す補正前のパノラマ画像iP1を作成した場合を想定して説明する。また、ここでは、マウスを移動させる方向と水平基準線hsを移動させる方向とが一致しているものとして説明する。そのため、ここでは、マウスで指定する指定箇所は、補正前のパノラマ画像iP1の中のどの箇所であってもよいものとして説明する。
Here, it is assumed that the
水平補正操作では、監視者は、マウスでドラッグ操作を行うことによって、水平基準線hsを上方向又は下方向に移動させるための相対的な移動量(ただし、移動量の上方向又は下方向の成分量のみ)Moを入力する。以下、この移動量Moを「マウス移動量Mo」と称する。 In the horizontal correction operation, the monitor performs a drag operation with the mouse, thereby moving the horizontal reference line hs upward or downward relative to the relative movement amount (however, the movement amount upward or downward). (Mounting amount only) Enter Mo. Hereinafter, this movement amount Mo is referred to as “mouse movement amount Mo”.
例えば、監視者は、図5B(b)に示す補正前のパノラマ画像iP1の中で、上向きに湾曲した状態で写っている上段の棒Aを水平補正したいターゲットとする場合に、図5B(c)に示すように、棒Aが水平方向に直線状に延伸した状態になるまで、マウスを使用して、補正前のパノラマ画像iP1の中の任意の箇所を指定箇所として指定して、指定箇所を上方向に移動させるドラッグ操作を行う(図6A(a)参照)。これにより、監視者は、マウス移動量Moを作成装置3に入力する。
For example, in the case of the panorama image iP1 before correction shown in FIG. 5B (b), the monitor uses the upper bar A, which is reflected in an upward curved state, as a target to be corrected horizontally, as shown in FIG. As shown in FIG. 4B, use the mouse to specify an arbitrary position in the panorama image iP1 before correction as the specified position until the bar A is in a state of being linearly extended in the horizontal direction. A drag operation is performed to move the button upward (see FIG. 6A (a)). As a result, the supervisor inputs the mouse movement amount Mo to the
このとき、作成装置3の入力判定部31bは、監視者によるドラッグ操作を水平補正操作として識別する。そして、入力判定部31bは、ドラッグ操作によるマウス移動量Moを特定する。作成装置3の設定部31cは、入力判定部31bがマウス移動量Moを特定すると、マウス移動量Moに対応する角度を算出する。
At this time, the
「マウス移動量Moに対応する角度」は、前回作成時のパノラマ画像iP(ここでは、補正前のパノラマ画像iP1)の作成に用いられた回転角度ρを補正する「補正角度Δρ(図6A(b)参照)」として用いられる。設定部31cは、予め定められた「変換係数κ(°/mm)」をマウス移動量Moに掛け合わせることによって、「補正角度Δρ」を算出する。
“An angle corresponding to the mouse movement amount Mo” is a “correction angle Δρ (FIG. 6A (FIG. 6A)) for correcting the rotation angle ρ used to create the panorama image iP (here, the panorama image iP1 before correction). b) see)) ”. The
「変換係数κ」は、マウス移動量Moを角度値に変換するために予め定められた係数である。「変換係数κ」は、マウス移動量Moに対応する補正角度Δρが監視者の操作感覚と一致するように、実験等によって得られた値に予め設定されている。「変換係数κ」は、運用に応じて、値を変更することが可能である。「変換係数κ」は、値を大きくすれば、マウス移動量Moに対応する補正角度Δρが大きくなり、値を小さくすれば、マウス移動量Moに対応する補正角度Δρが小さくなる。 The “conversion coefficient κ” is a coefficient determined in advance for converting the mouse movement amount Mo into an angle value. The “conversion coefficient κ” is set in advance to a value obtained by an experiment or the like so that the correction angle Δρ corresponding to the mouse movement amount Mo matches the operation feeling of the monitor. The “conversion coefficient κ” can be changed according to the operation. If the value of the “conversion coefficient κ” is increased, the correction angle Δρ corresponding to the mouse movement amount Mo is increased, and if the value is decreased, the correction angle Δρ corresponding to the mouse movement amount Mo is decreased.
設定部31cは、補正角度Δρを算出すると、設定情報として設定情報格納部32bに格納する。作成装置3のパノラマ画像作成部31eは、設定情報格納部32bから補正角度Δρを読み出し、補正角度Δρをパノラマ画像iP(ここでは、補正前のパノラマ画像iP1)の前回作成時の回転角度(以下、「回転角度ρ1」と称する)に加算して、補正後の回転角度ρを算出する。すなわち、パノラマ画像作成部31eは、「ρ1+Δρ」を補正後の回転角度ρとして算出する(図6A(b)参照)。
After calculating the correction angle Δρ, the
そして、パノラマ画像作成部31eは、図6A(b)に示すように、回転軸raを中心にして、切出平面cpを、パノラマ画像iPの前回作成時の回転角度ρ1から補正角度Δρ分だけ下方向に回転させた状態(すなわち、カメラ2の光軸laの方向から補正後の回転角度ρ分だけ下方向に回転させた状態)で、補正後のパノラマ画像iP2(図6A(c)参照)を作成する。
Then, as shown in FIG. 6A (b), the panorama
図6A(c)に示す例では、補正後のパノラマ画像iP2は、補正前のパノラマ画像iP1(図6A(a)参照)と比較すると、水平基準線hsが補正前の位置よりも上方向に移動している。そして、その水平基準線hsの移動に伴って、視線の基準線slが、水平方向に直線状に延伸する状態になり、水平基準線hsと重なった状態になっている。 In the example shown in FIG. 6A (c), the corrected panoramic image iP2 is higher in the horizontal reference line hs than the uncorrected position compared to the uncorrected panoramic image iP1 (see FIG. 6A (a)). Has moved. With the movement of the horizontal reference line hs, the reference line sl of the line of sight extends in a straight line in the horizontal direction and overlaps the horizontal reference line hs.
なお、例えば、監視者は、図5C(b)に示す補正前のパノラマ画像iP1の中で、下向きに湾曲した状態で写っている下段の棒Cを水平補正したいターゲットとする場合に、図5C(c)に示すように、棒Cが水平方向に直線状に延伸した状態になるまで、マウスを使用して、補正前のパノラマ画像iP1の中の任意の箇所を指定箇所として指定して、指定箇所を下方向に移動させるドラッグ操作を行う(図6B(a)参照)。これによって、監視者は、マウス移動量Moを作成装置3に入力する。
Note that, for example, in the case where the observer wants to horizontally correct the lower bar C that is reflected downward in the panorama image iP1 before correction shown in FIG. As shown in (c), use the mouse to specify an arbitrary location in the panorama image iP1 before correction as the specified location until the bar C is in a state of being linearly extended in the horizontal direction, A drag operation for moving the designated portion downward is performed (see FIG. 6B (a)). As a result, the monitor inputs the mouse movement amount Mo to the
このとき、作成装置3の入力判定部31bがマウス移動量Moを特定し、作成装置3の設定部31cがマウス移動量Moに対応する角度(補正角度Δρ(図6B(b)参照))を算出する。
At this time, the
設定部31cは、補正角度Δρを算出すると、設定情報として設定情報格納部32bに格納する。作成装置3のパノラマ画像作成部31eは、設定情報格納部32bから補正角度Δρを読み出し、パノラマ画像iP(ここでは、補正前のパノラマ画像iP1)の前回作成時の回転角度ρ1から補正角度Δρを減算して、補正後の回転角度ρを算出する。すなわち、パノラマ画像作成部31eは、「ρ1−Δρ」を補正後の回転角度ρとして算出する(図6B(b)参照)。
After calculating the correction angle Δρ, the
そして、パノラマ画像作成部31eは、図6B(b)に示すように、回転軸raを中心にして、切出平面cpを、パノラマ画像iPの前回作成時の回転角度ρ1から補正角度Δρ分だけ上方向に回転させた状態(すなわち、カメラ2の光軸laの方向から補正後の回転角度ρ分だけ上方向に回転させた状態)で、補正後のパノラマ画像iP2(図6B(c)参照)を作成する。
Then, as shown in FIG. 6B (b), the panorama
図6B(c)に示す例では、補正後のパノラマ画像iP2は、補正前のパノラマ画像iP1(図6B(a)参照)と比較すると、水平基準線hsが補正前の位置よりも下方向に移動している。そして、その水平基準線hsの移動に伴って、視線の基準線slが、水平方向に直線状に延伸する状態になり、水平基準線hsと重なった状態になっている。 In the example shown in FIG. 6B (c), the corrected panoramic image iP2 has a lower horizontal reference line hs than the position before correction, compared with the uncorrected panoramic image iP1 (see FIG. 6B (a)). Has moved. With the movement of the horizontal reference line hs, the reference line sl of the line of sight extends in a straight line in the horizontal direction and overlaps the horizontal reference line hs.
このように、作成装置3は、監視者がマウスを操作してマウス移動量Moを入力することにより、切出平面cpの延伸方向が水平補正したいターゲットに一致するように、切出平面cpを、パノラマ画像iPの前回作成時の回転角度ρ1から補正角度Δρ分だけ上方向又は下方向に回転させる。これにより、作成装置3は、水平基準線hsの位置を上方向又は下方向に移動させる。
As described above, the
なお、図6A及び図6Bに示す例では、作成装置3は、マウスを移動させる方向と水平基準線hsを移動させる方向とが一致する構成になっている。そのため、監視者は、水平基準線hsを上方向に移動させる場合に、補正前のパノラマ画像iP1の中の任意の箇所を指定箇所として指定して、マウスを上方向に移動させ、一方、水平基準線hsを下方向に移動させる場合に、補正前のパノラマ画像iP1の中の任意の箇所を指定箇所として指定して、マウスを下方向に移動させている。
In the example shown in FIGS. 6A and 6B, the
しかしながら、作成装置3は、運用次第で、例えば、図6C及び図6Dに示すように、図6A及び図6Bに示す例とは異なる水平補正操作を適用することができる。図6C及び図6Dは、それぞれ、実施形態に係る水平補正操作の変形例の説明図である。図6Cは、水平基準線hsを上方向に移動させる場合の水平補正操作例を示しており、また、図6Dは、水平基準線hsを下方向に移動させる場合の水平補正操作例を示している。
However, the
図6C及び図6Dに示す例では、作成装置3は、補正前のパノラマ画像iP1を中央付近の領域と端部付近の領域とに分け、中央付近の領域と端部付近の領域とで異なる水平補正操作を受け付ける構成になっている。
In the example shown in FIGS. 6C and 6D, the
例えば、図6C及び図6Dに示す例では、作成装置3は、図6C(a)に示すように、監視者が、補正前のパノラマ画像iP1の中の中央付近の箇所を指定箇所として指定して、マウスを下方向に移動させた場合に、水平基準線hsを上方向に移動させ、一方、図6C(b)に示すように、監視者が、補正前のパノラマ画像iP1の中の中央付近の箇所を指定箇所として指定して、マウスを上方向に移動させた場合に、水平基準線hsを下方向に移動させる構成になっている。
For example, in the example illustrated in FIGS. 6C and 6D, the
また、例えば、作成装置3は、図6D(a)に示すように、監視者が、補正前のパノラマ画像iP1の中の端部付近の箇所を指定箇所として指定して、マウスを上方向に移動させた場合に、水平基準線hsを上方向に移動させ、一方、図6D(b)に示すように、監視者が、補正前のパノラマ画像iP1の中の端部付近の箇所を指定箇所として指定して、マウスを下方向に移動させた場合に、水平基準線hsを下方向に移動させる構成になっている。
Further, for example, as shown in FIG. 6D (a), the
<実施形態に係るパノラマ画像作成装置の特性>
ここで、図7A及び図7Bを参照して、作成装置3の特性につき説明する。図7A及び図7Bは、それぞれ、実施形態に係る作成装置3の特性の説明図である。ここでは、比較例1及び比較例2と対比して、作成装置3の特性を説明する。
<Characteristics of Panorama Image Creation Device According to Embodiment>
Here, the characteristics of the
図7A(a)〜図7A(c)は、それぞれ、比較例1、比較例2、及び、本実施形態おけるカメラ2の設置構造と、パノラマ画像iPの作成に用いる写像maの切出位置を示している。比較例1は、従来技術の、カメラを標準的な人の目線の高さの位置に水平設置する場合の構成に相当する。また、比較例2は、従来技術の、カメラを高い位置に下げ振り設置してパノラマ画像を第2の作成手法で作成する場合の構成に相当する。
FIGS. 7A (a) to 7A (c) show the installation structure of the
図7A(a)〜図7A(c)の左図は、それぞれ、カメラ2の設置構造を示している。また、図7A(a)〜図7A(c)の右図は、それぞれ、パノラマ画像iPの作成に用いる、魚眼画像i1F,i2F,iF上の写像maの切出位置を示している。また、図7Bは、比較例1、比較例2、及び、本実施形態のメリットとデメリットとを示している。
7A (a) to 7A (c) show the installation structure of the
(比較例1のメリットとデメリット)
図7A(a)に示す比較例1は、カメラ2を、標準的な人の目線の高さ(例えば、床面から約1500mmの高さ)の位置に水平設置している。比較例1は、図示せぬ作成装置が、レンズ中心Oを通る水平面を切出平面cpとし、切出平面cpと半球面画像i1Sとが交わる曲線を切出線clとし、切出線clに沿って半球面画像i1S(厳密には、半球面画像i1Sに対応する魚眼画像i1F)から写像maを連続して切り出す。
(Advantages and disadvantages of Comparative Example 1)
In Comparative Example 1 shown in FIG. 7A (a), the
このとき、切出線clは、図7A(a)の右図に示すように、魚眼画像i1Fの中央を通る水平な直線状の形状になる。図示せぬ作成装置は、その切出線cl上の位置から写像maを切り出して、パノラマ画像iPを作成する。 At this time, the cut line cl has a horizontal straight line shape passing through the center of the fisheye image i1F, as shown in the right diagram of FIG. 7A (a). The creating device (not shown) creates the panorama image iP by cutting out the mapping ma from the position on the cut line cl.
このような比較例1は、図7Bに示すメリットとデメリットとがある。
すなわち、比較例1は、中央付近の歪みがないパノラマ画像iPを作成することができる。そのため、比較例1は、ターゲットを監視し易い、というメリットがある。
Such Comparative Example 1 has advantages and disadvantages shown in FIG. 7B.
In other words, Comparative Example 1 can create a panoramic image iP without distortion near the center. Therefore, Comparative Example 1 has an advantage that it is easy to monitor the target.
しかしながら、その一方で、比較例1は、カメラ2が低い位置に設置されており、カメラ2が人によって触られる可能性がある。そのため、比較例1は、カメラ2が悪戯され易い、というデメリットがある。また、比較例1は、カメラ2の用途が防犯用である場合に、人に威圧感を与えたり、景観を損ねたりする可能性がある、というデメリットがある。
However, in Comparative Example 1, the
(比較例2のメリットとデメリット)
図7A(b)に示す比較例2は、カメラ2を、人の手が届かない高い位置に、傾斜角度ρAで下げ振り設置している。比較例2は、図示せぬ作成装置が、レンズ中心Oを通る水平面を切出平面cpとし、切出平面cpと半球面画像i2Sとが交わる曲線を切出線clとし、切出線clに沿って半球面画像i2S(厳密には、半球面画像i2Sに対応する魚眼画像i2F)から写像maを連続して切り出す。
(Advantages and disadvantages of Comparative Example 2)
In Comparative Example 2 shown in FIG. 7A (b), the
このとき、切出線clは、図7A(b)の右図に示すように、魚眼画像i2Fの中央から上方向に外れるように上向きに湾曲した形状になる。図示せぬ作成装置は、その切出線cl上の位置から写像maを切り出して、パノラマ画像iPを作成する。 At this time, as shown in the right diagram of FIG. 7A (b), the cut line cl has a shape that curves upward so as to deviate upward from the center of the fisheye image i2F. The creating device (not shown) creates the panorama image iP by cutting out the mapping ma from the position on the cut line cl.
このような比較例2は、図7Bに示すメリットとデメリットとがある。
すなわち、比較例2は、カメラ2が高い位置に設置されている。そのため、比較例2は、カメラ2が悪戯され難い、というメリットがある。また、比較例2は、カメラ2の用途が防犯用であっても、人に威圧感を与えたり、景観を損ねたりしない、というメリットがある。
Such Comparative Example 2 has advantages and disadvantages shown in FIG. 7B.
That is, in Comparative Example 2, the
しかしながら、その一方で、比較例2は、以下のデメリットがある。
(1)比較例2は、以下に説明するように、スイートスポットを余り含まず、中央付近の歪みが大きいパノラマ画像iPしか作成することができない、というデメリットがある。
However, Comparative Example 2 has the following demerits.
(1) As described below, Comparative Example 2 has a demerit that only a panoramic image iP that does not include a lot of sweet spots and has a large distortion near the center can be created.
一般に、ターゲットは、魚眼画像iF(比較例2では、魚眼画像i2F)の中央付近の領域に写り込み易く、中央から外れた領域にはあまり写らない。そのため、魚眼画像iFは、画像の中央付近の領域がターゲットの特徴部分を多く含む構成になる。また、魚眼画像iFは、歪みが、画像の中央に近いほど小さく、画像の中央から外れるほど大きくなるため、有効解像度が、画像の中央に近いほど高く、画像の中央から外れるほど低くなる、という特性がある。したがって、魚眼画像iFは、画像の中央付近の領域が、ターゲットの特徴部分を多く含み、かつ、有効解像度の高い領域となっている。そのため、魚眼画像iFは、画像の中央付近の領域が、ターゲットの特徴が分かり易い領域(以下、「スイートスポット」と称する)となっている。 In general, the target is easily reflected in a region near the center of the fish-eye image iF (in the comparative example 2, the fish-eye image i2F), and is hardly reflected in a region outside the center. Therefore, the fish-eye image iF has a configuration in which a region near the center of the image includes many target features. In addition, the fisheye image iF has a smaller distortion as it approaches the center of the image and increases as it moves away from the center of the image. Therefore, the effective resolution becomes higher as it approaches the center of the image and decreases as it moves away from the center of the image. There is a characteristic. Therefore, in the fish-eye image iF, the region near the center of the image is a region including many target features and having a high effective resolution. Therefore, in the fish-eye image iF, an area near the center of the image is an area in which the characteristics of the target are easily understood (hereinafter referred to as “sweet spot”).
それにも関わらず、比較例2は、切出線clが魚眼画像i2Fの中央から上方向に外れるように上向きに湾曲した形状になっており、その切出線cl上の位置から写像maを切り出して、パノラマ画像iPを作成する。そのため、比較例2は、スイートスポットを余り含まないパノラマ画像iPしか作成することができない。また、比較例2では、パノラマ画像iPの中央付近の領域は、魚眼画像i2Fの中央から外れた領域に対応する。そのため、比較例2は、中央付近の歪みが大きいパノラマ画像iPしか作成することができない。 Nevertheless, Comparative Example 2 has a shape in which the cut line cl is curved upward so that the cut line cl deviates upward from the center of the fisheye image i2F, and the mapping ma is obtained from the position on the cut line cl. Cut out to create a panoramic image iP. Therefore, Comparative Example 2 can create only a panoramic image iP that does not include much sweet spots. In Comparative Example 2, a region near the center of the panoramic image iP corresponds to a region outside the center of the fisheye image i2F. Therefore, Comparative Example 2 can create only a panoramic image iP with a large distortion near the center.
(2)比較例2は、ターゲットが中央に配置されない構成のパノラマ画像iPを作成する、というデメリットがある。すなわち、ターゲットは、魚眼画像i2Fの中央付近に写り込み易い。しかしながら、比較例2は、前記した通り、切出線clが魚眼画像i2Fの中央から上方向に外れるように上向きに湾曲した形状になっており、その切出線cl上の位置から写像maを切り出して、パノラマ画像iPを作成する。そのため、比較例2は、ターゲットが中央に配置されない構成のパノラマ画像iPを作成する。このような構成のパノラマ画像iPは、ターゲットが中央に配置されない構成になっているため、ターゲットを監視し難い。 (2) The comparative example 2 has a demerit that a panoramic image iP having a configuration in which the target is not arranged in the center is created. That is, the target is easily reflected near the center of the fisheye image i2F. However, in Comparative Example 2, as described above, the cut line cl is curved upward so as to deviate upward from the center of the fish-eye image i2F, and the mapping ma is determined from the position on the cut line cl. To create a panoramic image iP. Therefore, Comparative Example 2 creates a panoramic image iP having a configuration in which the target is not arranged in the center. Since the panorama image iP having such a configuration is configured such that the target is not arranged in the center, it is difficult to monitor the target.
(3)比較例2は、解像度の高い、高価なカメラが必要になる、というデメリットがある。すなわち、比較例2は、魚眼画像i2Fの中央から外れた領域から切り出された写像maを用いてパノラマ画像iPを作成する。その領域は、有効解像度の低い領域である。そのため、比較例2は、解像度の高い、高価なカメラが必要になる。 (3) The comparative example 2 has a demerit that an expensive camera with high resolution is required. That is, in the second comparative example, the panorama image iP is created using the mapping ma cut out from the area outside the center of the fisheye image i2F. The area is an area having a low effective resolution. Therefore, the comparative example 2 requires an expensive camera with high resolution.
(4)比較例2は、解像度の高いカメラで撮影する必要がある。そのため、比較例2は、撮影画像(魚眼画像i2F)の1枚当たりの画像容量が大きくなり、これにより、録画時間が短くなる、というデメリットがある。 (4) Comparative Example 2 needs to be taken with a high-resolution camera. Therefore, the comparative example 2 has a demerit that the image capacity per one photographed image (fisheye image i2F) is increased, thereby shortening the recording time.
(本実施形態のメリット)
図7A(c)に示す本実施形態は、カメラ2を、人の手が届かない高い位置に、傾斜角度ρAで下げ振り設置している。本実施形態は、作成装置3が、半球面画像iSの天頂tpを通る水平面を切出平面cpとし、切出平面cpと半球面画像iSとが交わる曲線を切出線clとし、切出線clに沿って半球面画像iS(厳密には、半球面画像i2Sに対応する魚眼画像i2F)から写像maを連続して切り出す。
(Advantages of this embodiment)
In the present embodiment shown in FIG. 7A (c), the
このとき、切出線clは、図7A(c)の右図に示すように、魚眼画像iFの中央を通るように上向きに湾曲した形状になる。本実施形態の作成装置3は、その切出線cl上の位置から写像maを切り出して、パノラマ画像iPを作成する。
At this time, the cut line cl has a shape curved upward so as to pass through the center of the fisheye image iF, as shown in the right diagram of FIG. 7A (c). The
このような本実施形態は、図7Bに示すメリットがある。
(1)すなわち、本実施形態は、カメラ2が高い位置に設置されている。そのため、本実施形態は、カメラ2が悪戯され難い、というメリットがある。また、本実施形態は、カメラ2の用途が防犯用であっても、人に威圧感を与えたり、景観を損ねたりしない、というメリットがある。
Such an embodiment has the merit shown in FIG. 7B.
(1) That is, in this embodiment, the
(2)本実施形態は、以下に説明するように、スイートスポットを多く含む、中央付近の歪みが小さいパノラマ画像iPを作成することができる、というメリットがある。
すなわち、本実施形態は、切出線clが魚眼画像iFの中央を通る円弧状の曲線状の形状になっており、その切出線cl上の位置から写像maを切り出して、パノラマ画像iPを作成する。そのため、本実施形態は、スイートスポットを多く含むパノラマ画像iPを作成することができる。また、本実施形態では、パノラマ画像iPの中央付近の領域は、魚眼画像iFの中央付近の領域に対応する。そのため、本実施形態は、中央付近の歪みが小さいパノラマ画像iPを作成することができる。
(2) The present embodiment has an advantage that a panoramic image iP including many sweet spots and having a small distortion near the center can be created as described below.
That is, according to the present embodiment, the cut line cl has an arcuate curved shape passing through the center of the fisheye image iF, and the mapping ma is cut out from the position on the cut line cl to obtain a panoramic image iP. Create Therefore, this embodiment can create a panoramic image iP including many sweet spots. In the present embodiment, the area near the center of the panoramic image iP corresponds to the area near the center of the fisheye image iF. Therefore, this embodiment can create a panoramic image iP with a small distortion near the center.
(3)本実施形態は、ターゲットが常に中央に配置される構成のパノラマ画像iPを作成することができる、というメリットがある。すなわち、ターゲットは、魚眼画像i2Fの中央付近に写り込み易い。本実施形態は、前記した通り、切出線clが魚眼画像iFの中央を通る円弧状の曲線状の形状になっており、その切出線cl上の位置から写像maを切り出して、パノラマ画像iPを作成する。そのため、本実施形態は、ターゲットが常に中央に配置される構成のパノラマ画像iPを作成することができる。このような構成のパノラマ画像iPは、ターゲットが常に中央に配置される構成になっているため、ターゲットを監視し易い。 (3) This embodiment has an advantage that a panoramic image iP having a configuration in which the target is always arranged at the center can be created. That is, the target is easily reflected near the center of the fisheye image i2F. In the present embodiment, as described above, the cut line cl has an arcuate curved shape passing through the center of the fish-eye image iF, and the mapping ma is cut out from the position on the cut line cl to obtain a panorama. Create an image iP. Therefore, according to the present embodiment, it is possible to create a panoramic image iP having a configuration in which the target is always arranged at the center. Since the panorama image iP having such a configuration is configured such that the target is always arranged at the center, it is easy to monitor the target.
(4)本実施形態は、解像度の低い、安価な汎用のカメラを使用することができる、というメリットがある。すなわち、本実施形態は、魚眼画像iFの中央を通る領域から切り出された写像maを用いてパノラマ画像iPを作成する。その領域は、有効解像度の高い領域が多く含まれている。そのため、本実施形態は、解像度の低い、安価な汎用のカメラを使用することができる。 (4) This embodiment has an advantage that an inexpensive general-purpose camera with low resolution can be used. That is, in the present embodiment, the panorama image iP is created using the mapping ma cut out from the region passing through the center of the fisheye image iF. The area includes many areas with high effective resolution. Therefore, this embodiment can use an inexpensive general-purpose camera with low resolution.
(5)本実施形態は、解像度の低い汎用のカメラで撮影することができる。そのため、本実施形態は、撮影画像(魚眼画像iF)の1枚当たりの画像容量が小さくなり、これにより、録画時間が長くなる、というメリットがある。
本実施形態は、デメリットを生じさせることなく、これらのメリットを得ることができる。
(5) In this embodiment, it is possible to take a picture with a general-purpose camera having a low resolution. For this reason, the present embodiment has an advantage that the image capacity per shot image (fisheye image iF) is reduced, thereby increasing the recording time.
This embodiment can obtain these merits without causing demerits.
<パノラマ画像の作成に用いるパラメータ及び計算手法>
(パノラマ画像の作成に用いる主なパラメータ)
以下、図8A〜図8Cを参照して、パノラマ画像iPの作成に用いるパラメータ及び計算手法につき説明する。図8A〜図8Cは、それぞれ、実施形態に係るパノラマ画像iPの作成に用いるパラメータの説明図である。
<Parameters and calculation methods used to create panoramic images>
(Main parameters used for creating panoramic images)
Hereinafter, parameters and calculation methods used for creating the panoramic image iP will be described with reference to FIGS. 8A to 8C. 8A to 8C are explanatory diagrams of parameters used for creating the panoramic image iP according to the embodiment.
ここでは、図8Aに示すように、カメラ2の光軸方向をz軸方向とし、光軸laの左右方向をx軸方向とし、光軸laの上下方向をy軸方向とする、局地座標系を想定し、その局地座標系に基づいて説明する。なお、図2Aに示すように、カメラ2の光軸方向をX軸方向とし、光軸laの左右方向をY軸方向とし、光軸laの上下方向をZ軸方向とする、全体座標系で表す場合に、局地座標系のパラメータx,y,zは、それぞれ、全体座標のパラメータY,Z,Xに読み替えられる。
Here, as shown in FIG. 8A, the local coordinates in which the optical axis direction of the
図8Aは、x軸方向を右斜め下方向とし、y軸方向を右斜め上方向とし、z軸方向を上方向として見た場合の、半球面画像iS(仮想球面モデルMD)の構成を示している。図8Aは、パノラマ画像iPの作成に用いる写像maが、切出平面cpと半球面画像iSとが交わる切出線cl上に存在する特定の点Pを中心にして、切り出されることを示している。以下、写像maの中心となる点Pを「注視点P」と称する。 FIG. 8A shows the configuration of a hemispherical image iS (virtual spherical model MD) when the x-axis direction is a diagonally lower right direction, the y-axis direction is a diagonally upward right direction, and the z-axis direction is an upward direction. ing. FIG. 8A shows that the mapping ma used to create the panoramic image iP is cut out with a specific point P existing on the cut line cl where the cut plane cp and the hemispherical image iS intersect as the center. Yes. Hereinafter, the point P that is the center of the mapping ma is referred to as a “gaze point P”.
写像maは、注視点Pを中心にして、切出線clに対して垂直方向に、所定の寸法で切り出される。ここでは、写像maの寸法は、縦幅がhピクセルであり、かつ、横幅が1ピクセルであるものとして説明する。 The mapping ma is cut out with a predetermined dimension around the gazing point P in the direction perpendicular to the cutting line cl. Here, the dimension of the mapping ma will be described assuming that the vertical width is h pixels and the horizontal width is 1 pixel.
図8B(a)は、底面回転角θを示している。「底面回転角θ」は、原点O(レンズ中心O)と注視点Pとを結ぶ直線を「線O−P」とする場合の、xy平面におけるx軸に対する線O−Pの回転角度を意味している。 FIG. 8B (a) shows the bottom surface rotation angle θ. “Bottom rotation angle θ” means a rotation angle of the line OP with respect to the x axis in the xy plane when a straight line connecting the origin O (lens center O) and the gazing point P is defined as “line OP”. doing.
図8B(b)は、傾斜角度φを示している。「傾斜角度φ」は、xz平面におけるz軸に対する線O−Pの回転角度(仰角又は俯角)を意味している。 FIG. 8B (b) shows the inclination angle φ. “Inclination angle φ” means the rotation angle (elevation angle or depression angle) of the line OP with respect to the z axis in the xz plane.
図8B(c)は、写像回転角ωを示している。「写像回転角ω」は、写像maの回転角度を意味している。 FIG. 8B (c) shows the mapping rotation angle ω. “Map rotation angle ω” means the rotation angle of the map ma.
図8B(d)は、写像拡大率magnify−power(以下、単に「写像拡大率」と称する場合がある)を示している。「写像拡大率magnify−power」は、写像maを拡大させる比率を意味している。写像拡大率は、原点Oから注視点Pまでの距離に比例する。写像拡大率は、(1)写像maを仮想球面モデルMDの半球面よりも内側の位置から切り出す場合に、「0」よりも大きくかつ「1」未満の値に設定され、(2)写像maを仮想球面モデルMDの半球面上の位置から切り出す場合に、値が「1」に設定され、(3)写像maを仮想球面モデルMDの半球面よりも外側の位置から切り出す場合に、「1」よりも大きな値に設定される。 FIG. 8B (d) shows a mapping magnification factor “magnify-power” (hereinafter sometimes simply referred to as “mapping magnification factor”). “Mapping magnification“ magnify-power ”” means a ratio for enlarging the mapping ma. The map magnification is proportional to the distance from the origin O to the gazing point P. The mapping magnification is set to a value greater than “0” and less than “1” when (1) the mapping ma is cut out from a position inside the hemispherical surface of the virtual spherical model MD, and (2) the mapping ma. Is cut out from a position on the hemispherical surface of the virtual spherical model MD, the value is set to “1”. (3) When the mapping ma is cut out from a position outside the hemispherical surface of the virtual spherical model MD, “1” is set. "Is set to a value larger than". "
図8Cは、切出平面cpが、半球面画像iSの天頂tpに接する回転軸raを中心にして、光軸la(すなわち、撮影水平面XY(図2A参照))から回転角度ρ分だけ回転された状態を示している。 In FIG. 8C, the cut-out plane cp is rotated by the rotation angle ρ from the optical axis la (that is, the imaging horizontal plane XY (see FIG. 2A)) around the rotation axis ra that is in contact with the zenith tp of the hemispherical image iS. Shows the state.
図8C(a)は、x軸方向を左斜め下方向とし、y軸方向を右斜め下方向とし、z軸方向を上方向として見た場合の、半球面画像iS(仮想球面モデルMD)の構成を示している。 FIG. 8C (a) shows a hemispherical image iS (virtual spherical model MD) when the x-axis direction is a left diagonally downward direction, the y-axis direction is a diagonally downward right direction, and the z-axis direction is an upward direction. The configuration is shown.
図8C(b)は、x軸方向を右方向とし、y軸方向を上方向とし、z軸方向から見た場合の、半球面画像iS(仮想球面モデルMD)の構成を示している。 FIG. 8C (b) shows the configuration of the hemispherical image iS (virtual spherical model MD) when viewed from the z-axis direction with the x-axis direction being the right direction, the y-axis direction being the upward direction.
図8C(c)は、x軸方向を右方向とし、z軸方向を上方向とし、y軸方向から見た場合の、半球面画像iS(仮想球面モデルMD)の構成を示している。 FIG. 8C (c) shows the configuration of a hemispherical image iS (virtual spherical model MD) when viewed from the y-axis direction with the x-axis direction being the right direction, the z-axis direction being the upward direction.
図8C(d)は、y軸方向を右方向とし、z軸方向を上方向とし、x軸方向から見た場合の、半球面画像iS(仮想球面モデルMD)の構成を示している。 FIG. 8C (d) shows the configuration of the hemispherical image iS (virtual spherical model MD) when viewed from the x-axis direction with the y-axis direction as the right direction and the z-axis direction as the upward direction.
作成装置3は、カメラ2で撮影された撮影画像(魚眼画像iF)を仮想球面モデルMDの半球面上に投影させた半球面画像iS(図8A参照)を用いて、パノラマ画像iPを作成する。
The
その際に、作成装置3は、「仮想球面モデルMD(半球面画像iS)の半径」、「注視点Pの位置を表す角度情報」、「写像拡大率」、及び、「画像の解像度」が指定されることによって、注視点Pを中心とした写像maを展開画像として取得する。
At that time, the
したがって、仮想球面モデルMD(半球面画像iS)の半径と注視点Pの位置を表す角度情報と写像拡大率と画像の解像度とが、パノラマ画像iPを作成する際に必要な主なパラメータとなる。パノラマ画像iPを作成する際に必要な主なパラメータは、以下の通りである。 Therefore, the radius of the virtual spherical model MD (hemispherical image iS), the angle information indicating the position of the gazing point P, the mapping magnification, and the image resolution are the main parameters necessary for creating the panoramic image iP. . The main parameters necessary for creating the panorama image iP are as follows.
「仮想球面モデルMD(半球面画像iS)の半径」
・半径:r
「注視点Pの位置を表す角度情報」
・底面回転角:θ(図8B(a)参照)
・傾斜角度:φ(図8B(b)参照)
・写像回転角:ω(図8B(c)参照)
「写像拡大率」
・写像拡大率:magnify−power(図8B(d)参照)
「画像の解像度」
・撮影画像の解像度:(widthsrc,heightsrc)
・パノラマ画像の解像度:(widthdst,heightdst)
"Radius of virtual spherical model MD (hemispherical image iS)"
・ Radius: r
"Angle information indicating the position of the gazing point P"
-Bottom rotation angle: θ (see FIG. 8B (a))
Inclination angle: φ (see FIG. 8B (b))
Map rotation angle: ω (see FIG. 8B (c))
"Map magnification"
Map magnification ratio: “magnify-power” (see FIG. 8B (d))
"Image resolution"
・ Resolution of photographed image: (width src , height src )
Panorama image resolution: (width dst , height dst )
ここで、「撮影画像の解像度」とは、撮影画像(魚眼画像iF又は魚眼画像iFに対応する半球面画像iS)の解像度(画素密度)を意味している。「撮影画像の解像度」は、カメラ2の解像度に応じて決まる。また、「パノラマ画像の解像度」とは、作成するパノラマ画像iPの解像度(画素密度)を意味している。
Here, “resolution of the captured image” means the resolution (pixel density) of the captured image (fisheye image iF or hemispherical image iS corresponding to fisheye image iF). “Resolution of captured image” is determined according to the resolution of the
(設定パラメータ)
監視者は、事前に、作成装置3にパノラマ画像iPを作成させるための設定情報として、以下のパラメータを作成装置3に入力する。
(Setting parameters)
The supervisor inputs the following parameters to the
・仮想球面モデルMDの半径:r
・傾斜角度:ρA
・撮影画像の解像度:(widthsrc,heightsrc)
・パノラマ画像の解像度:(widthdst,heightdst)
-Radius of virtual spherical model MD: r
・ Inclination angle: ρA
・ Resolution of photographed image: (width src , height src )
Panorama image resolution: (width dst , height dst )
これに応じて、作成装置3は、傾斜角度ρAを切出平面cpの回転角度ρとして、パノラマ画像iPを作成する。ただし、作成装置3は、傾斜角度ρAが前記した適正角度から外れる場合(すなわち、−45°未満の角度である場合又は+45°よりも大きい角度である場合)に、−45°を下限値とし、+45°を上限値として、回転角度ρを自動的に設定する。
In response to this, the
(パノラマ画像iPの作成手法(作成モデル))
作成装置3は、パノラマ画像iPの作成に際して、半球面画像iSの天頂tpに接する回転軸raを中心にして、光軸la(すなわち、撮影水平面XY(図2A参照))から回転角度ρ分だけ回転された切出平面cpと半球面画像iSとが交わる曲線を切出曲線cpとし、切出曲線cp上に注視点Pを分布させる。なお、「撮影画像の解像度(widthsrc,heightsrc)」の「widthsrc」の値が、注視点Pの数(分布量)となる。
(Panorama image iP creation method (creation model))
When creating the panoramic image iP, the
次に、作成装置3は、切出曲線cpに沿って半球面画像iS(厳密には、半球面画像iSに対応する魚眼画像iF)から写像maを連続して切り出す。このとき、作成装置3は、切出曲線cpに沿って分布された注視点Pの位置から写像maを切り出す。そして、切り出した写像maを平面上に並べる。これによって、作成装置3は、パノラマ画像iPを作成する。以下、本実施形態に係るパノラマ画像iPの作成手法を「本実施形態の作成モデル」と称する。
Next, the
作成装置3は、本実施形態の作成モデルを用いることにより、ターゲットに対するカメラ2の画角を維持しながら、歪みの少ないパノラマ画像iPを作成することができる。
By using the creation model of the present embodiment, the
なお、パノラマ画像iPの作成に用いる写像maは、切出平面cpの回転角度ρが前記した適正角度である場合(すなわち、−45°以上でかつ+45°以下の範囲内の角度である場合)に、有効画素(ターゲットの特徴部分が写り込む画素)を多く含む構成になる。 Note that the mapping ma used to create the panoramic image iP is when the rotation angle ρ of the cut-out plane cp is the appropriate angle described above (that is, when the angle is within the range of −45 ° or more and + 45 ° or less). In addition, there are many effective pixels (pixels in which the target characteristic portion is reflected).
したがって、作成装置3は、切出平面cpの回転角度ρが前記した適正角度である場合(すなわち、−45°以上でかつ+45°以下の範囲内の角度である場合)に、好適なパノラマ画像iPを作成することができる。一方、作成装置3は、切出平面cpの回転角度ρが前記した適正角度から外れる場合(すなわち、−45°未満の角度である場合又は+45°よりも大きい角度である場合)に、好適なパノラマ画像iPを作成することができない。
Therefore, the
そこで、本実施形態では、作成装置3は、切出平面cpの回転角度ρが前記した適正角度から外れる場合(すなわち、−45°未満の角度である場合又は+45°よりも大きい角度である場合)に、切出平面cpの回転角度ρを一律に−45°又は+45°に設定して、パノラマ画像iPを作成する。すなわち、作成装置3は、−45°を切出平面cpの回転角度ρの下限値とし、+45°を切出平面cpの回転角度ρの上限値として、パノラマ画像iPを作成する。
Therefore, in the present embodiment, the
そのため、本実施形態では、作成装置3は、例えば、カメラ2が上げ振り設置又は下げ振り設置される場合で、かつ、カメラ2の傾斜角度ρA(図5A(a)参照)が前記した適正角度から外れる場合(すなわち、−45°未満の角度である場合又は+45°よりも大きい角度である場合)に、切出平面cpの回転角度ρを一律に−45°又は+45°に設定して、パノラマ画像iPを作成する。
Therefore, in the present embodiment, for example, the
作成装置3は、切出平面cpの回転角度ρをこのような値に設定することにより、スイートスポットを多く含む良好なパノラマ画像iPを作成することができる。
The
ところで、本実施形態の作成モデルは、図6A及び図6Bに示すように、切出平面cpの回転角度ρを変更することにより、パノラマ画像iPの水平基準線hsの位置を上方向又は下方向に移動させることができる。 By the way, as shown in FIGS. 6A and 6B, the creation model of the present embodiment changes the rotation angle ρ of the cut-out plane cp to change the position of the horizontal reference line hs of the panoramic image iP upward or downward. Can be moved to.
これにより、本実施形態の作成モデルは、視線の基準線slが水平方向に直線状に延伸する状態になるように、パノラマ画像iP(補正前のパノラマ画像iP1)を水平補正することができる。その結果、本実施形態の作成モデルは、ターゲットの特徴が分かり易い、補正後のパノラマ画像iP2を作成することができる。 Thereby, the creation model of the present embodiment can horizontally correct the panorama image iP (the panorama image iP1 before correction) so that the reference line sl of the line of sight extends linearly in the horizontal direction. As a result, the creation model of the present embodiment can create a corrected panoramic image iP2 in which the target features are easily understood.
したがって、例えば、作成されたパノラマ画像iPの中の視線の基準線slが湾曲して見える場合に、監視者は、マウスを使用して、パノラマ画像iPに対して、前記した水平補正操作を行う。これにより、監視者は、マウス移動量Moを作成装置3に入力する。このとき、作成装置3は、マウスの移動ベクトルの上下方向の成分のみをマウス移動量Moとして検出する。
Therefore, for example, when the reference line sl of the line of sight in the created panoramic image iP appears to be curved, the monitor uses the mouse to perform the horizontal correction operation described above on the panoramic image iP. . As a result, the supervisor inputs the mouse movement amount Mo to the
作成装置3は、マウス移動量Moが入力されると、変換係数κをマウス移動量Moに掛け合わせて、マウス移動量Moに対応する補正角度Δρとして、(κ×Mo)を算出する。なお、本実施形態に係る作成モデルでは、補正角度Δρ以外のパラメータは、固定パラメータとなる。
When the mouse movement amount Mo is input, the
作成装置3は、補正角度Δρを算出すると、補正角度Δρを、パノラマ画像iP(ここでは、補正前のパノラマ画像iP1)の前回作成時の回転角度ρ1に加算又は減算して、合計角度(ρ1±Δρ)を算出する。
When the
この後、作成装置3は、合計角度(ρ1±Δρ)を補正後の回転角度ρに設定する。ただし、作成装置3は、合計角度(ρ1±Δρ)が前記した適正角度から外れる場合(すなわち、−45°未満の角度である場合又は+45°よりも大きい角度である場合)に、補正後の回転角度ρを一律に−45°又は+45°に設定する。
Thereafter, the
そして、作成装置3は、切出平面cpを補正後の回転角度ρ分だけ上方向又は下方向(水平補正操作で指定された方向)に回転させ、切出平面cpと半球面画像iSとが交わる切出線clに沿って半球面画像iS(厳密には、半球面画像iSに対応する魚眼画像iF)から写像maを連続して切り出して、平面上に並べる。これによって、作成装置3は、補正後のパノラマ画像iP2を作成する。
Then, the
なお、作成装置3は、好ましくは、マウスの操作感覚とパノラマ画像iPの水平補正の動作感覚とが直感的に対応するように(すなわち、監視者によって、前記した水平補正操作によるマウス移動量Moとパノラマ画像iPの水平補正の補正量とが一致している、と知覚されるように)、変換係数κの値が設定されているとよい。
Note that the
(計算手法)
以下、パノラマ画像iPの作成に用いる計算手法を説明する。ここでは、図9(a)に示すように、作成装置3が、作成予定のパノラマ画像iPの横幅Wをカメラ2の撮影範囲に対応させて、パノラマ画像iPを作成する場合を想定して説明する。
(Calculation method)
Hereinafter, a calculation method used for creating the panoramic image iP will be described. Here, as illustrated in FIG. 9A, description will be made assuming that the
なお、図9は、実施形態で用いる半径rの説明図である。図9は、白抜きの領域(作成予定のパノラマ画像iPの領域とカメラ2の撮影範囲とが重なる領域)がパノラマ画像iPの作成に有効な有効撮影範囲であり、この領域を利用領域として用いてパノラマ画像iPを作成することを示している。 FIG. 9 is an explanatory diagram of the radius r used in the embodiment. In FIG. 9, a white area (an area where the area of the panorama image iP to be created overlaps with the imaging range of the camera 2) is an effective imaging range effective for creating the panoramic image iP, and this area is used as a usage area. This shows that a panoramic image iP is created.
図9(a)に示す例では、パノラマ画像iPの横幅Wがカメラ2の撮影範囲の半径に対応する構成になっている。この場合に、撮影範囲の半径が仮想球面モデルMDの半径rとなる。したがって、仮想球面モデルMDの半径rは、(W/2)となる。
In the example shown in FIG. 9A, the lateral width W of the panoramic image iP corresponds to the radius of the shooting range of the
この場合に、作成装置3は、半球面画像iSから、横幅×縦幅の寸法が1×heightdstとなっている写像maを切り出し、パノラマ画像iPに適した構成の画像に変換して、パノラマ画像iPを作成する。
In this case, the
一方、図9(b)に示す例では、パノラマ画像iPの縦幅hがカメラ2の撮影範囲の半径に対応する構成になっている。この場合に、撮影範囲の半径が仮想球面モデルMDの半径rとなる。したがって、仮想球面モデルMDの半径rは、(h/2)となる。
On the other hand, in the example shown in FIG. 9B, the vertical width h of the panoramic image iP corresponds to the radius of the shooting range of the
この場合に、作成装置3は、半球面画像iSから、横幅×縦幅の寸法がwidthdst×1となっている写像maを切り出して、パノラマ画像iPを作成する。
In this case, the
1.仮想球面モデルMDの半球面上の任意の注視点P(x,y,z)のパラメータ(φp,θp)は、以下の関係が成り立つ。
2.切出線clを正面から見た曲線(楕円又は真円)の軌跡のパラメータをC1とし、切出線clを上から見た曲線(楕円又は真円)の軌跡のパラメータをC2とすると、切出線clの軌跡C1,C2は、以下の関係が成り立つ。
3.切出線clの原点O(レンズ中心O)からの軌跡C1上の任意の角(かく)をαとすると、パラメータx,zは、以下の関係が成り立つ。
よって、角αのとり得る範囲は、以下のようになる。
4.注視点Pを切出線clの軌跡C1上に一様に分布した場合に、注視点Pの数(分布量)は、widthdst本となる。その中のn番目(ただし、0≦n≦(widthdst−1)の整数)の注視点Pnにおける角αnは、以下のようになる。
5.ここで、式(5),(6)の関係から、n番目の角αnのパラメータxn,znは、以下の関係が成り立つ。
6.また、切出線clの原点O(レンズ中心O)からの軌跡C2上の任意の角(かく)をβとすると、パラメータx,yは、以下の関係が成り立つ。
7.ここで、切出線clの軌跡C1上の角αnに対応する切出線clの軌跡C2上の角をβnとすると、式(9),(11)の関係から、以下の関係が成り立つ。
8.切出線clの軌跡C1上の角αnと切出線clの軌跡C2上の角βnとは、互いに逆方向に変化するので、以下の関係が成り立つ。
9.また、式(12),(14)の関係から、以下の関係が成り立つ。
10.ここで、横幅×縦幅の寸法が1×heightdstとなっている写像maは、仮想球面モデルMD(半球面画像iS)の天頂tpに対して、常に、垂直方向になるように配置されている。そのため、写像回転角度ωは、「+(π/2)」及び「−(π/2)」のいずれか一方になる。 10. Here, the mapping ma whose width × length is 1 × height dst is always arranged to be perpendicular to the zenith tp of the virtual spherical model MD (hemispherical image iS). Yes. Therefore, the mapping rotation angle ω is either “+ (π / 2)” or “− (π / 2)”.
したがって、式(9),(10),(15)の関係から、n番目の注視点Pnにおける角αnは、以下の関係が成り立つ。
作成装置3は、式(16)〜(19)の関係となる注視点Pnにおける角αnの情報に基づいて、半球面画像iS(厳密には、半球面画像iSに対応する魚眼画像iF)から、横幅×縦幅の寸法が1×heightdstとなっている写像maを連続して切り出し、パノラマ画像iPに適した構成の画像に変換して平面上に並べる。これによって、作成装置3は、1枚分のパノラマ画像iPを作成する。
The
係る構成において、作成装置3は、半球面画像iSの天頂tp付近の領域を中心にして半球面画像iS(厳密には、半球面画像iSに対応する魚眼画像iF)から写像maを切り出して、パノラマ画像iPを作成する。その天頂tp付近の領域は、魚眼画像iFの中央付近の領域に対応する。
In such a configuration, the
魚眼画像iFの中央付近の領域は、カメラ2がターゲットに向けて設置されているため、ターゲットが特に映り込み易い領域になっている。しかも、その領域は、画像の中央付近であるため、有効解像度が高い(すなわち、歪みが少ない)領域になっている。
The area near the center of the fish-eye image iF is an area in which the target is particularly easily reflected because the
作成装置3は、その領域の写像maを用いるため、魚眼画像iFのスイートスポット(すなわち、魚眼画像iFの、ターゲットの特徴部分を多く含み、かつ、有効解像度が高い(歪みが少ない)中央付近の領域)を有効に活用して、パノラマ画像iPを作成することができる。その結果、作成装置3は、画像の中央付近に、ターゲットの特徴部分を多く含む、ターゲットを監視し易いパノラマ画像iPを作成することができる。
Since the
また、作成装置3は、カメラ2を斜めに傾斜させて設置することができる。そのため、作成装置3は、撮影方向を比較的容易に変更することができる。このような、作成装置3は、仮にカメラ2を人の手が届かない高い位置に下げ振り設置して撮影した場合であっても、画像の中央付近に、ターゲットの特徴部分を多く含む、ターゲットを監視し易いパノラマ画像iPを作成することができる。そのため、監視者は、ターゲットを容易に監視することができる。
Further, the
また、作成装置3は、監視者がマウス等の座標入力部42を使用して前記した水平補正操作を行うことによって、パノラマ画像iPの中の監視したい部分(ターゲットの特徴部分を多く含む部分)の歪みを容易に水平補正することができる。しかも、水平補正された補正後のパノラマ画像iP2は、視野の周辺部(画像の左右部分)の歪みが少ない画像となる。そのため、監視者は、簡単な操作で、ターゲットを監視し易い補正後のパノラマ画像iP2(具体的には、画像の中央付近に、ターゲットの特徴部分を多く含み、かつ、視野の周辺部の歪みが少ない補正後のパノラマ画像iP2)を取得することができる。これにより、監視者は、さらに、ターゲットを容易に監視することができる。
In addition, the
また、作成装置3は、図7Bに示すメリットを有する。図7Bに示すメリットについては、前記した「本実施形態のメリット」の章で説明した通りである。
Moreover, the
なお、作成装置3は、例えば、図10に示すように、魚眼画像iF又はパノラマ画像iPと、他の図示せぬカメラで撮影された画像と組み合わせた画面を、表示部5に表示させる構成にすることができる。図10は、実施形態に係るパノラマ画像iFの表示の一例を示す図である。図10(a)〜図10(c)は、それぞれ、カメラ2で撮影された魚眼画像iFと他の図示せぬカメラで撮影された画像iA1,iA2と組み合わせた画面、補正前のパノラマ画像iP1と画像iA1,iA2と組み合わせた画面、及び、補正後のパノラマ画像iP2と画像iA1,iA2と組み合わせた画面の一例を示している。
For example, as illustrated in FIG. 10, the
以上の通り、本実施形態に係るパノラマ画像作成装置3によれば、画像の中央付近に、ターゲットの特徴部分を多く含む、ターゲットを監視し易いパノラマ画像iPを作成することができる。
特に、作成装置3によれば、仮にカメラ2を斜めに傾斜させて設置して撮影した場合であっても、このようなパノラマ画像iPを作成することができる。
As described above, according to the panoramic
In particular, according to the
本発明は、前記した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。 The present invention is not limited to the above-described embodiment, and various changes and modifications can be made without departing from the gist of the present invention.
例えば、作成装置3は、座標入力部42としてマウスを用いる構成になっている。しかしながら、作成装置3は、座標入力部42としてタッチパネルやその他の座標入力手段を用いる構成で合ってもよい。
For example, the
また、例えば、魚眼レンズカメラ2は、車に搭載して、運転時の画像を撮影する車載カメラとして用いることができる。この場合に、パノラマ画像作成装置3は、車載カメラによって撮影された画像を再生する再生装置として用いることが可能である。
In addition, for example, the
また、例えば、前記した計算手法は、一例に過ぎない。作成装置3は、前記した計算手法以外の手法を採用することができる。
Moreover, for example, the above-described calculation method is merely an example. The
1 監視システム
2 魚眼レンズカメラ
3 パノラマ画像作成装置
4 入力部
5 表示部(ディスプレイ)
cl 切出線
cp 切出平面
hs 水平基準線
iF 魚眼画像
iS 半球面画像
iP パノラマ画像
iP1 補正前のパノラマ画像
iP2 補正後のパノラマ画像
la 光軸
MD 仮想球面モデル
Mo マウス移動量
ma 写像
O レンズ中心(原点)
ra 回転軸
sl 視線の基準線
tp 天頂
XY 撮影水平面
Δρ 補正角度
κ 変換係数
ρ 回転角度
ρ1 前回作成時の回転角度
ρA 傾斜角度
DESCRIPTION OF
cl cut line cp cut plane hs horizontal reference line iF fisheye image iS hemispherical image iP panoramic image iP1 panorama image before correction iP2 panorama image after correction la optical axis MD virtual spherical model Mo mouse movement amount ma mapping O lens Center (origin)
ra Rotation axis sl Line of sight line tp Zenith XY Imaging horizontal plane Δρ Correction angle κ Conversion coefficient ρ Rotation angle ρ1 Rotation angle at the previous creation ρA Inclination angle
Claims (6)
画像を表示する表示部と、
前記魚眼レンズカメラによって撮影された前記魚眼画像を撮影画像として格納する撮影画像格納部と、
前記撮影画像格納部に格納された前記撮影画像に基づいてパノラマ画像を作成するパノラマ画像作成部と、
前記撮影画像及び前記パノラマ画像のいずれか一方又は双方を前記表示部に表示させる表示制御部とを有し、
前記パノラマ画像作成部は、
(a)前記魚眼レンズカメラの光軸を中心にしてその左右方向に展開する平面を撮影水平面とし、
(b)前記撮影水平面を、前記パノラマ画像の初期作成時の写像の切り出しに用いる切出平面とし、
(c)前記撮影水平面上に配置され、かつ、前記魚眼画像である前記撮影画像に対応する半球面画像の天頂に接する接線を、前記切出平面の仮想上の回転軸とし、
(d)前記回転軸を中心にして、前記切出平面を任意の回転角度分だけ上方向又は下方向に回転させ、
(e)前記切出平面と前記半球面画像とが交わる曲線を切出線とし、当該切出線に沿って当該半球面画像から写像を連続して切り出して、平面上に並べることによって、パノラマ画像を作成する
ことを特徴とするパノラマ画像作成装置。 A panorama image creation device for creating a panorama image based on a fisheye image photographed by a fisheye lens camera using a fisheye lens,
A display for displaying an image;
A captured image storage unit that stores the fisheye image captured by the fisheye lens camera as a captured image;
A panorama image creating unit that creates a panorama image based on the photographed image stored in the photographed image storage unit;
A display control unit for displaying either one or both of the captured image and the panoramic image on the display unit;
The panoramic image creation unit
(A) A plane extending in the left-right direction around the optical axis of the fish-eye lens camera is defined as a photographing horizontal plane,
(B) The shooting horizontal plane is a cut-out plane used for cutting out a map at the initial creation of the panoramic image,
(C) A tangent line arranged on the photographing horizontal plane and in contact with the zenith of the hemispherical image corresponding to the photographed image that is the fisheye image is set as a virtual rotation axis of the cut-out plane,
(D) around the rotation axis, the cutting plane is rotated upward or downward by an arbitrary rotation angle;
(E) A curve obtained by intersecting the cut plane and the hemispherical image is defined as a cut line, and a map is continuously cut out from the hemispherical image along the cut line and arranged on the plane to obtain a panorama. A panoramic image creating apparatus characterized by creating an image.
さらに、前記パノラマ画像内の左右方向に水平に延伸する仮想上の直線を水平基準線とし、前記表示部に表示された前記パノラマ画像に対して、任意の箇所を指定箇所として指定して、当該指定箇所を上方向又は下方向に移動させることにより、当該パノラマ画像内の前記水平基準線の位置を上方向又は下方向に移動させるための相対的な移動量を入力する入力部を有し、
前記パノラマ画像作成部は、前記移動量が入力された場合に、前記移動量を角度値に変換して補正角度を取得し、前記切出平面を前記パノラマ画像の前回作成時の回転角度から当該補正角度分だけ上方向又は下方向に回転させた状態で、補正後の前記パノラマ画像を作成する
ことを特徴とするパノラマ画像作成装置。 The panorama image creating apparatus according to claim 1,
Further, a virtual straight line extending horizontally in the left-right direction in the panoramic image is used as a horizontal reference line, and an arbitrary place is designated as a designated place for the panoramic image displayed on the display unit, An input unit for inputting a relative movement amount for moving the position of the horizontal reference line in the panoramic image upward or downward by moving the designated portion upward or downward;
When the movement amount is input, the panorama image creation unit converts the movement amount into an angle value to obtain a correction angle, and the cut plane is calculated based on a rotation angle at the previous creation time of the panorama image. A panoramic image creation apparatus that creates the corrected panoramic image in a state of being rotated upward or downward by a correction angle.
前記パノラマ画像作成部は、
前記指定箇所の位置に関わらず、前記指定箇所の移動方向が上方向であるときに、前記切出平面を下方向に回転させることによって、前記水平基準線の位置を前回作成時よりも上方向に移動させた画像を、補正後の前記パノラマ画像として作成し、
一方、前記指定箇所の移動方向が下方向であるときに、前記切出平面を上方向に回転させることによって、前記水平基準線の位置を前回作成時よりも下方向に移動させた画像を、補正後の前記パノラマ画像として作成する
ことを特徴とするパノラマ画像作成装置。 The panorama image creating apparatus according to claim 2,
The panoramic image creation unit
Regardless of the position of the designated location, when the movement direction of the designated location is upward, the horizontal reference line is moved upward from the previous time by rotating the cut plane downward. Create the panorama image after the correction,
On the other hand, when the movement direction of the designated location is downward, by rotating the cut plane upward, an image in which the position of the horizontal reference line is moved downward from the previous creation time, A panoramic image creating apparatus, which creates the panoramic image after correction.
前記コンピュータを、
(a)前記魚眼レンズカメラの光軸を中心にしてその左右方向に展開する平面を撮影水平面とし、(b)前記撮影水平面を、前記パノラマ画像の初期作成時の写像の切り出しに用いる切出平面とし、(c)前記撮影水平面上に配置され、かつ、前記魚眼画像である前記撮影画像に対応する半球面画像の天頂に接する接線を、前記切出平面の仮想上の回転軸とし、(d)前記回転軸を中心にして、前記切出平面を任意の回転角度分だけ上方向又は下方向に回転させ、(e)前記切出平面と前記半球面画像とが交わる曲線を切出線とし、当該切出線に沿って当該半球面画像から写像を連続して切り出して、平面上に並べることによって、パノラマ画像を作成するパノラマ画像作成部と、
前記撮影画像及び前記パノラマ画像のいずれか一方又は双方を前記表示部に表示させる表示制御部として機能させる
ことを特徴とするプログラム。 A panorama image creation for creating a panorama image based on the captured image by using a computer having a display unit for displaying an image and a captured image storage unit for storing a fisheye image captured by a fisheye lens camera using a fisheye lens as a captured image A program that functions as a device,
The computer,
(A) A plane extending in the left-right direction around the optical axis of the fish-eye lens camera is defined as a photographing horizontal plane, and (b) the photographing horizontal plane is defined as a cut-out plane used for extracting a map at the initial creation of the panoramic image. (C) A tangent line that is arranged on the photographing horizontal plane and touches the zenith of the hemispherical image corresponding to the photographed image that is the fisheye image is defined as a virtual rotation axis of the cut-out plane, and (d ) The cutting plane is rotated upward or downward by an arbitrary rotation angle around the rotation axis, and (e) a curve where the cutting plane and the hemispherical image intersect is defined as a cutting line. A panorama image creation unit that creates a panorama image by continuously cutting out a map from the hemispherical image along the cut line and arranging the images on a plane;
A program for causing a function of a display control unit to display one or both of the captured image and the panoramic image on the display unit.
前記コンピュータは、さらに、前記パノラマ画像内の左右方向に水平に延伸する仮想上の直線を水平基準線とし、前記表示部に表示された前記パノラマ画像に対して、任意の箇所を指定箇所として指定して、当該指定箇所を上方向又は下方向に移動させることにより、当該パノラマ画像内の前記水平基準線の位置を上方向又は下方向に移動させるための相対的な移動量を入力する入力部を有しており、
前記入力部から前記移動量が入力された場合に、前記パノラマ画像作成部に、前記移動量を角度値に変換させて補正角度を取得させ、前記切出平面を前記パノラマ画像の前回作成時の回転角度から当該補正角度分だけ上方向又は下方向に回転させた状態で、補正後の前記パノラマ画像を作成させる
ことを特徴とするプログラム。 The program according to claim 4, wherein
The computer further specifies a virtual straight line extending horizontally in the left-right direction in the panoramic image as a horizontal reference line, and designates an arbitrary location as a designated location for the panoramic image displayed on the display unit. Then, an input unit for inputting a relative movement amount for moving the position of the horizontal reference line in the panoramic image upward or downward by moving the designated portion upward or downward. Have
When the movement amount is input from the input unit, the panorama image creation unit converts the movement amount into an angle value to acquire a correction angle, and the cut plane is the same as the previous creation of the panoramic image. A program for creating a corrected panoramic image in a state of being rotated upward or downward from the rotation angle by the correction angle.
前記指定箇所の位置に関わらず、前記指定箇所の移動方向が上方向であるときに、前記パノラマ画像作成部に、前記切出平面を下方向に回転させることによって、前記水平基準線の位置を前回作成時よりも上方向に移動させた画像を、補正後の前記パノラマ画像として作成させ、
一方、前記指定箇所の移動方向が下方向であるときに、前記パノラマ画像作成部に、前記切出平面を上方向に回転させることによって、前記水平基準線の位置を前回作成時よりも下方向に移動させた画像を、補正後の前記パノラマ画像として作成させる
ことを特徴とするプログラム。 The program according to claim 5,
Regardless of the position of the designated location, when the moving direction of the designated location is upward, the panorama image creation unit rotates the cut plane downward to determine the position of the horizontal reference line. Create an image that has been moved upwards from the previous creation as the panorama image after correction,
On the other hand, when the moving direction of the designated location is downward, the panoramic image creation unit rotates the cut plane upward, so that the position of the horizontal reference line is lower than the previous creation time. A program for creating an image moved to the panorama image after correction.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012214938A JP5985336B2 (en) | 2012-09-27 | 2012-09-27 | Panorama image creating apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012214938A JP5985336B2 (en) | 2012-09-27 | 2012-09-27 | Panorama image creating apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014071496A true JP2014071496A (en) | 2014-04-21 |
JP5985336B2 JP5985336B2 (en) | 2016-09-06 |
Family
ID=50746678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012214938A Active JP5985336B2 (en) | 2012-09-27 | 2012-09-27 | Panorama image creating apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5985336B2 (en) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104363421A (en) * | 2014-11-04 | 2015-02-18 | 福建星网视易信息***有限公司 | Method and device for realizing multi-angle camera monitoring effect |
JP2015220705A (en) * | 2014-05-21 | 2015-12-07 | 三菱電機株式会社 | Imaging apparatus |
CN105208368A (en) * | 2015-09-23 | 2015-12-30 | 北京奇虎科技有限公司 | Method and device for displaying panoramic data |
CN107317998A (en) * | 2016-04-27 | 2017-11-03 | 成都理想境界科技有限公司 | Full-view video image fusion method and device |
JP2018173924A (en) * | 2017-03-31 | 2018-11-08 | 富士通株式会社 | Image output program, image output method and image output apparatus |
WO2018235300A1 (en) * | 2017-06-23 | 2018-12-27 | 日本電気株式会社 | Object detection device, object detection method, and computer-readable recording medium |
JP2019016962A (en) * | 2017-07-10 | 2019-01-31 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
CN109427087A (en) * | 2017-08-22 | 2019-03-05 | 优酷网络技术(北京)有限公司 | Image processing method and device |
KR20190122077A (en) * | 2018-04-19 | 2019-10-29 | 이길호 | Horizontal Correction Method for Spherical Image Recording Using Drones |
JP2020071854A (en) * | 2018-10-31 | 2020-05-07 | 大日本印刷株式会社 | Image processing apparatus, image processing method, and program |
JP2020514883A (en) * | 2017-03-02 | 2020-05-21 | 深▲せん▼嵐鋒創視網絡科技有限公司Shenzhen Arashi Vision Company Limited | Horizontal calibration method for panoramic image or video, system and mobile terminal |
JP2020120371A (en) * | 2018-12-14 | 2020-08-06 | アクシス アーベー | System for panoramic imaging |
JP2020129340A (en) * | 2019-02-12 | 2020-08-27 | キヤノン株式会社 | Electronic device, electronic device control method, and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000242773A (en) * | 1999-02-19 | 2000-09-08 | Fitto:Kk | Image data converting device |
JP2009012652A (en) * | 2007-07-05 | 2009-01-22 | Aisin Seiki Co Ltd | Peripheral monitoring device of vehicle |
WO2012120561A1 (en) * | 2011-03-08 | 2012-09-13 | 三菱電機株式会社 | Moving object periphery image correction apparatus |
-
2012
- 2012-09-27 JP JP2012214938A patent/JP5985336B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000242773A (en) * | 1999-02-19 | 2000-09-08 | Fitto:Kk | Image data converting device |
JP2009012652A (en) * | 2007-07-05 | 2009-01-22 | Aisin Seiki Co Ltd | Peripheral monitoring device of vehicle |
WO2012120561A1 (en) * | 2011-03-08 | 2012-09-13 | 三菱電機株式会社 | Moving object periphery image correction apparatus |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015220705A (en) * | 2014-05-21 | 2015-12-07 | 三菱電機株式会社 | Imaging apparatus |
CN104363421A (en) * | 2014-11-04 | 2015-02-18 | 福建星网视易信息***有限公司 | Method and device for realizing multi-angle camera monitoring effect |
CN104363421B (en) * | 2014-11-04 | 2017-11-14 | 福建星网视易信息***有限公司 | The method and apparatus for realizing Multi-angle camera monitoring effect |
CN105208368A (en) * | 2015-09-23 | 2015-12-30 | 北京奇虎科技有限公司 | Method and device for displaying panoramic data |
CN107317998A (en) * | 2016-04-27 | 2017-11-03 | 成都理想境界科技有限公司 | Full-view video image fusion method and device |
JP2020514883A (en) * | 2017-03-02 | 2020-05-21 | 深▲せん▼嵐鋒創視網絡科技有限公司Shenzhen Arashi Vision Company Limited | Horizontal calibration method for panoramic image or video, system and mobile terminal |
JP2018173924A (en) * | 2017-03-31 | 2018-11-08 | 富士通株式会社 | Image output program, image output method and image output apparatus |
WO2018235300A1 (en) * | 2017-06-23 | 2018-12-27 | 日本電気株式会社 | Object detection device, object detection method, and computer-readable recording medium |
JPWO2018235300A1 (en) * | 2017-06-23 | 2020-04-09 | 日本電気株式会社 | Object detection device, object detection method, and computer-readable recording medium |
US11188768B2 (en) | 2017-06-23 | 2021-11-30 | Nec Corporation | Object detection apparatus, object detection method, and computer readable recording medium |
JP2019016962A (en) * | 2017-07-10 | 2019-01-31 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
CN109427087A (en) * | 2017-08-22 | 2019-03-05 | 优酷网络技术(北京)有限公司 | Image processing method and device |
KR20190122077A (en) * | 2018-04-19 | 2019-10-29 | 이길호 | Horizontal Correction Method for Spherical Image Recording Using Drones |
KR102119521B1 (en) * | 2018-04-19 | 2020-06-05 | 이길호 | Horizontal Correction Method for Spherical Image Recording Using Drones |
JP2020071854A (en) * | 2018-10-31 | 2020-05-07 | 大日本印刷株式会社 | Image processing apparatus, image processing method, and program |
JP7192526B2 (en) | 2018-10-31 | 2022-12-20 | 大日本印刷株式会社 | Image processing device, image processing method and program |
JP2020120371A (en) * | 2018-12-14 | 2020-08-06 | アクシス アーベー | System for panoramic imaging |
JP2020129340A (en) * | 2019-02-12 | 2020-08-27 | キヤノン株式会社 | Electronic device, electronic device control method, and program |
JP7204511B2 (en) | 2019-02-12 | 2023-01-16 | キヤノン株式会社 | Electronic device, electronic device control method, program |
Also Published As
Publication number | Publication date |
---|---|
JP5985336B2 (en) | 2016-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5985336B2 (en) | Panorama image creating apparatus and program | |
US10165179B2 (en) | Method, system, and computer program product for gamifying the process of obtaining panoramic images | |
CN106803884B (en) | Image processing apparatus | |
EP3304883B1 (en) | Omnistereo capture for mobile devices | |
JP6511386B2 (en) | INFORMATION PROCESSING APPARATUS AND IMAGE GENERATION METHOD | |
TWI535285B (en) | Conference system, surveillance system, image processing device, image processing method and image processing program, etc. | |
US9723203B1 (en) | Method, system, and computer program product for providing a target user interface for capturing panoramic images | |
JP5092459B2 (en) | Remote indication system and program for remote indication system | |
US9865033B1 (en) | Motion-based image views | |
US10070048B2 (en) | Panorama photographing method, panorama displaying method, and image capturing method | |
US20150215532A1 (en) | Panoramic image capture | |
KR102539427B1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5869712B1 (en) | Head-mounted display system and computer program for presenting a user's surrounding environment in an immersive virtual space | |
JP2003223633A (en) | Omnidirectional visual system | |
JP6359572B2 (en) | Image transmission device, information processing terminal, image transmission method, information processing method, program, and information storage medium | |
CN101465116A (en) | Display equipment and control method thereof | |
JP2011053587A (en) | Image processing device | |
CN115623185A (en) | Virtual reality simulator and computer-readable recording medium | |
CN115623184A (en) | Virtual reality simulator and computer-readable recording medium | |
JP2007081787A (en) | Monitor | |
JP2020154567A (en) | Electronic apparatus, control method therefor, program, and storage medium | |
JP2020523957A (en) | Method and apparatus for presenting information to a user observing multi-view content | |
US11474595B2 (en) | Display device and display device control method | |
JP2006318015A (en) | Image processing device, image processing method, image display system, and program | |
JP6817527B1 (en) | Information processing equipment, programs and information processing systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150810 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20160705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160726 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160803 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5985336 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |