JP3677586B2

JP3677586B2 - Method and apparatus for detecting reference position of annular image by omnidirectional imaging

Info

Publication number: JP3677586B2
Application number: JP2002108490A
Authority: JP
Inventors: 拓杉木; 修岩木; 直紀高本; 和哉光山; 省人今村
Original assignee: Sony Corp; Tateyama Machine Co Ltd
Current assignee: Sony Corp; Tateyama Machine Co Ltd
Priority date: 2002-04-10
Filing date: 2002-04-10
Publication date: 2005-08-03
Anticipated expiration: 2022-04-10
Also published as: JP2003304532A

Description

【０００１】
【発明の属する技術分野】
本発明は、全方位撮像レンズ（PAL）を用いて全方位撮影することにより得られた環状画像をパノラマ画像に変換する際に必要な基準位置を検出する方法および装置に係るものである。
【０００２】
【発明が解決しようとする課題】
全方位撮像レンズを用いて撮影された画像は図１に示すように環状画像となる。この環状画像をＭＰＵを用いて図２に示すようにパノラマ展開画像に変換する。この画像変換の際に、図１に示すように、中心座標位置と内円および外円の位置からなる画像変換のための基準位置が環状画像に適合しておれば、ＭＰＵは図２に示すように適正なパノラマ展開画像を得るように変換することができるが、図３に示すように基準位置が不適合な状態にあれば、パノラマ展開画像は図４に示すように湾曲したひずみ画像となってしまう。
【０００３】
従来では、このようなパノラマ展開画像の湾曲ひずみを解消するために、全方位撮像光学系並びに撮像素子の機械的取り付け位置の精度を上げるべく機械的取り付けの調整を行ったり、あるいは、環状画像をディスプレイに表示して目視で展開領域の基準位置を決定していた。
【０００４】
本発明の目的は、上記に鑑みなされたもので、撮像光学系並びに撮像素子の取り付け後の調整作業をソフトウエア技術を用いて吸収し機械的ハードウエア調整を不要にした、全方位撮像による環状画像の基準位置検出方法および装置を提供することにある。
【０００５】
本発明の他の目的は、環状画像をパノラマ展開画像に変換する際の環状画像における基準位置を自動的に検出し決定するようにした、全方位撮像による環状画像の基準位置検出方法および装置を提供することである。
【０００６】
【課題を解決するための手段】
本発明によれば、全方位撮像レンズの表面上の端部でかつそのレンズの中心軸を通る面上の２点にマークを施し、この２点を１組とする複数組のマークを中心軸から見て異なる角度位置に施し、これら複数組のマークに基づいて、全方位撮像装置により撮影された環状画像のパノラマ画像への展開領域を表す内円と外円の位置ならびにそれらの円の中心位置を求めるようにした、全方位撮像による環状画像の基準位置検出方法および装置を提供する。
【０００７】
本発明の一実施態様によれば、全方位撮像装置により撮影された複数組のマークを写り込んだ環状画像を２値化処理してマークを顕在化した画像に変換し、そのマーク顕在化画像中の少なくとも２組のマークから各組内の２点を結ぶ直線の交点を中心座標としその中心座標から各点までの距離を半径とする内円および外円の方程式を求めることにより基準位置を決定する、全方位撮像による環状画像の基準位置検出方法および装置を提供する。
【０００８】
【発明の実施の形態】
図５は、本発明に係る全方位撮像による環状画像の基準位置検出装置を含む全体構成を示すブロック図である。
【０００９】
図５において、全方位撮像レンズ１によって周囲３６０度の全方位にある被写体からの光線を受光し、撮像素子２に被写体像を映し出す。撮像素子２はその被写体像を電気信号に変換してデジタル画像データとしてＭＰＵ３へ転送する。ＭＰＵ３は、そのデジタル画像データを図１に示すような環状画像としてメモリに保持し、かつ、図２に示すようなパノラマ展開画像に変換する。そして、このパノラマ画像はディスプレイ４によって表示される。
【００１０】
図１の環状画像を図２のパノラマ展開画像に変換する際に、図に付加されている環状画像の中心座標位置、内円位置および外円位置からなる基準位置を正しく設定することが重要である。この基準位置は中心座標、内円半径および外円半径からなるということができる。
【００１１】
本発明は基準位置をソフトウエア技術を使って求めるものであり、以下本発明を図面を参照して詳細に説明する。
【００１２】
図１の全方位撮像レンズ１は、図６に示すように、入射光１０は入射ガラス面１１から入射し、反射面１２で反射し更に上面の反射面で反射して結像光学系へ導かれる。反射面１２にはミラーコーティング６が施されている。このミラーコーティング６は、全方位撮像レンズ１を横から見ると図７（ａ）に示すように帯状に、また下から見ると図７（ｂ）のように環状に施されている。
【００１３】
全方位撮像レンズ１の表面には２組のマーク７と８および７'と８'が印刷されている。各組のマークは、それぞれ図７に示されるように、レンズ１の中心軸を通る面と交差するレンズ表面上であって、ミラーコーティング６の上端部の直ぐ外側およびその下端部の直ぐ外側に位置される。マークは、ミラーコーティング部に替えて入射ガラス面に印刷されてもよい。また、マークは２組に限らず３組以上であってもよい。マーク７と８を第１組とし、マーク７'と８'を第２組とする。図７（ｂ）に示すように、第１組のマーク７と８が位置するレンズの中心軸を通る面は、第２組のマーク７'と８'が位置する中心軸を通る他の面に対し９０度の角度を成すようにするのが好ましいが、それ以外の角度で配置してもよい。９０度以外の角度にしたときは後述する一致率の計算式をその角度に合わせる必要がある。以下の説明では９０度の角度で配置した場合について説明する。特に、第１組のマーク７、８の重心を通るマーク間の直線距離は、第２組のマークの重心間の直線距離と等しくなるようにする。
【００１４】
マークの色は、一般的な風景では比較的存在しにくい色、例えば純度の高い赤色などを用いるのが好ましいが、本システムが使用される環境に合わせて他の色、例えば純色の高い青色などを用いてもよい。即ち、マークの色は、後述する２値化処理の際のマークとそれ以外の画像とを識別してマークのみを残すことができるしきい値を与えることができるように選択される。
【００１５】
マークの形は円形でも矩形でもよく、マークの重心の位置を明確にできる形であればどのような形でもよい。また、マークの大きさは画像処理が可能な画素数があればよい。画像処理のし易さの点から、直径が約０．５ｍｍの円形が好ましい。なお、マーク７，８，７'、８’はマスク法により印刷することができる。
【００１６】
以上に説明したような４個のマーク７，８，７'、８'が施された全方位撮像レンズを用いて風景を撮影すると、図９に示すように環状画像中に赤色のマーク４個が写し込まれる。これらマークは環状画像の内円および外円の直ぐ外側に写し込まれている。以下、図９に示す環状画像を用いてパノラマ画像への展開領域を示す基準位置、即ち、中心座標、内円半径および外円半径を求めるＭＰＵ３の動作手順について図８のフローチャートに従って説明する。
【００１７】
図９に示す環状画像は各画素について色と濃度を表すディジタルデータとしてＭＰＵ３内に保持されている。図９の原画像はMPU内に保持されているプログラムにしたがって図８のステップ１１で２値化処理が行われる。この２値化処理は、各画素の濃度レベルをしきい値を境として、しきい値以上の画素を黒とし、しきい値未満の画素を白とする処理をおこなう。マークの色を赤色にした場合は、２値化処理においては、９０％の赤色以上を赤色とみなすようにしきい値を選ぶと、画素のしきい値はＲＧＢ（２５５＊０．９０、２５５＊０．１０、２５５＊０．１０）となる。また、マークの色に青色を選択したときは、２値化処理においては９０％以上の青色を青色とみなすように、画素のしきい値をＲＧＢ（２５５＊０.１０、２５５＊０．１０、２５５＊０．９０）とすればよい。このように、マークの色を変えたときは２値化しきい値もその色に合せて変更することが必要である。
【００１８】
２値化しきい値ＲＧＢ（２５５＊０．９０、２５５＊０．１０、２５５＊０．１０）は、具体的には、ある画素の濃度成分が赤Ｒ？２５５＊０．９０、緑Ｇ<２５５＊０．１０、青Ｂ<２５５＊０．１０である時はその画素は図形部分として処理され、それ以外の部分は背景部分として処理される。このようにして図９の環状画像を２値化処理すると図１０に示すように４個のマークが表示される。なお、図９の環状画像中の左方向に赤い信号灯が存在するので、これが図１０に４個のマークの他に点として表れている。
【００１９】
従って、２値化処理された画像は通常は濃度の濃い赤色のみが抜き出された画像である。その画像中の図形部分として描かれたマーク等をそれぞれマークとして扱うことができるように図８のステップ１２でラベリング処理を行う。
【００２０】
ラベリング処理では、図形部分として認識される画素が前後左右あるいは斜め方向に隣接して存在しているとき、それらの画素は連結しているといい、前後左右に４個隣接しておれば４連結といい、前後左右および斜め方向に８個の画素が隣接しておれば８連結という。図１１に示すように、各連結成分単位にＬ１からＬ５のように名前を割り当てる処理をラベリング処理といい、図１１では５個のラベルが与えられている。
【００２１】
ラベリング処理された画素の集まりはある大きさを持った図形であるので、これを点として扱えるようにするために、図８のステップ１３にて各ラベルの図形(マーク)の重心座標を検出する処理を行う。
【００２２】
１図形(１つのマーク)の重心座標検出処理ではモーメントが用いられる。モーメントは画素の連結で形成される図形Ｓの各画素の重さを１として（ｐ、ｑ）の組み合わせにより次式で定められる。
【００２３】
【数１】

【００２４】
（ｐ、ｑ）の組により種々の特徴量がもとめられる。Ｍ(０、０)はこの図形の面積、Ｍ（１，０）およびＭ（０，１）はそれぞれ縦軸と横軸に対するモーメントを表すから、この図形の重心座標（ｍ、ｎ）は、ｍ＝Ｍ（１，０）／Ｍ（０，０）、ｎ＝Ｍ（０，１）／Ｍ（０，０）によって求められる。なお、ｉとｊはそれぞれ横軸の座標と縦軸の座標を表す。このようにして重心座標を計算する技術はよく知られている。
【００２５】
図１８の重心座標検出処理ステップ１３によってマークの候補が決定される。図９の環状画像の例では普通の風景を撮っているため信号機の赤色も撮影されてしまい、それがマーク候補としてラベリングされている。従って、図１１に示すように５個のラベルから真の４個のマークを確定する必要がある。
【００２６】
そこで、次に４個のマークを確定するべく図８のステップ１４でマークの特性に基づく一致率によるマーク確定処理が実行される。全方位撮像レンズ１に施したマーク７，８，７'、８’の特性は、マーク７と８を通る直線はマーク７'と８’を通る直線と直交し、かつ、マーク７と８間お距離はマーク７'と８’間の距離と等しくなっているので、この特性に最も近いマークの組み合わせをサーチして真のマークを決定する。具体的には、任意のマーク２個を選択しそれらマークを結ぶ直線を第１基準線とし、残りの任意の２つのマークを結ぶ直線を第２基準線とする。このようにして、第１基準線と第２基準線との組み合わせを複数組形成する。これらの関係はマークの特性から図１２に示されるようになることが必要である。ここで、
Ｐ１は選択されたマーク１
Ｐ２は選択されたマーク２
Ｐ３は選択されたマーク３
Ｐ４は選択されたマーク４
直線Ｐ１Ｐ２は第１基準線
直線Ｐ３Ｐ４は第２基準線
Ｃは中心座標
θは基準線の成す角度
l1は第１基準線における内円と外円間の距離
l2は第２基準線において内円と外円間の距離
ri1は第１基準線における内円の半径
ro1は第１基準線における外円の半径
ri2は第２基準線における内円の半径
ro2は第２基準線における外円の半径
である。
【００２７】
前述のマークの特性、即ち２組の各マーク間の距離は等しくかつ第１基準線と第２基準線は直交するという特性に基づき、この特性に一致するマークを選定する操作を図８のマーク確定処理ステップ１４で行う。
【００２８】
マーク確定処理はマークの特性に基づく一致率を次の式で定義する。
【００２９】
【数２】

【００３０】
第１基準線と第２基準線との各組について上記式（２）を用いて一致率を計算して最大の一致率の組を選定し、それを真のマークの組み合わせと定義する。
【００３１】
次に図８のステップ１５において、決定された第１基準線と第２基準線の組は図１２に示す関係にあるから、両基準線の直交点Cを中心座標とし、内円の半径は（ri1＋ri2）/2として計算し、また、外円の半径は(ro1＋ro2)/2として計算する。
【００３２】
以上のようにして、環状画像の中心座標位置、内円の半径および外円の半径からなる環状画像の基準位置を算出することができる。
【００３３】
なお、以上のようにして決定された環状画像の基準位置により指定された領域、即ち環状画像のパノラマ画像への展開領域のみの画像データを他の装置へ転送するようにすれば、転送速度を向上することができる。
【００３４】
【発明の効果】
本発明によれば、環状画像の中心座標位置、内円の半径および外円の半径をソフトウエア技術を用いて自動的に計算して求めることができるので、機械的調整は不要となるばかりでなく、環状画像の展開領域を目視により決定する操作が不要となる。
【図面の簡単な説明】
【図１】全方位撮像レンズで撮影された環状画像の正常な展開領域を示した図である。
【図２】図１の環状画像を矩形に変換したパノラマ展開画像を示す図である。
【図３】不適当な展開領域を指定した状態を示す環状画像を示す図である。
【図４】図３のように不適当な展開領域を指定した結果得られたパノラマ展開画像を示す図である。
【図５】本発明の概略構成を示すブロック図である。
【図６】全方位撮像レンズ光学系の説明図である。
【図７】全方位撮像レンズの表面にマークを印刷する位置を示す図である。
【図８】本発明に係る動作手順をしめすフローチャートである。
【図９】マークを写し込んだ環状画像を示す図である。
【図１０】図９の環状画像に２値化処理を施した後のマークが出現した画像を示す図である。
【図１１】図１０のマークにラベリング処理を施した図である。
【図１２】マークの特性を説明した図である。
【符号の説明】
１全方位撮像レンズ
２撮像素子
３ＭＰＵ
４ディスプレイ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for detecting a reference position necessary for converting an annular image obtained by omnidirectional imaging using a omnidirectional imaging lens (PAL) into a panoramic image.
[0002]
[Problems to be solved by the invention]
An image photographed using the omnidirectional imaging lens becomes a ring image as shown in FIG. This annular image is converted into a panorama developed image using MPU as shown in FIG. At the time of this image conversion, as shown in FIG. 1, if the reference position for image conversion consisting of the center coordinate position and the position of the inner circle and the outer circle is adapted to the annular image, the MPU will be shown in FIG. However, if the reference position is in an incompatible state as shown in FIG. 3, the panorama developed image becomes a curved distortion image as shown in FIG. End up.
[0003]
Conventionally, in order to eliminate such curvature distortion of a panoramic developed image, adjustment of mechanical attachment is performed to increase the accuracy of the mechanical attachment position of the omnidirectional imaging optical system and the image sensor, or an annular image is displayed. The reference position of the development area was determined by visual display on the display.
[0004]
An object of the present invention has been made in view of the above, and is an annular by omnidirectional imaging that absorbs adjustment work after installation of an imaging optical system and an imaging element using software technology and does not require mechanical hardware adjustment. An object of the present invention is to provide an image reference position detection method and apparatus.
[0005]
Another object of the present invention is a method and apparatus for detecting the reference position of an annular image by omnidirectional imaging, which automatically detects and determines the reference position in the annular image when the annular image is converted into a panoramic developed image. Is to provide.
[0006]
[Means for Solving the Problems]
According to the present invention, marks are provided at two points on the surface of the omnidirectional imaging lens on the surface and passing through the central axis of the lens, and a plurality of sets of marks including the two points as a central axis. The positions of the inner and outer circles representing the development area of the annular image taken by the omnidirectional imaging device on the panoramic image based on these multiple sets of marks and the centers of the circles A method and an apparatus for detecting a reference position of an annular image by omnidirectional imaging, in which a position is obtained.
[0007]
According to one embodiment of the present invention, an annular image including a plurality of sets of marks photographed by an omnidirectional imaging device is binarized to be converted into an image in which marks are made visible, and the mark revealing image is obtained. The reference position is determined by calculating the equation of the inner circle and outer circle with the intersection of a straight line connecting two points in each set from at least two sets of marks as the center coordinate and the distance from the center coordinate to each point as the radius. A method and apparatus for detecting a reference position of an annular image by omnidirectional imaging to be determined are provided.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 5 is a block diagram showing an overall configuration including a reference position detection device for an annular image by omnidirectional imaging according to the present invention.
[0009]
In FIG. 5, the omnidirectional imaging lens 1 receives a light beam from a subject in all directions of 360 degrees around and displays a subject image on the image sensor 2. The image sensor 2 converts the subject image into an electrical signal and transfers it to the MPU 3 as digital image data. The MPU 3 holds the digital image data in a memory as a circular image as shown in FIG. 1, and converts it into a panoramic developed image as shown in FIG. This panoramic image is displayed on the display 4.
[0010]
When converting the annular image of FIG. 1 into the panorama developed image of FIG. 2, it is important to correctly set the reference position including the center coordinate position, inner circle position, and outer circle position of the annular image added to the figure. is there. This reference position can be said to consist of center coordinates, inner circle radius and outer circle radius.
[0011]
In the present invention, the reference position is determined by using software technology, and the present invention will be described in detail with reference to the drawings.
[0012]
In the omnidirectional imaging lens 1 of FIG. 1, as shown in FIG. 6, incident light 10 is incident from an incident glass surface 11, reflected by a reflecting surface 12, and further reflected by a reflecting surface on the upper surface to be guided to an imaging optical system. It is burned. The reflective surface 12 is provided with a mirror coating 6. When the omnidirectional imaging lens 1 is viewed from the side, the mirror coating 6 is formed in a belt shape as shown in FIG. 7A, and when viewed from below, it is formed in an annular shape as shown in FIG. 7B.
[0013]
On the surface of the omnidirectional imaging lens 1, two sets of

marks

7 and 8 and 7 'and 8' are printed. As shown in FIG. 7, each set of marks is on the lens surface intersecting the plane passing through the central axis of the lens 1, just outside the upper end of the mirror coating 6 and just outside the lower end. Be positioned. The mark may be printed on the incident glass surface instead of the mirror coating portion. Further, the number of marks is not limited to two, but may be three or more. Marks 7 and 8 are a first set, and marks 7 'and 8' are a second set. As shown in FIG. 7 (b), the surface passing through the central axis of the lens where the first set of

marks

7 and 8 is located is another surface passing through the central axis where the second set of marks 7 'and 8' is located. However, it may be arranged at an angle other than that. When the angle is other than 90 degrees, it is necessary to match the calculation formula for the coincidence rate described later with the angle. In the following description, a case where the lens is arranged at an angle of 90 degrees will be described. In particular, the linear distance between the marks passing through the centroids of the first set of

marks

7 and 8 is made equal to the linear distance between the centroids of the second set of marks.
[0014]
For the mark color, it is preferable to use a color that is relatively difficult to exist in a general landscape, for example, high-purity red, but other colors such as blue with a high pure color are used according to the environment in which the system is used. May be used. That is, the color of the mark is selected so as to provide a threshold value that can distinguish only the mark in the binarization process described later and other images and leave only the mark.
[0015]
The shape of the mark may be circular or rectangular, and any shape may be used as long as the position of the center of gravity of the mark can be clearly defined. Further, the size of the mark only needs to be the number of pixels that can be processed. From the viewpoint of ease of image processing, a circular shape having a diameter of about 0.5 mm is preferable. The

marks

7, 8, 7 ′ and 8 ′ can be printed by a mask method.
[0016]
When a landscape is photographed using the omnidirectional imaging lens provided with the four

marks

7, 8, 7 ′, 8 ′ as described above, four red marks are included in the annular image as shown in FIG. Is imprinted. These marks are imprinted immediately outside the inner and outer circles of the annular image. Hereinafter, the operation procedure of the MPU 3 for obtaining the reference position indicating the development area to the panoramic image using the annular image shown in FIG. 9, that is, the center coordinates, the inner circle radius, and the outer circle radius will be described with reference to the flowchart of FIG.
[0017]
The annular image shown in FIG. 9 is held in the MPU 3 as digital data representing the color and density for each pixel. The original image in FIG. 9 is binarized in step 11 in FIG. 8 according to the program held in the MPU. In the binarization process, the density level of each pixel is set as a boundary, the pixel above the threshold is set as black, and the pixel below the threshold is set as white. When the color of the mark is red, in the binarization process, if the threshold value is selected so that 90% or more of red is regarded as red, the pixel threshold value is RGB (255 * 0.90, 255 *). 0.10, 255 * 0.10). When blue is selected as the mark color, the threshold value of the pixel is set to RGB (255 * 0.10, 255 * 0.10) so that 90% or more of blue is considered blue in the binarization process. 255 * 0.90). As described above, when the color of the mark is changed, it is necessary to change the binarization threshold according to the color.
[0018]
Specifically, in the binarization threshold RGB (255 * 0.90, 255 * 0.10, 255 * 0.10), the density component of a certain pixel is red R? When 255 * 0.90, green G <255 * 0.10, and blue B <255 * 0.10, the pixel is processed as a graphic part, and the other part is processed as a background part. When the annular image in FIG. 9 is binarized in this way, four marks are displayed as shown in FIG. In addition, since a red signal lamp exists in the left direction in the annular image of FIG. 9, this appears as a point in addition to the four marks in FIG.
[0019]
Accordingly, the binarized image is usually an image in which only a dark red color is extracted. A labeling process is performed in step 12 of FIG. 8 so that marks drawn as graphic parts in the image can be handled as marks.
[0020]
In the labeling process, it is said that when pixels recognized as a graphic part are adjacent to each other in the front-rear, left-right, or diagonal direction, the pixels are connected. If eight pixels are adjacent to each other in the front-back, left-right, and diagonal directions, it is said to be 8-connected. As shown in FIG. 11, the process of assigning names to each connected component unit from L1 to L5 is called a labeling process, and five labels are given in FIG.
[0021]
Since the collection of the labeled pixels is a figure having a certain size, the barycentric coordinates of the figure (mark) of each label are detected in step 13 of FIG. 8 so that this can be handled as a point. Process.
[0022]
Moment is used in the center-of-gravity coordinate detection processing of one figure (one mark). The moment is determined by the following equation by combining (p, q) with the weight of each pixel of the figure S formed by connecting pixels as 1.
[0023]
[Expression 1]

[0024]
Various feature amounts can be obtained by the combination of (p, q). Since M (0, 0) represents the area of this figure, and M (1, 0) and M (0, 1) represent moments with respect to the vertical and horizontal axes, respectively, the barycentric coordinates (m, n) of this figure are m = M (1,0) / M (0,0), n = M (0,1) / M (0,0). Note that i and j represent the coordinate on the horizontal axis and the coordinate on the vertical axis, respectively. The technique for calculating the barycentric coordinates in this way is well known.
[0025]
Mark candidates are determined by the barycentric coordinate detection processing step 13 of FIG. In the example of the annular image in FIG. 9, since a normal landscape is taken, the red color of the traffic light is also photographed and is labeled as a mark candidate. Therefore, as shown in FIG. 11, it is necessary to determine the true four marks from the five labels.
[0026]
Therefore, next, in order to confirm the four marks, a mark confirmation process based on the matching rate based on the mark characteristics is executed in step 14 of FIG. The characteristics of the

marks

7, 8, 7 ′ and 8 ′ applied to the omnidirectional imaging lens 1 are such that the straight line passing through the

marks

7 and 8 is orthogonal to the straight line passing through the marks 7 ′ and 8 ′ and between the

marks

7 and 8. Since the distance is equal to the distance between the marks 7 'and 8', the true mark is determined by searching for the mark combination closest to this characteristic. Specifically, two arbitrary marks are selected, a straight line connecting these marks is a first reference line, and a straight line connecting the remaining two arbitrary marks is a second reference line. In this way, a plurality of combinations of the first reference line and the second reference line are formed. These relationships need to be as shown in FIG. 12 from the characteristics of the mark. here,
P1 is the selected mark 1
P2 is the selected mark 2
P3 is the selected mark 3
P4 is the selected mark 4
The straight line P1P2 is the first reference line straight line P3P4 is the second reference line C is the central coordinate θ is the angle formed by the reference line
l1 is the distance between the inner circle and the outer circle on the first reference line
l2 is the distance between the inner and outer circles on the second reference line
ri1 is the radius of the inner circle at the first reference line
ro1 is the radius of the outer circle at the first reference line
ri2 is the radius of the inner circle at the second reference line
ro2 is the radius of the outer circle at the second reference line.
[0027]
Based on the characteristics of the above-described mark, that is, the distance between the two sets of marks is equal and the first reference line and the second reference line are orthogonal to each other, the operation for selecting a mark that matches this characteristic is shown in FIG. This is performed in the confirmation processing step 14.
[0028]
In the mark confirmation process, the coincidence rate based on the mark characteristics is defined by the following equation.
[0029]
[Expression 2]

[0030]
For each set of the first reference line and the second reference line, the matching rate is calculated using the above formula (2) to select the set of the maximum matching rate, and this is defined as a true mark combination.
[0031]
Next, in step 15 of FIG. 8, since the determined set of the first reference line and the second reference line has the relationship shown in FIG. 12, the orthogonal point C of both reference lines is the central coordinate, and the radius of the inner circle is Calculate as (ri1 + ri2) / 2, and the radius of the outer circle is calculated as (ro1 + ro2) / 2.
[0032]
As described above, the reference position of the annular image including the center coordinate position of the annular image, the radius of the inner circle, and the radius of the outer circle can be calculated.
[0033]
If the image data of only the area designated by the reference position of the annular image determined as described above, that is, the development area of the annular image to the panoramic image is transferred to another device, the transfer speed can be increased. Can be improved.
[0034]
【The invention's effect】
According to the present invention, since the center coordinate position of the annular image, the radius of the inner circle, and the radius of the outer circle can be automatically calculated using software technology, mechanical adjustment is not necessary. In addition, an operation for visually determining the development area of the annular image becomes unnecessary.
[Brief description of the drawings]
FIG. 1 is a diagram showing a normal development region of an annular image photographed by an omnidirectional imaging lens.
FIG. 2 is a view showing a panoramic developed image obtained by converting the annular image of FIG. 1 into a rectangle.
FIG. 3 is a diagram showing an annular image showing a state in which an inappropriate development area is designated.
4 is a view showing a panorama development image obtained as a result of specifying an inappropriate development area as shown in FIG. 3; FIG.
FIG. 5 is a block diagram showing a schematic configuration of the present invention.
FIG. 6 is an explanatory diagram of an omnidirectional imaging lens optical system.
FIG. 7 is a diagram illustrating a position where a mark is printed on the surface of an omnidirectional imaging lens.
FIG. 8 is a flowchart showing an operation procedure according to the present invention.
FIG. 9 is a diagram showing a ring image in which a mark is imprinted.
10 is a diagram illustrating an image in which a mark appears after the binarization process is performed on the annular image of FIG. 9;
11 is a diagram in which a labeling process is performed on the mark in FIG. 10;
FIG. 12 is a diagram illustrating mark characteristics.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Omnidirectional imaging lens 2 Imaging element 3 MPU
4 display

Claims

全方位撮像による環状画像の基準位置検出方法であって、
全方位撮像レンズの表面上の所定の光学系両端部でかつそのレンズの中心軸を通る面上の２点にマークが位置されるように、この２点を１組とする少なくとも２組のマークを前記中心軸から見て異なる所定角度の位置に施し、
全方位撮像装置により上記複数組のマークを写し込んだ環状画像を撮像し、
その環状画像を２値化処理して前記複数組のマークを顕在化し、そして
該顕在化した複数組のマークに基づき、前記環状画像をパノラマ画像へ展開する際の該環状画像の展開領域を指定する基準位置を求める、
前記方法。A method for detecting a reference position of an annular image by omnidirectional imaging,
At least two sets of marks, which are set as two sets, so that the marks are positioned at two points on both ends of a predetermined optical system on the surface of the omnidirectional imaging lens and passing through the central axis of the lens. Is applied to a position at a predetermined angle different from the central axis,
Capture an annular image in which the multiple sets of marks are captured by an omnidirectional imaging device,
The annular image is binarized to reveal the plurality of sets of marks, and based on the revealed sets of marks, specifies a development area of the annular image when the annular image is developed into a panoramic image Find the reference position to
Said method.

請求項１に記載の方法において、前記基準位置は前記環状画像の中心座標位置と内円位置と外円位置である、前記方法。The method according to claim 1, wherein the reference position is a center coordinate position, an inner circle position, and an outer circle position of the annular image.

請求項１に記載の方法において、前記基準位置は前記環状画像の中心座標位置と該中心座標からの前記内円の半径と該中心座標からの前記外円の半径である、前記方法。The method according to claim 1, wherein the reference position is a center coordinate position of the annular image, a radius of the inner circle from the center coordinate, and a radius of the outer circle from the center coordinate.

請求項１に記載の方法において、前記２値化処理は、前記マークを純度の高い単色とし、このマークの色に合わせてしきい値を決めてマークが顕在化するようにする、前記方法。2. The method according to claim 1, wherein the binarization processing makes the mark monochromatic with high purity, and determines the threshold according to the color of the mark so that the mark becomes apparent. 3.

請求項３に記載の方法において、前記基準位置を求めるステップは、顕在化したマークの組毎に各組内の２つのマークを結ぶ直線を求め、その直線の交点を中心座標とし、該中心座標から前記環状画像の内円に対応するマークまでの距離を内円の半径とし、かつ、該中心座標から前記環状画像の外円に対応するマークまでの距離を外円の半径とする、前記方法。4. The method according to claim 3, wherein the step of obtaining the reference position obtains a straight line that connects two marks in each set for each set of manifested marks, uses the intersection of the straight lines as a central coordinate, The distance from the center to the mark corresponding to the inner circle of the annular image is the radius of the inner circle, and the distance from the central coordinate to the mark corresponding to the outer circle of the annular image is the radius of the outer circle. .

請求項１に記載の方法において、前記基準位置を求めるステップは、顕在化したマークの中心点を求め、それらマークの組毎に各組内の２つの中心点を結ぶ直線を求め、その直線の交点を中心座標とし、該中心座標から前記環状画像の内円に対応するマークの中心点までの距離を内円の半径とし、かつ、該中心座標から前記環状画像の外円に対応するマークの中心点までの距離を外円の半径とする、前記方法。The method according to claim 1, wherein the step of obtaining the reference position obtains a center point of the manifested mark, obtains a straight line connecting two center points in each set for each set of the marks, The intersection point is the center coordinate, the distance from the center coordinate to the center point of the mark corresponding to the inner circle of the annular image is the radius of the inner circle, and the mark corresponding to the outer circle of the annular image from the center coordinate The method, wherein the distance to the center point is the radius of the outer circle.

請求項６に記載の方法において、前記中心点を求めるステップは、各マーク連結体からなるマーク図形の重心点を求めるステップである、前記方法。The method according to claim 6, wherein the step of obtaining the center point is a step of obtaining a center of gravity of a mark figure made up of each mark connected body.

請求項６に記載の方法において、前記直線を求めるステップは、前記中心点の２点を任意に選択すると共に、残りの中心点の任意の２つを選択した組み合わせを複数組形成し、それら複数組の組み合わせのおのおのについて、それらの組の内において前記選択された２点を結ぶ直線の成す角度が前記所定角度であると共に前記選択された２点間の距離が等しいところのマークの特性との一致率を算出し、最も一致率の高い組み合わせを真のマークの組として決定し、決定されたマークの組に基づき前記直線を求める、前記方法。The method according to claim 6, wherein the step of obtaining the straight line arbitrarily selects two of the center points, and forms a plurality of combinations in which any two of the remaining center points are selected. For each set of combinations, the angle between the two selected points in the set is the predetermined angle and the characteristics of the mark where the distance between the two selected points is equal. The method of calculating a matching rate, determining a combination having the highest matching rate as a set of true marks, and obtaining the straight line based on the determined set of marks.

請求項１に記載の方法において、前記基準位置を求めるステップは、前記マークが顕在化された画像中の図形を連結体毎にラベリング処理し、各連結体の重心点を検出する処理をし、前記重心点の２点を任意に選択すると共に、残りの重心点の任意の２つを選択した組み合わせを複数組形成し、それら複数組の組み合わせのおのおのについて、前記少なくとも２組のマークにおいて前記各組内のマークの２点を結ぶ直線の成す角度が前記所定角度であると共に前記組内のマークの２点間の距離が等しいところのマークの特性との一致率を算出し、最も一致率の高い組み合わせを真のマークの組として決定し、決定されたマークの組に基づいて、それらマークの組毎に各組内の２つの重心点を結ぶ直線を求め、その直線の交点を中心座標とし、該中心座標から前記環状画像の内円に対応するマークの重心点までの距離を内円の半径とし、かつ、該中心座標から前記環状画像の外円に対応するマークの重心点までの距離を外円の半径とする、前記方法。The method according to claim 1, wherein the step of obtaining the reference position performs a process of labeling a figure in an image in which the mark is made visible for each connected body, and detecting a centroid point of each connected body, Arbitrarily selecting two of the centroid points, and forming a plurality of combinations in which any two of the remaining centroid points are selected, and for each of the combinations, the at least two sets of marks An angle formed by a straight line connecting two points of the marks in the set is the predetermined angle, and a coincidence rate with the characteristic of the mark where the distance between the two points of the mark in the set is equal is calculated, A high combination is determined as a set of true marks, and based on the determined set of marks, a straight line connecting the two barycentric points in each set is obtained for each set of marks, and the intersection of the straight lines is set as the central coordinate. , The distance from the center coordinate to the center of gravity of the mark corresponding to the inner circle of the annular image is the radius of the inner circle, and the distance from the center coordinate to the center of gravity of the mark corresponding to the outer circle of the annular image is outside The method, wherein the radius is a circle.

全方位撮像による環状画像の基準位置検出装置であって、
全方位撮像レンズの表面上の所定の光学系両端部でかつそのレンズの中心軸を通る面上の２点にマークが位置されるように、この２点を１組とする少なくとも２組のマークを前記中心軸から見て異なる所定角度の位置に施した前記全方位撮像レンズと、
該全方位撮像レンズを用いて上記複数組のマークを写し込んだ環状画像を撮像する撮像装置と、
その環状画像を２値化処理して前記複数組のマークを顕在化する２値化処理装置と、
該顕在化した複数組のマークに基づき、前記環状画像をパノラマ画像へ展開する際の該環状画像の展開領域を指定する基準位置を求める手段と、
を備えた前記装置。An apparatus for detecting a reference position of an annular image by omnidirectional imaging,
At least two sets of marks, which are set as two sets, so that the marks are positioned at two points on both ends of a predetermined optical system on the surface of the omnidirectional imaging lens and passing through the central axis of the lens. The omnidirectional imaging lens applied to a position at a predetermined angle different from the central axis,
An imaging device that captures an annular image in which the plurality of sets of marks are captured using the omnidirectional imaging lens;
A binarization processing device that binarizes the annular image to reveal the plurality of sets of marks;
Means for obtaining a reference position for designating a development area of the annular image when the annular image is developed into a panoramic image based on the plurality of sets of the manifested marks;
Said device.

請求項１０に記載の装置において、前記所定角度を９０度とする、前記装置。The apparatus according to claim 10, wherein the predetermined angle is 90 degrees.

請求項１０に記載の装置において、前記マークの色は赤色である、前記装置。The apparatus according to claim 10, wherein the color of the mark is red.

請求項１２に記載の装置において、前記赤色は純度の高い赤色である、前記装置。13. The device according to claim 12, wherein the red color is a high purity red color.

請求項１０に記載の装置において、前記マークの形は円形である、前記装置。The apparatus according to claim 10, wherein the shape of the mark is circular.

請求項１０に記載の装置において、前記マークの大きさは画像処理が可能な複数個の画素からなる、前記装置。11. The apparatus according to claim 10, wherein the size of the mark includes a plurality of pixels capable of image processing.

請求項１５に記載の装置において、前記マークの大きさは約０．５ｍｍである、前記装置。16. The apparatus of claim 15, wherein the mark size is about 0.5 mm.