JP2003308526A - Method and device for vertical distortion correction in expansion of annular image into panoramic image - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To produce a panoramic expansion image from a vertical-distortion- corrected annular image photographed by a PAL imaging device. <P>SOLUTION: A method images a zebra pattern by means of a PAL lens, computes a correction condition comprising a table or a characteristic formula for vertical distortion correction based on the pattern, and corrects corresponding distortions of the PAL lens according to the correction condition. <P>COPYRIGHT: (C)2004,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、全方位撮像装置で
撮影された環状画像をパノラマ画像に展開する時にパノ
ラマ画像上に生ずる鉛直方向ひずみを補正する方法およ
び装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for correcting vertical distortion generated on a panoramic image when an annular image taken by an omnidirectional image pickup device is developed into a panoramic image.

【０００２】[0002]

【発明が解決しようとする課題】図１に示すように、全
方位撮像レンズ（ＰＡＬレンズ）１を用いて等角度間隔
に配置されたゼブラパターン２を撮影すると、環状画像
３を得ることができる。この環状画像においては、本来
は等間隔に並ぶはずのゼブラパターンはＰＡＬ１の光学
特性によって図示のように等間隔でなくなる。これを環
状画像における鉛直方向ひずみと呼ぶ。As shown in FIG. 1, when an omnidirectional imaging lens (PAL lens) 1 is used to photograph zebra patterns 2 arranged at equal angular intervals, a ring-shaped image 3 can be obtained. . In this ring-shaped image, the zebra patterns that should originally be arranged at equal intervals are not evenly arranged as shown in the figure due to the optical characteristics of PAL1. This is called vertical strain in the ring image.

【０００３】従来の全方位撮像システムでは、この環状
画像データを環状画像入力部４で取り込み、これを展開
処理部５でパノラマ画像データに展開し、この展開画像
データを展開画像出力部６から表示装置ＤＰで表示する
と、図１に示すようなパノラマ画像７が表示される。こ
の展開画像は鉛直方向ひずみがそのまま反映された形で
現れ、実空間からかけ離れた画像表現となってしまう。In the conventional omnidirectional image pickup system, this ring-shaped image data is taken in by the ring-shaped image input unit 4, expanded by the expansion processing unit 5 into panoramic image data, and this expanded image data is displayed from the expanded image output unit 6. When displayed on the device DP, a panoramic image 7 as shown in FIG. 1 is displayed. This unfolded image appears in a form in which the vertical distortion is reflected as it is, resulting in an image representation far from the real space.

【０００４】このため、ＰＡＬレンズ等の広角光学デバ
イス（魚眼レンズ、全方位ミラー、ＰＡＬ）によって撮
影されたパノラマ画像にはひずみが生ずるものであると
いう一般的な考え方が存在している。Therefore, there is a general idea that a panoramic image taken by a wide-angle optical device (fisheye lens, omnidirectional mirror, PAL) such as a PAL lens is distorted.

【０００５】ＰＡＬレンズで撮影した環状画像は、レン
ズの特性により高さ方向の寸法が実物の高さ寸法と写る
位置によって異なる特性をもっている。このため、従来
では、環状画像からパノラマ画像へ展開する際に座標補
正データを用いて高さ寸法の補正を行っている。この座
標補正データを作成するためには、実際に製作したレン
ズを用いて撮影した画像と被撮影物の寸法とを測定する
必要があった。しかし、ＰＡＬレンズの測定対象が周囲
３６０度であるなど通常のレンズとは異なる特性をもっ
ているため、そのような測定は困難であった。The ring-shaped image photographed by the PAL lens has a characteristic that the dimension in the height direction differs depending on the height dimension of the actual object and the position to be photographed due to the characteristic of the lens. Therefore, conventionally, the height dimension is corrected by using the coordinate correction data when the annular image is expanded to the panoramic image. In order to create this coordinate correction data, it was necessary to measure the image taken using the actually manufactured lens and the dimensions of the object. However, such a measurement is difficult because the measurement target of the PAL lens has a characteristic different from that of a normal lens, such as 360 degrees around.

【０００６】また、ＰＡＬレンズで撮影した画像は円形
であるため、平面の評価図形を用いると評価図形が曲が
って写るため、その画像からレンズのひずみを測定する
場合、画像処理により一度平面図形に復元してから、撮
影対象物との比較を行う必要があった。更に、ＰＡＬレ
ンズの撮影範囲を一度に評価する場合には、周囲３６０
度を撮影対象物で覆う必要があるため、その覆いの中の
ＰＡＬレンズを交換しようとする場合に、撮影対象物で
ある覆いを取り除く必要があった。このことは速やかな
レンズ交換作業の妨げとなる。Further, since the image taken by the PAL lens is circular, the evaluation figure is curved when the evaluation figure of the plane is used. Therefore, when the distortion of the lens is measured from the image, it is once converted into a plane figure by image processing. After restoration, it was necessary to compare with the object to be photographed. Furthermore, when evaluating the shooting range of the PAL lens at one time, the surrounding 360
Since it is necessary to cover the degree with the object to be photographed, it is necessary to remove the cover, which is the object to be photographed, when replacing the PAL lens in the cover. This hinders quick lens replacement work.

【０００７】また、作成された座標補正データは、ＰＡ
Ｌレンズのユーザが撮影画像の補正を行う時に必要とな
るため、ＰＡＬレンズに添付して配布する必要がある。
一般には、座標補正データは、ＰＡＬレンズユーザの利
用の便利性を考慮し、フロッピー（登録商標）ディス
ク、ＣＤ−ＲＯＭ、半導体メモリ等の記録媒体に記録さ
れてユーザに配布される。このような方法の場合は、Ｐ
ＡＬレンズを出荷した後に座標データの変更を行う場合
や、データが紛失した場合などでは、座標補正データを
再度記録媒体に書き込んだ物を再配布する必要がある。Also, the coordinate correction data created is PA
It is necessary for the user of the L lens to correct the photographed image, so it is necessary to attach it to the PAL lens and distribute it.
Generally, the coordinate correction data is recorded on a recording medium such as a floppy (registered trademark) disk, a CD-ROM, a semiconductor memory or the like in consideration of the convenience of use by the PAL lens user, and distributed to the user. In the case of such a method, P
If the coordinate data is changed after shipping the AL lens, or if the data is lost, it is necessary to redistribute the product in which the coordinate correction data is written again on the recording medium.

【０００８】[0008]

【課題を解決するための手段】本発明の目的は、環状画
像のパノラマ画像への展開時の鉛直方向ひずみ補正を行
う方法および装置を提供することにある。SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and apparatus for performing vertical distortion correction when expanding an annular image into a panoramic image.

【０００９】本発明の一態様によれば、環状画像のパノ
ラマ画像への展開時の鉛直方向ひずみ補正条件をレンズ
シュミレータソフトを使用して求め、求められた補正条
件に基づいてパノラマ画像への展開時に鉛直ひずみを補
正するようにしている。According to one aspect of the present invention, the vertical distortion correction condition at the time of expanding the annular image into the panoramic image is obtained by using lens simulator software, and is expanded to the panoramic image based on the obtained correction condition. Sometimes I try to correct vertical distortion.

【００１０】本発明の他の態様によれば、鉛直方向ひず
み補正条件を専用の治具を用いて求めて、その補正条件
に基づいてパノラマ画像への展開時に鉛直ひずみを補正
するようにしている。According to another aspect of the present invention, the vertical strain correction condition is obtained by using a dedicated jig, and the vertical strain is corrected when the image is developed into a panoramic image based on the correction condition. .

【００１１】本発明の更に他の態様によれば、鉛直方向
ひずみ補正条件を調整ガイドに適合するように視覚的に
調整することによって求め、その補正条件に基づいてパ
ノラマ画像への展開時に鉛直ひずみを補正するようにし
ている。According to still another aspect of the present invention, the vertical distortion correction condition is obtained by visually adjusting the vertical distortion correction condition so as to match the adjustment guide, and based on the correction condition, the vertical distortion at the time of expansion into a panoramic image. I am trying to correct.

【００１２】[0012]

【発明の実施の形態】以下、本発明を図面に基づいて説
明する。DETAILED DESCRIPTION OF THE INVENTION The present invention will be described below with reference to the drawings.

【００１３】図１は本発明に係る全方位撮像システムの
概略構成を示すブロック図である。図１において、全方
位撮像レンズ（ＰＡＬ）１を用いて等角度間隔に配置さ
れたゼブラパターン２を撮影すると環状画像３を得る。
この環状画像は、環状画像入力部４にて環状画像データ
として取り込まれ、これを展開処理部５でパノラマ展開
画像データに変換し、この展開画像データを展開画像出
力部６から表示装置ＤＰで表示する。展開処理部で単に
パノラマ画像に展開しただけでは、図１に示すパノラマ
展開画像７のように、鉛直方向ひずみをそのまま反映し
たパノラマ画像として表現される。FIG. 1 is a block diagram showing the schematic arrangement of an omnidirectional imaging system according to the present invention. In FIG. 1, a zebra pattern 2 arranged at equal angular intervals is photographed by using an omnidirectional imaging lens (PAL) 1, and an annular image 3 is obtained.
This annular image is taken in as annular image data by the annular image input unit 4, converted into panoramic expanded image data by the expansion processing unit 5, and this expanded image data is displayed from the expanded image output unit 6 on the display device DP. To do. Simply expanding the image into a panoramic image by the expansion processing unit represents a panoramic image in which vertical distortion is reflected as it is, as in the panoramic expanded image 7 shown in FIG.

【００１４】環状画像入力部４はＣＣＤ受像素子、ＰＣ
カメラまたはＮＴＳＣ入力などである。展開処理部５は
ＣＰＵおよびプログラムの組み合わせからなる。展開画
像出力部６はＲＧＢ画像またはＮＴＳＣ方式画像を出力
する。補正条件はシステム内のメモリデバイス（ＨＤ、
ＦＤ、ＲＡＭ、スマートメディア、コンパクトフラッシ
ュ（登録商標）など）に格納される。ひずみ補正処理部
９は補正条件入力部８に入力された補正条件ＣＣに基づ
いて鉛直方向ひずみの補正処理を行う。なお、補正条件
ＣＣは、Ｗｅｂからダウンロードし、専用治具を用いて
作成し、またはＰＡＬ映像信号に併送されて得ることが
できる。The ring-shaped image input unit 4 is a CCD image receiving device, a PC
For example, a camera or NTSC input. The expansion processing unit 5 is composed of a combination of a CPU and a program. The developed image output unit 6 outputs an RGB image or an NTSC system image. The correction conditions are the memory device (HD,
FD, RAM, smart media, CompactFlash (registered trademark), etc.). The distortion correction processing unit 9 performs vertical distortion correction processing based on the correction condition CC input to the correction condition input unit 8. The correction condition CC can be obtained by downloading it from the Web, creating it using a dedicated jig, or sending it together with the PAL video signal.

【００１５】本発明においては、鉛直方向ひずみ補正条
件を補正条件入力部８から入力し、これをひずみ処理部
９にてひずみ補正データに変換する。展開処理部５は、
ひずみ処理部９からのひずみ補正データを用いて、環状
画像入力部４からの環状画像データをパノラマ画像に展
開する時に鉛直方向ひずみを補正して展開画像出力部６
へ出力する。その結果、表示装置ＤＰは鉛直方向ひずみ
のないパノラマ画像１０を表示することができる。In the present invention, the vertical strain correction condition is input from the correction condition input unit 8 and converted into strain correction data by the strain processing unit 9. The expansion processing unit 5
Using the distortion correction data from the distortion processing unit 9, when the annular image data from the annular image input unit 4 is developed into a panoramic image, the vertical distortion is corrected and the developed image output unit 6 is provided.
Output to. As a result, the display device DP can display the panoramic image 10 without vertical distortion.

【００１６】鉛直方向ひずみの補正処理には次の２つの
方式がある。 １．対応テーブルを利用する方式 ２．視覚的調整方式There are the following two methods for the vertical distortion correction processing. 1. Method of using correspondence table 2. Visual adjustment method

【００１７】いずれの方式も、環状画像の中心点から放
射方向に伸びる直線上の径位置Ｒをパノラマ展開画像上
の縦方向の高さ位置Ｙに対応付けるための関係式Ｙ＝Ｆ
（Ｒ）を実現させるためのものであり、使用するＰＡＬ
レンズに対応して新規に補正条件を入力できるようにな
っている。In either method, a relational expression Y = F for associating a radial position R on a straight line extending in the radial direction from the center point of the annular image with a vertical height position Y on the panoramic developed image.
(R) is realized, and the PAL used
It is possible to input new correction conditions corresponding to the lens.

【００１８】図２において、ＰＡＬレンズ１から見て水
平線と被写体の位置との成す角度、即ち入光角Ｄと環状
画像上の径位置ＲとＴａｎ（Ｄ）との関係を表したテー
ブルが図３に示されている。ただし、図３中のRの値は
正規化された値である。この表からＲ＝f（ｔａｎＤ）
の関係が得られる。このようなＲ，Ｄ，Ｔａｎ（Ｄ）の
対応を表す対応テーブルを作成する必要がある。対応テ
ーブルの作成にはゼブラパターンが利用される。In FIG. 2, a table showing the relationship between the horizontal line viewed from the PAL lens 1 and the position of the object, that is, the incident angle D, the radial position R on the annular image, and Tan (D) is shown. 3 is shown. However, the value of R in FIG. 3 is a normalized value. From this table, R = f (tanD)
Can be obtained. It is necessary to create a correspondence table showing such correspondence of R, D, and Tan (D). A zebra pattern is used to create the correspondence table.

【００１９】また、上記の２方式における補正処理式と
して、環状画像の径位置Rとパノラマ展開画像上の点Yの
関係は、その展開画像の高さをH、レンズの最大仰角をD
1、最大俯角をD2とすると、 Ｒ＝ｆ（ｔａｎＤ2−Ｙ／Ｈ（ｔａｎＤ1−ｔａｎＤ
2）） で表すことができる。この関係式に基づいて環状画像上
の任意画素を展開画像上に配置すれば、鉛直方向ひずみ
が補正されたパノラマ画像に展開することができる。As a correction processing equation in the above two methods, the relationship between the radial position R of the annular image and the point Y on the panoramic developed image is that the height of the developed image is H and the maximum elevation angle of the lens is D.
1, and the maximum depression angle is D2, R = f (tanD2-Y / H (tanD1-tanD
2)) can be represented by. By arranging arbitrary pixels on the annular image on the developed image based on this relational expression, it is possible to develop the panoramic image in which the vertical distortion is corrected.

【００２０】上記対応テーブルを作成するのに次の２つ
の方法がある。 レンズシュミレータソフトを利用する方法 専用治具による対応表作成方法There are the following two methods for creating the above correspondence table. Method of using lens simulator software Method of creating a correspondence table using a dedicated jig

【００２１】先ず、レンズシュミレータソフトを利用す
る方法について図４を参照して説明する。この方式は、
レンズシュミレータソフトに基づいて図４に示すような
画面を利用して出力される結果をもとにＲ，Ｄ，Ｔａｎ
（Ｄ）の対応表を作成するものである。これらの具体的
手順は公知の画像処理技術を利用して達成することがで
きる。First, a method of using the lens simulator software will be described with reference to FIG. This method
Based on the result output by using the screen shown in FIG. 4 based on the lens simulator software, R, D, Tan
The correspondence table of (D) is created. These specific procedures can be achieved by using a known image processing technique.

【００２２】次に専用治具を用いて補正データ表を作成
する方法について図5から図15を参照して説明する。Next, a method of creating a correction data table using a dedicated jig will be described with reference to FIGS.

【００２３】図5はこの実施例における座標補正データ
表の作成手順を示すブロック図である。座標補正データ
表はレンズの特性によって発生する画像のひずみを修正
するために用いるものである。図1において、レンズ固
定・撮影部51はＰＡＬレンズを交換しつつ各ＰＡＬレン
ズについて撮影された映像信号をインターフェイス５2
へ送る。インターフェイス５２は受信された画像信号を
パソコン５３が処理できる画像データに変換する。パソ
コン５３は、変換された画像データ（Ａ）と基準座標デ
ータ（Ｂ）を画像処理して座標補正データ表（Ｄ）を作
成し、モニター５４で確認する。確認された座標補正デ
ータ表（Ｄ）とパソコン５３に入力されたレンズのシリ
アルナンバ情報はＬＡＮを通してデータベース５５に格
納される。FIG. 5 is a block diagram showing the procedure for creating the coordinate correction data table in this embodiment. The coordinate correction data table is used to correct image distortion caused by the characteristics of the lens. In FIG. 1, the lens fixing / photographing unit 51 exchanges the PAL lens and the video signal photographed for each PAL lens by an interface 52.
Send to. The interface 52 converts the received image signal into image data that can be processed by the personal computer 53. The personal computer 53 image-processes the converted image data (A) and the reference coordinate data (B) to create a coordinate correction data table (D), which is confirmed by the monitor 54. The confirmed coordinate correction data table (D) and the lens serial number information input to the personal computer 53 are stored in the database 55 through the LAN.

【００２４】データベース５５には、過去に出荷された
ＰＡＬレンズの座標補正データ表とシリアルナンバが全
て記憶されている。ＰＡＬレンズユーザはＷｅｂサーバ
５６へアクセスしてＰＡＬレンズのシリアルナンバを入
力すると、ユーザ登録等を利用してシリアルナンバと他
の情報（例えばユーザ名）がリンクされれば、Ｗｅｂサ
ーバ５６は入力されたシリアルナンバに応じて座標補正
データ表をデータベース５５を検索してインターネット
５７を通してＰＡＬレンズユーザへ送信する。Ｗｅｂサ
ーバへのシリアルナンバの入力は、ユーザが直接行って
もよいし、アプリケーションソフトウエアが自動的に行
うようにしてもよい。なお、ＰＡＬレンズユーザ以外の
者でも、シリアルナンバ等を知っていれれば同様に座標
補正データ表を入手することが可能である。The database 55 stores all coordinate correction data tables and serial numbers of PAL lenses shipped in the past. When the PAL lens user accesses the Web server 56 and inputs the serial number of the PAL lens, if the serial number and other information (for example, user name) are linked using user registration, the Web server 56 is input. The database 55 is searched for the coordinate correction data table according to the serial number and transmitted to the PAL lens user through the Internet 57. The user may directly input the serial number to the Web server, or the application software may automatically input the serial number. It should be noted that even a person other than the PAL lens user can obtain the coordinate correction data table in the same manner if the serial number and the like are known.

【００２５】次にレンズ固定・撮影部５１の構成を図６
から図８を参照して説明する。ＰＡＬレンズ１２は、レ
ンズ台座１３の上に載せられ、天板２８に取り付けられ
たレンズ押え１１で上から押えられて台座1３上に固定
される。レンズ押え１１は内部のばねによりＰＡＬレン
ズ１２をレンズ台座１３に押し付けている。この場合、
ＰＡＬレンズ１２の上部窪みにレンズ押え１１が収ま
り、ＰＡＬレンズ表面をレンズ押え１１が滑らないよう
にすると共にＰＡＬレンズが水平位置に正確に設置され
ることを確実にしている。Next, the structure of the lens fixing / photographing section 51 is shown in FIG.
From now on, description will be made with reference to FIG. The PAL lens 12 is placed on the lens pedestal 13, and is pressed from above by the lens presser 11 attached to the top plate 28 to be fixed on the pedestal 13. The lens retainer 11 presses the PAL lens 12 against the lens pedestal 13 by an internal spring. in this case,
The lens retainer 11 fits in the upper recess of the PAL lens 12 to prevent the lens retainer 11 from slipping on the surface of the PAL lens and to ensure that the PAL lens is accurately installed in the horizontal position.

【００２６】リレーレンズ１４は、ＰＡＬレンズから投
影された画像をＣＣＤカメラ１７で撮影可能な最大限の
サイズに調整するために用いられる。ＣＣＤカメラ１７
は、カメラ固定リング１５によってカメラ昇降板１６に
固定されている。カメラ昇降板１６の４隅には稼動シャ
フト２３が図示しない固定シャフトに通されており、固
定シャフトに沿ってカメラ昇降板１６を昇降することが
できる。撮影時はカメラ昇降板はストッパ台座１９に固
定ボルト２１で固定されたストッパ２０によって上方に
固定されている。レンズ交換時には、カメラ昇降板１６
を図８に示すように落下防止金具２４の位置まで降下さ
せれば、周りを囲む評価図形板３０を取り外すことな
く、ベース板１８の下の空間を利用してレンズ交換の作
業をすることができる。カメラ昇降板１６が上下する
時、レンズ押え１１がその動きに合せて伸び縮みしてレ
ンズ１２をしっかりと押えているため、昇降板１６の移
動時の振動でＰＡＬレンズ１２が位置ずれすることを防
止している。The relay lens 14 is used to adjust the image projected from the PAL lens to the maximum size that can be photographed by the CCD camera 17. CCD camera 17
Is fixed to the camera lift plate 16 by the camera fixing ring 15. The operating shafts 23 are passed through fixed shafts (not shown) at the four corners of the camera lift plate 16, and the camera lift plate 16 can be moved up and down along the fixed shafts. At the time of photographing, the camera lift plate is fixed upward by a stopper 20 fixed to a stopper pedestal 19 with a fixing bolt 21. When changing the lens, the camera lift plate 16
8 is lowered to the position of the fall prevention fitting 24, the lens replacement work can be performed using the space below the base plate 18 without removing the surrounding evaluation graphic plate 30. it can. When the camera lift plate 16 moves up and down, the lens retainer 11 expands and contracts in accordance with its movement to firmly press the lens 12, so that the PAL lens 12 is displaced due to the vibration when the lift plate 16 moves. To prevent.

【００２７】ベース板１８の４隅に立てられた支柱６に
よって天板２８は支えられており、その天板２８にはレ
ンズ押え１１と照明器具２９が取り付けられている。照
明器具２９は評価図形板３０を照明し測定に必要な明る
さを与えるようにしている。評価図形板３０は円筒形を
している。ベース板１８と天板２８は、リング状の止め
金具２５、２７によって、その中心にＰＡＬレンズ１２
が位置されるように固定される。The top plate 28 is supported by the columns 6 standing at the four corners of the base plate 18, and the lens retainer 11 and the lighting fixture 29 are attached to the top plate 28. The lighting fixture 29 illuminates the evaluation graphic board 30 so as to provide the brightness necessary for the measurement. The evaluation graphic board 30 has a cylindrical shape. The base plate 18 and the top plate 28 are attached to the center of the PAL lens 12 by ring-shaped stoppers 25 and 27.
Are fixed so that they are positioned.

【００２８】図９（ａ）は、レンズ固定・撮影部５１の
ＰＡＬレンズ１２と評価図形板３０の位置関係を上方か
ら見た平面図であって、評価図形板３０はＰＡＬレンズ
１２を中心とする円周上に設置されている。図９（ｂ）
は評価図形板３０の内側側面図である。評価図形板３０
の内側には、レンズ中心からの仰角が等角度θに分割さ
れ、それらの延長線上に水平線ＰＢＩ−ＰＤ１，ＰＢ２
−ＰＤ２，ＰＢ３−ＰＤ３，ＰＢ４−ＰＤ４が描かれ
る。図１０は円筒形評価図形板３０を平面に展開した図
である。水平線の間隔ｈ１、ｈ２、ｈ３はＰＡＬレンズ
からみる時の仰角を等角度に分割したものに等しくなる
ように定められている。レンズからの角度を等しくなる
ようにしさえすれば、水平線の本数を増やしても同様の
効果が得られ精度の高い測定が可能である。FIG. 9A is a plan view of the positional relationship between the PAL lens 12 of the lens fixing / photographing section 51 and the evaluation graphic plate 30 as seen from above. The evaluation graphic plate 30 is centered on the PAL lens 12. It is installed on the circumference. Figure 9 (b)
FIG. 3 is a side view of the inside of the evaluation graphic board 30. Evaluation graphic board 30
The angle of elevation from the center of the lens is divided into equal angles θ inside the, and horizontal lines PBI-PD1 and PB2 are formed on their extension lines.
-PD2, PB3-PD3, PB4-PD4 are drawn. FIG. 10 is a diagram in which the cylindrical evaluation graphic board 30 is developed on a plane. The intervals h1, h2, and h3 of the horizontal lines are set to be equal to the elevation angle when viewed from the PAL lens, which is divided into equal angles. If the angles from the lens are made equal, the same effect can be obtained even if the number of horizontal lines is increased, and highly accurate measurement is possible.

【００２９】ＰＡＬレンズを通して評価図形板３０の内
側を撮影すると、位置角度θを維持したまま図１１のよ
うに、Ｌ１＝Ｌ２＝Ｌ３となる等間隔の同心円となる。
これら円が同心円とならないか、または等間隔にならな
いときは、レンズにひずみが生じていることを示す。When the inside of the evaluation graphic plate 30 is photographed through the PAL lens, concentric circles with equal intervals L1 = L2 = L3 are obtained as shown in FIG. 11 while maintaining the position angle θ.
When these circles are not concentric circles or are not evenly spaced, it means that the lens is distorted.

【００３０】次に、パソコン５３で実行される座標補正
データ表の作成手順について図１２から図１４を参照し
て説明する。図１４のステップ６１にて、図１２（ａ）
に示すような評価図形板３０の撮影画像データ（Ａ）を
取り込む。ステップ６２で、この画像の中心を通る横一
本線上を走査して線上の画素データを抽出し、評価図形
の存在する座標Ｐｍを検出する。評価図形が描画された
個所を走査した時はその画素は黒色であるので、黒色の
画素を検出すれば評価図形の存在する個所の画素の座標
Ｐｍを検索することができる。図１２（ｂ）は等間隔に
配列された基準座標を示すものであり、走査によって検
出された測定座標は同図（ｃ）に示される。同図（ａ）
および（ｂ）に示される座標標記は、画像の中心を原点
（０，０）とし、（２，１）と表した時は、右へ２画
素、上へ１画素だけ原点から移動した点を表す。ひずみ
のない理想のＰＡＬレンズで撮影した評価画像図形は、
等間隔の同心円を描くため、図１２（ｂ）の基準座標と
一致する間隔Ｎ１，Ｎ２，・・・Ｎ１０となる。しか
し、実際のレンズでは、鉛直方向ひずみが存在するの
で、図１２（ｃ）に示すように検出座標間隔が不均一と
なる。Next, the procedure for creating the coordinate correction data table executed by the personal computer 53 will be described with reference to FIGS. 12 to 14. In step 61 of FIG. 14, in FIG.
Captured image data (A) of the evaluation graphic board 30 as shown in FIG. In step 62, a horizontal single line passing through the center of this image is scanned to extract pixel data on the line, and the coordinates Pm where the evaluation figure exists are detected. When the portion where the evaluation graphic is drawn is scanned, the pixel is black. Therefore, if the black pixel is detected, the coordinates Pm of the pixel where the evaluation graphic exists can be retrieved. FIG. 12B shows reference coordinates arranged at equal intervals, and the measurement coordinates detected by scanning are shown in FIG. 12C. The same figure (a)
In the coordinate notation shown in (b) and (b), the center of the image is the origin (0,0), and when expressed as (2,1), the point moved from the origin by 2 pixels to the right and 1 pixel upward Represent The evaluation image figure taken with an ideal PAL lens without distortion is
Since concentric circles are drawn at equal intervals, the intervals N1, N2, ... N10 coincide with the reference coordinates in FIG. However, in an actual lens, since there is vertical strain, the detection coordinate interval becomes nonuniform as shown in FIG.

【００３１】ステップ６３にて、基準座標データを読み
込む。基準座標データは固定されているので、予め記録
されたデータを読み込むだけでよい。そしてステップ６
４で、相互に対応する測定座標と基準座標との差を取
り、これを補正座標データとして補正データ計算をす
る。その計算経過と結果が図１２（ｄ）に示されてい
る。At step 63, reference coordinate data is read. Since the reference coordinate data is fixed, it is only necessary to read the prerecorded data. And step 6
In step 4, the difference between the measurement coordinates and the reference coordinates corresponding to each other is calculated, and the correction data is calculated using the difference as the correction coordinate data. The calculation process and the result are shown in FIG.

【００３２】ステップ６５に示す計算式に従って、各円
の画像の中心からの距離を同図（ｂ）に示すように計算
すると共に、各円の基準座標からのズレを表す移動情報
を計算し、ステップ６６にて図１３（ａ）に示す画像補
正データ表を作成し、これをモニター５４に表示する。
なお、モニター画面は、図１５に示すように、評価図形
画像７１、基準座標のマーカー７２および補正データ表
７３が同時に表示されるので、作業者は評価図形の撮影
状況と現在使用されている基準座標データからの測定座
標の位置ズレを、図形とマーカーの重なり具合で確認す
ることができる。また、補正データ表７３の補正値が表
示されているため、その数値と先のマーカーとの位置ズ
レが妥当なものであることを確認することができる。According to the calculation formula shown in step 65, the distance from the center of the image of each circle is calculated as shown in FIG. 6B, and the movement information representing the deviation from the reference coordinates of each circle is calculated, In step 66, the image correction data table shown in FIG. 13A is created and displayed on the monitor 54.
As shown in FIG. 15, on the monitor screen, the evaluation graphic image 71, the reference coordinate marker 72, and the correction data table 73 are displayed simultaneously, so that the operator can take a picture of the evaluation graphic and the reference currently used. The positional deviation of the measurement coordinates from the coordinate data can be confirmed by the degree of overlap between the figure and the marker. Further, since the correction value of the correction data table 73 is displayed, it can be confirmed that the positional deviation between the numerical value and the previous marker is appropriate.

【００３３】上記の例では横一本線の走査で説明した
が、中心点を通過する直線でれば縦方向でも斜め方向で
もよい。In the above example, the horizontal single line scanning is described, but the straight line passing through the center point may be in the vertical direction or the oblique direction.

【００３４】次に、段落番号００１６で述べた視覚的調
整方式について説明する。この実施例の構成は図５に示
すシステム構成と同様なものでよい。この実施例では、
図１６および図１７（ａ）に示すように、内面に等角度
間隔で印刷されたゼブラパターンを有する球状ドーム型
の治具７６を準備し、その真中にＰＡＬレンズ１を配置
する。この状態でＰＡＬレンズ１を通してゼブラパター
ンを撮影しパノラマ画像に展開すると、図１７（ｂ）に
示すように、横平行線のパターンが得られる。Next, the visual adjustment method described in paragraph number 0016 will be described. The configuration of this embodiment may be similar to the system configuration shown in FIG. In this example,
As shown in FIGS. 16 and 17A, a spherical dome-shaped jig 76 having a zebra pattern printed on the inner surface at equal angular intervals is prepared, and the PAL lens 1 is arranged in the center thereof. When a zebra pattern is photographed through the PAL lens 1 in this state and developed into a panoramic image, a pattern of horizontal parallel lines is obtained as shown in FIG. 17B.

【００３５】図１７（ｂ）のパターンをパソコン５３に
取り込みモニター５４に調整画面として表示して、前述
の関係Ｙ＝ｆ（Ｒ）をグラフ化して図１８（ｃ）に示す
ように表示する操作を行う。１８図（ａ）に示すよう
に、予め用意されたゼブラパターンに対応する等間隔の
調整ガイド７８を横平行線パターンのパノラマ画像に隣
接して表示する。次いで、同図（ｃ）のグラフ化された
特性曲線を調整して平行線パターンが調整ガイド７８に
一致するように、目視によりパノラマ展開画像の鉛直方
向ひずみを補正する。Operation for loading the pattern of FIG. 17 (b) into the personal computer 53 and displaying it as an adjustment screen on the monitor 54, and graphing the above relationship Y = f (R) and displaying it as shown in FIG. 18 (c). I do. As shown in FIG. 18A, the adjustment guides 78 with equal intervals corresponding to the zebra pattern prepared in advance are displayed adjacent to the panoramic image of the horizontal parallel line pattern. Then, the graphed characteristic curve in FIG. 7C is adjusted to visually correct the vertical distortion of the panoramic developed image so that the parallel line pattern matches the adjustment guide 78.

【００３６】このようにして得られたグラフの特性曲線
式Ｙ＝ｆ（Ｒ）をＰＡＬレンズ特有の補正条件としてデ
ータベース５５へ送信し、または、この補正条件をカメ
ラユニットに内蔵された記憶デバイスに保持させる。以
降はその補正条件を用いて環状画像のパノラマ画像への
展開の際に鉛直方向ひずみを補正処理することができ
る。The characteristic curve expression Y = f (R) of the graph thus obtained is transmitted to the database 55 as a correction condition peculiar to the PAL lens, or this correction condition is stored in a storage device built in the camera unit. Hold it. After that, the vertical distortion can be corrected when the annular image is expanded into the panoramic image using the correction condition.

【００３７】なお、図１８（ｃ）の調整用画面はカメラ
ユニット本体またはリモート接続されたパソコン上に用
意してもよい。リモート接続されたパソコン上で操作す
る場合は、決定された補正条件をカメラユニットへ転送
することによって調整作業を終了する。また、規格の異
なるＰＡＬレンズを使用する際には、撮影前にこの機能
を用いて補正条件を更新することによりひずみのない展
開画像を得ることができる。The adjustment screen shown in FIG. 18 (c) may be prepared on the camera unit main body or a remotely connected personal computer. When operating on a personal computer that is remotely connected, the adjustment work is completed by transferring the determined correction conditions to the camera unit. Further, when using PAL lenses having different standards, a distortion-free developed image can be obtained by updating the correction condition using this function before photographing.

【００３８】以上に説明した補正条件８２を示すデータ
テーブルまたは補正特性式は、図１９に示すように、Ｐ
ＡＬレンズベンダーのＷｅｂサイト８１からインターネ
ットを通してダウンロードできるようにし、処理系がパ
ソコン８３（あるいは携帯端末）である場合はそのまま
補正条件をＰＡＬ展開システムへ送信し、処理系がメモ
リデバイス等を備えたカメラユニット８４である場合は
補正条件を受信したパソコン８３にカメラユニット８４
を接続して補正条件を取り込む。その接続はＵＳＢ、Ｒ
Ｓ２３２Ｃ、１３９４、スマートメディア等を通して行
われる。The data table or the correction characteristic formula showing the correction condition 82 explained above is P as shown in FIG.
A camera that can be downloaded from the AL lens vendor's website 81 via the Internet, and if the processing system is a personal computer 83 (or mobile terminal), the correction conditions are sent to the PAL development system as is, and the processing system is equipped with a memory device or the like. If it is the unit 84, the camera unit 84 is added to the personal computer 83 that has received the correction conditions.
Connect to import the correction conditions. The connection is USB, R
It is performed through S232C, 1394, smart media and the like.

【００３９】[0039]

【発明の効果】以上に述べた本発明によれば、鉛直方向
ひずみのない自然なイメージのパノラマ画像を得ること
ができ、また、画角の異なる新規格のＰＡＬレンズへの
対応がユーザサイドで容易に行うことができる。According to the present invention described above, it is possible to obtain a natural panoramic image free from vertical distortion, and the user side can cope with a new standard PAL lens having a different angle of view. It can be done easily.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の原理を従来と対比しつつ説明するため
の本発明に係るシステムを示すブロック図である。FIG. 1 is a block diagram showing a system according to the present invention for explaining the principle of the present invention in comparison with the related art.

【図２】本発明の一実施例の説明図である。FIG. 2 is an explanatory diagram of an embodiment of the present invention.

【図３】図２に示す実施例の特性を示すテーブルであ
る。FIG. 3 is a table showing characteristics of the embodiment shown in FIG.

【図４】本発明の他の実施例を示す表示画像例である。FIG. 4 is an example of a display image showing another embodiment of the present invention.

【図５】本発明の更に他の実施例を示すレンズベンダー
側のシステム構成を示すブロック図である。FIG. 5 is a block diagram showing a system configuration on the lens bender side showing still another embodiment of the present invention.

【図６】図６に示すシステムにおいて使用される治具の
構成を示す縦断面構成図である。6 is a vertical cross-sectional configuration diagram showing a configuration of a jig used in the system shown in FIG.

【図７】図６の治具構成を示す横断面図である。7 is a cross-sectional view showing the jig configuration of FIG.

【図８】図６に示す治具構成の異なる状態を示す縦断面
図である。8 is a vertical cross-sectional view showing a different state of the jig configuration shown in FIG.

【図９】図６から図８に示す治具を用いた実施例の原理
を説明する図である。FIG. 9 is a diagram illustrating the principle of an embodiment using the jig shown in FIGS. 6 to 8;

【図１０】図９の原理により撮像されたパノラマ展開画
像を示す説明図である。10 is an explanatory diagram showing a panoramic developed image captured according to the principle of FIG.

【図１１】図９の原理により図６から図８に示す治具を
用いて撮影された環状画像の説明図である。FIG. 11 is an explanatory diagram of an annular image photographed using the jig shown in FIGS. 6 to 8 according to the principle of FIG. 9.

【図１２】図１１の画像を走査して補正データを取得す
る原理の説明図である。12 is an explanatory diagram of the principle of acquiring correction data by scanning the image of FIG.

【図１３】図１２の原理に従って得られた座標補正デー
タ表の一例を示す図である。13 is a diagram showing an example of a coordinate correction data table obtained according to the principle of FIG.

【図１４】図９から図１２に示す実施例を実行するため
の手順を示すフローチャートである。FIG. 14 is a flowchart showing a procedure for executing the embodiment shown in FIGS. 9 to 12.

【図１５】図１４に示す手順で得られた結果を表示した
画面の一例を示す図である。FIG. 15 is a diagram showing an example of a screen displaying a result obtained by the procedure shown in FIG.

【図１６】本発明の更に他の実施例の構成を示す説明図
である。FIG. 16 is an explanatory diagram showing the configuration of still another embodiment of the present invention.

【図１７】図１６の実施例を実行する過程を説明した図
である。FIG. 17 is a diagram illustrating a process of performing the embodiment of FIG.

【図１８】図１６の実施例の原理を説明するための図で
ある。FIG. 18 is a diagram for explaining the principle of the embodiment of FIG.

【図１９】本発明に係る補正条件を転送するシステム構
成を示す図である。FIG. 19 is a diagram showing a system configuration for transferring a correction condition according to the present invention.

【符号の説明】[Explanation of symbols]

１ ＰＡＬレンズ ２ ゼブラパターン ４ 環状画像入力部 ５ 展開処理部 ６ 展開画像出力部 ８ 補正条件入力部 ９ ひずみ補正処理部 ＣＣ 補正条件 ＤＰ 表示装置 １１ レンズ押え １２ ＰＡＬレンズ １６ カメラ昇降板 １７ ＣＣＤカメラ ３０ 評価図形板 ５１ レンズ固定・撮影装置 ５３ パソコン ５５ データベース ５６ Ｗｅｂサーバ ７５ ゼブラパターン ７６ 球状ドーム型の治具 ７８ 調整ガイド 1 PAL lens 2 zebra pattern 4 Ring image input section 5 Development processing section 6 Expanded image output section 8 Correction condition input section 9 Distortion correction processor CC correction condition DP display device 11 Lens presser 12 PAL lens 16 Camera lift plate 17 CCD camera 30 Evaluation graphic board 51 Lens fixing / photographing device 53 PC 55 Database 56 Web server 75 zebra pattern 76 Spherical dome type jig 78 Adjustment guide

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高本 直紀 富山県富山市大泉1583番地 立山マシン株 式会社内 (72)発明者 光山 和哉 富山県富山市大泉1583番地 立山マシン株 式会社内 (72)発明者 今村 省人 富山県富山市大泉1583番地 立山マシン株 式会社内 (72)発明者 バラージュ ヴァーグボルギ 1111，ブタペスト ゼンター ユー. １．，ハンガリー国 Ｆターム(参考） 2H059 BA01 BA15 5B057 BA12 CA13 CA16 CB12 CB16 CD12 DA07 5C022 AA01 5C054 CF06 EA01 EA05 ED07 ED11 FD02 HA19    ─────────────────────────────────────────────────── ─── Continued front page    (72) Inventor Naoki Takamoto             1583 Oizumi, Toyama City, Toyama Prefecture Tateyama Machine Co., Ltd.             Inside the company (72) Inventor Kazuya Mitsuyama             1583 Oizumi, Toyama City, Toyama Prefecture Tateyama Machine Co., Ltd.             Inside the company (72) Inventor Imamura             1583 Oizumi, Toyama City, Toyama Prefecture Tateyama Machine Co., Ltd.             Inside the company (72) Inventor Barrage Varg Borghi             1111, Budapest Zenter You.             1. , Hungary F-term (reference) 2H059 BA01 BA15                 5B057 BA12 CA13 CA16 CB12 CB16                       CD12 DA07                 5C022 AA01                 5C054 CF06 EA01 EA05 ED07 ED11                       FD02 HA19

Claims (11)

【特許請求の範囲】[Claims] 【請求項１】 ＰＡＬレンズを備えた全方位撮像装置に
より所定間隔に配置された複数個の水平線からなるゼブ
ラパターンを撮影するステップと、 撮影されたゼブラパターンに基づいて前記ＰＡＬレンズ
の鉛直方向ひずみの補正条件を求めるステップと、 を備えた、環状画像のパノラマ画像への展開時の鉛直方
向ひずみ補正方法。1. A step of photographing a zebra pattern composed of a plurality of horizontal lines arranged at predetermined intervals by an omnidirectional imaging device having a PAL lens, and a vertical strain of the PAL lens based on the photographed zebra pattern. A method for correcting vertical distortion at the time of expanding an annular image into a panoramic image, the method including a step of obtaining a correction condition of. 【請求項２】 前記撮影ステップは、円筒状の評価図形
板の内面上であって前記ＰＡＬレンズの垂直方向の視界
角を等角度に分割した線の延長上に形成された前記複数
個の水平線からなるゼブラパターンを撮影する、請求項
１に記載の方法。2. The plurality of horizontal lines formed on the inner surface of a cylindrical evaluation graphic plate on the extension of a line obtained by equally dividing the vertical field angle of the PAL lens in the photographing step. The method of claim 1, wherein a zebra pattern consisting of is photographed. 【請求項３】 前記撮影ステップは、球状ドームの内面
上であって前記ＰＡＬレンズから見て仰角を等角度に分
割した線の延長上に形成された前記複数個の水平線から
なるゼブラパターンを撮影する、請求項１に記載の方
法。3. The photographing step photographs a zebra pattern including a plurality of horizontal lines formed on an inner surface of a spherical dome and extending from a line obtained by dividing an elevation angle into an equal angle when viewed from the PAL lens. The method of claim 1, wherein 【請求項４】 前記補正条件を求めるステップは、撮影
された前記ゼブラパターンの環状画像の中心を通る直線
で走査して該ゼブラパターンの存在する画素位置の座標
を求め、求めた各座標に基づいて鉛直方向ひずみを補正
する補正条件を求める、請求項１に記載の方法。4. The step of obtaining the correction condition is performed by scanning with a straight line passing through the center of the photographed annular image of the zebra pattern to obtain the coordinates of the pixel position where the zebra pattern exists, and based on each obtained coordinate. The method according to claim 1, wherein a correction condition for correcting the vertical strain is obtained. 【請求項５】 ＰＡＬレンズを備えた全方位撮像装置
と、 該全方位撮像装置を中心にして該全方位撮像装置を包囲
して配置され、所定間隔に配置された複数個の水平線か
らなるゼブラパターンと、 前記全方位撮像装置で撮影された前記ゼブラパターンに
基づいて前記ＰＡＬレンズの鉛直方向ひずみの補正条件
を求める手段と、 を備えた、環状画像のパノラマ画像への展開時の鉛直方
向ひずみ補正装置。5. An omnidirectional imaging device having a PAL lens, and a zebra composed of a plurality of horizontal lines arranged around the omnidirectional imaging device around the omnidirectional imaging device and arranged at predetermined intervals. A vertical distortion when the annular image is developed into a panoramic image, and a pattern and means for obtaining a correction condition for the vertical distortion of the PAL lens based on the zebra pattern taken by the omnidirectional imaging device. Correction device. 【請求項６】 前記補正条件を求める手段は、レンズシ
ュミレータソフトを使用してシュミレータ画面を表示す
る手段と、画像を見ながら目視で補正条件を入力する手
段と、を備えた、請求項５に記載の装置。6. The method according to claim 5, wherein the means for obtaining the correction condition comprises means for displaying a simulator screen by using lens simulator software and means for visually inputting the correction condition while viewing an image. The described device. 【請求項７】 前記補正条件を求める手段は、前記ゼブ
ラパターンのパノラマ画像に隣接して等間隔のゼブラパ
ターンからなる調整ガイドを表示する手段と、画像を見
ながら目視で前記ゼブラパターンの環状画像の径上の位
置Ｒと前記ゼブラパターンのパノラマ画像の高さ位置Ｈ
との関係式を求める手段と、を備えた、請求項５に記載
の装置。7. The means for obtaining the correction condition includes means for displaying an adjustment guide composed of zebra patterns that are equally spaced adjacent to the panoramic image of the zebra pattern, and a ring image of the zebra pattern that is visually observed while viewing the image. Position R on the radius and the height position H of the panorama image of the zebra pattern
6. The apparatus according to claim 5, further comprising means for obtaining a relational expression between and. 【請求項８】 請求項１−４のいずれか１項に記載の前
記補正条件を用いて、該補正条件に対応するＰＡＬレン
ズを用いた全方位撮像装置で撮像した環状画像のパノラ
マ画像への展開の際に鉛直方向ひずみを補正する方法。8. A panoramic image of an annular image captured by an omnidirectional imaging device using a PAL lens corresponding to the correction condition, using the correction condition according to claim 1. A method to correct vertical strain during deployment. 【請求項９】 請求項５−７のいずれか１項に記載の前
記補正条件を用いて、該補正条件に対応するＰＡＬレン
ズを備えた全方位撮像装置で撮像した環状画像のパノラ
マ画像への展開の際に鉛直方向ひずみを補正する手段を
有する、環状画像のパノラマ画像への展開時の鉛直方向
ひずみ補正装置。9. A panoramic image of a circular image captured by an omnidirectional imaging device equipped with a PAL lens corresponding to the correction condition, using the correction condition according to any one of claims 5-7. A vertical distortion correction device at the time of expanding an annular image into a panoramic image, which has means for correcting vertical distortion at the time of expansion. 【請求項１０】 請求項１−４のいずれか１項に記載の
前記補正条件をデータベースに保持し、Ｗｅｂサーバを
通して前記ＰＡＬレンズのユーザの要求に応じて前記補
正条件を配信する、環状画像のパノラマ画像への展開時
の鉛直方向ひずみの補正条件の配信方法。10. A circular image for holding the correction condition according to claim 1 in a database and delivering the correction condition in response to a request from a user of the PAL lens through a Web server. Distribution method of vertical distortion correction conditions when expanding to a panoramic image. 【請求項１１】 請求項１−７のいずれか１項に記載の
前記補正条件を保持するメモリと、該補正条件に基づい
て前記鉛直方向ひずみを補正する手段と、を備えたカメ
ラユニット。11. A camera unit, comprising: a memory that holds the correction condition according to claim 1; and a unit that corrects the vertical distortion based on the correction condition.