JP4960941B2

JP4960941B2 - Camera calibration device for zoom lens-equipped camera of broadcast virtual studio, method and program thereof

Info

Publication number: JP4960941B2
Application number: JP2008242524A
Authority: JP
Inventors: 英彦大久保; 結子山内; 秀樹三ッ峰; 崇史深谷; 誠喜井上
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2008-09-22
Filing date: 2008-09-22
Publication date: 2012-06-27
Anticipated expiration: 2028-09-22
Also published as: JP2010074730A

Description

この発明は、放送用バーチャルスタジオのズームレンズ搭載カメラのカメラパラメータやズームレンズをキャリブレーションするカメラキャリブレーション装置、その方法およびそのプログラムに関するものである。 The present invention relates to a camera calibration device for calibrating a camera parameter and a zoom lens of a zoom lens-equipped camera in a broadcast virtual studio, a method thereof, and a program thereof.

放送用バーチャルスタジオは、カメラの動きにつじつまの合ったＣＧ（Computer Graphics）を生成することで、実写との合成時に違和感のない複合現実世界をつくり、放送コンテンツにできるシステムである。そのためには、現実の撮影カメラの位置・姿勢などを表す状態をデータとして取得し、そこからＣＧの仮想カメラの位置・姿勢などのパラメータとしてＣＧ描画装置に与えてやる必要がある。このように、現実の撮影カメラから仮想カメラに関する各種パラメータを求めるプロセスのこと、また、そのパラメータにカメラをセッティングすることを、一般的にはカメラキャリブレーションという。ここでは、前者のカメラのパラメータを求めるプロセスをカメラキャリブレーションと呼び、後者のカメラヘのパラメータ適用をカメラセッティングと分けて呼ぶこととする。これらの２つのプロセスを経てＣＧの仮想カメラで撮影した画角でＣＧ描画が行われ、現実のカメラで撮影した画角の実写の映像と合成しオンエアにいたる。 The broadcast virtual studio is a system that creates a CG (Computer Graphics) that matches the movement of the camera, thereby creating a mixed reality world that does not feel uncomfortable when combined with a live-action film, and can be used as broadcast content. For this purpose, it is necessary to acquire the state representing the actual position / posture of the photographing camera as data, and to give it to the CG drawing apparatus as parameters such as the position / posture of the CG virtual camera. In this way, the process of obtaining various parameters relating to the virtual camera from the actual photographing camera, and setting the camera to the parameter is generally referred to as camera calibration. Here, the process for obtaining the parameters of the former camera is called camera calibration, and the parameter application to the latter camera is called separately from camera settings. Through these two processes, CG drawing is performed at the angle of view taken by the CG virtual camera, and the resulting image is synthesized with the actual image of the angle of view taken by the real camera, and then on-air.

現状では、２種類のカメラキャリブレーションが主流となっている。１つが、メカニカル、あるいは光学的なセンサなどを利用して、物理的な特徴として、現実のカメラの移動量および姿勢変化（パン・チルトの回転量など）の相対値を計測し、その間接的なデータを元にカメラの各種パラメータを求めるものである。そのためには、事前に、間接的なデータとしての測定値からカメラの各種パラメータヘのデータ変換手段（例えば、変換用のデータベース）を準備しておく必要がある。 At present, two types of camera calibration are mainstream. One is to measure the relative value of the actual camera movement and posture change (such as pan / tilt rotation) as a physical feature using a mechanical or optical sensor. Various parameters of the camera are obtained based on various data. For this purpose, it is necessary to prepare in advance data conversion means (for example, a conversion database) from measured values as indirect data to various parameters of the camera.

もう１つのカメラキャリブレーション方法は、撮影画像自体から画像解析によって特徴点を抽出し、そこから、カメラの撮影位置などのパラメータを計算によって直接的に求めるものである。例えば、特徴点として用いるために、既知の位置情報をもった２次元または３次元のパターン（キャリブレーションパターン）を予め用意しておき、それを撮影する場合がある。また、そういった既知パターンを利用せずに、カメラの移動について時間方向に情報を蓄積し、その結果として、視差のある複数のカメラから撮影した場合と同じ手法で、特徴点の位置関係とカメラの位置情報を割り出す場合もある。 In another camera calibration method, a feature point is extracted from a captured image itself by image analysis, and parameters such as a shooting position of the camera are directly obtained therefrom by calculation. For example, there are cases where a two-dimensional or three-dimensional pattern (calibration pattern) having known position information is prepared in advance and used for photographing as a feature point. Moreover, without using such a known pattern, information on the movement of the camera is accumulated in the time direction, and as a result, the positional relation between the feature points and the camera In some cases, position information is determined.

放送用バーチャルスタジオのカメラシステムに特徴的なことは、安定したフレーミングとなめらかなカメラワークのために、カメラが雲台にマウントされていることが多いということである。このようにカメラが雲台にマウントされている場合、さらにはペデスタルにもマウントされる場合も多い。 What is characteristic of a broadcast virtual studio camera system is that the camera is often mounted on a pan head for stable framing and smooth camera work. When the camera is mounted on the camera platform as described above, it is often mounted on the pedestal.

現在、特撮用のスタジオなどで一般的に利用されているバーチャルスタジオ用のカメラシステムでは、カメラを搭載した雲台に回転量検知のセンサが取り付けられており、これにより、カメラ自体の向いている方向の変化を検知している。そして、ベデスタルにも同様に回転量検知のセンサが取り付けられており、これにより、カメラの水平および垂直方向の相対的な移動量を測定することができる。さらに、ズームレンズには、そのズーム量およびフォーカス位置を測定するセンサが取り付けられており、そのズーム量およびフォーカス位置を、画角および理論的レンズ位置などの情報を得るための間接的なデータとして利用するようにしている。 Currently, in a camera system for a virtual studio that is generally used in a studio for special effects, a sensor for detecting the amount of rotation is attached to a camera platform equipped with the camera, which is suitable for the camera itself. Changes in direction are detected. Similarly, a sensor for detecting the amount of rotation is attached to the pedestal, whereby the amount of relative movement of the camera in the horizontal and vertical directions can be measured. Furthermore, a sensor for measuring the zoom amount and the focus position is attached to the zoom lens, and the zoom amount and the focus position are used as indirect data for obtaining information such as an angle of view and a theoretical lens position. I am trying to use it.

前記したように、これらの間接的なデータから、ＣＧの描画のための仮想的なカメラ位置および方向、そして画角などのパラメータに変換するためには、例えば、それぞれのセンサから得られる値を、必要なパラメータに変換するためのデータベースを準備する必要かある。また、カメラキャリブレーション時のカメラシステム状況と、カメラセッティング時のカメラシステム状況とは、異なることがほとんどである。そのため、それら２つの異なる状況を補正するためのプロセスが必要となってくる。この補正プロセスは、ほとんどの場合は、オンエア前に行われる。このような理由から、この補正プロセスは、短時間で実行可能である単純な初期化プロセスや、見た目による局所的なパラメータ補正となる。すなわち、従来のキャリブレーションには、これら間接的なデータ変換プロセスと、手法的に誤差を含むような補正プロセスとを実行されることが必要となっている。 As described above, in order to convert these indirect data into parameters such as a virtual camera position and direction for drawing CG and an angle of view, for example, values obtained from the respective sensors are used. Need to prepare a database to convert to the necessary parameters. In addition, the camera system status at the time of camera calibration and the camera system status at the time of camera setting are almost different. Therefore, a process for correcting these two different situations is required. This correction process is most often done on air. For this reason, this correction process is a simple initialization process that can be executed in a short time, or a local parameter correction by appearance. That is, in the conventional calibration, it is necessary to execute these indirect data conversion processes and a correction process that includes an error in a technical manner.

しかし、間接的なデータを変換するプロセスにおいては、雲台やズームレンズなどの各センサから得られるそれぞれの間接的なデータの１つ１つは、独立したカメラパラメータに作用するわけではなく、複数の間接的なデータが、複数のカメラパラメータに複雑に関係してくる。したがって、その関係性を、正確に記述できないと、系全体での誤差が予測できない。それを可能にするためには、雲台を含めた系全体のモデル化が必要である。また、補正プロセスにおいては、例えば、カメラセッティング時の、見た目による局所的なパラメータ補正は、着目している箇所では合っているが、その箇所から外れたエリアでのＣＧの合成精度の保証は不可能である。つまり、間接的なデータから、カメラシステムを記述するためのパラメータに変換し、それを補正する際に、原理的に精度が低下してしまうプロセスを含んでいるためにカメラシステム全体で合成精度を落とす結果を生み出していた。 However, in the process of converting indirect data, each of the indirect data obtained from each sensor such as a pan head or zoom lens does not act on independent camera parameters. This indirect data is intricately related to multiple camera parameters. Therefore, if the relationship cannot be accurately described, an error in the entire system cannot be predicted. To make this possible, modeling of the entire system including the pan head is necessary. In addition, in the correction process, for example, local parameter correction by appearance at the time of camera setting is appropriate in a point of interest, but there is no guarantee of CG synthesis accuracy in an area outside the point. Is possible. In other words, when converting from indirect data to parameters for describing the camera system and correcting it, the accuracy is reduced in principle. It was producing results to drop.

このような中、特撮用のスタジオなどで利用されているバーチャルスタジオ用のカメラシステムにおいては、カメラパラメータのキャリブレーションを高い精度で行うためには、雲台の相対回転量などの間接的なデータを利用しながらも、画像処理を利用したキャリブレーションプロセスと同様に、必要なパラメータをダイレクトに最適化して求める方が効果的であると考えられる。そして、雲台を含めた系全体のモデル化の一例として、非特許文献１には、回転雲台モデルによる最適化の実装とその効果が記載されている。非特許文献１に記載の技術は、三脚および雲台上に設置されたカメラで、任意の位置に固定された１つの２次元パターンを撮影した撮影画像を用いてキャリブレーションをするものである。 Under such circumstances, in a virtual studio camera system used in a studio for special effects, in order to calibrate the camera parameters with high accuracy, indirect data such as the relative rotation amount of the pan head is used. However, as in the calibration process using image processing, it is considered that it is more effective to directly optimize and obtain necessary parameters. As an example of modeling of the entire system including the camera platform, Non-Patent Document 1 describes the implementation of optimization using a rotating camera platform model and the effects thereof. The technique described in Non-Patent Document 1 performs calibration using a photographed image obtained by photographing one two-dimensional pattern fixed at an arbitrary position with a camera installed on a tripod and a camera platform.

ただし、非特許文献１の記載の技術では、ズームが固定されている。ズームレンズの場合には、構造上、ズーム量およびフォーカス位置の操作により光学系（内部パラメータ）の変化だけでなく雲台を基準としたカメラ位置および姿勢（外部パラメータ）が変化する。 However, in the technique described in Non-Patent Document 1, the zoom is fixed. In the case of a zoom lens, not only the optical system (internal parameters) but also the camera position and orientation (external parameters) based on the camera platform change due to the operation of the zoom amount and the focus position.

コンピュータビジョンの成果である、既知パターンを用いた画像処理によるカメラキャリブレーションを考えた場合、最適化プロセスでは、カメラの内部パラメータ（画角や光軸中心、レンズ歪み係数）は固定であることか前提である。すると、それらのカメラキャリブレーションアルゴリズムは、ズームレンズに対しては明らかに適用することができない。一般的なズームレンズのモデル的な取り扱いが難しいことは、ロボット工学の分野において知られている（非特許文献２参照）。非特許文献２では、自動ズームレンズを備えたカメラシステムにおいて、レンズパラメータを可変とするために、ズームレンズの多項式モデル化を提案している。 When considering camera calibration based on image processing using known patterns, which is the result of computer vision, is the internal parameter of the camera (view angle, optical axis center, lens distortion coefficient) fixed in the optimization process? It is a premise. Then, those camera calibration algorithms cannot obviously be applied to the zoom lens. It is known in the field of robot engineering that it is difficult to handle a general zoom lens as a model (see Non-Patent Document 2). Non-Patent Document 2 proposes a polynomial modeling of a zoom lens in order to make the lens parameters variable in a camera system equipped with an automatic zoom lens.

そこで、非特許文献１に記載の回転雲台モデルを、ズームレンズ部分のキャリブレーションのために、拡張する試みがなされている（非特許文献３参照）。非特許文献３には、非特許文献２で述べられたズームレンズの基本的なモデル化を参考にした上で、非特許文献１で提案されたカメラモデルにおいて、ズームによって変化するパラメータを限定することで、ズームレンズのパラメータを可変とするように回転雲台モデルを拡張できる可能性が示唆されている。非特許文献３では、非特許文献１と同様にして、任意の位置に固定された１つの２次元パターンをレンズのズーム値（焦点距離）を３通りに変更して撮影した撮影画像を用いてキャリブレーションをするものである。
大久保英彦、外４名、「バーチャルスタジオにおけるカメラキャリブレーション高精度化の考察」、FIT2007、2007、p.541-542 R. Willson, “Modeling and Calibration of Automated Zoom Lenses”, PhD thesis, Carnegie Mellon University, Pittsburgh, Pennsylvania, Jan. 1994. 大久保英彦、外２名、「バーチャルスタジオにおけるズームレンズのキャリブレーションに関する考察」、FIT2008、2008、p.543-544 Therefore, an attempt has been made to expand the rotating head model described in Non-Patent Document 1 for calibration of the zoom lens portion (see Non-Patent Document 3). Non-Patent Document 3 refers to the basic modeling of the zoom lens described in Non-Patent Document 2, and limits the parameters that change due to zoom in the camera model proposed in Non-Patent Document 1. This suggests the possibility of expanding the rotating head model so that the parameters of the zoom lens can be made variable. In Non-Patent Document 3, as in Non-Patent Document 1, using a captured image obtained by shooting one two-dimensional pattern fixed at an arbitrary position by changing the zoom value (focal length) of the lens in three ways. It is a calibration.
Hidehiko Okubo, 4 others, “Consideration of high-precision camera calibration in virtual studios”, FIT2007, 2007, p.541-542 R. Willson, “Modeling and Calibration of Automated Zoom Lenses”, PhD thesis, Carnegie Mellon University, Pittsburgh, Pennsylvania, Jan. 1994. Hidehiko Okubo and two others, “Discussion on zoom lens calibration in virtual studios”, FIT2008, 2008, p.543-544

しかしながら、非特許文献３に記載の技術は、レンズのズーム値（焦点距離）を変更して撮影画像を取得する際に、任意の位置に固定された１つの２次元パターンを用いている。つまり、外部パラメータのうち雲台中心位置がすべての撮影画像で共通であるものとしている。そのため、いくつかのサンプルズーム値におけるそれらのカメラキャリブレーションアルゴリズムの適用結果を得たとしても、その間接的なデータの変換プロセスで得られた各パラメータを、補正プロセスでそれぞれ補間した結果のパラメータは、その非線形性から鑑みて、キャリブレーションの精度を期待できない。 However, the technique described in Non-Patent Document 3 uses one two-dimensional pattern fixed at an arbitrary position when a captured image is acquired by changing the zoom value (focal length) of the lens. In other words, the pan head center position among the external parameters is common to all the captured images. Therefore, even if the results of applying these camera calibration algorithms at several sample zoom values are obtained, the parameters obtained by interpolating the parameters obtained by the indirect data conversion process by the correction process are respectively In view of the nonlinearity, calibration accuracy cannot be expected.

さらに、ズームが高倍率になり、フォーカスまで考慮すると、対象とするズーム範囲を、物理的に１つのパターンでは補いきれず、さらに１つの設置位置パターンでは補いきれない。よって、複数のパターンが必要であり、それら複数のパターンの相対位置関係を正確に把握することが必要になる。そうすると、複数のパターンを物理的に精度高く設置する必要が生じてしまうために、それに見合うように装置が複雑化してしまうためコスト等の理由から現実的ではない。したがって、当然の帰結として、そのような複雑な装置が準備できなければＣＧの合成精度を保証できないことになる。 Further, when the zoom becomes high magnification and the focus is taken into consideration, the target zoom range cannot be physically supplemented by one pattern, and further cannot be supplemented by one installation position pattern. Therefore, a plurality of patterns are necessary, and it is necessary to accurately grasp the relative positional relationship between the plurality of patterns. Then, since it becomes necessary to install a plurality of patterns with high physical accuracy, the apparatus becomes complicated to meet the requirement, which is not practical for reasons such as cost. Therefore, as a natural consequence, unless such a complicated apparatus can be prepared, the CG synthesis accuracy cannot be guaranteed.

本発明は、以上のような問題点に鑑みてなされたものであり、バーチャルスタジオ用のカメラシステムにおいて簡易な構成でＣＧと実写の幾何的な合成精度を高めることのできる技術を提供することを目的とする。 The present invention has been made in view of the problems as described above, and provides a technique capable of increasing the geometrical synthesis accuracy of CG and live-action with a simple configuration in a virtual studio camera system. Objective.

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のカメラキャリブレーション装置は、バーチャルスタジオ用のカメラシステムの雲台に搭載されたカメラのズームレンズのズーム量およびフォーカス値で示すズームレンズ状態を、広角と望遠のうちの一方から他方へ向かって離散的に切り替えるときに、所定位置に設置された２次元または３次元の特徴点を分布させたキャリブレーション用のパターンを撮影したパターン画像が撮影画面の所定範囲に収まるように、前記パターンの特徴点の間隔のサイズが異なる他のパターンと取り替えることと設置位置を変更することとの少なくとも一方を行うことに対応したセッティングバリエーションを随時変更して得られる複数のパターン画像に基づいて前記カメラシステムおよび前記ズームレンズをキャリブレーションするカメラキャリブレーション装置であって、記憶手段と、キャリブレーションパターン解析手段と、パラメータ算出手段と、データベース作成手段とを備えることとした。 The present invention has been devised to achieve the above object. First, the camera calibration device according to claim 1 is a zoom lens of a camera mounted on a camera platform for a virtual studio camera system. Calibration that distributes two-dimensional or three-dimensional feature points installed at predetermined positions when the zoom lens state indicated by the zoom amount and the focus value is discretely switched from one of the wide angle and the telephoto to the other. At least one of replacing with another pattern having a different size of the feature point interval of the pattern and changing the installation position so that the pattern image obtained by capturing the pattern for the operation falls within a predetermined range of the shooting screen Based on a plurality of pattern images obtained by changing the setting variation corresponding to The system and the zoom lens to a camera calibration device for calibrating and storage means, and calibration pattern analyzing means, and parameter calculation means, and further comprising a database creation unit.

かかる構成によれば、カメラキャリブレーション装置は、記憶手段に、前記セッティングバリエーションを変更した直後に、前記セッティングバリエーションの変更直前のズームレンズ状態に維持して得られたパターン画像を記憶すると共に、前記パターン画像が撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を第１入力パラメータとして記憶する。そして、カメラキャリブレーション装置は、キャリブレーションパターン解析手段によって、前記記憶されたパターン画像を解析することで、前記パターンの特徴点の観測された座標位置を算出し、インデックス化する。そして、カメラキャリブレーション装置は、パラメータ算出手段によって、前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて前記第１入力パラメータとして記憶された雲台のパン・チルト状態を既知として、前記パターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラモデルにおける外部パラメータと、前記ズームレンズ状態に依存した内部パラメータとを、評価すべきパラメータとして算出する。そして、カメラキャリブレーション装置は、データベース作成手段によって、前記算出された評価すべきパラメータのうち、前記雲台から前記カメラの光軸方向のオフセットを示すパラメータと、前記内部パラメータと、前記ズームレンズ状態に依存しない外部パラメータとを格納したデータベースを作成する。 According to such a configuration, the camera calibration device stores the pattern image obtained by maintaining the zoom lens state immediately before changing the setting variation in the storage unit immediately after changing the setting variation, and The zoom lens state and pan / tilt state of the pan / tilt head measured when the pattern image is photographed are stored as the first input parameters. Then, the camera calibration apparatus analyzes the stored pattern image by the calibration pattern analysis means, thereby calculating the observed coordinate position of the feature point of the pattern and indexing it. Then, the camera calibration device uses the parameter calculation means to set the pan / tilt state of the pan / tilt head stored as the first input parameter using a camera model set in advance corresponding to the camera mounted on the pan / tilt head The external parameters in the camera model so that the objective function including the error function between the estimated coordinate position and the observed coordinate position is minimized. And an internal parameter depending on the zoom lens state is calculated as a parameter to be evaluated. Then, the camera calibration device includes a parameter indicating an offset in the optical axis direction of the camera from the camera platform, the internal parameter, and the zoom lens state among the calculated parameters to be evaluated by the database creating unit. Create a database that stores external parameters that do not depend on.

また、請求項２に記載のカメラキャリブレーション装置は、請求項１のカメラキャリブレーション装置で作成されたデータベースを記憶したカメラキャリブレーション装置であって、記憶手段と、キャリブレーションパターン解析手段と、パラメータ算出手段と、データベース作成手段とを備えることとした。 The camera calibration apparatus according to claim 2 is a camera calibration apparatus storing a database created by the camera calibration apparatus according to claim 1, wherein the storage means, the calibration pattern analysis means, the parameter The calculation means and the database creation means are provided.

かかる構成によれば、カメラキャリブレーション装置は、記憶手段に、２次元または３次元の特徴点を分布させた１つのキャリブレーション用のパターンを、オンエア前のカメラセッティングにおいて撮影した複数のパターン画像を記憶すると共に、前記複数のパターン画像それぞれが撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を第２入力パラメータとして記憶する。そして、カメラキャリブレーション装置は、キャリブレーションパターン解析手段によって、前記記憶された前記カメラセッティングにおいて撮影されたパターン画像を解析することで、当該パターンの特徴点の観測された座標位置を算出し、インデックス化する。そして、カメラキャリブレーション装置は、パラメータ算出手段によって、前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて第２入力パラメータとして記憶された雲台のパン・チルト状態と、前記データベースに格納された各パラメータとを既知として、前記カメラセッティングにおいて撮影されたパターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラセッティングに対応した雲台の位置および姿勢を示すパラメータを、評価すべきパラメータとして算出する。そして、カメラキャリブレーション装置は、データベース作成手段によって、前記算出したパラメータを追加することで前記データベースを更新する。 According to such a configuration, the camera calibration device stores a plurality of pattern images obtained by photographing one calibration pattern in which two-dimensional or three-dimensional feature points are distributed in the camera setting before on-air in the storage unit. In addition to storing, the zoom lens state and pan / tilt state of the pan / tilt head measured when each of the plurality of pattern images is photographed are stored as second input parameters. Then, the camera calibration device calculates the observed coordinate position of the feature point of the pattern by analyzing the pattern image photographed in the stored camera setting by the calibration pattern analysis unit, and the index Turn into. Then, the camera calibration device uses the parameter calculation means to determine the pan / tilt state of the pan / tilt head stored as the second input parameter using a camera model set in advance corresponding to the camera mounted on the pan / tilt head. , Each parameter stored in the database is known, the coordinate position of the feature point of the pattern photographed in the camera setting is estimated, and an error function between the estimated coordinate position and the observed coordinate position is calculated. A parameter indicating the position and orientation of the pan head corresponding to the camera setting is calculated as a parameter to be evaluated so that the objective function to be included is minimized. Then, the camera calibration device updates the database by adding the calculated parameter by the database creation means.

また、請求項３に記載のカメラキャリブレーション装置は、請求項２のカメラキャリブレーション装置で更新されたデータベースを記憶したカメラキャリブレーション装置であって、パラメータを読出（あるいは参照）して、パラメータの補間を行うパラメータ補間手段を備えることとした。 According to a third aspect of the present invention, there is provided a camera calibration device storing a database updated by the camera calibration device according to the second aspect, wherein the parameter is read (or referred), and the parameter Parameter interpolation means for performing interpolation is provided.

かかる構成によれば、カメラキャリブレーション装置は、パラメータ補間手段によって、オンエア中のズームレンズ状態をキーとして前記更新されたデータベースからパラメータを読み出し補間し、オンエア中の現在の雲台のパン・チルト状態を用いて、ＣＧの仮想カメラの位置および姿勢のパラメータおよび内部パラメータを生成し、その生成したＣＧの仮想カメラの位置および姿勢のパラメータおよび内部パラメータをＣＧ描画装置に出力する。 According to such a configuration, the camera calibration apparatus reads and interpolates parameters from the updated database using the on-air zoom lens state as a key by the parameter interpolation unit, and the current pan / tilt state of the on-air pan head Are used to generate the CG virtual camera position and orientation parameters and internal parameters, and output the generated CG virtual camera position and orientation parameters and internal parameters to the CG rendering apparatus.

また、請求項４に記載のカメラキャリブレーション方法は、バーチャルスタジオ用のカメラシステムの雲台に搭載されたカメラのズームレンズのズーム量およびフォーカス値で示すズームレンズ状態を、広角と望遠のうちの一方から他方へ向かって離散的に切り替えるときに、所定位置に設置された２次元または３次元の特徴点を分布させたキャリブレーション用のパターンを撮影したパターン画像が撮影画面の所定範囲に収まるように、前記パターンの特徴点の間隔のサイズが異なる他のパターンと取り替えることと設置位置を変更することとの少なくとも一方を行うことに対応したセッティングバリエーションを随時変更して得られる複数のパターン画像に基づいて前記カメラシステムおよび前記ズームレンズをキャリブレーションする処理手段と記憶手段とを備えたカメラキャリブレーション装置のカメラキャリブレーション方法であって、前記処理手段が、入力ステップと、画像特徴点観測ステップと、パラメータ算出ステップと、データベース作成ステップと、を含んで実行することとした。 According to a fourth aspect of the present invention, there is provided a camera calibration method, wherein a zoom lens state indicated by a zoom amount and a focus value of a zoom lens of a camera mounted on a camera platform for a virtual studio is selected from a wide angle and a telephoto. When discretely switching from one to the other, a pattern image obtained by photographing a calibration pattern in which two-dimensional or three-dimensional feature points installed at a predetermined position are distributed is included in a predetermined range of the photographing screen. In addition, a plurality of pattern images obtained by changing setting variations corresponding to performing at least one of replacing with another pattern having a different size of the feature point interval of the pattern and changing the installation position as needed. Calibrate the camera system and the zoom lens based on A camera calibration method for a camera calibration apparatus comprising a processing means and a storage means, wherein the processing means includes an input step, an image feature point observation step, a parameter calculation step, and a database creation step. It was decided to execute with.

かかる手順によれば、カメラキャリブレーション装置の処理手段は、入力ステップにて、前記セッティングバリエーションを変更した直後に、前記セッティングバリエーションの変更直前のズームレンズ状態に維持して得られたパターン画像と、前記パターン画像が撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を第１入力パラメータとして前記記憶手段に格納する。そして、処理手段は、画像特徴点観測ステップにて、前記記憶されたパターン画像を解析することで、前記パターンの特徴点の観測された座標位置を算出し、インデックス化する。そして、処理手段は、パラメータ算出ステップにて、前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて前記第１入力パラメータとして記憶された雲台のパン・チルト状態を既知として、前記パターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラモデルにおける外部パラメータと、前記ズームレンズ状態に依存した内部パラメータとを、評価すべきパラメータとして算出する。そして、処理手段は、データベース作成ステップにて、前記算出された評価すべきパラメータのうち、前記雲台から前記カメラの光軸方向のオフセットを示すパラメータと、前記内部パラメータと、前記ズームレンズ状態に依存しない外部パラメータとを格納したデータベースを作成する。 According to such a procedure, the processing means of the camera calibration device, in the input step, immediately after changing the setting variation, the pattern image obtained by maintaining the zoom lens state immediately before the setting variation change, and The zoom lens state and pan / tilt state of the pan / tilt head measured when the pattern image is photographed are stored in the storage means as first input parameters. Then, in the image feature point observation step, the processing means analyzes the stored pattern image to calculate and index the observed coordinate position of the feature point of the pattern. Then, in the parameter calculation step, the processing means calculates the pan / tilt state of the pan head stored as the first input parameter using a camera model set in advance corresponding to the camera mounted on the pan head. As known, the coordinate position of the feature point of the pattern is estimated, and external parameters in the camera model are minimized so that an objective function including an error function between the estimated coordinate position and the observed coordinate position is minimized. The internal parameters depending on the zoom lens state are calculated as parameters to be evaluated. In the database creation step, the processing means includes a parameter indicating an offset in the optical axis direction of the camera from the camera platform, the internal parameter, and the zoom lens state among the calculated parameters to be evaluated. Create a database that stores external parameters that do not depend on it.

また、請求項５に記載のカメラキャリブレーションプログラムは、バーチャルスタジオ用のカメラシステムの雲台に搭載されたカメラのズームレンズのズーム量およびフォーカス値で示すズームレンズ状態を、広角と望遠のうちの一方から他方へ向かって離散的に切り替えるときに、所定位置に設置された２次元または３次元の特徴点を分布させたキャリブレーション用のパターンを撮影したパターン画像が撮影画面の所定範囲に収まるように、前記パターンの特徴点の間隔のサイズが異なる他のパターンと取り替えることと設置位置を変更することとの少なくとも一方を行うことに対応したセッティングバリエーションを随時変更して得られる複数のパターン画像に基づいて前記カメラシステムおよび前記ズームレンズをキャリブレーションするために、前記セッティングバリエーションを変更した直後に、前記セッティングバリエーションの変更直前のズームレンズ状態に維持して得られたパターン画像を記憶すると共に、前記パターン画像が撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を第１入力パラメータとして記憶する記憶手段を備えたコンピュータを、キャリブレーションパターン解析手段、パラメータ算出手段、データベース作成手段として機能させることとした。 According to a fifth aspect of the present invention, there is provided a camera calibration program, wherein a zoom lens state indicated by a zoom amount and a focus value of a zoom lens of a camera mounted on a camera platform for a virtual studio is selected from a wide angle and a telephoto. When discretely switching from one to the other, a pattern image obtained by photographing a calibration pattern in which two-dimensional or three-dimensional feature points installed at a predetermined position are distributed is included in a predetermined range of the photographing screen. In addition, a plurality of pattern images obtained by changing setting variations corresponding to performing at least one of replacing with another pattern having a different size of the feature point interval of the pattern and changing the installation position as needed. Calibration of the camera system and the zoom lens based on Therefore, immediately after changing the setting variation, the pattern image obtained by maintaining the zoom lens state immediately before the change of the setting variation is stored, and the zoom measured when the pattern image is photographed is stored. A computer having storage means for storing the lens state and pan / tilt state of the camera platform as the first input parameters is caused to function as calibration pattern analysis means, parameter calculation means, and database creation means.

かかる構成によれば、カメラキャリブレーションプログラムは、キャリブレーションパターン解析手段によって、前記記憶されたパターン画像を解析することで、前記パターンの特徴点の観測された座標位置を算出し、インデックス化する。そして、カメラキャリブレーションプログラムは、パラメータ算出手段によって、前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて前記第１入力パラメータとして記憶された雲台のパン・チルト状態を既知として、前記パターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラモデルにおける外部パラメータと、前記ズームレンズ状態に依存した内部パラメータとを、評価すべきパラメータとして算出する。そして、カメラキャリブレーションプログラムは、データベース作成手段によって、前記算出された評価すべきパラメータのうち、前記雲台から前記カメラの光軸方向のオフセットを示すパラメータと、前記内部パラメータと、前記ズームレンズ状態に依存しない外部パラメータとを格納したデータベースを作成する。 According to such a configuration, the camera calibration program calculates and indexes the observed coordinate positions of the feature points of the pattern by analyzing the stored pattern image by the calibration pattern analysis unit. Then, the camera calibration program uses the parameter calculation means to store the pan / tilt state of the pan / tilt head stored as the first input parameter using a camera model set in advance corresponding to the camera mounted on the pan / tilt head The external parameters in the camera model so that the objective function including the error function between the estimated coordinate position and the observed coordinate position is minimized. And an internal parameter depending on the zoom lens state is calculated as a parameter to be evaluated. The camera calibration program includes a parameter indicating an offset in the optical axis direction of the camera from the camera platform, the internal parameter, and the zoom lens state among the calculated parameters to be evaluated by the database creating unit. Create a database that stores external parameters that do not depend on.

請求項１または請求項４に記載の発明によれば、カメラキャリブレーション装置は、複数のパターンでズームレンズのズーム範囲をカバーしつつ、セッティングバリエーションを変更した直後に、セッティングバリエーションの変更直前のズームレンズ状態に維持して得られたパターン画像を用いて雲台マウントのカメラモデルにより算出した内外パラメータをデータベース化するので、ズームレンズの対象とするズーム範囲全体をキャリブレーションすることができる。したがって、作成されたデータベースを、補正プロセスに用いたときに、正確にカメラ位置を特定できる。その結果、バーチャルスタジオ用のカメラシステムにおいて簡易な構成でＣＧと実写の幾何的な合成精度を高めることができる。 According to the first or fourth aspect of the invention, the camera calibration device covers the zoom range of the zoom lens with a plurality of patterns, and immediately after the setting variation is changed, the zoom immediately before the setting variation is changed. Using the pattern image obtained while maintaining the lens state, the internal and external parameters calculated by the camera model of the pan head mount are compiled into a database, so that the entire zoom range targeted by the zoom lens can be calibrated. Therefore, when the created database is used for the correction process, the camera position can be accurately specified. As a result, it is possible to increase the geometrical synthesis accuracy of CG and live-action with a simple configuration in a camera system for a virtual studio.

請求項２に記載の発明によれば、カメラキャリブレーション装置は、間接的なデータをパラメータに変換するプロセスで作成されたデータベースと、オンエア前のカメラセッティングにおいて設置された１つのパターンを撮影したパターン画像とを用いて雲台マウントのカメラモデルにより算出した雲台の位置および姿勢を示すパラメータをデータベースに追加するので、更新されたデータベースを、補正プロセスに用いたときに、正確にカメラ位置を特定できる。また、追加されたパラメータを検索条件とすることで、オンエア中の雲台の位置および姿勢に対応したパラメータを取得することができる。その結果、バーチャルスタジオ用のカメラシステムにおいて簡易な構成でＣＧと実写の幾何的な合成精度を高めることができる。 According to the second aspect of the present invention, the camera calibration apparatus captures a database created by a process of converting indirect data into parameters, and a pattern obtained by photographing one pattern installed in the camera setting before on-air. Parameters that indicate the position and orientation of the camera platform calculated by the camera model of the camera platform mount using the image are added to the database, so when the updated database is used in the correction process, the camera position is accurately identified. it can. Further, by using the added parameter as a search condition, it is possible to acquire a parameter corresponding to the position and orientation of the pan head on air. As a result, it is possible to increase the geometrical synthesis accuracy of CG and live-action with a simple configuration in a camera system for a virtual studio.

請求項３に記載の発明によれば、カメラキャリブレーション装置は、オンエア中に被写体を撮影したときに測定されたズームレンズ状態を検索条件として、更新されたデータベースからパラメータを読み出し補間すると同時に、ダイレクトに雲台のパン・チルト状態を利用するので、オンエア中に被写体の実写映像と精度よく合成できるＣＧ画像を描画するためのカメラ位置等のパラメータを正確に求めることができる。その結果、バーチャルスタジオ用のカメラシステムにおいて簡易な構成でＣＧと実写の幾何的な合成精度を高めることができる。
請求項５に記載の発明によれば、カメラキャリブレーションプログラムがインストールされたコンピュータは、請求項１に記載の発明と同様な効果を奏することができる。 According to the third aspect of the present invention, the camera calibration device reads and interpolates parameters from the updated database using the zoom lens state measured when the subject is photographed on the air as a search condition, and at the same time performs direct interpolation. In addition, since the pan / tilt state of the camera platform is used, it is possible to accurately obtain parameters such as a camera position for drawing a CG image that can be accurately synthesized with a real image of the subject during on-air. As a result, it is possible to increase the geometrical synthesis accuracy of CG and live-action with a simple configuration in a camera system for a virtual studio.
According to the fifth aspect of the present invention, the computer in which the camera calibration program is installed can achieve the same effect as the first aspect of the invention.

以下、図面を参照して本発明のカメラキャリブレーション装置を実施するための最良の形態（以下「実施形態」という）について詳細に説明する。 Hereinafter, the best mode (hereinafter referred to as “embodiment”) for carrying out the camera calibration device of the present invention will be described in detail with reference to the drawings.

［カメラキャリブレーション装置の概要］
図１は、本発明の実施形態に係るカメラキャリブレーション装置を含むカメラシステムを模式的に示す構成図であり、図２は、図１に示した撮影装置の外観の一例を模式的に示す図、図３は、図１のカメラシステムの処理の全体の流れを示すフローチャートである。また、図４は、本発明の実施形態に係るカメラキャリブレーション装置の構成を示すブロック図であって、データベース作成時の情報の流れを示している。
カメラシステム１は、放送局の特撮スタジオで利用されるものであって、図１に示すように、撮影装置２と、ＣＧ描画装置３と、映像合成装置４と、記憶装置５と、カメラキャリブレーション装置６とを備える。 [Overview of camera calibration device]
FIG. 1 is a configuration diagram schematically showing a camera system including a camera calibration device according to an embodiment of the present invention, and FIG. 2 is a diagram schematically showing an example of the appearance of the imaging device shown in FIG. FIG. 3 is a flowchart showing an overall flow of processing of the camera system of FIG. FIG. 4 is a block diagram showing the configuration of the camera calibration apparatus according to the embodiment of the present invention, and shows the flow of information when creating a database.
The camera system 1 is used in a special-effects studio of a broadcasting station. As shown in FIG. 1, a camera device 1, a CG drawing device 3, a video composition device 4, a storage device 5, and camera calibration are performed. And a navigation device 6.

撮影装置２は、現在、特撮用のスタジオなどで一般的に利用されているバーチャルスタジオ用の撮影装置であって、図１に示すように、カメラ７と、ズームレンズ８と、レンズデータ検出センサ８ａと、雲台９と、雲台姿勢検出センサ９ａと、ペデスタル１０と、ペデスタルデータ検出センサ１０ａとを備えている。 The photographing apparatus 2 is a photographing apparatus for a virtual studio that is currently generally used in a special effects studio or the like, and as shown in FIG. 1, a camera 7, a zoom lens 8, and a lens data detection sensor. 8a, a pan head 9, a pan head detection sensor 9a, a pedestal 10, and a pedestal data detection sensor 10a.

カメラシステム１は、図３に示すように、大別して、オンエア以前の撮影装置２のカメラパラメータおよびズームレンズのキャリブレーション（データベース構築）のフェーズ、オンエア以前のカメラセッティングのフェーズ、および、オンエア中のＣＧ合成のフェーズの３段階で利用される。 As shown in FIG. 3, the camera system 1 is roughly divided into a camera parameter and zoom lens calibration (database construction) phase of the photographing apparatus 2 before on-air, a camera setting phase before on-air, and an on-air It is used in three stages of the CG synthesis phase.

図１に示すカメラシステム１では、予め用意された２次元の特徴点を分布させた複数の異なるキャリブレーション用のパターン（以下、単にパターンという）を撮影装置２でそれぞれ撮影し、カメラキャリブレーション装置６が、それぞれの撮影画像から画像解析によって特徴点を抽出し、その情報によって、カメラの撮影位置などのパラメータを計算により直接的に求める。パターンのサイズや個数は、ズームレンズ８のズーム量やフォーカス位置（ズームレンズデータ）に応じて適宜変更可能である。撮影者はズームレンズ８のズームレンズ状態に合わせて適切なパターンを選択し、選択したパターンを複数のバリエーションで配置し、それぞれの配置状態において複数枚の静止画像を撮影する。各パラメータは最終的にバンドル調整（格子交点の予測位置と観測位置の幾何学的距離の２乗和の最小化）を行うことにより、高い精度での校正が可能である。このバンドル調整を効果的におこなうためには、撮影されるパターンに充分な数の特徴点を含むことと、それが画面全体の領域でくまなくサンプルされるように適切な撮影状態を選択することが重要である（例えば、左上、右上、左下、右下、中央の５箇所や、例えば、左上、左下、中央上、中央下、右上、右下の６箇所）。本実施形態では、図１に示すように、２次元の市松模様格子のパターンＰａ，Ｐｂを用意した。パターンＰａ，Ｐｂの模様の縦の寸法は、それぞれ９０ｃｍ、４２．５ｃｍであって、パターンＰａ，Ｐｂは、同じ模様の拡大縮小関係にあるものとした。つまり、パターンＰａ，Ｐｂは、特徴点の間隔のサイズが異なる。 In the camera system 1 shown in FIG. 1, a plurality of different calibration patterns (hereinafter simply referred to as “patterns”) in which two-dimensional feature points prepared in advance are photographed by the photographing device 2, respectively. 6, feature points are extracted from each captured image by image analysis, and parameters such as the shooting position of the camera are directly obtained by calculation based on the information. The size and number of patterns can be appropriately changed according to the zoom amount and focus position (zoom lens data) of the zoom lens 8. The photographer selects an appropriate pattern according to the zoom lens state of the zoom lens 8, arranges the selected pattern in a plurality of variations, and shoots a plurality of still images in each arrangement state. Each parameter can be calibrated with high accuracy by finally performing bundle adjustment (minimizing the sum of squares of the geometric distance between the predicted position of the lattice intersection and the observation position). In order to effectively perform this bundle adjustment, a sufficient number of feature points must be included in the pattern to be shot, and an appropriate shooting state must be selected so that it is sampled throughout the entire screen area. Are important (for example, the upper left, the upper right, the lower left, the lower right, and the center, for example, the upper left, the lower left, the upper center, the lower center, the upper right, and the lower right, for example). In this embodiment, as shown in FIG. 1, two-dimensional checkerboard lattice patterns Pa and Pb are prepared. The vertical dimensions of the patterns Pa and Pb are 90 cm and 42.5 cm, respectively, and the patterns Pa and Pb are in the same pattern enlargement / reduction relationship. That is, the patterns Pa and Pb have different feature point intervals.

なお、放送用バーチャルスタジオのカメラシステム１において、多様な演出に対応するために、例えば、１０数倍程度のズームを想定することができる。通常のズームレンズのズーム領域全体をカバーし、かつ、高精度のキャリブレーションを実行するためには、１つのパターンでは２倍程度のズームにしか対応できないと考えられるので、本実施形態では、複数の異なるパターンを用いてキャリブレーションを行う。 In the broadcast virtual studio camera system 1, in order to deal with various effects, for example, a zoom of about several tens of times can be assumed. In order to cover the entire zoom area of a normal zoom lens and execute high-precision calibration, it is considered that only one zoom can be handled with one pattern. Calibration is performed using different patterns.

レンズデータは、レンズデータ検出センサ８ａで検出される測定値（間接的なデータ）であって、画角（言い換えると焦点距離）などのパラメータに変換されるデータである。このズームレンズデータは、カメラキャリブレーション装置６に入力する。また、カメラキャリブレーション装置６に入力する測定値（間接的なデータ）としては、他に、雲台姿勢検出センサ９ａで検出される雲台９の姿勢（パン・チルトデータ）がある。撮影時のパン・チルトデータおよびレンズデータも、撮影された静止画像（撮影画像）と共に記録しておく。カメラキャリブレーション装置６は、間接的なデータを利用しながらも、画像処理を利用したキャリブレーションプロセスと同様にして、必要なパラメータをダイレクトに最適化して求める。そこで、本実施形態では、それを可能にするために、後記するように、カメラ７が雲台９に搭載されているという拘束条件を課した雲台９を含めた系全体のカメラモデルを導入した。 The lens data is measured values (indirect data) detected by the lens data detection sensor 8a and is converted into parameters such as an angle of view (in other words, focal length). This zoom lens data is input to the camera calibration device 6. Other measurement values (indirect data) input to the camera calibration device 6 include the attitude (pan / tilt data) of the camera platform 9 detected by the camera platform detection sensor 9a. Pan / tilt data and lens data at the time of shooting are also recorded together with the shot still image (shot image). The camera calibration device 6 directly optimizes and obtains necessary parameters in the same manner as the calibration process using image processing while using indirect data. Therefore, in this embodiment, in order to make this possible, as will be described later, a camera model for the entire system including the pan head 9 that imposes the constraint that the camera 7 is mounted on the pan head 9 is introduced. did.

［カメラシステムの構成の詳細］
図１に示すカメラ７は、被写体を撮影するものであり、撮影した被写体の実写映像（映像信号）をカメラキャリブレーション装置６に出力している。
ズームレンズ８は、焦点距離が連続的に変化できるように構成されている。
レンズデータ検出センサ８ａは、ズームレンズ８の画角を決定するレンズデータ（ズーム量とフォーカス位置の２変数）を検出するものである。このレンズデータ検出センサ８ａは、例えば、距離エンコーダ等から構成される。レンズデータ検出センサ８ａの検出するレンズデータは、距離エンコーダパルス値等のメカニカルな数値である。カメラキャリブレーション装置６においては、このレンズデータを記憶手段１８（図４参照）に格納し必要に応じて参照するか、あるいは、この検出したレンズデータに何らかの正規化を行った変換値等をあらためてレンズデータとして利用する。ズームレンズ８のレンズデータは、通常、ズーム量とフォーカス位置という２変数から構成されている。どちらを操作しても画角が変化するので、この２個のデータから画角が一意に決まることになる。なお、単焦点レンズの場合には、基本的に画角は変化しないので、単焦点レンズのレンズデータとはフォーカス位置のデータのみを意味する。 [Details of camera system configuration]
A camera 7 shown in FIG. 1 captures a subject, and outputs a real image (video signal) of the photographed subject to the camera calibration device 6.
The zoom lens 8 is configured such that the focal length can be continuously changed.
The lens data detection sensor 8a detects lens data (two variables of zoom amount and focus position) that determines the angle of view of the zoom lens 8. The lens data detection sensor 8a is composed of, for example, a distance encoder. The lens data detected by the lens data detection sensor 8a is a mechanical numerical value such as a distance encoder pulse value. In the camera calibration device 6, the lens data is stored in the storage unit 18 (see FIG. 4) and is referred to as necessary, or a conversion value obtained by performing some normalization on the detected lens data is anew. Used as lens data. The lens data of the zoom lens 8 is usually composed of two variables, that is, the zoom amount and the focus position. Since the angle of view changes regardless of which is operated, the angle of view is uniquely determined from these two pieces of data. In the case of a single focus lens, since the angle of view basically does not change, the lens data of the single focus lens means only focus position data.

雲台９は、搭載固定されたカメラ７を、操作者の操作によって、横方向（パン）および上下方向（チルト）に回転できるように構成されている。
雲台姿勢検出センサ９ａは、カメラ７の横方向（パン）の回転角および上下方向（チルト）の回転角（以下、合わせて、パン・チルトデータと呼称する）を検出する。この雲台姿勢検出センサ９ａは、例えば、ロータリーエンコーダ等から構成される。 The camera platform 9 is configured such that the camera 7 mounted and fixed can be rotated in the horizontal direction (pan) and the vertical direction (tilt) by the operation of the operator.
The pan / tilt posture detection sensor 9a detects the horizontal (pan) rotation angle and the vertical (tilt) rotation angle of the camera 7 (hereinafter collectively referred to as pan / tilt data). The pan / tilt head detection sensor 9a is composed of, for example, a rotary encoder.

ペデスタル１０は、雲台９を搭載固定するものであり、雲台９上のカメラ７を上下方向（ハイト）に移動できるように構成されている。また、ペデスタル１０には、キャスターが取り付けられており、撮影装置２は、床面上を移動できるように構成されている。
ペデスタルデータ検出センサ１０ａは、ペデスタル１０の初期状態における雲台の位置（雲台中心の３次元位置）と、ペデスタル１０の上下方向および床面上の移動によって変化した雲台の位置とのオフセット値（以下、ペデスタルデータと呼称する）を検出し、検出したペデスタルデータをカメラキャリブレーション装置６に出力する。このペデスタルデータ検出センサ１０ａは、例えば、ロータリーエンコーダ等から構成される。なお、カメラキャリブレーション装置６は、オンエア前のキャリブレーションでは、ペデスタルデータを使用せずに、オンエア中にのみ相対的な移動量として利用する。その理由は、ペデスタル１０は、移動の際にカウンターがすべることがあり、長時間の移動の結果、それが蓄積することにより出力値に信頼性がないためである。 The pedestal 10 mounts and fixes the pan head 9 and is configured to move the camera 7 on the pan head 9 in the vertical direction (height). Moreover, the caster is attached to the pedestal 10, and the imaging device 2 is comprised so that a movement on a floor surface is possible.
The pedestal data detection sensor 10a is an offset value between the pan head position (three-dimensional position of the pan head center) in the initial state of the pedestal 10 and the pan head position changed by the vertical movement of the pedestal 10 and movement on the floor surface. (Hereinafter referred to as pedestal data) is detected, and the detected pedestal data is output to the camera calibration device 6. The pedestal data detection sensor 10a is composed of, for example, a rotary encoder. The camera calibration device 6 uses the pedestal data as a relative movement amount only during on-air without using pedestal data in the calibration before on-air. The reason for this is that the counter of the pedestal 10 may slip during movement, and as a result of movement for a long time, it accumulates and the output value is not reliable.

ＣＧ描画装置３は、予め定められた描画用情報に基づいて仮想空間データを生成するものである。ＣＧ描画装置３は、ＣＧ用仮想カメラの位置および姿勢を示すＣＧ用外部パラメータ、さらに画角などの内部パラメータとして、カメラキャリブレーション装置６から出力されるパラメータを用いてＣＧ画像を生成する。また、ＣＧ描画装置３には、ＣＧ描画の際にレンズ歪を再現できる描画装置を採用することができる。なお、カメラキャリブレーション装置６に対して、レンズ歪を補正した実写画像を入力する場合には、ＣＧ描画装置３には、そのようなＣＧ描画の際にレンズ歪を再現できる描画装置を採用する必要はない。 The CG drawing device 3 generates virtual space data based on predetermined drawing information. The CG drawing device 3 generates a CG image using parameters output from the camera calibration device 6 as CG external parameters indicating the position and orientation of the CG virtual camera, and as internal parameters such as an angle of view. The CG drawing device 3 may be a drawing device that can reproduce lens distortion during CG drawing. In the case where a real image with corrected lens distortion is input to the camera calibration apparatus 6, a drawing apparatus that can reproduce the lens distortion at the time of such CG drawing is adopted as the CG drawing apparatus 3. There is no need.

映像合成装置４は、カメラ７から出力される実写映像と、ＣＧ描画装置３で生成されたＣＧ映像とを合成するものである。これらＣＧ描画装置３と、映像合成装置４とは、例えば、ＧＰＵ（Graphics Processing Unit）、または、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）から構成され、所定のプログラムをＲＡＭに展開して実行することで前記した機能を果たす。 The video synthesizing device 4 synthesizes the live-action video output from the camera 7 and the CG video generated by the CG drawing device 3. The CG drawing device 3 and the video composition device 4 are configured by, for example, a GPU (Graphics Processing Unit), a CPU, or an FPGA (Field Programmable Gate Array), and execute a predetermined program in a RAM. Fulfills the functions described above.

記憶装置５は、例えば、一般的なハードディスク等から構成され、カメラキャリブレーション装置６によって作成されたデータベース５ａを記憶するものである。なお、前記したＣＧ描画装置３と、映像合成装置４と、記憶装置５とをカメラキャリブレーション装置６に含んで構成することもできる。 The storage device 5 is composed of, for example, a general hard disk or the like, and stores a database 5a created by the camera calibration device 6. The CG drawing device 3, the video composition device 4, and the storage device 5 can be included in the camera calibration device 6.

カメラキャリブレーション装置６は、バーチャルスタジオ用のカメラシステム１の雲台９に搭載されたカメラ７のズームレンズ８のズーム量およびフォーカス値で示すズームレンズ状態を、広角と望遠のうちの一方から他方へ向かって離散的に切り替えるときに、所定位置に設置されたパターンを撮影したパターン画像が撮影画面の所定範囲に収まるように、セッティングバリエーションを随時変更して得られる複数のパターン画像に基づいてカメラシステム１およびズームレンズ８をキャリブレーションするものである。ここで、セッティングバリエーションとは、パターンの特徴点の間隔のサイズが異なる他のパターンと取り替えることと、設置位置を変更すること、との少なくとも一方を行うことに対応している。 The camera calibration device 6 changes the zoom lens state indicated by the zoom amount and focus value of the zoom lens 8 of the camera 7 mounted on the camera platform 9 of the virtual studio camera system 1 from one of wide angle and telephoto to the other. The camera is based on a plurality of pattern images obtained by changing the setting variations as needed so that the pattern image obtained by photographing the pattern installed at the predetermined position falls within the predetermined range of the photographing screen when switching toward the screen. The system 1 and the zoom lens 8 are calibrated. Here, the setting variation corresponds to performing at least one of replacing with another pattern having a different size of the feature point interval of the pattern and changing the installation position.

［カメラキャリブレーション装置の構成］
カメラキャリブレーション装置６は、図４に示すように、実写映像入力手段１１と、パラメータ入力手段１２と、処理手段として機能するキャリブレーションパターン解析手段１３、最適化キャリブレーション処理手段１４およびパラメータ補間手段１７と、記憶手段１８とを備えている。 [Configuration of camera calibration device]
As shown in FIG. 4, the camera calibration device 6 includes a live-action image input unit 11, a parameter input unit 12, a calibration pattern analysis unit 13, which functions as a processing unit, an optimization calibration processing unit 14, and a parameter interpolation unit. 17 and storage means 18.

実写映像入力手段１１は、カメラ７から出力される実写映像を入力するものである。この実写映像入力手段１１は、所定の入力インタフェース等から構成される。
実写映像入力手段１１は、オンエア時には、実写映像（映像信号）を、キャリブレーションパターン解析手段１３へ入力すると共に、映像合成装置４へも入力する。 The live-action video input means 11 inputs a real-shoot video output from the camera 7. This live-action image input means 11 is constituted by a predetermined input interface or the like.
The live-action video input means 11 inputs the real-action video (video signal) to the calibration pattern analysis means 13 and also to the video composition device 4 when on-air.

パラメータ入力手段１２は、雲台姿勢検出センサ９ａで検出された雲台９の姿勢を示すパラメータ（パン・チルトの２種類の回転角を示す信号）と、レンズデータ検出センサ８ａで検出されたレンズデータ（２変数）とを最適化キャリブレーション処理手段１４へ入力するものである。このパラメータ入力手段１２は、所定の入力インタフェース等から構成される。 The parameter input means 12 includes a parameter indicating the attitude of the camera platform 9 detected by the camera platform detection sensor 9a (a signal indicating two types of rotation angles of pan and tilt), and a lens detected by the lens data detection sensor 8a. Data (two variables) is input to the optimization calibration processing means 14. The parameter input unit 12 includes a predetermined input interface.

キャリブレーションパターン解析手段１３は、実写映像入力手段１１から入力された既知のパターンや記憶されたパターン画像を解析することで、パターンの特徴点の観測された座標位置を算出し、インデックス化するものである。本実施形態では、キャリブレーションパターン解析手段１３は、一例として、図１に示した２次元の市松模様の既知のパターンＰａ，Ｐｂを解析し、パターンＰａ，Ｐｂの特徴点として、市松模様格子の交点７０１（図７参照）の画像座標を算出し、インデックス化するものとして説明する。 The calibration pattern analysis means 13 analyzes the known pattern input from the live-action image input means 11 and the stored pattern image, thereby calculating and indexing the observed coordinate positions of the pattern feature points. It is. In the present embodiment, as an example, the calibration pattern analysis means 13 analyzes the known patterns Pa and Pb of the two-dimensional checkered pattern shown in FIG. 1, and uses the checkered grid as characteristic points of the patterns Pa and Pb. Description will be made assuming that the image coordinates of the intersection 701 (see FIG. 7) are calculated and indexed.

また、キャリブレーションパターン解析手段１３は、入力装置Ｍから、パターンの形状（マス目の個数）やパターンのサイズといった情報（キャリブレーションパターンデータ）の入力を受け付け、記憶手段１８に格納する。入力装置Ｍは、例えば、キーボードやマウス等から構成される。なお、図示は省略するが、カメラキャリブレーション装置６は、各種情報の入力状態を表示する表示手段（例えば、液晶ディスプレイ等）を備えている。 The calibration pattern analysis unit 13 receives input of information (calibration pattern data) such as a pattern shape (number of cells) and a pattern size from the input device M, and stores the information in the storage unit 18. The input device M is composed of, for example, a keyboard and a mouse. Although not shown, the camera calibration device 6 includes display means (for example, a liquid crystal display) that displays input states of various information.

最適化キャリブレーション処理手段１４は、パラメータ算出手段１５およびデータベース作成手段１６を備えている。
パラメータ算出手段１５は、雲台９に搭載されたカメラ７に対応して予め設定された後記するカメラモデルを用いて第１入力パラメータ１８ａとして記憶された雲台のパン・チルト状態（パン・チルトデータ）を既知として、パターンの特徴点の座標位置を推定し、推定された座標位置と観測された座標位置との誤差関数を含む目的関数が最小化するように、当該カメラモデルにおける外部パラメータと、ズームレンズ状態に依存した内部パラメータとを、評価すべきパラメータとして算出するものである。また、パラメータ算出手段１５は、反復によるパラメータ最適化プロセスにおいて、例えば、公知の非線形最小二乗法で利用される方法を用いることができる。 The optimization calibration processing unit 14 includes a parameter calculation unit 15 and a database creation unit 16.
The parameter calculation means 15 uses a camera model set in advance corresponding to the camera 7 mounted on the camera platform 9 and uses a camera model to be described later to store the pan / tilt state (pan / tilt) of the camera platform stored as the first input parameter 18a. Data) is known, the coordinate position of the feature point of the pattern is estimated, and the external parameters in the camera model are minimized so that the objective function including the error function between the estimated coordinate position and the observed coordinate position is minimized. The internal parameters depending on the zoom lens state are calculated as parameters to be evaluated. The parameter calculation means 15 can use, for example, a method used in a known nonlinear least square method in an iterative parameter optimization process.

データベース作成手段１６は、パラメータ算出手段１５で算出された評価すべきパラメータのうち、雲台９からカメラ７の光軸方向のオフセットを示すパラメータと、内部パラメータと、ズームレンズ状態に依存しない外部パラメータとを格納したデータベース５ａを作成するものである。 Of the parameters to be evaluated calculated by the parameter calculation unit 15, the database creation unit 16 includes a parameter indicating an offset in the optical axis direction of the camera 7 from the camera platform 9, an internal parameter, and an external parameter independent of the zoom lens state. Is created.

パラメータ補間手段１７は、オンエア前のプロセスでは利用されないので、後記するオンエア中の動作において説明する。 Since the parameter interpolation means 17 is not used in the process before on-air, the operation during on-air described later will be described.

記憶手段１８は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備え、所定のプログラム等を記憶し、また、カメラキャリブレーション装置６による演算処理等に利用される。
記憶手段１８は、データベース構築のフェーズにおいてパラメータ入力手段１２から入力されたデータを、第１入力パラメータ１８ａとして記憶する。
記憶手段１８は、データベース構築のフェーズにおいて実写映像入力手段１１から入力された画像データを、第１画像情報１８ｂとして記憶する。 The storage unit 18 includes, for example, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, stores a predetermined program and the like, and is used for arithmetic processing by the camera calibration device 6.
The storage unit 18 stores the data input from the parameter input unit 12 in the database construction phase as the first input parameter 18a.
The storage means 18 stores the image data input from the live-action video input means 11 in the database construction phase as first image information 18b.

ここで、第１画像情報１８ｂは、複数のパターンから選択された１つのパターンを、ズーム範囲で離散的に変更されたズームレンズ状態それぞれにおいて少なくとも２つの位置に設置して撮影されたパターン画像、および、当該パターンを設置されたそれぞれの位置において、少なくとも２つのズームレンズ状態にて撮影されたパターン画像である。また、第１入力パラメータ１８ａは、複数のパターン画像それぞれが撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態の測定値である。 Here, the first image information 18b is a pattern image captured by setting one pattern selected from a plurality of patterns at at least two positions in each zoom lens state that is discretely changed in the zoom range, And it is the pattern image image | photographed in the at least 2 zoom lens state in each position where the said pattern was installed. The first input parameter 18a is a measured value of the zoom lens state and pan / tilt state of the pan / tilt head measured when each of the plurality of pattern images is taken.

また、記憶手段１８は、データベース構築のフェーズにおいてキャリブレーションパターン解析手段１３で観測した特徴点の座標を、第１観測座標１８ｃとして記憶する。
記憶手段１８は、データベース構築のフェーズにおいてパラメータ算出手段１５で推定した特徴点の座標を、第１推定座標１８ｄとして記憶する。 The storage unit 18 stores the coordinates of the feature points observed by the calibration pattern analysis unit 13 in the database construction phase as the first observation coordinates 18c.
The storage unit 18 stores the coordinates of the feature points estimated by the parameter calculation unit 15 in the database construction phase as first estimated coordinates 18d.

なお、キャリブレーションパターン解析手段１３と、最適化キャリブレーション処理手段１４と、パラメータ補間手段１７とは、例えば、ＣＰＵ（Central Processing Unit）が所定のプログラムをＲＡＭに展開して実行することで前記した機能を果たす。 The calibration pattern analysis unit 13, the optimization calibration processing unit 14, and the parameter interpolation unit 17 are described above by, for example, a CPU (Central Processing Unit) developing and executing a predetermined program in the RAM. Fulfills the function.

［カメラシステムの全体処理の流れ］
図１のカメラシステム１の全体処理の流れについて図３を参照（適宜図１および図４参照）して説明する。図３は、図１のカメラシステムの処理の全体の流れを示すフローチャートである。データベース構築のフェーズにおいて、カメラキャリブレーション装置６は、実写映像入力手段１１から入力される実写映像と、パラメータ入力手段１２から入力されるズームレンズデータおよびパン・チルトデータと、入力装置Ｍから入力されるキャリブレーションパターンデータとを記憶手段１８に格納する（ステップＳ１：ＤＢ作成用データ入力処理）。そして、カメラキャリブレーション装置６は、キャリブレーションパターン解析手段１３によって、画像特徴点観測処理を実行する（ステップＳ２）。そして、カメラキャリブレーション装置６は、パラメータ算出手段１５によって、パラメータ算出処理を実行し（ステップＳ３）、データベース作成手段１６によって、データベース５ａを作成する（ステップＳ４）。 [Flow of overall processing of camera system]
1 will be described with reference to FIG. 3 (refer to FIGS. 1 and 4 as appropriate). FIG. 3 is a flowchart showing the overall flow of processing of the camera system of FIG. In the database construction phase, the camera calibration device 6 is input from the input device M, the actual image input from the actual image input unit 11, the zoom lens data and pan / tilt data input from the parameter input unit 12, and the like. Calibration pattern data to be stored in the storage means 18 (step S1: DB creation data input process). Then, the camera calibration device 6 performs an image feature point observation process by the calibration pattern analysis unit 13 (step S2). The camera calibration device 6 executes parameter calculation processing by the parameter calculation means 15 (step S3), and creates the database 5a by the database creation means 16 (step S4).

カメラセッティングのフェーズは、雲台位置および姿勢をキャリブレーションするプロセスである。このカメラセッティングのフェーズにおいて、カメラキャリブレーション装置６は、実写映像入力手段１１から入力される実写映像と、パラメータ入力手段１２から入力されるズームレンズデータおよびパン・チルトデータと、入力装置Ｍから入力されるキャリブレーションパターンデータとを記憶手段１８に格納する（ステップＳ５：カメラセッティング用データ入力処理）。そして、カメラキャリブレーション装置６は、パラメータ算出手段１５によって、カメラセッティング時のパラメータを算出し、データベース作成手段１６によって、カメラセッティング対応のパラメータをデータベース５ａに追加する（ステップＳ６）。 The camera setting phase is a process of calibrating the pan head position and orientation. In this camera setting phase, the camera calibration device 6 receives an actual image input from the actual image input unit 11, zoom lens data and pan / tilt data input from the parameter input unit 12, and an input from the input device M. The stored calibration pattern data is stored in the storage means 18 (step S5: camera setting data input process). Then, the camera calibration device 6 calculates the parameters at the time of camera setting by the parameter calculation means 15, and adds the parameters corresponding to the camera settings to the database 5a by the database creation means 16 (step S6).

ＣＧ合成のフェーズにおいて、カメラキャリブレーション装置６は、パラメータ入力手段１２から入力されるズームレンズデータおよびパン・チルトデータをオンエアデータとして入力する（ステップＳ７）。そして、カメラキャリブレーション装置６は、入力されたパン・チルトデータと、ズームレンズデータをキーとしてデータベース５ａから読み出したパラメータの補間値から生成したパラメータをＣＧ描画装置３に出力する。ＣＧ描画装置３は、取得したカメラパラメータに基づいてＣＧを描画する（ステップＳ８）。映像合成装置４は、ＣＧと実写映像とから合成映像を生成し、図示しない表示装置等に出力する（ステップＳ９）。 In the CG synthesis phase, the camera calibration device 6 inputs the zoom lens data and pan / tilt data input from the parameter input unit 12 as on-air data (step S7). Then, the camera calibration device 6 outputs to the CG drawing device 3 a parameter generated from the input pan / tilt data and the interpolation value of the parameter read from the database 5a using the zoom lens data as a key. The CG drawing device 3 draws CG based on the acquired camera parameters (step S8). The video composition device 4 generates a composite video from the CG and the live-action video and outputs it to a display device (not shown) or the like (step S9).

［カメラシステムの個別処理の流れ］
＜ＤＢ作成用データ入力処理＞
ＤＢ作成用データ入力処理においては、各ズームレンズ状態にふさわしいパターンを適切な位置に設置し撮影を行う。具体的には、ズームが広角の場合は一マスが大きな市松模様を使用し、望遠時には一マスが小さな市松模様を使用すると同時に、設置位置もフォーカス位置などにあわせて適切な位置に設置する。カメラキャリブレーション装置６に入力する実写映像として撮影される２つのパターンの配置例を平面視で図５に示す。大きいサイズのパターンＰａが位置５０１または５０２に設置されて撮影され、小さいサイズのパターンＰｂが位置５０３，５０４または５０５に設置されて撮影される様子を示している。なお、図５のＯは撮影位置を示し、角度α以下は望遠、角度β以上は広角を示す。また、図５に示すように、まず、パターンＰａはカメラに遠いほうに配置され、ここではバラエティーに富んだ配置となるように設定されている。そして、パターンは、立体的な３Ｄのパターンでも構わないが、ここでは２次元のパターンを例示している。 [Flow of individual processing of camera system]
<DB creation data input process>
In the DB creation data input process, a pattern suitable for each zoom lens state is set at an appropriate position and photographing is performed. Specifically, when the zoom is wide, a checkered pattern with a large square is used, and when the telephoto is telephoto, a small checkered pattern is used with a small square, and the installation position is set at an appropriate position according to the focus position. FIG. 5 shows an example of the arrangement of two patterns photographed as actual images input to the camera calibration device 6 in plan view. A large-size pattern Pa is installed at a position 501 or 502 and photographed, and a small-sized pattern Pb is disposed at a position 503, 504 or 505 and photographed. Note that O in FIG. 5 indicates a photographing position, and the angle α or less indicates telephoto, and the angle β or more indicates wide angle. Further, as shown in FIG. 5, first, the pattern Pa is arranged farther from the camera, and here, it is set to have a variety of arrangements. The pattern may be a three-dimensional 3D pattern, but here, a two-dimensional pattern is illustrated.

前記したように、セッティングバリエーションは、他のパターンと取り替えることと設置位置を変更することとの少なくとも一方を行うことに対応している。ここでは、パターンと設置位置との組み合わせを示す識別子のことをセッティングバリエーションｈと呼ぶことにする。パターンの設置位置は、カメラとパターンの相対的な位置関係を表し、後記する式（２３）のＭ_pに相当する。表１にセッティングバリエーションｈを例示する。 As described above, the setting variation corresponds to performing at least one of replacing with another pattern and changing the installation position. Here, an identifier indicating a combination of a pattern and an installation position is referred to as a setting variation h. The installation position of the pattern represents the relative positional relationship between the camera and the pattern, and corresponds to M _p in Expression (23) described later. Table 1 illustrates setting variation h.

表１の例では、セッティングバリエーションｈはＨ種類存在し、これは設置位置の数に一致していることを示している。また、いくつかの設置位置では同じキャリブレーションパターン（例えば、市松模様の一マスの大きさによって１，２，…，Ｌと名付ける。）を使いまわす可能性があることを示している。各セッティングバリエーションｈにおいて、いくつかのズームレンズ状態ｍにおけるパターン撮影を行う。その際のズームレンズ状態ｍとセッティングバリエーションｈとの関係を、表２に例示する。 In the example of Table 1, there are H types of setting variations h, which indicates that the number matches the number of installation positions. In addition, the same calibration pattern (for example, named 1, 2,..., L depending on the size of one checkered pattern) may be used at some installation positions. In each setting variation h, pattern photographing is performed in several zoom lens states m. Table 2 illustrates the relationship between the zoom lens state m and the setting variation h at that time.

表２において、ｍの添字が大きくなるほど望遠ズームになり、かつ、ｈの数値が大きいほど設置位置が遠くなることを示している。表２中の○が記載された部分が、ズームレンズ状態ｍでキャリブレーションに使用するセッティングバリエーションｈに対応することを示す。表２中のすべてのマスに該当する条件で撮影する必要はなく、ズームレンズ状態ｍを広角から望遠に変更させていくときに、パターン画像が撮影画面の所定範囲に収まるように、セッティングバリエーションｈを適宜変更すればよい。このため、表のほぼ対角線上に○が記載されている。なお、表２において、ｍの添字が大きくなるほど広角ズームになり、かつ、ｈの数値が大きいほど設置位置が近くなるように配列し、ズームレンズ状態ｍを望遠から広角に変更させていくときに、パターン画像が撮影画面の所定範囲に収まるように、セッティングバリエーションｈを適宜変更するようにすることもできる。 In Table 2, it is shown that the telephoto zoom is performed as the subscript m is increased, and the installation position is further distant as the numerical value h is increased. In Table 2, the portion marked with ◯ corresponds to the setting variation h used for calibration in the zoom lens state m. It is not necessary to shoot under the conditions corresponding to all the squares in Table 2, and when the zoom lens state m is changed from the wide angle to the telephoto, the setting variation h is set so that the pattern image is within the predetermined range of the shooting screen. May be changed as appropriate. For this reason, a circle is indicated on the diagonal line of the table. In Table 2, when the subscript m is increased, the wide-angle zoom is performed, and the larger the value h is, the closer the installation position is, and when the zoom lens state m is changed from telephoto to wide-angle. The setting variation h can be changed as appropriate so that the pattern image falls within a predetermined range of the shooting screen.

表２が示す最も特徴的な部分は、各セッティングバリエーションｈがサンプルするズームレンズ状態ｍを一部オーバーラップさせている点である。つまり、セッティングバリエーションを変更した直後に、セッティングバリエーションの変更直前のズームレンズ状態に維持してパターン画像を得ている。これは、例えばｈ＝１とｈ＝２のときのｍ₂のことを指す。このようにすることで、各セッティングバリエーションｈごとに独立してしまうＭ_p（後記する式（２３）参照）のようなパラメータに対して、ズーム状態全体にわたるグローバルな最適化の結果に影響を与えることを可能にする。 The most characteristic part shown in Table 2 is that the zoom lens state m sampled by each setting variation h partially overlaps. That is, immediately after the setting variation is changed, the pattern image is obtained while maintaining the zoom lens state immediately before the setting variation is changed. This refers to m ₂ when h = 1 and h = 2, for example. In this way, a parameter such as M _p (see formula (23) described later) that is independent for each setting variation h affects the result of global optimization over the entire zoom state. Make it possible.

なお、解析するための画像は、それぞれのセッティングバリエーションにおいて、いくつかのパン・チルトを変化させて撮影し、これらのすべての画像から、一度にすべてのパラメータを最適化して求める。パン・チルト値は、データとして与えられるので、後記する式（２３）におけるＭ_PanTiltは既知となる。 An image to be analyzed is obtained by changing several pans and tilts in each setting variation and optimizing all parameters at once from all these images. Since the pan / tilt value is given as data, M _PanTilt in equation (23) described later is known.

図６は、図３に示すＤＢ作成用データ取得処理の流れを示すフローチャートである。
カメラキャリブレーション装置６は、初期状態のセッティングバリエーションでパターンが設置された状態と、初期状態のレンズ状態に調整された状態とを、セッティングバリエーションｈ＝１、ズームレンズ状態ｍ＝ｍ₁とする（ステップＳ１１）。そして、カメラキャリブレーション装置６は、現在のセッティングバリエーションｈおよびズームレンズ状態ｍの組み合わせの状態において、パターンの画像データと、入力パラメータとの組み合わせを複数の画像データについて取得する（ステップＳ１２）。次いで、カメラキャリブレーション装置６は、現在のセッティングバリエーションｈにおいて必要なすべてのズームレンズ状態ｍでデータを取得したか否かを判別する（ステップＳ１３）。現在のセッティングバリエーションｈにおいて必要なすべてのズームレンズ状態ｍでデータを取得していない場合（ステップＳ１３：Ｎｏ）、カメラキャリブレーション装置６は、ズームレンズ状態ｍを変更し（ステップＳ１４）、ステップＳ１２に戻る。 FIG. 6 is a flowchart showing the flow of the DB creation data acquisition process shown in FIG.
The camera calibration device 6 sets the state in which the pattern is set in the initial setting variation and the state in which the pattern is adjusted to the initial lens state as the setting variation h = 1 and the zoom lens state m = m ₁ ( Step S11). Then, the camera calibration device 6 acquires a combination of the pattern image data and the input parameter for a plurality of image data in the combination state of the current setting variation h and the zoom lens state m (step S12). Next, the camera calibration device 6 determines whether or not data has been acquired in all zoom lens states m necessary for the current setting variation h (step S13). When data is not acquired for all zoom lens states m required in the current setting variation h (step S13: No), the camera calibration device 6 changes the zoom lens state m (step S14), and step S12. Return to.

一方、現在のセッティングバリエーションｈにおいて必要なすべてのズームレンズ状態ｍでデータを取得した場合（ステップＳ１３：Ｙｅｓ）、カメラキャリブレーション装置６は、現在のセッティングバリエーションｈに１を加え（ｈ＝ｈ＋１）、次のセッティングバリエーションにパターンが設置された状態で入力データを受け付ける（ステップＳ１５）。そして、カメラキャリブレーション装置６は、対象となるすべてのズームレンズ状態ｍでデータを取得したか否かを判別する（ステップＳ１６）。対象となるすべてのズームレンズ状態ｍでデータを取得していない場合（ステップＳ１６：Ｎｏ）、ステップＳ１２に戻る。一方、対象となるすべてのズームレンズ状態ｍでデータを取得した場合（ステップＳ１６：Ｙｅｓ）、このＤＢ作成用データ入力処理を終了する。 On the other hand, when data is acquired for all zoom lens states m necessary for the current setting variation h (step S13: Yes), the camera calibration device 6 adds 1 to the current setting variation h (h = h + 1). Then, the input data is received in a state where the pattern is set in the next setting variation (step S15). Then, the camera calibration device 6 determines whether or not data has been acquired in all zoom lens states m to be processed (step S16). If data has not been acquired for all target zoom lens states m (step S16: No), the process returns to step S12. On the other hand, when data is acquired in all target zoom lens states m (step S16: Yes), this DB creation data input processing is terminated.

＜画像特徴点観測処理＞
図８は、図３に示す画像特徴点観測処理の流れを示すフローチャートである。
ここで、パターンＰａの市松模様の特徴点（交点７０１；図７参照）がＮ個あってそのインデックスをｎ（１≦ｎ≦Ｎ）とする。例えば、図７に示すパターンＰａは、縦９マス×横１１マスなので、縦線と横線の交点７０１の個数Ｎは８×１０個である。また、パターンＰａを撮影した画像がＫ枚あってそのインデックスをｋ（１≦ｋ≦Ｋ）とする。また、画像ｋの観測された交点ｎの座標を画像座標系で、ｅ₀（ｎ，ｋ）とベクトル表記する。また、カメラキャリブレーション装置６で扱うカメラモデルを介して計算で得られる交点ｎの座標を画像座標系で、ｅ_d（ｎ，ｋ）とベクトル表記する。 <Image feature point observation processing>
FIG. 8 is a flowchart showing the flow of the image feature point observation process shown in FIG.
Here, there are N checkered feature points (intersection 701; see FIG. 7) of the pattern Pa, and its index is n (1 ≦ n ≦ N). For example, since the pattern Pa shown in FIG. 7 is vertical 9 squares × horizontal 11 squares, the number N of intersections 701 of vertical lines and horizontal lines is 8 × 10. Further, there are K images obtained by capturing the pattern Pa, and the index is k (1 ≦ k ≦ K). Further, the coordinates of the observed intersection point n of the image k are expressed as a vector notation e ₀ (n, k) in the image coordinate system. Further, the coordinates of the intersection point n obtained by calculation through the camera model handled by the camera calibration device 6 are expressed as a vector notation _ed (n, k) in the image coordinate system.

カメラキャリブレーション装置６は、キャリブレーションパターン解析手段１３によって、ｋ番目の画像を選択する（ステップＳ２１）。そして、キャリブレーションパターン解析手段１３は、ｋ番目の画像においてｎ番目の特徴点を選択する（ステップＳ２２）。そして、キャリブレーションパターン解析手段１３は、特徴点の位置座標ｅ₀（ｎ，ｋ）を観測し（ステップＳ２３）、特徴点の位置座標ｅ₀（ｎ，ｋ）を保存する（ステップＳ２４）。次に、キャリブレーションパターン解析手段１３は、全特徴点を選択したか否かを判別する（ステップＳ２５）。まだ選択されていない特徴点がある場合（ステップＳ２５：Ｎｏ）、キャリブレーションパターン解析手段１３は、ｎをインクリメントして（ステップＳ２６）、ステップＳ２２に戻る。一方、全特徴点を選択した場合（ステップＳ２５：Ｙｅｓ）、キャリブレーションパターン解析手段１３は、すべての画像を選択したか否かを判別する（ステップＳ２７）。まだ選択されていない画像がある場合（ステップＳ２７：Ｎｏ）、ｋをインクリメントして（ステップＳ２８）、キャリブレーションパターン解析手段１３は、ステップＳ２１に戻る。一方、すべての画像を選択した場合（ステップＳ２７：Ｙｅｓ）、キャリブレーションパターン解析手段１３は、この画像特徴点観測処理を終了する。 The camera calibration device 6 selects the kth image by the calibration pattern analysis means 13 (step S21). Then, the calibration pattern analysis unit 13 selects the nth feature point in the kth image (step S22). Then, the calibration pattern analysis unit 13 observes the position coordinates e ₀ (n, k) of the feature points (step S23), and stores the position coordinates e ₀ (n, k) of the feature points (step S24). Next, the calibration pattern analysis unit 13 determines whether all feature points have been selected (step S25). If there is a feature point that has not yet been selected (step S25: No), the calibration pattern analysis unit 13 increments n (step S26) and returns to step S22. On the other hand, when all the feature points have been selected (step S25: Yes), the calibration pattern analysis unit 13 determines whether all the images have been selected (step S27). If there is an image that has not yet been selected (step S27: No), k is incremented (step S28), and the calibration pattern analysis means 13 returns to step S21. On the other hand, when all the images have been selected (step S27: Yes), the calibration pattern analysis unit 13 ends the image feature point observation process.

＜パラメータ算出処理＞
パラメータ算出手段１５は、最適化処理によりパラメータを算出する。目的関数を評価するパラメータベクトルθは、式（１）で表される。なお、各セッティングバリエーションｈにおける設置位置に対応するパラメータベクトルは、目的関数を評価するために必要であり、計算過程で解が得られるが、データベースに登録するパラメータではない（図４参照）。 <Parameter calculation process>
The parameter calculation means 15 calculates parameters by optimization processing. A parameter vector θ for evaluating the objective function is expressed by Expression (1). The parameter vector corresponding to the installation position in each setting variation h is necessary for evaluating the objective function, and a solution is obtained in the calculation process, but is not a parameter registered in the database (see FIG. 4).

最適化のプロセスは、一般的にはバンドル調整とよばれ、画像座標系におけるパターンの特徴点の観測位置と、カメラモデルを経て計算により推定した特徴点の位置との差を評価する目的関数を作成して、それを最適化することで、前記した式（１）のパラメータをすべて求めるものである。 The optimization process is generally called bundle adjustment, and an objective function that evaluates the difference between the observed position of the feature point of the pattern in the image coordinate system and the position of the feature point estimated through the camera model is calculated. By creating and optimizing it, all the parameters of the above-mentioned formula (1) are obtained.

前記したように画像座標系におけるパターンの特徴点の観測位置をｅ₀（ｎ，ｋ）、カメラモデルを経て計算により推定した特徴点の位置をｅ_d（ｎ，ｋ）とすると、パラメータを最適化によって求める際の評価関数、すなわち、目的関数Ｊ（θ）は、式（２）で示される。なお、ｎは特徴点の個数（ｎ＝１，…，Ｎ）、ｋは画像の枚数（ｋ＝１，…，Ｋ）を表す。さらに、Ｖは観測誤差の共分散行列を表す。 As described above, when the observation position of the feature point of the pattern in the image coordinate system is e ₀ (n, k) and the position of the feature point estimated by calculation through the camera model is _ed (n, k), the parameters are optimized. The evaluation function for obtaining by the conversion, that is, the objective function J (θ) is expressed by Expression (2). Note that n represents the number of feature points (n = 1,..., N), and k represents the number of images (k = 1,..., K). Furthermore, V represents a covariance matrix of observation errors.

最適化としては、式（２）のＪ（θ）を最小にするθを求めればよいことになる。ゆえに、パラメータ算出手段１５は、式（４）に示す計算を実行する。式（４）からＪが最小のときのθを求める計算には、例えば、公知のLevenberg-Marquardt法が最適化問題として利用できる。 As the optimization, it is only necessary to obtain θ that minimizes J (θ) in Expression (2). Therefore, the parameter calculation means 15 performs the calculation shown in the equation (4). For the calculation for obtaining θ when J is minimum from the equation (4), for example, a known Levenberg-Marquardt method can be used as an optimization problem.

また、前記した式（２）に示す観測誤差の共分散行列Ｖは、式（５）で表される。なお、式（６）のＥは誤差関数を示す。 The covariance matrix V of the observation error shown in the above equation (2) is expressed by equation (5). In the equation (6), E represents an error function.

図１１は、図３に示すパラメータ算出処理の流れを示すフローチャートである。
パラメータ算出手段１５は、ｋ番目の画像について、撮影時の入力パラメータ（ズームレンズデータ、パン・チルトデータ、キャリブレーションパターンデータ）を既知データとして、その画像のｎ番目の特徴点の位置座標ｅ_d（ｎ，ｋ）を推定する（ステップＳ３１）。そして、パラメータ算出手段１５は、すべての特徴点において位置を推定したか否かを判別する（ステップＳ３２）。まだ推定されていない特徴点がある場合（ステップＳ３２：Ｎｏ）、パラメータ算出手段１５は、ｎをインクリメントして（ステップＳ３７）、ステップＳ３１に戻る。一方、すべての特徴点において位置を推定した場合（ステップＳ３２：Ｙｅｓ）、パラメータ算出手段１５は、すべての画像について特徴点位置を推定したか否かを判別する（ステップＳ３３）。まだ推定されていない画像がある場合（ステップＳ３３：Ｎｏ）、パラメータ算出手段１５は、ｋをインクリメントして（ステップＳ３８）、ステップＳ３１に戻る。一方、すべての画像において特徴点位置を推定した場合（ステップＳ３３：Ｙｅｓ）、前記した式（３）で示される現在のｙ（θ）を用いて、前記した式（２）で示される目的関数Ｊ（θ）を算出する（ステップＳ３４）。そして、パラメータ算出手段１５は、Ｊ（θ）の値が収束したか否かを判別する（ステップＳ３５）。Ｊ（θ）の値が収束しなければ（ステップＳ３５：Ｎｏ）、パラメータ算出手段１５は、ステップＳ３１に戻る。一方、Ｊ（θ）の値が収束した場合（ステップＳ３５：Ｙｅｓ）、現在の評価パラメータベクトルθのパラメータを出力し（ステップＳ３６）、このパラメータ算出処理を終了する。 FIG. 11 is a flowchart showing the flow of the parameter calculation process shown in FIG.
Parameter calculation unit 15, the k-th image, the input parameters in the monitor (zoom lens data, pan and tilt data, calibration pattern data) as known data, the position coordinates e _d of the n-th feature point of the image (N, k) is estimated (step S31). And the parameter calculation means 15 discriminate | determines whether the position was estimated in all the feature points (step S32). If there is a feature point that has not been estimated yet (step S32: No), the parameter calculation means 15 increments n (step S37) and returns to step S31. On the other hand, when the position is estimated at all the feature points (step S32: Yes), the parameter calculation unit 15 determines whether the feature point positions are estimated for all the images (step S33). If there is an image that has not been estimated yet (step S33: No), the parameter calculation means 15 increments k (step S38) and returns to step S31. On the other hand, when the feature point positions are estimated in all the images (step S33: Yes), the current function y (θ) represented by the above-described equation (3) is used, and the objective function represented by the above-described equation (2) is used. J (θ) is calculated (step S34). Then, the parameter calculation means 15 determines whether or not the value of J (θ) has converged (step S35). If the value of J (θ) does not converge (step S35: No), the parameter calculation means 15 returns to step S31. On the other hand, when the value of J (θ) has converged (step S35: Yes), the parameter of the current evaluation parameter vector θ is output (step S36), and this parameter calculation process is terminated.

＜カメラセッティング時＞
次に、カメラキャリブレーション装置６に関して、カメラセッティングフェーズの機能について図１２を参照して説明する。図１２は、本発明の実施形態に係るカメラキャリブレーション装置においてカメラセッティング時の情報の流れを示す図である。なお、データベース構築時（キャリブレーション時）と同一の機能については説明を省略する。 <When setting the camera>
Next, regarding the camera calibration device 6, the function of the camera setting phase will be described with reference to FIG. FIG. 12 is a diagram illustrating a flow of information at the time of camera setting in the camera calibration device according to the embodiment of the present invention. Note that description of the same functions as those at the time of database construction (calibration) is omitted.

パラメータ入力手段１２は、雲台姿勢検出センサ９ａで検出された雲台９の姿勢を示すパラメータ（パン・チルトの２種類の回転角を示す信号）と、レンズデータ検出センサ８ａで検出されたレンズデータ（２変数）とに加えて、ペデスタルデータ検出センサ１０ａで検出されたペデスタルデータ（ペデスタル１０の移動によって変化した雲台の位置とのオフセット値）をパラメータ算出手段１５へ入力する。 The parameter input means 12 includes a parameter indicating the attitude of the camera platform 9 detected by the camera platform detection sensor 9a (a signal indicating two types of rotation angles of pan and tilt), and a lens detected by the lens data detection sensor 8a. In addition to the data (two variables), the pedestal data detected by the pedestal data detection sensor 10a (the offset value with respect to the position of the pan head changed by the movement of the pedestal 10) is input to the parameter calculation means 15.

キャリブレーションパターン解析手段１３は、記憶されたカメラセッティングにおいて撮影されたパターン画像を解析することで、当該パターンの特徴点の観測された座標位置を算出し、インデックス化する。 The calibration pattern analysis means 13 analyzes the pattern image photographed in the stored camera settings, thereby calculating the observed coordinate position of the feature point of the pattern and indexing it.

パラメータ算出手段１５は、雲台９に搭載されたカメラ７に対応して予め設定された後記するカメラモデルを用いて第２入力パラメータ１８ｅとして記憶された雲台のパン・チルト状態と、データベース５ａに格納された各パラメータとを既知として、カメラセッティングにおいて撮影されたパターンの特徴点の座標位置を推定し、推定された座標位置と観測された座標位置との誤差関数を含む目的関数が最小化するように、カメラセッティングに対応した雲台の位置および姿勢を示すパラメータを、評価すべきパラメータとして算出する。
データベース作成手段１６は、パラメータ算出手段１５で算出したパラメータを追加することでデータベース５ａを更新する（図１２参照）。 The parameter calculation means 15 uses a camera model set in advance corresponding to the camera 7 mounted on the camera platform 9 and stores the pan / tilt state of the camera platform as the second input parameter 18e, and the database 5a. Estimate the coordinate position of the feature point of the pattern photographed in the camera settings with each parameter stored in the known, and minimize the objective function including the error function between the estimated coordinate position and the observed coordinate position As described above, a parameter indicating the position and orientation of the camera platform corresponding to the camera setting is calculated as a parameter to be evaluated.
The database creation unit 16 updates the database 5a by adding the parameter calculated by the parameter calculation unit 15 (see FIG. 12).

なお、カメラセッティング時のパラメータ算出手段１５の機能は、作成されたデータベース５ａに格納された各パラメータ（前記した式（１）の各セッティングバリエーションｈにおける設置位置に対応するパラメータベクトル以外のデータ）で構成されるデータ曲面を正解として、それがセッティング時の雲台位置の状態に合うようにフィッティング（最適化）するプロセスである。このプロセスのため、予めデータベース構築時に扱うデータとして、パターンをある位置に設置したときに５〜１０枚のパターン画像を取得する際に、なるべくズームなどの内部パラメータを変化させた画像を入れることが望ましい。その理由は、このようにしなければ、フィッティングするためのデータ曲面のサンプル方向を１つ無駄にしてしまうことにより精度が悪化する可能性があるからである。 The function of the parameter calculation means 15 at the time of camera setting is each parameter stored in the created database 5a (data other than the parameter vector corresponding to the installation position in each setting variation h of the above equation (1)). This is a process of fitting (optimizing) the configured data curved surface as a correct answer so that it matches the state of the pan head position at the time of setting. For this process, as data to be handled at the time of constructing the database in advance, when acquiring 5 to 10 pattern images when a pattern is placed at a certain position, an image in which internal parameters such as zoom are changed as much as possible can be inserted. desirable. The reason for this is that if this is not done, the accuracy of the sample may be deteriorated because one sample direction of the data curved surface for fitting is wasted.

記憶手段１８は、カメラセッティングのフェーズにおいてパラメータ入力手段１２から入力されたデータを、第２入力パラメータ１８ｅとして記憶する。
記憶手段１８は、カメラセッティングのフェーズにおいて実写映像入力手段１１から入力された画像データを、第２画像情報１８ｆとして記憶する。 The storage unit 18 stores the data input from the parameter input unit 12 in the camera setting phase as the second input parameter 18e.
The storage means 18 stores the image data input from the photographed image input means 11 in the camera setting phase as second image information 18f.

ここで、第２画像情報１８ｆは、オンエア前のカメラセッティングにおいて撮影した複数のパターン画像である。また、第２入力パラメータ１８ｅは、複数のパターン画像それぞれが撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態の測定値である。 Here, the second image information 18f is a plurality of pattern images taken in the camera setting before on-air. The second input parameter 18e is a measured value of the zoom lens state and pan / tilt state of the pan / tilt head measured when each of the plurality of pattern images is taken.

また、記憶手段１８は、カメラセッティングのフェーズにおいてキャリブレーションパターン解析手段１３で観測した特徴点の座標を、第２観測座標１８ｇとして記憶する。
記憶手段１８は、カメラセッティングのフェーズにおいてパラメータ算出手段１５で推定した特徴点の座標を、第２推定座標１８ｈとして記憶する。 In addition, the storage unit 18 stores the coordinates of the feature points observed by the calibration pattern analysis unit 13 in the camera setting phase as the second observation coordinates 18g.
The storage means 18 stores the coordinates of the feature points estimated by the parameter calculation means 15 in the camera setting phase as second estimated coordinates 18h.

＜カメラセッティング用データ入力処理＞
図１３は、図３に示すカメラセッティング用データ入力処理の流れを示すフローチャートである。カメラキャリブレーション装置６は、カメラセッティング時に固定配置された１つのパターンについての複数の画像データと、入力パラメータとの組み合わせを取得する（ステップＳ５１）。そして、カメラキャリブレーション装置６は、必要な組み合わせのデータ（例えば５〜１０組）をすべて取得したか否かを判別する（ステップＳ５２）。まだ取得されていないデータがある場合（ステップＳ５２：Ｎｏ）、ステップＳ５１に戻る。一方、必要な組み合わせのデータをすべて取得した場合（ステップＳ５２：Ｙｅｓ）、カメラキャリブレーション装置６は、このカメラセッティング用データ入力処理を終了する。なお、複数の画像データを取得するときに、パン・チルトを変更するだけではなく、ズームレンズ状態を適宜変更する。 <Camera setting data input process>
FIG. 13 is a flowchart showing the flow of the camera setting data input process shown in FIG. The camera calibration device 6 acquires a combination of a plurality of image data and one input parameter for one pattern fixedly arranged at the time of camera setting (step S51). Then, the camera calibration device 6 determines whether or not all necessary combinations of data (for example, 5 to 10 sets) have been acquired (step S52). If there is data that has not been acquired yet (step S52: No), the process returns to step S51. On the other hand, when all the necessary combinations of data have been acquired (step S52: Yes), the camera calibration device 6 ends the camera setting data input process. Note that when acquiring a plurality of image data, not only the pan / tilt is changed but also the zoom lens state is appropriately changed.

＜オンエア中＞
次に、カメラキャリブレーション装置６に関して、オンエア中のパラメータ設定モードの機能について図１４を参照して説明する。図１４は、本発明の実施形態に係るカメラキャリブレーション装置においてオンエア中の情報の流れを示す図である。なお、オンエア以前の機能については説明を省略する。オンエア中においては、キャリブレーションパターン解析手段１３および最適化キャリブレーション処理手段１４を用いない。 <On air>
Next, regarding the camera calibration device 6, the function of the parameter setting mode during on-air will be described with reference to FIG. FIG. 14 is a diagram illustrating a flow of information in the air in the camera calibration device according to the embodiment of the present invention. In addition, description is abbreviate | omitted about the function before on-air. During on-air, the calibration pattern analysis means 13 and the optimization calibration processing means 14 are not used.

パラメータ補間手段１７は、オンエア中のズームレンズ状態をキー（クエリー）として、雲台位置および姿勢のパラメータがキャリブレーションされて更新されたデータベース５ａからパラメータを読み出し（リザルト）、補間し、オンエア中の現在の雲台のパン・チルト状態を用いて、ＣＧの仮想カメラの位置および姿勢のパラメータおよび内部パラメータを生成し、その生成したＣＧの仮想カメラの位置および姿勢のパラメータおよび内部パラメータをＣＧ描画装置３に出力するものである。本実施形態では、撮影装置２にペデスタル１０を備えているので、ペデスタルデータ（雲台９の中心位置に加えるオフセット値）にも合わせてパラメータを補間する。また、パラメータ補間手段１７は、仮想カメラの位置および姿勢のパラメータについては、以下で説明するカメラモデルにおいて後記する式（２３）の計算を行う。同様に、仮想カメラの内部パラメータについては、パラメータ補間手段１７は、後記する式（２５）に示す内部パラメータを補間により求める。この場合、出力するパラメータの個数の最小値は、ズームレンズ状態ｍが１つである場合であって、１２変数の外部パラメータと、８変数の内部パラメータとなる。また、パラメータ補間手段１７が、更新されたデータベース５ａから読み出すパラメータには、カメラセッティング時に追加された、セッティングバリエーションｈにおける設置位置に対応するパラメータベクトル（前記した式（１）参照）が含まれている。なお、補間の方法は、例えば、平均値補間、あるいは、スプライン曲線やベジェ曲線を用いて滑らかな曲線を描くように補間することができる。 The parameter interpolating unit 17 reads out (interprets) the parameters from the database 5a that has been calibrated and updated with the pan / tilt head position and orientation parameters using the on-air zoom lens state as a key (query). CG virtual camera position and orientation parameters and internal parameters are generated using the current pan / tilt state of the pan head, and the generated CG virtual camera position and orientation parameters and internal parameters are generated as a CG drawing device. 3 is output. In this embodiment, since the photographing apparatus 2 includes the pedestal 10, the parameters are interpolated in accordance with pedestal data (an offset value added to the center position of the pan head 9). Further, the parameter interpolation unit 17 calculates the following equation (23) in the camera model described below for the position and orientation parameters of the virtual camera. Similarly, for the internal parameters of the virtual camera, the parameter interpolation means 17 obtains the internal parameters shown in equation (25) described later by interpolation. In this case, the minimum value of the number of parameters to be output is a case where there is one zoom lens state m, and is an external parameter of 12 variables and an internal parameter of 8 variables. Further, the parameters read by the parameter interpolation unit 17 from the updated database 5a include a parameter vector (see the above formula (1)) corresponding to the installation position in the setting variation h, which is added at the time of camera setting. Yes. As an interpolation method, for example, interpolation can be performed so as to draw a smooth curve using average value interpolation or a spline curve or a Bezier curve.

記憶手段１８は、オンエア中にパラメータ入力手段１２から入力されたデータを、第３入力パラメータ１８ｊとして記憶する。
ここで、第３入力パラメータ１８ｊは、被写体画像が撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態であり、ズームレンズ状態は検索条件として利用される。 The storage unit 18 stores the data input from the parameter input unit 12 during on-air as the third input parameter 18j.
Here, the third input parameter 18j is a zoom lens state and a pan / tilt state of the pan / tilt head measured when the subject image is taken, and the zoom lens state is used as a search condition.

［カメラモデル］
ここで、一般的なカメラモデルと対比させながら、本実施形態のカメラキャリブレーション装置６で前提としているカメラモデル（回転雲台モデル）について詳細に説明する（非特許文献１、３参照）。 [Camera model]
Here, while comparing with a general camera model, a camera model (rotating head model) assumed in the camera calibration device 6 of the present embodiment will be described in detail (see Non-Patent Documents 1 and 3).

まず、一般的なカメラモデルとしてピンホールカメラモデルにおける座標軸間の関係を図１５に示す。図１５に示すピンホールカメラモデルでは、任意の世界座標上の点Ｐ（Ｘ，Ｙ，Ｚ）を、ピンホールを視点として撮影する。世界座標上の点Ｐ（Ｘ，Ｙ，Ｚ）は、ピンホールを原点とする座標（カメラ座標）でみると、カメラ座標上の点Ｐ（ｘ_c，ｙ_c，ｚ_c）として撮影される。このカメラ座標上の点Ｐ（ｘ_c，ｙ_c，ｚ_c）を画像座標平面に投影すると、点Ｐ（ｘ_c，ｙ_c，ｚ_c）とピンホール（原点）とを結ぶ直線と画像座標平面との交点の位置（ｘ_n）に映るはずであるが、実際には、カメラ歪みの影響で、画像座標平面において、点Ｐ（ｘ_c，ｙ_c，ｚ_c）と原点とを結ぶ直線との交点からずれた位置（ｘ_d）に映ってしまう。なお、位置ｘ_n，ｘ_dについて図１５ではベクトル表記した。 First, FIG. 15 shows the relationship between coordinate axes in a pinhole camera model as a general camera model. In the pinhole camera model shown in FIG. 15, a point P (X, Y, Z) on an arbitrary world coordinate is photographed with the pinhole as a viewpoint. The point P (X, Y, Z) on the world coordinates is photographed as a point P (x _c , y _c , z _c ) on the camera coordinates when viewed from the coordinates (camera coordinates) with the pinhole as the origin. . When the point P (x _c , y _c , z _c ) on the camera coordinates is projected onto the image coordinate plane, a straight line connecting the point P (x _c , y _c , z _c ) and the pinhole (origin) and the image coordinates Although it should appear in the position (x _n ) of the intersection with the plane, in reality, it is a straight line connecting the point P (x _c , y _c , z _c ) and the origin in the image coordinate plane due to the camera distortion. Is reflected at a position (x _d ) deviated from the intersection with. Note that the positions x _n and x _d are represented by vectors in FIG.

次に、本実施形態のカメラキャリブレーション装置６で扱うカメラモデルについて図９と以下の変換関係式とを参照して説明する。図９に示すカメラモデルは、世界座標（以下、wで表す）と、カメラ座標（以下、cで表す）と、画像座標（ｕ軸およびｖ軸で示す）との他に、雲台座標（以下、pで表す）と、パン・チルトデータ座標（以下、dataで表す）とを有している。このうち、世界座標（w）とカメラ座標（c）と画像座標とは、図１５に示したピンホールカメラモデルと同様なものである。 Next, a camera model handled by the camera calibration device 6 of this embodiment will be described with reference to FIG. 9 and the following conversion relational expression. The camera model shown in FIG. 9 includes a pan head coordinate (indicated by “w”), a camera coordinate (hereinafter “indicated by c”), and an image coordinate (indicated by “u” axis and “v” axis). Hereinafter, it is represented by p) and pan / tilt data coordinates (hereinafter represented by data). Of these, world coordinates (w), camera coordinates (c), and image coordinates are the same as those of the pinhole camera model shown in FIG.

なお、式（８）において、ｆは画角（焦点距離に対応）、ｓはアスペクト比、ｕ₀およびｖ₀は光軸中心位置（図９に示すＯ_iの座標）を示す。また、式（９）において、Ｒ^w→cは３×３の回転行列、ｔ^w→cは３×１の平行移動を示す列ベクトル、０は１×３の行ベクトルを示す。また、式（１０）において、Ｍ^w→pは世界座標から雲台座標への変換行列、Ｍ^p→dataは雲台座標からパン・チルトデータ座標への変換行列、Ｍ^data→cはパン・チルトデータ座標からカメラ座標への変換行列をそれぞれ示している。 In equation (8), f is the angle of view (corresponding to the focal length), s is the aspect ratio, u ₀ and v ₀ are the optical axis center positions (the coordinates of O _i shown in FIG. 9). In Equation (9), R ^{w → c} is a 3 × 3 rotation matrix, t ^{w → c} is a column vector indicating 3 × 1 translation, and 0 is a 1 × 3 row vector. In Equation (10), M ^{w → p} is a conversion matrix from world coordinates to pan head coordinates, M ^{p → data} is a conversion matrix from pan head coordinates to pan / tilt data coordinates, and M ^{data → c} is pan / tilt data coordinates. A transformation matrix from tilt data coordinates to camera coordinates is shown.

また、本実施形態のカメラキャリブレーション装置６で扱うカメラモデルでは、式（１１）〜式（１６）によりレンズ歪みを考慮している。 Further, in the camera model handled by the camera calibration device 6 of the present embodiment, lens distortion is taken into consideration by the equations (11) to (16).

ここで、式（１１）は、図９に示す画像座標上に図示した２点のうち、歪みを含んだ座標を示し、式（１２）は、無歪の座標を示す。なお、Ｔは転置を表す。また、式（１３）〜式（１５）は、式（１１）に示した歪みを含んだ座標と光軸中心位置（図９に示すＯ_iの座標）との距離の関係を示す。また、式（１６）は、式（１１）〜式（１５）で定まるものであって、歪を含んだ座標系から無歪座標系への変換を示す。ここで、ｋ₁、ｋ₂は、放射方向のレンズ歪み、ｐ₁、ｐ₂は接線方向のレンズ歪みを示す。 Here, Expression (11) indicates coordinates including distortion among the two points illustrated on the image coordinates illustrated in FIG. 9, and Expression (12) indicates coordinates without distortion. T represents transposition. Expressions (13) to (15) indicate the relationship between the distance including the distortion shown in Expression (11) and the optical axis center position (the coordinates of O _i shown in FIG. 9). Expression (16) is determined by Expression (11) to Expression (15), and indicates conversion from a coordinate system including distortion to an undistorted coordinate system. Here, k ₁ and k ₂ indicate lens distortion in the radial direction, and p ₁ and p ₂ indicate lens distortion in the tangential direction.

したがって、内部パラメータ（光学的パラメータ）は、式（８）に示す「画角（焦点距離に対応）ｆ」と「アスペクト比ｓ」、「光軸中心位置ｕ₀，ｖ₀」と、式（１６）に示す「レンズ歪パラメータｋ₁、ｋ₂、ｐ₁、ｐ₂」とからなる８変数である。なお、本アルゴリズムは、接線方向のレンズ歪パラメータｐ₁、ｐ₂を考慮しないカメラモデルにも適用できる（ｐ₁＝ｐ₂＝０でもよい）。 Therefore, the internal parameters (optical parameters) include “view angle (corresponding to focal length) f”, “aspect ratio s”, “optical axis center positions u ₀ , v ₀ ” shown in Expression (8), 16) are eight variables including “lens distortion parameters k ₁ , k ₂ , p ₁ , p ₂ ”. This algorithm can also be applied to a camera model that does not consider the lens distortion parameters p ₁ and p ₂ in the tangential direction (p ₁ = p ₂ = 0 may be used).

また、外部パラメータは、式（１０）に示す変換行列Ｍ^ｗ→pで示される雲台位置ｘ，ｙ，ｚと雲台姿勢ｗ，ｐ，ｒと、変換行列Ｍ^p→dataで示されるパン・チルト量と、変換行列Ｍ^data→cで示される雲台を基準としたカメラオフセット位置（カメラレンズオフセット位置）ｘ，ｙ，ｚおよびカメラオフセット姿勢（カメラレンズオフセット姿勢）ｗ，ｐ，ｒとからなる１４変数である。ただし、パン・チルト量は常に与えられるので、求めるべき未知のパラメータは１２変数である。 In addition, the external parameters are the pan head position x, y, z and pan head position w, p, r indicated by the transformation matrix M ^{w → p} shown in Expression (10), and the pan indicated by the transformation matrix M ^{p → data.} The tilt amount, camera offset position (camera lens offset position) x, y, z and camera offset attitude (camera lens offset attitude) w, p, r with reference to the pan / tilt head indicated by the conversion matrix M ^{data → c} Are 14 variables. However, since the pan / tilt amount is always given, the unknown parameters to be obtained are 12 variables.

以下では、ズームレンズ状態を考慮して、前記した８変数の内部パラメータをベクトル化する。ここで、ズームレンズ状態の異なる２つのカメラ座標系の一例を図１０に示す。図１０は、ズームレンズ状態の異なる２つのカメラ座標系を示す図であって、（ａ）はズームレンズ状態ｍ₁、（ｂ）はズームレンズ状態ｍ₂をそれぞれ示している。なお、ｚ_c軸が光軸方向であり、ｆは焦点距離を示す。 Hereinafter, the internal parameters of the eight variables described above are vectorized in consideration of the zoom lens state. Here, FIG. 10 shows an example of two camera coordinate systems with different zoom lens states. FIG. 10 is a diagram showing two camera coordinate systems with different zoom lens states, where (a) shows the zoom lens state m ₁ and (b) shows the zoom lens state m ₂ , respectively. The z _c axis is the optical axis direction, and f indicates the focal length.

この場合、一般的にカメラの位置・姿勢をあらわす外部パラメータ（以下、extで表す）は、式（１７）に示すように、各座標軸方向の平行移動と回転を表す６つのパラメータで規定される。なお、ｚ軸が光軸方向である。 In this case, generally, external parameters (hereinafter expressed as ext) representing the position / orientation of the camera are defined by six parameters representing translation and rotation in each coordinate axis direction as shown in Expression (17). . The z axis is the optical axis direction.

ズームレンズ８の使用を考慮すると、その構造的な性質から、ズーム量およびフォーカス位置の変化に伴ってカメラ位置（カメラレンズ位置）を変化させる必要がある。ここで、ズームレンズ状態として、式（１８）のｍを定義する。以下、単独で“ｍ”と表記した場合に式（１８）を示すこととする。 Considering the use of the zoom lens 8, it is necessary to change the camera position (camera lens position) in accordance with the change of the zoom amount and the focus position because of its structural properties. Here, m in Expression (18) is defined as the zoom lens state. Hereinafter, the expression (18) will be shown in the case where “m” is used alone.

ｍ_z、ｍ_fはそれぞれズーム量およびフォーカス位置を表す。一般的なシステムにおいては、それぞれのロータリーエンコーダのカウンタパルスの数値に相当する。つまり、このｍにより、カメラ位置が変化するために、前記した式（１７）の外部パラメータは式（２１）で表されることになる。さらに、式（２１）の外部パラメータは、剛体変換をあらわす回転Ｒと平行移動ｔからなる式（２２）の行列Ｍ（ｍ)で表されることと同等である。 m _z and m _f represent the zoom amount and the focus position, respectively. In a general system, it corresponds to the counter pulse value of each rotary encoder. That is, since the camera position is changed by this m, the external parameter of the above equation (17) is represented by the equation (21). Further, the external parameter of the equation (21) is equivalent to that represented by the matrix M (m) of the equation (22) composed of the rotation R representing the rigid body transformation and the translation t.

ここで、空間に任意の世界座標を考えることにする。雲台９のパン・チルト回転軸は直交し一点で交差していると仮定する。逆に言えばそのような仮定にあう雲台９を利用する。この交差点を雲台中心と呼ぶとする。この雲台９は世界座標の位置・姿勢Ｍ_pで設置されているとする。さらに、その雲台中心からオフセットされたカメラレンズ位置・姿勢をＭ_cとし、パン・チルト量をＭ_PanTiltで表すとすると、カメラ位置・姿勢を示す式（２２）の行列Ｍ（ｍ)は、最終的には、式（２３）で表される。 Now, let us consider arbitrary world coordinates in space. It is assumed that the pan / tilt rotation axis of the camera platform 9 is orthogonal and intersects at one point. In other words, the pan head 9 that meets such an assumption is used. This intersection is called the pan head center. It is assumed that the pan head 9 is installed at a position / orientation M _p in world coordinates. Further, the camera lens position and orientation that is offset from the pan head center and M _c, the pan, tilt amount and represented by M _PanTilt, the matrix M of the formula (22) indicating the camera position and posture (m) is Eventually, it is represented by Formula (23).

ズームレンズ８に関しては、ズーム量およびフォーカス位置によって影響を受ける外部パラメータとしては光軸方向の位置シフトのみを考慮した。つまりＭ（ｍ）においては、Ｍ_cのみがｍの関数であり、しかも実際には光軸方向のシフトのみがｍの関数であるとした。 For the zoom lens 8, only the position shift in the optical axis direction was considered as an external parameter affected by the zoom amount and the focus position. That is, in M (m), only M _c is a function of m, and actually only the shift in the optical axis direction is a function of m.

続いて、ズームレンズ状態におけるベクトルである内部パラメータθ_intとしては、式（２５）に示すように、Heikkilaのモデル（アスペクト比ｓ、焦点距離ｆ、画像中心座標ｕ₀，ｖ₀、レンズ歪係数ｋ₁，ｋ₂，ｐ₁，ｐ₂の８パラメータ）を採用し、これはすべてズームレンズ状態ｍの関数とした。 Subsequently, as an internal parameter θ _int that is a vector in the zoom lens state, as shown in Expression (25), a Heikkila model (aspect ratio s, focal length f, image center coordinates u ₀ , v ₀ , lens distortion coefficient) 8 parameters (k ₁ , k ₂ , p ₁ , p ₂ ) were adopted, all of which were functions of the zoom lens state m.

従来の一般的なキャリブレーションの場合においては、内部パラメータは固定、かつ、カメラの位置・姿勢に拘束条件を与えないために、Ｋ枚の画像を利用する場合には、内部パラメータと、それぞれの画像に対応した外部パラメータ（カメラ位置・姿勢）とを未知パラメータとして扱うことになる。すなわち、その際のズームレンズ状態にあたる固定値をｍ₀、評価すべきパラメータベクトルをθとすると、その転置ベクトルは式（２６）で表される。ここで、θ_ext（ｍ₀，ｋ）は、ズームレンズ状態がｍ₀であるｋ枚目の画像に対応した外部パラメータ（撮影カメラ位置・姿勢）ベクトルを表す。 In the case of the conventional general calibration, the internal parameters are fixed, and no constraint condition is given to the position / orientation of the camera. External parameters (camera position / posture) corresponding to the image are treated as unknown parameters. That is, assuming that the fixed value corresponding to the zoom lens state at that time is m ₀ and the parameter vector to be evaluated is θ, the transposed vector is expressed by Expression (26). Here, θ _ext (m ₀ , k) represents an external parameter (capturing camera position / posture) vector corresponding to the k-th image whose zoom lens state is m ₀ .

本実施形態では、ズームレンズ８を対象とするために、ズームレンズ状態ｍに対する内部・外部パラメータを、データとして得る必要がある。しかし、すべてのレンズ状態を連続してサンプルすることは不可能であるために、レンズ状態としては、いくつかの状態を離散的にサンプルし、それらの離散レンズ状態のサンプルから、ズームレンズ８全体の内部・外部パラメータを算出し、得られた各パラメータを、ズームレンズ状態に対して補間することとする。なお、これは、各離散レンズ状態においてそれぞれのバンドル調整結果から得られる各パラメータを補間することとは全く異なる。 In the present embodiment, in order to target the zoom lens 8, it is necessary to obtain internal and external parameters for the zoom lens state m as data. However, since it is impossible to sample all lens states in succession, as the lens state, several states are sampled discretely, and the entire zoom lens 8 is obtained from the samples of these discrete lens states. The internal and external parameters are calculated, and the obtained parameters are interpolated with respect to the zoom lens state. This is completely different from interpolating each parameter obtained from each bundle adjustment result in each discrete lens state.

サンプルしたズームレンズ状態ｍ＝ｍ₁，ｍ₂，…，ｍ_M、セッティングバリエーションｈ＝１，２，３，…，Ｈのもとで評価されるパラメータベクトルθは、前記した式（１）となる。 The sampled zoom lens state m = m ₁ , m ₂ ,..., _{M M} , and the parameter variations θ evaluated under the setting variations h = 1, 2, 3,. Become.

本実施形態のカメラキャリブレーション装置６によれば、バーチャルスタジオの放送時に使用する既存のシステムに加えて、既知のパターン（例えば市松模様）が２，３種類準備できれば、それだけでズームレンズ８が全域で正確にキャリブレートできる。 According to the camera calibration device 6 of the present embodiment, if two or three types of known patterns (for example, a checkered pattern) can be prepared in addition to the existing system used for broadcasting in the virtual studio, the zoom lens 8 can be used for the entire area. Can be accurately calibrated.

以上、本実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲で様々に実施することができる。例えば、パターンは２次元の市松模様として説明したが、特徴点が３次元の位置情報を持つものであってもよい。 Although the present embodiment has been described above, the present invention is not limited to this, and can be implemented in various ways without changing the gist thereof. For example, the pattern has been described as a two-dimensional checkerboard pattern, but the feature point may have three-dimensional position information.

また、カメラキャリブレーション装置６は、一般的なコンピュータを、前記したキャリブレーションパターン解析手段１３と、最適化キャリブレーション処理手段１４として機能させるプログラム（カメラキャリブレーションプログラム）により動作させることで実現することができる。このプログラムは、通信回線を介して提供することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。このプログラムをインストールされたコンピュータは、ＣＰＵが、ＲＯＭ等に格納されたこのプログラムをＲＡＭに展開することにより、カメラキャリブレーション装置６と同等の効果を奏することができる。 The camera calibration device 6 is realized by operating a general computer by a program (camera calibration program) that functions as the calibration pattern analysis unit 13 and the optimization calibration processing unit 14 described above. Can do. This program can be provided via a communication line, or can be written on a recording medium such as a CD-ROM and distributed. The computer in which this program is installed can achieve the same effect as the camera calibration device 6 by the CPU developing this program stored in the ROM or the like in the RAM.

本発明は、放送用バーチャルスタジオカメラのキャリブレーションだけでなく、一般的なＶＲ(virtual reality)、ＭＲ(mixed reality)、ＡＲ(augmented reality)などの実写とＣＧを合成する場合のカメラシステム全体またはレンズのキャリブレーションに使用できる。さらに、正確なキャリブレーションを行った撮影システムを利用すればイメージベーストモデリングなどの三次元情報の取得精度向上につながる。 The present invention is not limited to the calibration of a broadcast virtual studio camera, but the entire camera system for synthesizing CG with a real image such as a general VR (virtual reality), MR (mixed reality), AR (augmented reality), etc. Can be used for lens calibration. Furthermore, using an imaging system that has been calibrated accurately will improve the acquisition accuracy of 3D information such as image-based modeling.

本発明の実施形態に係るカメラキャリブレーション装置を含むカメラシステムを模式的に示す構成図である。It is a block diagram which shows typically the camera system containing the camera calibration apparatus which concerns on embodiment of this invention. 図１に示した撮影装置の外観の一例を模式的に示す図である。It is a figure which shows typically an example of the external appearance of the imaging device shown in FIG. 図１のカメラシステムの処理の全体の流れを示すフローチャートである。It is a flowchart which shows the flow of the whole process of the camera system of FIG. 本発明の実施形態に係るカメラキャリブレーション装置の構成を示すブロック図であって、データベース作成時の情報の流れを示している。It is a block diagram which shows the structure of the camera calibration apparatus which concerns on embodiment of this invention, Comprising: The flow of the information at the time of database creation is shown. 本発明の実施形態に係るカメラキャリブレーション装置に入力する実写映像として撮影される２つのパターンの配置例を示す図である。It is a figure which shows the example of arrangement | positioning of two patterns image | photographed as a real image | video image input into the camera calibration apparatus which concerns on embodiment of this invention. 図３に示すＤＢ作成用データ取得処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the data acquisition process for DB creation shown in FIG. 本発明の実施形態に係るカメラキャリブレーション装置に入力する実写映像の特徴点の一例を示す図である。It is a figure which shows an example of the feature point of the real image | video image input into the camera calibration apparatus which concerns on embodiment of this invention. 図３に示す画像特徴点観測処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the image feature point observation process shown in FIG. 本発明の実施形態に係るカメラキャリブレーション装置で用いるカメラモデルの説明図である。It is explanatory drawing of the camera model used with the camera calibration apparatus which concerns on embodiment of this invention. ズームレンズ状態の異なる２つのカメラ座標系を示す図であって、（ａ）はズームレンズ状態ｍ₁、（ｂ）はズームレンズ状態ｍ₂をそれぞれ示している。A diagram showing two cameras coordinate system with different zoom lens state, shows (a) a zoom lens state m _1, the (b) a zoom lens status m _2, respectively. 図３に示すパラメータ算出処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the parameter calculation process shown in FIG. 本発明の実施形態に係るカメラキャリブレーション装置においてカメラセッティング時の情報の流れを示す図である。It is a figure which shows the flow of the information at the time of camera setting in the camera calibration apparatus which concerns on embodiment of this invention. 図３に示すカメラセッティング用データ入力処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the data input process for camera settings shown in FIG. 本発明の実施形態に係るカメラキャリブレーション装置においてオンエア中の情報の流れを示す図である。It is a figure which shows the flow of the information in on-air in the camera calibration apparatus which concerns on embodiment of this invention. 従来のカメラキャリブレーションにおける座標軸間の関係を示す説明図である。It is explanatory drawing which shows the relationship between the coordinate axes in the conventional camera calibration.

符号の説明Explanation of symbols

１カメラシステム
２撮影装置
３ＣＧ描画装置
４映像合成装置
５記憶装置
５ａデータベース
６カメラキャリブレーション装置
７カメラ
８ズームレンズ
８ａレンズデータ検出センサ
９雲台
９ａ雲台姿勢検出センサ
１０ペデスタル
１０ａペデスタルデータ検出センサ
１１実写映像入力手段
１２パラメータ入力手段
１３キャリブレーションパターン解析手段
１４最適化キャリブレーション処理手段
１５パラメータ算出手段
１６データベース作成手段
１７パラメータ補間手段
１８記憶手段
Ｍ入力装置 DESCRIPTION OF SYMBOLS 1 Camera system 2 Imaging device 3 CG drawing apparatus 4 Image composition apparatus 5 Memory | storage device 5a Database 6 Camera calibration apparatus 7 Camera 8 Zoom lens 8a Lens data detection sensor 9 Pan head 9a Pan head attitude detection sensor 10 Pedestal 10a Pedestal data detection sensor DESCRIPTION OF SYMBOLS 11 Real image input means 12 Parameter input means 13 Calibration pattern analysis means 14 Optimization calibration processing means 15 Parameter calculation means 16 Database creation means 17 Parameter interpolation means 18 Storage means M Input device

Claims

バーチャルスタジオ用のカメラシステムの雲台に搭載されたカメラのズームレンズのズーム量およびフォーカス値で示すズームレンズ状態を、広角と望遠のうちの一方から他方へ向かって離散的に切り替えるときに、所定位置に設置された２次元または３次元の特徴点を分布させたキャリブレーション用のパターンを撮影したパターン画像が撮影画面の所定範囲に収まるように、前記パターンの特徴点の間隔のサイズが異なる他のパターンと取り替えることと設置位置を変更することとの少なくとも一方を行うことに対応したセッティングバリエーションを随時変更して得られる複数のパターン画像に基づいて前記カメラシステムおよび前記ズームレンズをキャリブレーションするカメラキャリブレーション装置であって、
前記セッティングバリエーションを変更した直後に、前記セッティングバリエーションの変更直前のズームレンズ状態に維持して得られたパターン画像を記憶すると共に、前記パターン画像が撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を第１入力パラメータとして記憶する記憶手段と、
前記記憶されたパターン画像を解析することで、前記パターンの特徴点の観測された座標位置を算出し、インデックス化するキャリブレーションパターン解析手段と、
前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて前記第１入力パラメータとして記憶された雲台のパン・チルト状態を既知として、前記パターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラモデルにおける外部パラメータと、前記ズームレンズ状態に依存した内部パラメータとを、評価すべきパラメータとして算出するパラメータ算出手段と、
前記算出された評価すべきパラメータのうち、前記雲台から前記カメラの光軸方向のオフセットを示すパラメータと、前記内部パラメータと、前記ズームレンズ状態に依存しない外部パラメータとを格納したデータベースを作成するデータベース作成手段と、
を備えることを特徴とするカメラキャリブレーション装置。 Predetermined when the zoom lens state indicated by the zoom amount and focus value of the zoom lens of the camera mounted on the camera platform for the virtual studio is discretely switched from one of the wide angle and telephoto to the other. The pattern feature point interval size is different so that a pattern image obtained by photographing a calibration pattern in which two-dimensional or three-dimensional feature points placed at positions are distributed within a predetermined range of the photographing screen. A camera that calibrates the camera system and the zoom lens based on a plurality of pattern images obtained by changing setting variations corresponding to performing at least one of replacing the pattern and changing the installation position as needed A calibration device,
Immediately after changing the setting variation, the pattern image obtained by maintaining the zoom lens state immediately before the change of the setting variation is stored, and the zoom lens state and the cloud measured when the pattern image is photographed Storage means for storing the pan / tilt state of the table as a first input parameter;
By analyzing the stored pattern image, the observed coordinate position of the feature point of the pattern is calculated, and calibration pattern analysis means for indexing,
Using the camera model set in advance corresponding to the camera mounted on the camera platform, the pan / tilt state of the camera platform stored as the first input parameter is known, and the coordinate position of the feature point of the pattern is determined. An external parameter in the camera model and an internal parameter depending on the zoom lens state so that an objective function including an error function between the estimated coordinate position and the observed coordinate position is minimized. Parameter calculating means for calculating as a parameter to be evaluated;
Of the calculated parameters to be evaluated, a database storing a parameter indicating an offset in the optical axis direction of the camera from the camera platform, the internal parameter, and an external parameter independent of the zoom lens state is created. Database creation means;
A camera calibration device comprising:

請求項１のカメラキャリブレーション装置で作成されたデータベースを記憶したカメラキャリブレーション装置であって、
２次元または３次元の特徴点を分布させた１つのキャリブレーション用のパターンを、オンエア前のカメラセッティングにおいて撮影した複数のパターン画像を記憶すると共に、前記複数のパターン画像それぞれが撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を第２入力パラメータとして記憶する記憶手段と、
前記記憶された前記カメラセッティングにおいて撮影されたパターン画像を解析することで、当該パターンの特徴点の観測された座標位置を算出し、インデックス化するキャリブレーションパターン解析手段と、
前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて第２入力パラメータとして記憶された雲台のパン・チルト状態と、前記データベースに格納された各パラメータとを既知として、前記カメラセッティングにおいて撮影されたパターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラセッティングに対応した雲台の位置および姿勢を示すパラメータを、評価すべきパラメータとして算出するパラメータ算出手段と、
前記算出したパラメータを追加することで前記データベースを更新するデータベース作成手段と、
を備えることを特徴とするカメラキャリブレーション装置。 A camera calibration device storing a database created by the camera calibration device of claim 1,
When a plurality of pattern images obtained by photographing a calibration pattern in which two-dimensional or three-dimensional feature points are distributed in a camera setting before on-air is stored, and each of the plurality of pattern images is photographed. Storage means for storing the measured zoom lens state and pan / tilt state of the camera platform as second input parameters;
Calibration pattern analysis means for calculating and indexing the observed coordinate position of the feature point of the pattern by analyzing the pattern image captured in the stored camera settings;
The pan / tilt state of the pan / tilt head stored as the second input parameter using a camera model set in advance corresponding to the camera mounted on the pan / tilt head, and the parameters stored in the database are known. Estimating the coordinate position of the feature point of the pattern photographed in the camera setting, and minimizing an objective function including an error function between the estimated coordinate position and the observed coordinate position. A parameter calculation means for calculating a parameter indicating the position and orientation of the pan head corresponding to
Database creation means for updating the database by adding the calculated parameters;
A camera calibration device comprising:

請求項２のカメラキャリブレーション装置で更新されたデータベースを記憶したカメラキャリブレーション装置であって、
オンエア中のズームレンズ状態をキーとして前記更新されたデータベースからパラメータを読み出し補間し、オンエア中の現在の雲台のパン・チルト状態を用いて、ＣＧの仮想カメラの位置および姿勢のパラメータおよび内部パラメータを生成し、その生成したＣＧの仮想カメラの位置および姿勢のパラメータおよび内部パラメータをＣＧ描画装置に出力するパラメータ補間手段を備えることを特徴とするカメラキャリブレーション装置。 A camera calibration device storing a database updated by the camera calibration device of claim 2,
CG virtual camera position and orientation parameters and internal parameters using the current pan / tilt state of the pan head / tilt in the on-air state by reading and interpolating parameters from the updated database using the on-air zoom lens state as a key And a parameter interpolation means for outputting the generated CG virtual camera position and orientation parameters and internal parameters to the CG rendering apparatus.

バーチャルスタジオ用のカメラシステムの雲台に搭載されたカメラのズームレンズのズーム量およびフォーカス値で示すズームレンズ状態を、広角と望遠のうちの一方から他方へ向かって離散的に切り替えるときに、所定位置に設置された２次元または３次元の特徴点を分布させたキャリブレーション用のパターンを撮影したパターン画像が撮影画面の所定範囲に収まるように、前記パターンの特徴点の間隔のサイズが異なる他のパターンと取り替えることと設置位置を変更することとの少なくとも一方を行うことに対応したセッティングバリエーションを随時変更して得られる複数のパターン画像に基づいて前記カメラシステムおよび前記ズームレンズをキャリブレーションする処理手段と記憶手段とを備えたカメラキャリブレーション装置のカメラキャリブレーション方法であって、
前記処理手段は、
前記セッティングバリエーションを変更した直後に、前記セッティングバリエーションの変更直前のズームレンズ状態に維持して得られたパターン画像と、前記パターン画像が撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を示す第１入力パラメータとの入力を受け付けて前記記憶手段に格納する入力ステップと、
前記記憶されたパターン画像を解析することで、前記パターンの特徴点の観測された座標位置を算出し、インデックス化する画像特徴点観測ステップと、
前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて前記第１入力パラメータとして記憶された雲台のパン・チルト状態を既知として、前記パターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラモデルにおける外部パラメータと、前記ズームレンズ状態に依存した内部パラメータとを、評価すべきパラメータとして算出するパラメータ算出ステップと、
前記算出された評価すべきパラメータのうち、前記雲台から前記カメラの光軸方向のオフセットを示すパラメータと、前記内部パラメータと、前記ズームレンズ状態に依存しない外部パラメータとを格納したデータベースを作成するデータベース作成ステップと、
を含んで実行することを特徴とするカメラキャリブレーション方法。 Predetermined when the zoom lens state indicated by the zoom amount and focus value of the zoom lens of the camera mounted on the camera platform for the virtual studio is discretely switched from one of the wide angle and telephoto to the other. The pattern feature point interval size is different so that a pattern image obtained by photographing a calibration pattern in which two-dimensional or three-dimensional feature points placed at positions are distributed within a predetermined range of the photographing screen. For calibrating the camera system and the zoom lens on the basis of a plurality of pattern images obtained by changing setting variations corresponding to performing at least one of replacing the pattern and changing the installation position as needed Camera calibration device comprising means and storage means A camera calibration method,
The processing means includes
Immediately after changing the setting variation, the pattern image obtained by maintaining the zoom lens state immediately before the change of the setting variation, the zoom lens state measured when the pattern image was taken, and the pan of the pan head An input step of receiving an input of a first input parameter indicating a tilt state and storing it in the storage means;
By analyzing the stored pattern image, an observed coordinate position of the feature point of the pattern is calculated, and an image feature point observation step for indexing,
Using the camera model set in advance corresponding to the camera mounted on the camera platform, the pan / tilt state of the camera platform stored as the first input parameter is known, and the coordinate position of the feature point of the pattern is determined. An external parameter in the camera model and an internal parameter depending on the zoom lens state so that an objective function including an error function between the estimated coordinate position and the observed coordinate position is minimized. A parameter calculation step for calculating as a parameter to be evaluated;
Of the calculated parameters to be evaluated, a database storing a parameter indicating an offset in the optical axis direction of the camera from the camera platform, the internal parameter, and an external parameter independent of the zoom lens state is created. A database creation step;
A camera calibration method comprising:

バーチャルスタジオ用のカメラシステムの雲台に搭載されたカメラのズームレンズのズーム量およびフォーカス値で示すズームレンズ状態を、広角と望遠のうちの一方から他方へ向かって離散的に切り替えるときに、所定位置に設置された２次元または３次元の特徴点を分布させたキャリブレーション用のパターンを撮影したパターン画像が撮影画面の所定範囲に収まるように、前記パターンの特徴点の間隔のサイズが異なる他のパターンと取り替えることと設置位置を変更することとの少なくとも一方を行うことに対応したセッティングバリエーションを随時変更して得られる複数のパターン画像に基づいて前記カメラシステムおよび前記ズームレンズをキャリブレーションするために、前記セッティングバリエーションを変更した直後に、前記セッティングバリエーションの変更直前のズームレンズ状態に維持して得られたパターン画像を記憶すると共に、前記パターン画像が撮影されたときに測定されたズームレンズ状態および雲台のパン・チルト状態を第１入力パラメータとして記憶する記憶手段を備えたコンピュータを、
前記記憶されたパターン画像を解析することで、前記パターンの特徴点の観測された座標位置を算出し、インデックス化するキャリブレーションパターン解析手段、
前記雲台に搭載されたカメラに対応して予め設定されたカメラモデルを用いて前記第１入力パラメータとして記憶された雲台のパン・チルト状態を既知として、前記パターンの特徴点の座標位置を推定し、前記推定された座標位置と前記観測された座標位置との誤差関数を含む目的関数が最小化するように、前記カメラモデルにおける外部パラメータと、前記ズームレンズ状態に依存した内部パラメータとを、評価すべきパラメータとして算出するパラメータ算出手段、
前記算出された評価すべきパラメータのうち、前記雲台から前記カメラの光軸方向のオフセットを示すパラメータと、前記内部パラメータと、前記ズームレンズ状態に依存しない外部パラメータとを格納したデータベースを作成するデータベース作成手段、
として機能させることを特徴とするカメラキャリブレーションプログラム。 Predetermined when the zoom lens state indicated by the zoom amount and focus value of the zoom lens of the camera mounted on the camera platform for the virtual studio is discretely switched from one of the wide angle and telephoto to the other. The pattern feature point interval size is different so that a pattern image obtained by photographing a calibration pattern in which two-dimensional or three-dimensional feature points placed at positions are distributed within a predetermined range of the photographing screen. In order to calibrate the camera system and the zoom lens based on a plurality of pattern images obtained by changing a setting variation corresponding to performing at least one of replacing the pattern and changing the installation position as needed Immediately after changing the setting variation The pattern image obtained by maintaining the zoom lens state immediately before the change of the setting variation is stored, and the zoom lens state and pan / tilt state of the pan / tilt head measured when the pattern image is photographed are first stored. A computer having storage means for storing as input parameters,
A calibration pattern analysis means for calculating and indexing the observed coordinate position of the feature point of the pattern by analyzing the stored pattern image;
Using the camera model set in advance corresponding to the camera mounted on the camera platform, the pan / tilt state of the camera platform stored as the first input parameter is known, and the coordinate position of the feature point of the pattern is determined. An external parameter in the camera model and an internal parameter depending on the zoom lens state so that an objective function including an error function between the estimated coordinate position and the observed coordinate position is minimized. Parameter calculation means for calculating as a parameter to be evaluated,
Of the calculated parameters to be evaluated, a database storing a parameter indicating an offset in the optical axis direction of the camera from the camera platform, the internal parameter, and an external parameter independent of the zoom lens state is created. Database creation means,
A camera calibration program characterized by functioning as