JP2005286452A - Video image generating system - Google Patents
Video image generating system Download PDFInfo
- Publication number
- JP2005286452A JP2005286452A JP2004094145A JP2004094145A JP2005286452A JP 2005286452 A JP2005286452 A JP 2005286452A JP 2004094145 A JP2004094145 A JP 2004094145A JP 2004094145 A JP2004094145 A JP 2004094145A JP 2005286452 A JP2005286452 A JP 2005286452A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- zoom
- video
- zoom value
- correction parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、ズーミング機能を有する複数のカメラ（マルチカメラ）により広視野かつ高解像度の映像を撮影し、歪み補正を行い映像を生成、表示する方法及び装置に関する。 The present invention relates to a method and apparatus for capturing a wide-field and high-resolution video by using a plurality of cameras (multi-cameras) having a zooming function, generating distortion, and generating and displaying the video.
大画面ディスプレイの発展により、大画面の映像コンテンツが必要とされてきている。そのようなコンテンツを撮影するために、マルチカメラを利用した手法が提案されている。 With the development of large screen displays, video content on a large screen has been required. In order to capture such content, a technique using a multi-camera has been proposed.
従来のマルチカメラを用いた広視野の映像を撮影する方法としては、下記特許文献１，２に記載のように、広視野をカバーするように、立体的にかつ放射状に配置して撮影し、各カメラで撮影された映像をつなぎあわせることにより、広視野の映像を生成するものである。これらでは、全周映像を撮影するためのカメラ配置方法や撮影した映像から一部を切り出した映像を生成する方法などについて開示されている。
As a method of shooting a wide-field image using a conventional multi-camera, as described in
また，ズームつきカメラの歪曲収差を補正するシステムについては、下記特許文献３に記載のように、あるズーム値以上の場合に事前に設定した歪み補正曲線により補正する方法，または，下記特許文献４に記載のように、複数のズーム位置に対して、無限遠と最至近に対する歪曲収差補正データを記憶することにより、少ないデータで補正を可能とする方法が知られている。
As for a system for correcting distortion aberration of a camera with a zoom, as described in Patent Document 3 below, a method of correcting with a distortion correction curve set in advance when a zoom value exceeds a certain zoom value, or
しかしながら、上記の従来技術では、マルチカメラで撮影する際に、通常1台のカメラであれば可能であるズーミング機能について、マルチカメラにより実現する方法については示されていない。 However, the above-described prior art does not show a method for realizing a zooming function that can be normally performed by one camera when shooting with a multi-camera.
また、マルチカメラにより撮影された映像をつなげる際には、各カメラ映像の歪みを補正することが重要となるが、上記特許文献３の従来技術では、ある範囲のズームを行った場合にのみ歪み補正を行うため、マルチカメラのカメラ間の映像のつなぎあわせについて考慮されていない。 In addition, when connecting images shot by a multi-camera, it is important to correct the distortion of each camera image. However, in the prior art disclosed in Patent Document 3, the distortion only occurs when a certain range of zooming is performed. Since correction is performed, the stitching of images between cameras of the multi-camera is not considered.
さらに，上記特許文献４の従来技術では、記憶する歪み補正パラメータについて、被写体までの距離に応じた歪曲収差を補正するデータ量は削減しているが、カメラがとりうるすべてのズーム値に対して補正データを記憶するため、カメラのズーム値は離散的にならざるを得ず、ズーム値のステップを細かくする毎にデータが多くなる。
Furthermore, in the conventional technique of
本発明は、撮影対象を複数の撮影手段に分けて撮影する映像生成/表示システムであって、複数の撮影手段によるズーム撮影を可能とすることを目的とする。 The present invention is a video generation / display system that shoots an object to be imaged by dividing it into a plurality of imaging means, and an object thereof is to enable zoom imaging with a plurality of imaging means.
他の目的として、少ないデータ量により、カメラの歪みを補正し、自然な、広視野の、高解像度な映像を生成し、表示することを目的とする。 Another object is to generate and display a natural, wide-field, high-resolution video by correcting camera distortion with a small amount of data.
上記目的を達成するために、複数のズーム値に対応した歪み補正パラメータを記憶する手段と、前記記憶された歪み補正パラメータから現在のズーム値に応じた歪み補正パラメータを算出する手段と、マルチカメラを歪み補正後の各カメラの映像が重なりを持つように配置する手段と、各マルチカメラ映像から歪みのない一つの映像を生成する手段または、表示する手段を有するものである。また、ユーザからの要求によりズーミングを行うために、各カメラのズーム値を制御する手段を用いるものである。 In order to achieve the above object, means for storing distortion correction parameters corresponding to a plurality of zoom values, means for calculating distortion correction parameters according to the current zoom value from the stored distortion correction parameters, and a multi-camera Are arranged so that the images of the cameras after distortion correction overlap each other, and means for generating or displaying one image without distortion from each multi-camera image. In addition, means for controlling the zoom value of each camera is used in order to perform zooming according to a request from the user.
本発明によれば、マルチカメラにより自然な広視野、高解像度の映像を生成、表示できるだけでなく、ズーム値に応じた歪み補正パラメータ算出とカメラ位置姿勢制御を利用することにより、少ない記憶容量により歪み補正されたズーム映像を生成、表示することが可能となる。 According to the present invention, it is possible not only to generate and display a natural wide field of view and high resolution video by a multi-camera, but also by using distortion correction parameter calculation according to the zoom value and camera position and orientation control, with a small storage capacity. A distortion-corrected zoom image can be generated and displayed.
以下、実施例を用いて説明する。 Hereinafter, description will be made using examples.
以下、実施例の概要について、図２を用いて説明する。 Hereinafter, the outline of the embodiment will be described with reference to FIG.
本実施例では、Ｎ台のカメラから構成されるマルチカメラで、カメラ１（図中２０）〜カメラＮ（図中２１）で、撮影対象の一部又は全部をそれぞれ撮影する。 In the present embodiment, a multi-camera composed of N cameras is used to shoot a part or all of a shooting target with the camera 1 (20 in the figure) to the camera N (21 in the figure).
ユーザは希望のズームになるように、映像表示手段３９を見ながらズーム値をズーム値協調制御手段２４に入力し、ズーム操作を行う。ズーム値協調制御手段２４は、あらかじめ設定しておいた、ユーザの入力に応じた各カメラのズーム値をカメラ１〜カメラＮに設定する。同時に、ズーム値協調制御手段２４はカメラ位置姿勢協調制御手段２５にズーム値情報を伝達し、カメラ位置姿勢協調制御手段２５は、事前に視野角記憶手段２６に記憶しておいた各カメラの映像の歪み補正後の視野角を用い、ズーム値に応じて各カメラの映像が重なりを持つように求めたカメラの位置と向きになるよう、各カメラを制御する。
The user inputs a zoom value to the zoom value
続いて、カメラ１の映像についての歪み補正について説明する。図中２８のズーム値対応補正パラメータ算出手段１は、カメラ１の複数のズーム値に対応した補正パラメータ記憶手段１（図中３０）に記憶されたデータを用い、ズーム値協調制御手段２４により設定されたズーム値に対応した補正パラメータを算出し、ズーム値対応補正パラメータ記憶手段１（図中３２）へ記憶する。カメラ映像補正手段１（図中３６）はズーム値対応補正パラメータ記憶手段１に記憶された補正パラメータを利用し、カメラ１で撮影された映像の歪みをリアルタイムに補正する。
Next, distortion correction for the video of the
同様に、各カメラでも歪み補正を行う。カメラＮにおいては、補正パラメータ記憶手段Ｎ（図中３１）に記憶された複数のズーム値に対応した歪み補正パラメータを利用し、ズーム値対応補正パラメータ算出手段（図中２９）により、現在のカメラＮのズーム値に対応した補正パラメータを算出し、ズーム値対応補正パラメータ記憶手段Ｎ（図中３３）に記憶する。そして、ズーム値対応補正パラメータ記憶手段Ｎに記憶されたデータを用い、カメラ映像補正手段Ｎ（図中３７）は、カメラＮの映像をリアルタイムに補正する。 Similarly, each camera performs distortion correction. In the camera N, distortion correction parameters corresponding to a plurality of zoom values stored in the correction parameter storage means N (31 in the figure) are used, and the current camera is selected by the zoom value corresponding correction parameter calculation means (29 in the figure). A correction parameter corresponding to the zoom value of N is calculated and stored in the zoom value correction parameter storage means N (33 in the figure). Then, using the data stored in the zoom value corresponding correction parameter storage means N, the camera video correction means N (37 in the figure) corrects the video of the camera N in real time.
映像合成手段３８は各カメラの歪み補正された映像を入力とし、各映像の重なりを利用して１つの映像を生成する。映像表示手段３９は、映像合成手段にて生成された映像、あるいは、カメラ映像補正手段１〜Ｎにより出力された各カメラの歪み補正された映像を入力とし、ディスプレイ装置（複数のプロジェクタを用いた高解像度ディスプレイなど）に表示する。 The video synthesizing means 38 receives the video whose distortion has been corrected by each camera and generates one video by using the overlap of the videos. The video display means 39 receives the video generated by the video synthesizing means or the distortion-corrected video of each camera output from the camera video correction means 1 to N, and uses a display device (using a plurality of projectors). On a high-resolution display).
以上のような手段を実現する装置構成例を図３、及び、図４に示す。ユーザはズーム設定部６１を用いて、映像表示部７２に表示されたマルチカメラで撮影された高精細広視野映像の視野角を設定する（ステップ２０１）。ズーム設定部６１にて設定されたズーム値は、例えば、最も広角側を０、狭角側を１とし、その間の値を比率に応じて小数点で表したズーム比率を用いるものとする。ズーム値協調制御部６２では、各カメラ固有のズーム範囲において、最も広角側を０、狭角側を１として、ユーザが設定したズーム比率を用い、各カメラのズーム値を設定する（ステップ２０２）。ここで、各カメラのズーム値は、注視方向を含むカメラの解像度が高くなるように設定するなどの方法を用いても良い。 3 and 4 show examples of the device configuration that realizes the above means. The user uses the zoom setting unit 61 to set the viewing angle of the high-definition wide-field image captured by the multi-camera displayed on the video display unit 72 (step 201). The zoom value set by the zoom setting unit 61 is, for example, a zoom ratio in which the wide angle side is 0 and the narrow angle side is 1, and a value between them is represented by a decimal point according to the ratio. The zoom value cooperative control unit 62 sets the zoom value of each camera using the zoom ratio set by the user, with the wide angle side set to 0 and the narrow angle side set to 1 in the zoom range unique to each camera (step 202). . Here, a method of setting the zoom value of each camera so as to increase the resolution of the camera including the gaze direction may be used.
カメラ位置姿勢制御部６４では、事前に求めておいた、各カメラ毎のズーム値と視野角の関係を示すデータをズーム設定用パラメータ記憶部６３より取得し、ステップ２０２にて設定されたズーム値に対応する視野角を求める（ステップ２０３）。ステップ２０３にて求められた各カメラの視野が、事前に設定し、ズーム設定用パラメータ記憶部６３に記憶しておいた理想視点からの距離（以下指定交差距離とする）において重なるように、各カメラの位置姿勢を求める（ステップ２０４）。
The camera position /
例えば図１のような場合、理想視点１から各カメラは一定の距離に配置するとし、理想視点１を中心とした極座標で、カメラ３の主軸６を０度として、カメラの姿勢を求めるものとする。カメラ２の姿勢は、時計回り方向の正の値をもつ角度１６（図1(b)では、角度１８）により、カメラ４の姿勢は負の値を持つ角度１７（図1(b)では、角度１９）により制御する。なお極座標は１方向の回転角度を用い、360度の範囲で制御してもよい。
For example, in the case of FIG. 1, each camera is arranged at a certain distance from the
カメラの可動範囲についての設計情報を元に、カメラがステップ２０４で求めた位置姿勢を取れるかをチェックし（ステップ２０５）、可動範囲内であれば、カメラ位置姿勢協調制御部６４により、ステップ２０４で求めた位置姿勢へ各カメラを移動する（ステップ２０６）。可動範囲外の場合には、設定できないというエラー情報を出すなどのエラー処理を行う（ステップ２０７）。ここで、ズーム値協調制御部６２とカメラ位置姿勢制御部６４はマルチカメラシステム一つにつき、１つ存在すればよく、全てをハードウェアで実現しても良いし、演算部をソフトウェアで実現してもよい。
Based on the design information about the movable range of the camera, it is checked whether the camera can take the position and orientation determined in step 204 (step 205). Each camera is moved to the position and orientation obtained in step (step 206). If it is out of the movable range, error processing such as issuing error information indicating that setting is not possible is performed (step 207). Here, one zoom value cooperative control unit 62 and one camera position /
各カメラについては、それぞれカメラ映像歪み補正部（図中７３，７４）が存在するものとする。各カメラ映像歪み補正部には、事前に複数のズーム値に対応した補正パラメータを記憶する補正パラメータ記憶部（図中６６、６８）、補正パラメータ記憶部に記憶されたデータとズーム値協調制御部６２により設定された各カメラにおけるズーム値から、ズーム値に対応した補正パラメータを求めるズーム値対応補正パラメータ算出部（図中６５，６９）、および、ズーム値対応補正パラメータによるカメラ映像の補正部（図中６７，７０）が存在する。カメラ映像歪み補正部７３，７４から出力された歪み補正後の画像は映像合成部７１の入力となり、映像合成部７１で1枚の映像として接続処理された映像を映像表示部７２にて表示する。
Assume that each camera has a camera image distortion correction unit (73 and 74 in the figure). Each camera image distortion correction unit includes a correction parameter storage unit (66 and 68 in the figure) that stores correction parameters corresponding to a plurality of zoom values in advance, and data stored in the correction parameter storage unit and a zoom value cooperative control unit. A zoom value corresponding correction parameter calculating unit (65, 69 in the figure) for obtaining a correction parameter corresponding to the zoom value from the zoom value in each camera set by 62, and a camera image correcting unit (65, 69 in the figure). There are 67, 70) in the figure. The distortion-corrected images output from the camera image
続いて、図１と図５を用いて、ズーム値協調制御手段２４とカメラ位置姿勢協調制御手段２５について、よりユーザの直感に近くズームを制御する例について説明する。
Next, an example in which the zoom value
図１は、３台のカメラ２〜４からなるマルチカメラシステムの構成例を示す。各カメラの種類は同じとし、カメラ２の主軸が５、歪み補正後の視野（以下、視野）が９、カメラ３の主軸が６、視野が１０、カメラ４の主軸が７、視野が１１としたとき、各カメラの主軸が理想視点１にて交わるように配置することにより、広視野角の自然な映像を撮影することが可能となる。
FIG. 1 shows a configuration example of a multi-camera system including three
このマルチカメラシステムにおいて、ユーザがステップ２２１において、図２のズーム値協調制御手段２４により、各カメラをズームアップし、視野角を狭くする場合について説明する。このとき、ユーザが指定するズームは、１つに接続されたマルチカメラ映像の最も広角な視野角を基準としたときの、ズーム後の視野角の比率を用いる。
In this multi-camera system, a case will be described in which the user zooms in on each camera and narrows the viewing angle in
まず、ユーザが指定した視野角比率に応じて、両端のカメラ２，４について、ズーム値を決定する（ステップ２２２）。即ち、視野角比率が８０％であれば、カメラ２，４の視野角も８０％になるように、図３のズーム設定用パラメータ記憶部６３に記憶されたデータを用いることでズーム値を求める。つぎに、両端のカメラ２，４の視野角変更に合わせて、ユーザが指定した視野角に応じた視野範囲をカバーするように、図１(a)から(b)のように、カメラ２、カメラ４の位置姿勢を変更する（ステップ２２３）。
First, zoom values are determined for the
ここでズーム値と位置姿勢が未計算のカメラの台数をチェックし（ステップ２２４）、この実施例では１つしか残っていないので、ステップ２２７へと進む。ここでは、残るカメラ３について、既に位置が決まったカメラ２，４の視野１２，１４に合せて、指定交差距離１５でカメラ３の視野が重なるようにカメラ１の視野角と姿勢を求め、ズーム値を求める（ステップ２２７）。そして最後に、全カメラのズーム値と位置姿勢を変更する（ステップ２２８）。
Here, the number of cameras whose zoom values and positions and orientations have not been calculated is checked (step 224). Since only one camera remains in this embodiment, the process proceeds to step 227. Here, with respect to the remaining camera 3, the viewing angle and orientation of the
ここで、ステップ２２４にて、未計算のカメラが3台以上残っていた場合、未計算のカメラのうち、両端のカメラの視野角を、ユーザが設定した視野角比率に応じて算出し、ズーム値を決定する（ステップ２２５）。次に、既に位置姿勢が求まっている両端のカメラの視野と指定交差距離にて視野が重なるようにカメラ位置を求める（ステップ２２６）。
Here, in
以上のように、カメラ位置姿勢協調制御手段２５は、事前に記憶された各カメラの複数のズーム値に応じた視野角の情報を利用し、視野角に応じたカメラのズーム値を算出し、各カメラの視野が、指定交差距離において重なるように、カメラ位置姿勢を移動するものとする。なお、視野角記憶手段２６に記憶されたズーム値に応じた視野角の情報は、歪み補正後の画像における視野角の情報であるとする。
As described above, the camera position / orientation
次に、図３に示したズーム設定用パラメータ記憶部６３と補正パラメータ記憶部６６、６９に記憶するデータ例を図７に示す。図７(a)に示すズーム設定用パラメータ記憶部６３に記憶される視野角データ８１は、各カメラについてのズーム値に応じた歪み補正後の視野角の情報を持つ。図７の例ではカメラＮについて、ズーム値ａ、ｂに対応して視野角がＡ、Ｂである。一方、図７(ｂ)に示す補正パラメータ記憶部に記憶する補正パラメータデータはズーム値に応じた補正パラメータを、各カメラ毎に記憶する。図７ではカメラＮに対する補正パラメータデータ８２は、ズーム値αとβに対し、補正パラメータ１と２を記憶している。ここで、補正パラメータのデータは、補正後のピクセル位置が対応する補正前画像におけるピクセル位置を記憶するものとすると、データ量がズーム値と比べて大きいため、図７のような形で、リンクの形で記憶する方法をとれば効率的である。また、視野角データ８１で記憶したズーム値ａ、ｂと補正パラメータデータ８２に記憶したズーム値α、βは一致しなくてもよいが、ズーム値に応じた視野角を求めるためには、一度歪み補正した映像を求めることにより、視野角を得る必要がある。
Next, FIG. 7 shows an example of data stored in the zoom setting
ここで、カメラ位置姿勢協調制御手段２５は、視野角記憶手段２６の代わりに、複数のズーム値に応じたカメラ位置姿勢記憶手段に記憶されたデータから、現在のズーム値に応じたカメラ位置姿勢を求めて、制御するようにしてもよい。カメラ位置姿勢協調制御手段における各カメラの位置姿勢の計算を単純化することが可能となる。 Here, the camera position and orientation cooperative control means 25 uses the camera position and orientation corresponding to the current zoom value from the data stored in the camera position and orientation storage means corresponding to a plurality of zoom values instead of the viewing angle storage means 26. May be obtained and controlled. It is possible to simplify the calculation of the position and orientation of each camera in the camera position and orientation cooperative control means.
次に、ズーム値対応補正パラメータ算出手段２８、２９に関して、カメラＮに対応する場合を用いて説明する。 Next, the zoom value corresponding correction parameter calculating means 28 and 29 will be described using a case corresponding to the camera N.
ズーム値を変更することにより、映像の歪み方が変わるため、補正パラメータ記憶手段３０，３１はズーム値に対応した歪み補正パラメータを記憶する必要がある。歪み補正パラメータは特表２００２−５３５９３８などのパターン映像を用いた手法を利用することにより求めることが可能である。 By changing the zoom value, the image distortion method changes, so that the correction parameter storage means 30 and 31 need to store a distortion correction parameter corresponding to the zoom value. The distortion correction parameter can be obtained by using a technique using a pattern image such as the special table 2002-535938.
図８は、カメラＮ２１に対する補正パラメータ記憶手段Ｎ３１に記憶された、ズーム値aに対応した補正パラメータのデータの例を示す。歪み補正後の映像の画素数が横Ｗ，縦Ｈであるとする。ズーム値aの場合に、歪み補正後の映像におけるピクセル位置(1,1)に対応する、カメラＮにより撮影された補正前映像のピクセル位置を(xa1,ya1)として４１に記憶している。ここで、xa1,ya1は小数であってもよい。同様に、補正後映像のピクセル位置(2,1)に対応する補正前映像のピクセル位置を４２に、補正後映像のピクセル位置(1,2)に対応する補正前映像のピクセル位置を４３に、補正後映像のピクセル位置(W,H)に対応するピクセル位置を４４に記憶している。 FIG. 8 shows an example of correction parameter data corresponding to the zoom value a stored in the correction parameter storage means N31 for the camera N21. It is assumed that the number of pixels of the image after distortion correction is horizontal W and vertical H. In the case of the zoom value a, the pixel position of the uncorrected image taken by the camera N corresponding to the pixel position (1,1) in the image after distortion correction is stored in (41) as (x a1 , y a1 ). Yes. Here, x a1 and y a1 may be decimal numbers. Similarly, the pixel position of the uncorrected image corresponding to the pixel position (2,1) of the corrected image is set to 42, and the pixel position of the uncorrected image corresponding to the pixel position (1,2) of the corrected image is set to 43. The pixel position corresponding to the pixel position (W, H) of the corrected image is stored in 44.
しかしながら、前述のように、歪み補正パラメータはズーム値によって異なる。カメラＮがとりうるすべてのズーム値に対する歪み補正パラメータを記憶すると、大量の容量が必要となるため、いくつかのズーム値に対する歪み補正パラメータから、現在のカメラのズーム値に応じた補正パラメータを、ズーム値対応補正パラメータ算出手段Ｎ２９により求める必要がある。そこで、ズーム値b(a<b)に対応する補正パラメータが補正パラメータ記憶手段Ｎ３１にあらかじめ記憶されており、補正後映像のピクセル位置(m,n)について、ズーム値k（a<k<b）に対応する補正パラメータの値、すなわち補正前の映像ピクセル位置(x,y)を、例えば以下の式のように、線形補間により求める。 However, as described above, the distortion correction parameter varies depending on the zoom value. Since storing a distortion correction parameter for all zoom values that can be taken by the camera N requires a large amount of capacity, a correction parameter corresponding to the zoom value of the current camera is selected from the distortion correction parameters for several zoom values. It is necessary to obtain the zoom value corresponding correction parameter calculation means N29. Therefore, a correction parameter corresponding to the zoom value b (a <b) is stored in advance in the correction parameter storage unit N31, and the zoom value k (a <k <b) for the pixel position (m, n) of the corrected image. ), That is, the video pixel position (x, y) before correction is obtained by linear interpolation, for example, as in the following equation.
この手法を用いることにより、少なくとも、もっとも広角のズーム値と、もっとも狭角のズーム値に対する歪み補正パラメータを補正パラメータ記憶手段Ｎ３１に記憶しておくことにより、カメラＮがとりうるズーム値に対応した歪み補正パラメータを算出することが可能となる。算出したズーム値に対応した歪み補正パラメータは、ズーム値対応補正パラメータ記憶手段Ｎ３３に記憶する。以上の方法を各カメラについても行えばよい。 By using this method, at least the widest zoom value and the distortion correction parameter for the narrowest zoom value are stored in the correction parameter storage means N31, thereby corresponding to the zoom values that the camera N can take. It is possible to calculate distortion correction parameters. The distortion correction parameter corresponding to the calculated zoom value is stored in the zoom value corresponding correction parameter storage means N33. The above method may be performed for each camera.
ただし、上記のように、２つのズーム値に対する補正パラメータだけを記憶する場合には、ズーム値対応補正パラメータ算出手段により算出された補正パラメータの精度が悪くなるため、歪み補正の精度を上げるためには、補正パラメータ記憶手段の容量との関係において、できるだけ多くのズーム値に対応した補正パラメータを記憶しておくものとする。
ここで、補正パラメータ記憶手段に記憶する補正パラメータは、色によらず１つのテーブルにより補正を行ってもよいが、RGBの色別に補正パラメータを記憶しても良い。後者の実施例によれば、ズームレンズによる色収差の補正も可能となる。
However, as described above, when only the correction parameters for the two zoom values are stored, the accuracy of the correction parameters calculated by the zoom value-corresponding correction parameter calculation means deteriorates, so that the accuracy of distortion correction is increased. Is assumed to store correction parameters corresponding to as many zoom values as possible in relation to the capacity of the correction parameter storage means.
Here, the correction parameters stored in the correction parameter storage means may be corrected by one table regardless of the color, but may be stored for each RGB color. According to the latter embodiment, chromatic aberration can be corrected by the zoom lens.
次に、カメラ映像を補正して一つの映像として表示する例を、図２、図６を用いて説明する。 Next, an example in which the camera video is corrected and displayed as one video will be described with reference to FIGS.
まず、前述のように、ズーム値対応補正パラメータ算出手段２８，２９は、各カメラのズーム値ｋを入手する（ステップ２４１）。次に、ズーム値対応補正パラメータ記憶手段３２，３３に記憶されたズーム値の中から、ステップ２４１で入手したズーム値ｋに最も近く、ズーム値ｋを間に含むようなズーム値α、β（α＜ｋ＜β）を選択する（ステップ２４２）。次に、ズーム値対応補正パラメータ記憶手段３２，３３より、ステップ２４２で選択した２つのズーム値に対応する補正パラメータを読み込む（ステップ２４３）。ステップ２４４にて、全ピクセルの補正パラメータを求めたかどうかのチェックを行い、各ピクセル毎の補正パラメータを求める（ステップ２４５）。全ピクセルについての計算が終了したら、全ピクセル分の補正パラメータをズーム値対応補正パラメータ記憶手段３２，３３に値を設定し、カメラ映像補正手段３６，３７へ転送する（ステップ２４６）。
First, as described above, the zoom value corresponding correction parameter calculation means 28 and 29 obtain the zoom value k of each camera (step 241). Next, among the zoom values stored in the zoom value corresponding correction parameter storage means 32, 33, zoom values α, β (closest to the zoom value k obtained in
カメラ映像補正手段３６、３７では、例えば、特開２００３−０５２０５７などの技術をに利用することにより、リアルタイムに歪みを補正した映像を生成する。 In the camera image correction means 36 and 37, for example, by using a technique such as Japanese Patent Application Laid-Open No. 2003-052057, an image in which distortion is corrected is generated in real time.
次に、映像合成手段３８については、この時点において、各カメラの映像は理想視点を通る光軸を中心とする映像となっており、従来の技術に示したような方法を用いることにより、シームレスの自然な広視野、高解像度の映像を生成することが可能となる。また、図９に示したような、解像度の違う映像が入力された場合には特開２００１−１３６４６６に示された技術などを用いることにより、つながった映像を生成することが可能となる。 Next, with respect to the video composition means 38, at this time, the video of each camera is a video centered on the optical axis passing through the ideal viewpoint. By using a method as shown in the prior art, seamlessly It is possible to generate a natural wide field of view and high resolution video. In addition, when a video having a different resolution as shown in FIG. 9 is input, it is possible to generate a connected video by using the technique disclosed in Japanese Patent Laid-Open No. 2001-136466.
最後に、映像表示手段３９により、マルチカメラで撮影された映像が歪みなく補正された状態で表示される。映像表示手段３９に入力される映像が映像合成手段３８により、１つの映像として合成されている場合には、特開２０００−２４１８７６などに示された技術などを用いることにより、表示環境に応じたシームレスの映像を表示することが可能である。撮影するカメラの台数に無関係に、表示装置（ディスプレイやプロジェクタ）の数を決定することが可能となり、構成の自由度が高いシステムとなる。 Finally, the video displayed by the video display means 39 is displayed in a corrected state without distortion. When the video input to the video display means 39 is synthesized as a single video by the video synthesis means 38, the technique shown in Japanese Patent Application Laid-Open No. 2000-241876 is used, so that it is suitable for the display environment. Seamless video can be displayed. Regardless of the number of cameras to be photographed, the number of display devices (displays and projectors) can be determined, resulting in a system with a high degree of freedom in configuration.
一方、映像表示手段３９に対し、映像合成手段３８を介さずに映像が入力される場合、カメラの台数と同じ数の表示装置を利用し、理想視点からの歪みのない視野の重なった映像が入力されたときに、重なり部分の輝度を調整し、シームレスな表示ができるような映像表示手段を用意する。本実施例によれば、映像合成する処理が省けるため、撮影から表示までのリアルタイム性が向上するので、遠隔会議などのリアルタイム性が要求される用途に有効である。 On the other hand, when the video is input to the video display means 39 without passing through the video synthesis means 38, the same number of display devices as the number of cameras are used, and the video with overlapping visual fields without distortion from the ideal viewpoint is displayed. A video display means is prepared that, when input, adjusts the brightness of the overlapped portion and enables seamless display. According to the present embodiment, since the process of synthesizing the video can be omitted, the real-time property from shooting to display is improved, which is effective for applications requiring real-time property such as a remote conference.
また、他の実施例２について図９を用いて説明する。
Another
カメラ５０は主軸５３に対し、視野５４が広視野で、画素数の多いカメラであるとする。一方、カメラ５１、５２は、カメラ５０に比べて視野が狭く、画素数が少ないものとし、カメラ５１の主軸が５５、視野が５６、カメラ５２の主軸が５７、視野が５８であるとする。このように、異なる種類のカメラから構成されるシステムの場合、ズーム値協調制御手段では、各カメラのズーム値を一律に制御するのではなく、各カメラの視野と解像度に応じたズームの制御を行うものとする。
Assume that the
同様に、カメラ位置姿勢協調制御手段２５では、各カメラの視野角に応じ、カメラの位置姿勢を制御するものとする。 Similarly, the camera position and orientation cooperative control means 25 controls the position and orientation of the camera according to the viewing angle of each camera.
本実施例によれば、関心のある中心領域を高解像度で、周辺領域を低解像度で撮影するようなことも可能となり、映像をネットワークを介して映像合成手段３８や、映像表示手段３９に送る際に、情報量を削減することも可能となる。 According to the present embodiment, it is possible to photograph the central area of interest at a high resolution and the peripheral area at a low resolution, and send the video to the video composition means 38 and the video display means 39 via the network. In this case, the amount of information can be reduced.
１．理想視点
２〜４、２０、２１、５０〜５２．マルチカメラ
２４．ズーム値協調制御手段
２５．カメラ位置姿勢協調制御手段
２８、２９．ズーム値対応補正パラメータ算出手段
３６、３７．カメラ映像補正手段
３８．映像合成手段
３９．映像表示手段
４０．歪み補正パラメータデータ
1. Ideal viewpoints 2-4, 20, 21, 50-52.
Claims (2)
前記各撮影手段により撮影された映像の歪みを補正するための歪み補正パラメータを、複数のズーム値に対応して記憶する手段と、
前記ズーム値に対応して記憶された歪み補正パラメータから、現在のズーム値に対応する前記各撮影手段の歪み補正パラメータを算出する手段と、
前記現在のズーム値に対応して算出された歪み補正パラメータにより、前記各撮影手段において撮影された映像を補正する手段とを有し、
現在のズーム値に対応して補正された各撮影手段において撮影された映像それぞれは、少なくとも一部が別の撮影手段の補正された映像と重なりが存在するように、前記撮影手段を配置する手段と、
現在のズーム値に対応して補正された各撮影手段において撮影された映像をひとまとまりの映像として映像データを生成する手段とを有することを特徴とする映像生成システム。 A video generation system for generating a video of the shooting target having a shooting unit having a zoom function of shooting a part of the shooting target,
Means for storing distortion correction parameters for correcting distortion of the video imaged by each of the imaging means in correspondence with a plurality of zoom values;
Means for calculating a distortion correction parameter of each photographing means corresponding to a current zoom value from a distortion correction parameter stored corresponding to the zoom value;
Means for correcting the video imaged by each of the imaging means by using a distortion correction parameter calculated corresponding to the current zoom value;
Means for arranging the photographing means so that each of the images photographed by each photographing means corrected in accordance with the current zoom value overlaps at least partly with the corrected image of another photographing means. When,
A video generation system comprising: means for generating video data as a group of videos shot by each shooting unit corrected in accordance with a current zoom value.
The video generation system according to claim 1, wherein the arranging unit arranges the fields of view of the cameras so as to overlap each other at a predetermined distance from the ideal viewpoint.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004094145A JP4211653B2 (en) | 2004-03-29 | 2004-03-29 | Video generation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004094145A JP4211653B2 (en) | 2004-03-29 | 2004-03-29 | Video generation system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005286452A true JP2005286452A (en) | 2005-10-13 |
| JP4211653B2 JP4211653B2 (en) | 2009-01-21 |
Family
ID=35184404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004094145A Expired - Fee Related JP4211653B2 (en) | 2004-03-29 | 2004-03-29 | Video generation system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4211653B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11627258B2 (en) | 2020-02-25 | 2023-04-11 | Canon Kabushiki Kaisha | Imaging device, imaging system, control method, program, and storage medium |
| JP7473449B2 (en) | 2020-10-28 | 2024-04-23 | Kddi株式会社 | Distortion correction device, method, and program |
-
2004
- 2004-03-29 JP JP2004094145A patent/JP4211653B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11627258B2 (en) | 2020-02-25 | 2023-04-11 | Canon Kabushiki Kaisha | Imaging device, imaging system, control method, program, and storage medium |
| JP7473449B2 (en) | 2020-10-28 | 2024-04-23 | Kddi株式会社 | Distortion correction device, method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4211653B2 (en) | 2009-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI524306B (en) | Image transformation and multi-view output systems and methods | |
| JP3792901B2 (en) | Camera control system and control method thereof | |
| US9667864B2 (en) | Image conversion apparatus, camera, image conversion method, and storage medium with program stored therein | |
| US9313411B2 (en) | Camera, distortion correction device and distortion correction method | |
| JP2005347813A (en) | Video conversion method and image converter, and multi-projection system | |
| JP2000278602A (en) | Image input method, image input device and recording medium | |
| WO2012060269A1 (en) | Image processing method, image processing device, and imaging device | |
| JP2006245793A (en) | Imaging system | |
| KR101465112B1 (en) | camera system | |
| JP2004015205A (en) | Multi-projection system and correction data acquisition method in multi-projection system | |
| JP2012222669A (en) | Image processing system and method therefor | |
| JP2004056779A (en) | Image inputting device | |
| JP2007096588A (en) | Imaging device and method for displaying image | |
| TWI693828B (en) | Image-capturing device and method for operating the same | |
| JP2004135209A (en) | Generation device and method for wide-angle view high-resolution video image | |
| JP2006285482A (en) | Device for correcting image geometry | |
| JP2000341574A (en) | Camera device and camera control system | |
| JP4211653B2 (en) | Video generation system | |
| KR102009988B1 (en) | Method for compensating image camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it | |
| JPWO2012056982A1 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
| KR20230171943A (en) | How to control the camera | |
| KR100736565B1 (en) | Method of taking a panorama image and mobile communication terminal thereof | |
| WO2011161746A1 (en) | Image processing method, program, image processing device and image capturing device | |
| WO2011158344A1 (en) | Image processing method, program, image processing device, and imaging device | |
| CN112634142A (en) | Distortion correction method for ultra-wide viewing angle image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060424 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060911 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080912 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081007 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081020 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |