JP2011146762A - Solid model generator - Google Patents
Solid model generator Download PDFInfo
- Publication number
- JP2011146762A JP2011146762A JP2010003700A JP2010003700A JP2011146762A JP 2011146762 A JP2011146762 A JP 2011146762A JP 2010003700 A JP2010003700 A JP 2010003700A JP 2010003700 A JP2010003700 A JP 2010003700A JP 2011146762 A JP2011146762 A JP 2011146762A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- calibration
- camera
- robot
- model generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、複数台のロボットカメラがズームして撮影した撮影画像を用いて、３次元空間全体の立体モデルを生成する多視点ロボットカメラ立体モデル生成装置に関する。 The present invention relates to a multi-viewpoint robot camera three-dimensional model generation device that generates a three-dimensional model of an entire three-dimensional space using images captured by zooming with a plurality of robot cameras.
従来から、ロボットカメラの制御技術として、カーネギーメロン大学が開発した“Ｅｙｅ Ｖｉｓｉｏｎ（登録商標）”と呼ばれるシステムが知られている。このシステムは、複数台のロボットカメラをそれぞれ電動雲台にのせて設置することで、パン角およびチルト角のリモート制御を可能としている。また、特許文献１には、電動雲台の代わりに、カメラ映像に射影変換を施すことで、パン角およびチルト角の制御を仮想的に行う多視点カメラ映像表現システムが記載されている。
Conventionally, a system called “Eye Vision (registered trademark)” developed by Carnegie Mellon University is known as a robot camera control technology. This system enables remote control of the pan angle and tilt angle by installing a plurality of robot cameras on electric pan heads.
また、非特許文献１には、立体モデルを生成する技術として、サッカーシーンを多視点のカメラで撮影し、選手およびサッカーフィールドの立体モデルを生成することで、視聴者が任意の視点からスポーツを観戦できるシステムが記載されている。さらに、多視点のカメラを用いる以外の技術として、レーザを用いて被写体形状を計測し、その結果から立体モデルを生成する技術が提案されている（例えば、非特許文献２参照）。
In Non-Patent
しかし、前記した従来技術では、複数台のロボットカメラを空間中の１点（注視点）を向くように一斉に制御する際に、パン角、チルト角等の駆動を行う駆動モータの制御誤差によって、複数台のロボットカメラを正確に空間中の１点に向かせる制御が困難であるという問題がある。 However, in the above-described conventional technology, when controlling a plurality of robot cameras all at once so as to face one point (gazing point) in the space, due to a control error of a drive motor that drives a pan angle, a tilt angle, and the like. There is a problem in that it is difficult to control a plurality of robot cameras accurately to one point in the space.
そこで、本発明は、前記した問題を解決し、３次元空間全体の精巧な立体モデルを生成することができる立体モデル生成装置を提供することを課題とする。 Therefore, an object of the present invention is to solve the above-described problem and provide a three-dimensional model generation apparatus that can generate an elaborate three-dimensional model of the entire three-dimensional space.
本願発明者らは、前記した問題を解決することで、ロボットカメラのズームで細部を拡大した３次元空間の部分領域を撮影画角とし、その撮影画角で３次元空間全体を走査して撮影できること、および、撮影映像から、３次元空間内の全ての部分領域について立体モデルを生成して、それら立体モデルを連結することで３次元空間全体の立体モデルを生成できることを見出し、本発明を完成させた。具体的には、本願発明に係る立体モデル生成装置は、複数台のロボットカメラのそれぞれが３次元空間内の同じ部分領域をズームして撮影した撮影画像を用いて、前記３次元空間全体の立体モデルを生成する立体モデル生成装置であって、強校正キャリブレーション部と、弱校正キャリブレーション部と、制御誤差補正部と、部分領域立体モデル生成部と、全領域立体モデル生成部と、を備えることを特徴とする。 The inventors of the present application have solved the above-described problem, and have taken a partial area of the three-dimensional space whose details are enlarged by the zoom of the robot camera as a photographing field angle, and scanned the whole three-dimensional space with the photographing field angle. The present invention was completed by finding that it is possible to create a 3D model for all partial areas in the 3D space from the captured video, and connecting the 3D models to generate a 3D model for the entire 3D space. I let you. Specifically, the three-dimensional model generation apparatus according to the present invention uses a captured image obtained by zooming the same partial area in a three-dimensional space with each of a plurality of robot cameras, and uses the three-dimensional model of the entire three-dimensional space. A stereo model generation apparatus for generating a model, comprising: a strong calibration calibration unit, a weak calibration calibration unit, a control error correction unit, a partial region stereo model generation unit, and an entire region stereo model generation unit It is characterized by that.
かかる構成によれば、立体モデル生成装置は、強校正キャリブレーション部によって、強校正キャリブレーションで前記複数台のロボットカメラに共通する世界座標系を設定する。また、立体モデル生成装置は、弱校正キャリブレーション部によって、前記世界座標系において予め指定された注視点に向けられた前記複数台のロボットカメラのカメラパラメータを、弱校正キャリブレーションで算出する。そして、立体モデル生成装置は、制御誤差補正部によって、前記弱校正キャリブレーション部が算出したカメラパラメータを用いた射影変換で、前記複数台のロボットカメラの制御誤差を前記撮影画像上で補正する。
つまり、立体モデル生成装置は、ロボットカメラが備える駆動モータの制御誤差によって注視点に対して撮影画角がずれてしまう場合でも、制御誤差補正部が射影変換を行うことで、この制御誤差を撮影画像上で補正する。このため、立体モデル生成装置は、ロボットカメラがズームして３次元空間の細部を拡大しても、３次元空間内の全ての部分領域について、制御誤差の影響がない正確な撮影画像を取得することができる。
According to such a configuration, the solid model generation apparatus sets a world coordinate system common to the plurality of robot cameras by the strong calibration calibration by the strong calibration calibration unit. In addition, the three-dimensional model generation apparatus calculates, by weak calibration calibration, the camera parameters of the plurality of robot cameras directed to the gazing point designated in advance in the world coordinate system by the weak calibration calibration unit. Then, in the stereo model generation device, the control error correction unit corrects the control error of the plurality of robot cameras on the captured image by projective transformation using the camera parameter calculated by the weak calibration unit.
In other words, the stereo model generation device captures this control error by performing the projective transformation by the control error correction unit even when the shooting angle of view shifts with respect to the gazing point due to the control error of the drive motor provided in the robot camera. Correct on the image. For this reason, even if the robot camera zooms and enlarges the details of the three-dimensional space, the three-dimensional model generation apparatus acquires accurate captured images that are not affected by the control error for all partial regions in the three-dimensional space. be able to.
また、立体モデル生成装置は、部分領域立体モデル生成部によって、前記３次元空間を走査するように当該３次元空間内の全ての部分領域を撮影し、かつ、前記制御誤差が補正された前記撮影画像が入力され、マッチングにより前記部分領域毎に立体モデルを生成する。このとき、ロボットカメラがズームして部分領域を撮影しているので、立体モデル生成装置は、部分領域立体モデル生成部が、これら撮影画像を用いて、細部が正確に再現された部分領域の立体モデルを生成する。 In addition, the stereoscopic model generation apparatus captures all the partial areas in the three-dimensional space so as to scan the three-dimensional space by the partial area stereoscopic model generation unit, and the imaging in which the control error is corrected. An image is input, and a three-dimensional model is generated for each partial region by matching. At this time, since the robot camera is zoomed to shoot the partial area, the three-dimensional model generation apparatus uses a partial image of the partial area in which the details are accurately reproduced using the captured image. Generate a model.
そして、立体モデル生成装置は、全領域立体モデル生成部によって、前記部分領域立体モデル生成部が生成した部分領域の立体モデルを連結して、前記３次元空間全体の立体モデルを生成する。これによって、立体モデル生成装置は、全領域立体モデル生成部が、細部が正確に再現された部分領域の立体モデルを連結して、３次元空間全体の立体モデルを生成できる。 Then, the stereo model generation apparatus generates a stereo model of the entire three-dimensional space by connecting the stereo models of the partial areas generated by the partial area stereo model generation unit using the all-region stereo model generation unit. In this way, in the stereo model generation apparatus, the all-region stereo model generation unit can generate a stereo model of the entire three-dimensional space by connecting the stereo models of the partial regions in which details are accurately reproduced.
また、本願発明において、立体モデル生成装置は、前記部分領域立体モデル生成部が、入力された前記撮影画像のそれぞれから、ＳＩＦＴ特徴量による特徴点を抽出すると共に、前記撮影画像の間で前記特徴点における前記ＳＩＦＴ特徴量をマッチングすることで、前記特徴点の画像座標を算出する特徴点抽出部と、前記特徴点抽出部が算出した特徴点の画像座標から、前記弱校正キャリブレーション部が算出したカメラパラメータを用いた射影変換によって前記部分領域の立体モデルを生成する特徴点世界座標算出部と、を備えることが好ましい。 In the invention of the present application, in the stereo model generation device, the partial region stereo model generation unit extracts a feature point based on a SIFT feature amount from each of the input captured images, and the feature between the captured images. The weak calibration calibration unit calculates from the feature point extraction unit that calculates the image coordinates of the feature point by matching the SIFT feature amount at the point, and the image coordinates of the feature point calculated by the feature point extraction unit It is preferable to include a feature point world coordinate calculation unit that generates a three-dimensional model of the partial region by projective transformation using the camera parameters.
また、本願発明において、立体モデル生成装置は、前記部分領域立体モデル生成部が、入力された前記撮影画像のそれぞれから、ステレオマッチングによって前記部分領域毎に距離画像を、前記部分領域の立体モデルとして生成する距離画像生成部を備えることが好ましい。 Further, in the present invention, the stereo model generation device is configured such that the partial region stereo model generation unit converts a distance image for each partial region by stereo matching from each of the input captured images as a stereo model of the partial region. It is preferable to provide a distance image generation unit to generate.
本発明の立体モデル生成装置は、３次元空間内の全ての部分領域について、制御誤差の影響がない正確な撮影画像を取得して立体モデルを生成すると共に、これら細部が正確に再現された部分領域の立体モデルを連結するので、精巧な３次元空間全体の立体モデルを生成することができる。 The three-dimensional model generation apparatus of the present invention generates a three-dimensional model by acquiring an accurate captured image that is not affected by a control error for all partial regions in a three-dimensional space, and a portion in which these details are accurately reproduced. Since the three-dimensional models of the regions are connected, a detailed three-dimensional model of the entire three-dimensional space can be generated.
本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。 Each embodiment of the present invention will be described in detail with reference to the drawings as appropriate. In each embodiment, means having the same function are denoted by the same reference numerals and description thereof is omitted.
（第１実施形態）
［多視点ロボットカメラ立体モデル生成システムの概略］
図１，図３を参照し、多視点ロボットカメラ立体モデル生成システム１００の概略について説明する。図１に示すように、多視点ロボットカメラ立体モデル生成システム１００は、３台のロボットカメラＣ１〜Ｃ３と、多視点ロボットカメラ立体モデル生成装置（立体モデル生成装置）１とを備える。
(First embodiment)
[Outline of Multi-viewpoint Robot Camera Stereoscopic Model Generation System]
The outline of the multi-viewpoint robot camera three-dimensional
ロボットカメラＣ１〜Ｃ３は、駆動モータ（不図示）を備えると共に、後記する多視点ロボットカメラ立体モデル生成装置１からの制御信号に基づいて、パン角、チルト角、ズームおよびフォーカスの遠隔制御が可能な撮影カメラである。また、ロボットカメラＣ１〜Ｃ３は、それぞれの姿勢（パン角、チルト角、ズームおよびフォーカス）が記述されたカメラ姿勢情報（カメラパラメータ）を、多視点ロボットカメラ立体モデル生成装置１（カメラパラメータ記憶部４１）に随時出力する。さらに、ロボットカメラＣ１〜Ｃ３は、それぞれが撮影した撮影画像を、多視点ロボットカメラ立体モデル生成装置１（撮影画像記憶部１０）に出力する。なお、ロボットカメラＣ１〜Ｃ３は、カメラマン等の遠隔操作により撮影画像を撮影することもできる。
The robot cameras C1 to C3 include a drive motor (not shown), and can remotely control pan angle, tilt angle, zoom and focus based on a control signal from a multi-viewpoint robot camera 3D
ここで、ロボットカメラＣ１〜Ｃ３は、３次元空間Ｓｐを撮影できるように、任意位置に設置される。ここでは、図３に示すように、ロボットカメラＣ１〜Ｃ３は、直線上に一列で略等間隔に設置されている。 Here, the robot cameras C1 to C3 are installed at arbitrary positions so that the three-dimensional space Sp can be photographed. Here, as shown in FIG. 3, the robot cameras C <b> 1 to C <b> 3 are arranged in a line on the straight line at substantially equal intervals.
３次元空間Ｓｐは、立体モデルを生成する対象となる被写体を囲う空間のことである。ここで、３次元空間Ｓｐは、例えば、市街地を模したミニチュア模型（被写体）を囲う空間としている（図３参照）。
部分領域とは、３次元空間Ｓｐに含まれる一部の領域のことである（例えば、図８の符号Ｂａ）。
The three-dimensional space Sp is a space that surrounds a subject that is a target for generating a three-dimensional model. Here, the three-dimensional space Sp is, for example, a space surrounding a miniature model (subject) imitating an urban area (see FIG. 3).
The partial area is a partial area included in the three-dimensional space Sp (for example, a symbol Ba in FIG. 8).
多視点ロボットカメラ立体モデル生成装置１は、３次元空間Ｓｐ内の同じ部分領域を３台のロボットカメラＣ１〜Ｃ３がズームして撮影した撮影画像を用いて、３次元空間Ｓｐ全体の立体モデルを生成する。以下、多視点ロボットカメラ立体モデル生成装置１の構成について詳細に説明する。
The multi-viewpoint robot camera three-dimensional
［多視点ロボットカメラ立体モデル生成装置の構成］
図１に示すように、多視点ロボットカメラ立体モデル生成装置１は、撮影画像記憶部１０と、注視点指定部２０と、カメラ制御部３０と、カメラパラメータ生成・記憶部４０と、部分領域立体モデル生成部５０と、全領域立体モデル生成部６０とを備える。
[Configuration of multi-viewpoint robot camera stereo model generator]
As shown in FIG. 1, the multi-viewpoint robot camera 3D
なお、第１実施形態では、多視点ロボットカメラ立体モデル生成装置１の構成および動作を説明し、多視点ロボットカメラ立体モデル生成装置１の機能概要を先に示す。その後、第１実施形態では、多視点ロボットカメラ立体モデル生成装置１の各手段が行う処理内容を詳細に説明する。
In the first embodiment, the configuration and operation of the multi-viewpoint robot camera three-dimensional
撮影画像記憶部１０は、ロボットカメラＣ１〜Ｃ３から撮影画像がそれぞれ入力されると共に、入力された撮影画像を記憶するハードディスク、メモリ等の記憶手段である。
The photographed
注視点指定部２０は、ユーザがマウス又はキーボード（不図示）を操作することで、世界座標系における注視点が指定される。そして、注視点指定部２０は、指定された注視点をカメラパラメータ生成・記憶部４０に出力する。
The gaze point designation unit 20 designates a gaze point in the world coordinate system when the user operates a mouse or a keyboard (not shown). Then, the gazing point designation unit 20 outputs the designated gazing point to the camera parameter generation /
カメラ制御部３０は、ロボットカメラＣ１〜Ｃ３に制御信号を出力し、ロボットカメラＣ１〜Ｃ３の制御を行う。ここで、カメラ制御部３０は、３台のロボットカメラＣ１〜Ｃ３に対して同時に制御信号を出力し、３台のロボットカメラＣ１〜Ｃ３の制御を一斉に行うことができる。
The
具体的には、カメラ制御部３０は、後記するカメラパラメータ記憶部４１に記憶されたカメラパラメータ（内部パラメータおよび外部パラメータ）を参照し、ロボットカメラＣ１〜Ｃ３のパン角およびチルト角の制御量（移動量）を算出する。また、同様に、カメラ制御部３０は、ロボットカメラＣ１〜Ｃ３のズームおよびフォーカスの制御量を算出する。そして、カメラ制御部３０は、ロボットカメラＣ１〜Ｃ３のそれぞれに対して、パン角、チルト角、ズームおよびフォーカスの制御量を含む制御信号を出力する。このようにして、カメラ制御部３０は、ロボットカメラＣ１〜Ｃ３を、世界座標系において指定された注視点に向けさせる制御を行う。なお、制御量の算出手法は、従来技術と同様であるため、その説明を省略する。
Specifically, the
カメラパラメータ生成・記憶部４０は、カメラ制御部３０がロボットカメラＣ１〜Ｃ３を制御するためのカメラパラメータを生成して記憶する。ここで、カメラパラメータ生成・記憶部４０は、図１に示すように、カメラパラメータ記憶部４１と、強校正キャリブレーション部４２と、弱校正キャリブレーション部４３と、制御誤差補正部４４と、世界座標指定部４５とを備える。
The camera parameter generation /
カメラパラメータ記憶部４１は、ロボットカメラＣ１〜Ｃ３からその姿勢が記述されたカメラ姿勢情報と、後記する弱校正キャリブレーション部４３からカメラパラメータとが入力される。そして、カメラパラメータ記憶部４１は、入力されたカメラ姿勢情報およびカメラパラメータを記憶するハードディスク、メモリ等の記憶手段である。 The camera parameter storage unit 41 receives camera posture information describing the posture from the robot cameras C1 to C3 and camera parameters from the weak calibration unit 43 described later. The camera parameter storage unit 41 is a storage unit such as a hard disk or a memory that stores the input camera posture information and camera parameters.
強校正キャリブレーション部４２は、強校正キャリブレーションによってロボットカメラＣ１〜Ｃ３に共通する世界座標系を設定する。
ここで、強校正キャリブレーションとは、位置が既知の空間点とその画像上への投影点とを用いてカメラパラメータを求め、ロボットカメラＣ１〜Ｃ３に共通する世界座標系を設定することである。
なお、強校正キャリブレーション部４２の詳細は、後記する。
The strong calibration calibration unit 42 sets a world coordinate system common to the robot cameras C1 to C3 by the strong calibration calibration.
Here, the strong calibration calibration is to obtain a camera parameter using a spatial point whose position is known and a projection point on the image, and to set a world coordinate system common to the robot cameras C1 to C3. .
Details of the strong calibration calibration unit 42 will be described later.
弱校正キャリブレーション部４３は、世界座標系で指定された注視点に向けられたロボットカメラＣ１〜Ｃ３のカメラパラメータを、弱校正キャリブレーションによって算出する。そして、弱校正キャリブレーション部４３は、算出したカメラパラメータ記憶部４１に記憶させる。
ここで、弱校正キャリブレーションとは、エピポーラ拘束条件により、ロボットカメラＣ１〜Ｃ３のうち、２台ずつ位置関係を求めることである。
なお、弱校正キャリブレーション部４３の詳細は、後記する。
The weak calibration calibration unit 43 calculates the camera parameters of the robot cameras C1 to C3 directed to the gazing point designated in the world coordinate system by the weak calibration. Then, the weak calibration calibration unit 43 stores the calculated camera parameter storage unit 41.
Here, the weak calibration is to obtain the positional relationship between two robot cameras C1 to C3 by epipolar constraint conditions.
The details of the weak calibration calibration unit 43 will be described later.
制御誤差補正部４４は、弱校正キャリブレーション部４３が算出したカメラパラメータを用いた射影変換によって、ロボットカメラＣ１〜Ｃ３の制御誤差を補正する。言い換えると、制御誤差補正部４４は、弱校正キャリブレーションが行われた後、注視点に向けられた現在のロボットカメラＣ１〜Ｃ３のパン角およびチルト角と、注視点に向いたとき本来のパン角およびチルト角とのずれ量を算出する。
The control
ここで、ロボットカメラＣ１〜Ｃ３が注視点を正確に向くような制御信号を生成し、この制御信号によってロボットカメラＣ１〜Ｃ３を制御したとしても、その駆動モータには誤差が含まれるので、ロボットカメラＣ１〜Ｃ３を正確に注視点に向けることは困難である。そこで、本発明では、ロボットカメラＣ１〜Ｃ３を注視点に正確に向けさせるのではなく、ロボットカメラＣ１〜Ｃ３の撮影画像が正確に注視点を向いた状態で撮影されたように、撮影画像そのものを補正するという考え方を採用する。言い換えるなら、制御誤差補正部４４は、ロボットカメラＣ１〜Ｃ３に制御信号を出力してロボットカメラＣ１〜Ｃ３を直接制御するのではなく、撮影画像記憶部１０に記憶された撮影画像そのものを補正する。
なお、制御誤差補正部４４の詳細は、後記する。
Here, even if the robot camera C1 to C3 generates a control signal that accurately points the gazing point, and the robot camera C1 to C3 is controlled by this control signal, the drive motor includes an error. It is difficult to point the cameras C1 to C3 accurately at the point of interest. Therefore, in the present invention, the captured images themselves are not such that the captured images of the robot cameras C1 to C3 are accurately pointed at the gazing point, rather than the robot cameras C1 to C3 being accurately directed toward the gazing point. Adopting the idea of correcting In other words, the control
Details of the control
世界座標指定部４５は、ロボットカメラＣ１〜Ｃ３のそれぞれが３次元空間Ｓｐ全体を撮影した撮影画像を用いて、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量を用いて特徴点を抽出する。また、世界座標指定部４５は、ロボットカメラＣ１〜Ｃ３で撮影した撮影画像間で、抽出した特徴点におけるＳＩＦＴ特徴量をマッチングすることで特徴点の世界座標を算出する。そして、世界座標指定部４５は、３次元空間Ｓｐの端に位置する特徴点について、その世界座標から特徴点同士の距離を求めて、３次元空間Ｓｐのサイズを算出する。さらに、世界座標指定部４５は、３次元空間Ｓｐを一定数で等分して、この境界線上の各点を注視点として指定する。
なお、このように世界座標指定部４５が指定した注視点は、ロボットカメラＣ１〜Ｃ３が３次元空間Ｓｐ内の全ての部分領域を走査するように撮影する際、用いられる。
The world coordinate designating
Note that the gazing point designated by the world coordinate
ここで、ＳＩＦＴについて補足する。このＳＩＦＴ特徴量は、画像座標、スケール、オリエンテーションおよび特徴ベクトル等の情報を持っている。従って、多視点ロボットカメラ立体モデル生成装置１は、ＳＩＦＴ特徴量を用いて、各撮影画像の間で特徴点の対応付けを行い、対応付けられた特徴点の位置を求めることができる。このＳＩＦＴ特徴量は、例えば、文献「単眼カメラ搭載移動ロボットを用いたＳＩＦＴ特徴量に基づく特徴追跡とＳｔｒｕｃｔｕｒｅ ｆｒｏｍ ＭｏｔｉｏｎによるＳＬＡＭ：静岡大学 井上 渉他」に詳細に記載されている。
Here, it supplements about SIFT. This SIFT feature amount has information such as image coordinates, scale, orientation, and feature vector. Therefore, the multi-viewpoint robot camera three-dimensional
部分領域立体モデル生成部５０は、部分領域の立体モデルを生成するものであり、図１に示すように、特徴点抽出部５１と、特徴点世界座標算出部５２とを備える。
特徴点抽出部５１は、撮影画像記憶部１０を参照し、ロボットカメラＣ１〜Ｃ３の撮影画像から、ＳＩＦＴ特徴量に基づいて特徴点を抽出する。そして、特徴点抽出部５１は、これら撮影画像の間で特徴点におけるＳＩＦＴ特徴量をマッチングすることで、特徴点の画像座標を算出する。
特徴点世界座標算出部５２は、カメラパラメータ記憶部４１を参照し、特徴点抽出部５１が算出した特徴点の画像座標から、弱校正キャリブレーション部４３が算出したカメラパラメータを用いた射影変換によって部分領域の立体モデルを生成する。
なお、部分領域立体モデル生成部５０の詳細は、後記する。
The partial region stereo
The feature
The feature point world coordinate
Details of the partial region solid
全領域立体モデル生成部６０は、部分領域立体モデル生成部５０から部分領域の立体モデルが入力され、この部分領域の立体モデルを連結して、３次元空間Ｓｐ全体の立体モデルを生成する。
なお、全領域立体モデル生成部６０の詳細は、後記する。
The all-region stereo
Details of the all-region solid
［多視点ロボットカメラ立体モデル生成装置の動作］
図２を参照し、図１の多視点ロボットカメラ立体モデル生成装置１の動作について説明する（適宜図１参照）。
[Operation of multi-viewpoint robot camera stereo model generator]
With reference to FIG. 2, the operation of the multi-viewpoint robot camera three-dimensional
多視点ロボットカメラ立体モデル生成装置１は、強校正キャリブレーション部４２によって、強校正キャリブレーションでロボットカメラＣ１〜Ｃ３に共通する世界座標系を設定する（ステップＳ１）。
In the multi-viewpoint robot camera three-dimensional
また、多視点ロボットカメラ立体モデル生成装置１は、注視点指定部２０によって、世界座標系における注視点が指定される。そして、多視点ロボットカメラ立体モデル生成装置１は、カメラ制御部３０によって、ロボットカメラＣ１〜Ｃ３をこの注視点に向かせるように制御する（ステップＳ２）。
In the multi-viewpoint robot camera three-dimensional
多視点ロボットカメラ立体モデル生成装置１は、弱校正キャリブレーション部４３によって、注視点に向けられたロボットカメラＣ１〜Ｃ３のカメラパラメータを、弱校正キャリブレーションによって算出する（ステップＳ３）。
The multi-viewpoint robot camera three-dimensional
このとき、ロボットカメラＣ１〜Ｃ３では、駆動モータで制御誤差が発生する。そこで、多視点ロボットカメラ立体モデル生成装置１は、この制御誤差を補正して立体モデルを生成するため、ステップＳ４以降の処理を行う。
At this time, in the robot cameras C1 to C3, a control error occurs in the drive motor. Therefore, the multi-viewpoint robot camera stereo
多視点ロボットカメラ立体モデル生成装置１は、カメラ制御部３０によって、これら指定された注視点に基づいて、ロボットカメラＣ１〜Ｃ３が３次元空間Ｓｐ内の全ての部分領域を走査して撮影するように、ロボットカメラＣ１〜Ｃ３を順次制御する（ステップＳ４）。つまり、ステップＳ４の処理を行うことで、ロボットカメラＣ１〜Ｃ３が３次元空間Ｓｐ内の全ての部分領域を撮影した撮影画像が、撮影画像記憶部１０に記憶される。
The multi-viewpoint robot camera three-dimensional
また、多視点ロボットカメラ立体モデル生成装置１は、制御誤差補正部４４によって、弱校正キャリブレーション部４３が算出したカメラパラメータを用いた射影変換で、ロボットカメラＣ１〜Ｃ３の制御誤差を撮影画像上で補正する（ステップＳ５）。つまり、ステップＳ５の処理を行うことで、多視点ロボットカメラ立体モデル生成装置１は、３次元空間Ｓｐ内の全ての部分領域について、制御誤差の影響がない正確な撮影画像を取得することができる。
In addition, the multi-viewpoint robot camera three-dimensional
そして、多視点ロボットカメラ立体モデル生成装置１は、特徴点抽出部５１によって、ＳＩＦＴ特徴量に基づいて、撮影画像記憶部１０に記憶された撮影画像のそれぞれから、特徴点を抽出する。さらに、特徴点抽出部５１は、これら撮影画像の間で特徴点におけるＳＩＦＴ特徴量をマッチングすることで、特徴点の画像座標を算出する（ステップＳ６）。
In the multi-viewpoint robot camera three-dimensional
さらに、多視点ロボットカメラ立体モデル生成装置１は、特徴点世界座標算出部５２によって、特徴点抽出部５１が算出した特徴点の画像座標から、弱校正キャリブレーション部４３が算出したカメラパラメータを用いた射影変換で部分領域の立体モデルを生成する（ステップＳ７）。
Further, the multi-viewpoint robot camera stereo
さらに、多視点ロボットカメラ立体モデル生成装置１は、全領域立体モデル生成部６０によって、部分領域立体モデル生成部５０が生成した部分領域の立体モデルを連結して、３次元空間Ｓｐ全体の立体モデルを生成する（ステップＳ８）。
Furthermore, the multi-viewpoint robot camera 3D
＜強校正キャリブレーション部の詳細＞
図３を参照し、強校正キャリブレーション部４２の詳細について説明する（適宜図１参照）。なお、図３では、ロボットカメラＣ１〜Ｃ３の撮影画角を一点鎖線で図示した。
<Details of strong calibration section>
Details of the strong calibration calibration unit 42 will be described with reference to FIG. 3 (see FIG. 1 as appropriate). In FIG. 3, the shooting angle of view of the robot cameras C <b> 1 to C <b> 3 is illustrated by a dashed line.
図３に示すように、ロボットカメラＣ１〜Ｃ３は、市松模様のキャリブレーションパターンａを予め撮影する。そして、強校正キャリブレーション部４２は、ロボットカメラＣ１〜Ｃ３がキャリブレーションパターンａを撮影した撮影画像を用いて、強校正キャリブレーションを行う。 As shown in FIG. 3, the robot cameras C <b> 1 to C <b> 3 capture a checkered calibration pattern a in advance. And the strong calibration calibration part 42 performs strong calibration calibration using the picked-up image which robot camera C1-C3 image | photographed the calibration pattern a.
まず、３×３の回転行列Ｒ、および、３次元の平行移動ベクトルｔを、下記の式（１）で定義する。 First, a 3 × 3 rotation matrix R and a three-dimensional translation vector t are defined by the following equation (1).
ここで、画像中の位置を示す汎用的な座標を画像座標（ｕ，ｖ）とする。また、正規化画像座標（ｘ，ｙ）とし、世界座標（Ｘｗ，Ｙｗ，Ｚｗ）とする。このとき、正規化画像座標（ｘ，ｙ）と、画像座標（ｕ，ｖ）との関係は、下記の式（２）で表される。 Here, general-purpose coordinates indicating the position in the image are set as image coordinates (u, v). Also, normalized image coordinates (x, y) and world coordinates (Xw, Yw, Zw) are used. At this time, the relationship between the normalized image coordinates (x, y) and the image coordinates (u, v) is expressed by the following equation (2).
このｆはロボットカメラＣ１〜Ｃ３の焦点距離、δｕ，δｖはそれぞれ横方向と縦方向の画素の物理的な間隔、（ｃｕ，ｃｖ）は画像座標系における光軸と画像面との交点の位置を表す。このｆ，δｕ，δｖ，ｃｕ，ｃｖは、ロボットカメラＣ１〜Ｃ３によって決まる定数であり内部パラメータと呼ばれる。一方、回転行列Ｒと平行移動ベクトルｔは、世界座標に対するロボットカメラＣ１〜Ｃ３の位置および姿勢によって決まる定数であり、外部パラメータと呼ばれる。 This f is the focal length of the robot cameras C1 to C3, δu and δv are the physical intervals of the pixels in the horizontal and vertical directions, respectively, and (cu, cv) is the position of the intersection of the optical axis and the image plane in the image coordinate system. Represents. These f, δu, δv, cu, and cv are constants determined by the robot cameras C1 to C3 and are called internal parameters. On the other hand, the rotation matrix R and the translation vector t are constants determined by the positions and postures of the robot cameras C1 to C3 with respect to the world coordinates, and are called external parameters.
ここで、下記の式（３）に示すように、正規化画像座標（ｘ，ｙ）と画像座標（ｕ，ｖ）とをベクトル表記し、内部パラメータからなる３×３の行列を内部パラメータ行列Ａとする。この場合、前記した式（２）は、下記の式（４）で表すことができる。 Here, as shown in the following equation (3), the normalized image coordinates (x, y) and the image coordinates (u, v) are expressed as vectors, and a 3 × 3 matrix consisting of internal parameters is expressed as an internal parameter matrix. A. In this case, the above-described formula (2) can be expressed by the following formula (4).
以上をまとめると、世界座標と画像座標との関係は、下記の式（５）で表すことができる。ここで、Ａ（Ｒ｜ｔ）はまとめて３×４の行列となるので、これを透視投影行列Ｐとおけば、この関係は、下記の式（６）で表すことができる。このように、任意の世界座標とその投影点の画像座標との関係は、同次座標を用いることにより、３×４の透視投影行列Ｐを用いて、簡単に表すことができる。なお、記号「〜」は、その両辺が定数倍の違いを許して等しいことを示す。 In summary, the relationship between the world coordinates and the image coordinates can be expressed by the following equation (5). Here, since A (R | t) is collectively a 3 × 4 matrix, if this is referred to as a perspective projection matrix P, this relationship can be expressed by the following equation (6). As described above, the relationship between an arbitrary world coordinate and the image coordinate of the projection point can be easily expressed by using the 3 × 4 perspective projection matrix P by using the homogeneous coordinates. The symbol “˜” indicates that both sides are equal by allowing a constant multiple difference.
通常、ロボットカメラＣ１〜Ｃ３のカメラパラメータは、その具体的な値が分からない。そこで、強校正キャリブレーション部４２は、位置が既知の空間点とその画像上への投影点とを用いて、カメラパラメータを求める強校正キャリブレーションを行う必要がある。ここでは、強校正キャリブレーション部４２は、透視投影行列Ｐを求める強校正キャリブレーションを行う。 Usually, the specific values of the camera parameters of the robot cameras C1 to C3 are not known. Therefore, the strong calibration calibration unit 42 needs to perform strong calibration calibration to obtain camera parameters using a spatial point whose position is known and a projection point on the image. Here, the strong calibration calibration unit 42 performs strong calibration calibration for obtaining the perspective projection matrix P.
まず、透視投影行列Ｐの各要素を、下記の式（７）で定義する。このとき、前記した式（６）は、要素を用いて表すと、下記の式（８）のようになる。 First, each element of the perspective projection matrix P is defined by the following equation (7). At this time, the expression (6) described above is expressed by the following expression (8) when expressed using elements.
前記した式（６）は、任意の定数倍を許した方程式であるため、そこから求められる透視投影行列Ｐは、定数倍の不定性が残る。そこで、透視投影行列Ｐの要素Ｐ３４＝１とし、他の要素について整理すると、下記の式（９）が得られる。 Since the above-described equation (6) is an equation that allows an arbitrary constant multiplication, the perspective projection matrix P obtained from the equation remains indefinite. Therefore, when the element P34 of the perspective projection matrix P is set to 1 and other elements are arranged, the following expression (9) is obtained.
空間中の位置（ＸＷ，ＹＷ，ＺＷ）とその投影点の画像座標（ｕ，ｖ）が得られれば、前記した式（９）のように、Ｐの各要素に関する２つの方程式が得られる。式（９）において、未知数の数は全部で１１個（Ｐ１１，Ｐ１２，・・・，Ｐ３３）なので、既知の世界座標と画像座標とが６組以上わかれば、強校正キャリブレーション部４２は、透視投影行列Ｐを求めることができる。そして、強校正キャリブレーション部４２は、この透視投影行列Ｐからカメラパラメータを求めることで、ロボットカメラＣ１〜Ｃ３に共通する世界座標系を設定する。 If the position (XW, YW, ZW) in the space and the image coordinates (u, v) of the projection point are obtained, two equations relating to each element of P can be obtained as in the above equation (9). In Equation (9), since the total number of unknowns is 11 (P11, P12,..., P33), if 6 or more sets of known world coordinates and image coordinates are known, the strong calibration unit 42 A perspective projection matrix P can be obtained. Then, the strong calibration calibration unit 42 sets a world coordinate system common to the robot cameras C1 to C3 by obtaining camera parameters from the perspective projection matrix P.
なお、強校正キャリブレーションは、例えば、文献「デジタル画像処理：財団法人 画像情報教育振興協会」の「１５−１−１ 透視投影モデルに基づく幾何学的関係の記述」、「１５−１−２ 同次座標を用いた記述」および「１５−１−３ カメラキャリブレーション」により詳細に記載されている。 Note that the strong calibration calibration is performed by, for example, “15-1-1 Description of geometric relationship based on perspective projection model”, “15-1-2” in the document “Digital Image Processing: Foundation for the Promotion of Image Information Education”. It is described in detail in “Description using homogeneous coordinates” and “15-1-3 Camera calibration”.
＜弱校正キャリブレーション部の詳細＞
図４〜図６を参照し、弱校正キャリブレーション部４３の詳細について説明する（適宜図１参照）。ここでは、図４の注視点Ｐｔが指定され、図５に示すように、ロボットカメラＣ１〜Ｃ３が注視点Ｐｔに向けられた状態として説明する。なお、図４，図５では、説明を簡易にするために、ロボットカメラＣ２の図示を省略した。
<Details of weak calibration section>
The details of the weak calibration calibration unit 43 will be described with reference to FIGS. 4 to 6 (see FIG. 1 as appropriate). Here, it is assumed that the gazing point Pt in FIG. 4 is designated and the robot cameras C1 to C3 are directed toward the gazing point Pt as shown in FIG. 4 and 5, illustration of the robot camera C2 is omitted for the sake of simplicity.
弱校正キャリブレーション部４３は、図６に示すように、エピポーラ拘束条件により、注視点Ｐｔに向けられたロボットカメラＣ１，Ｃ３のカメラパラメータ（内部パラメータおよび外部パラメータ）を算出する。ここでは、ロボットカメラＣ１，Ｃ３の光学中心をＣ，Ｃ´とし、２台のロボットカメラＣ１，Ｃ３の相対的な位置関係を示す回転行列Ｒおよび平行移動ベクトルｔとして、点Ｐのそれぞれの画像への投影点を正規化画像座標ｘ，ｘ´とする。この場合、３個のベクトル（図６の太線矢印）は、全てエピポーラ平面内に存在する。そこで、この３個のベクトルからなるスカラー３重積が０となることから、下記の式（１０）が成り立つ。 As shown in FIG. 6, the weak calibration calibration unit 43 calculates camera parameters (internal parameters and external parameters) of the robot cameras C1 and C3 directed to the gazing point Pt according to the epipolar constraint condition. Here, the optical centers of the robot cameras C1 and C3 are C and C ′, and each image of the point P is a rotation matrix R and a translation vector t indicating the relative positional relationship between the two robot cameras C1 and C3. Let the projection point to be normalized image coordinates x, x ′. In this case, all three vectors (thick line arrows in FIG. 6) exist in the epipolar plane. Therefore, since the scalar triple product of these three vectors is 0, the following equation (10) is established.
ここで、［ｔ］Ｘは、下記の式（１１）で表されるベクトルｔの各要素からなる３×３の行列である。 Here, [t] X is a 3 × 3 matrix composed of each element of the vector t expressed by the following equation (11).
さらに、下記の式（１２）に置き換えることにより、２つの画像における投影点の正規化画像座標ｘ，ｘ´の間には、下記の式（１３）の関係が成り立つ。なお、Ｅは、３×３の行列で、基本行列と呼ばれる。 Further, by substituting the following equation (12), the relationship of the following equation (13) is established between the normalized image coordinates x and x ′ of the projection points in the two images. E is a 3 × 3 matrix and is called a basic matrix.
次に、前記した関係を一般的な画像座標を用いて表す。それぞれの画像への投影点の座標をｍ，ｍ´とすれば、前記した式（４）により、この関係は、下記の式（１４）で表される。 Next, the above relationship is expressed using general image coordinates. Assuming that the coordinates of the projection points on each image are m and m ′, this relationship is expressed by the following equation (14) according to the above equation (4).
前記した式（１０）と式（１４）より、下記の式（１５）が得られる。 The following formula (15) is obtained from the above formula (10) and formula (14).
さらに、下記の式（１６）と置き換えることで、２つの画像における投影点の画像座標ｍ，ｍ´の間には、下記の式（１７）の関係が成り立つ。 Further, by substituting the following equation (16), the relationship of the following equation (17) is established between the image coordinates m and m ′ of the projection points in the two images.
このＦは、３×３の行列で、基礎行列と呼ばれる。また、前記した式（１３）および式（１７）は、２つの画像上の投影点の間には、それぞれの式で表される拘束条件が存在することを示している（エピポーラ拘束）。この式（１７）にロボットカメラＣ１が撮影した撮影画像（座標ｍ）における画像座標の値を代入すると、ロボットカメラＣ３が撮影した撮影画像（座標ｍ´）が満たすべき方程式が得られる。 This F is a 3 × 3 matrix and is called a basic matrix. Further, the above-described equations (13) and (17) indicate that there are constraint conditions represented by the respective equations between the projection points on the two images (epipolar constraint). By substituting the value of the image coordinate in the captured image (coordinate m) captured by the robot camera C1 into this equation (17), an equation to be satisfied by the captured image (coordinate m ′) captured by the robot camera C3 is obtained.
以上のエピポーラ幾何をもとに、ロボットカメラＣ１，Ｃ３の位置関係（モーション）と撮影対象の３次元情報が推定できる。前記した（１７）は、各ベクトルと行列の要素を用いて、下記の式（１８）で表すことができる。ただし、ｆ１１，ｆ１２，・・・，ｆ３３は、基礎行列Ｆの各要素である。 Based on the above epipolar geometry, the positional relationship (motion) of the robot cameras C1 and C3 and the three-dimensional information of the imaging target can be estimated. The above (17) can be expressed by the following equation (18) using each vector and matrix elements. Here, f11, f12,..., F33 are each element of the basic matrix F.
この式（１８）を基礎行列Ｆの各要素に関する方程式とみなしたとき、一組の画像座標から１つの方程式が得られる。基礎行列Ｆの要素数は９個であるが、式（１８）から求められる基礎行列Ｆには定数倍の不定性が残るため、実質的な未知数の数は８個である。そこで、最低８組の対応点の画像座標を得ることができれば、基礎行列Ｆを求めることができる。このように、２枚の撮影画像において、８以上の対応点の組からエピポーラ拘束を示す基礎行列Ｆを求める手法は、８点アルゴリズムと呼ばれる。 When this equation (18) is regarded as an equation for each element of the basic matrix F, one equation is obtained from a set of image coordinates. The number of elements of the basic matrix F is 9, but since the indefiniteness of a constant multiple remains in the basic matrix F obtained from Expression (18), the number of substantial unknowns is 8. Therefore, if the image coordinates of at least 8 sets of corresponding points can be obtained, the basic matrix F can be obtained. As described above, the method for obtaining the basic matrix F indicating the epipolar constraint from a set of 8 or more corresponding points in two captured images is called an 8-point algorithm.
ここで、式（１２）と式（１６）より、下記の式（１９）の関係が成り立つ。 Here, the relationship of the following equation (19) is established from the equations (12) and (16).
弱校正キャリブレーション部４３は、内部パラメータ行列Ａが既知なので、基礎行列Ｆから基本行列Ｅを求めることができる。さらに、弱校正キャリブレーション部４３は、基本行列Ｅを歪対称行列と直交行列の積に分解することで、２つのロボットカメラＣ１，Ｃ３の位置関係を示す回転行列Ｒと平行移動ベクトルｔの方向とを求めることができる（スケールは算出不可）。 Since the internal parameter matrix A is known, the weak calibration calibration unit 43 can obtain the basic matrix E from the basic matrix F. Further, the weak calibration calibration unit 43 decomposes the basic matrix E into a product of a distortion symmetric matrix and an orthogonal matrix, thereby rotating the rotation matrix R indicating the positional relationship between the two robot cameras C1 and C3 and the direction of the translation vector t. (The scale cannot be calculated).
ここでは、ロボットカメラＣ１，Ｃ３での弱校正キャリブレーションを説明したが、弱校正キャリブレーション部４３は、ロボットカメラＣ１，Ｃ２等の他の組み合わせについても、弱校正キャリブレーションを行うことは言うまでもない。 Here, the weak calibration calibration by the robot cameras C1 and C3 has been described, but it goes without saying that the weak calibration calibration unit 43 performs the weak calibration calibration also for other combinations such as the robot cameras C1 and C2. .
なお、この弱校正キャリブレーションは、例えば、文献「デジタル画像処理：財団法人 画像情報教育振興協会」の「１５−４−１ エピポーラ幾何」および「１５−４−２ モーションと形状の推定」により詳細に記載されている。 This weak calibration is described in detail in, for example, “15-4-1 epipolar geometry” and “15-4-2 motion and shape estimation” in the document “Digital Image Processing: Association for Promotion of Image Information Education”. It is described in.
＜制御誤差補正部の詳細＞
図７を参照し、制御誤差補正部４４の詳細について説明する（適宜図１参照）。なお、図７では、説明を簡易にするために、ロボットカメラＣ２の図示を省略した。
<Details of control error correction unit>
Details of the control
図７の実線で示すように、ロボットカメラＣ１，Ｃ３は、注視点Ｐｔに正確に向いた状態で撮影を行うことが好ましい。しかし、弱校正キャリブレーションによって求めた回転行列Ｒ（以後、「回転行列Ｒ´」と記す）には、前記したように、駆動モータの制御誤差が含まれている。このため、図７の破線で示すように、ロボットカメラＣ１，Ｃ３は、注視点Ｐｔに対して撮影画角がずれた状態で撮影を行うことになる。そこで、制御誤差補正部４４は、この制御誤差を補正する。
As indicated by the solid line in FIG. 7, it is preferable that the robot cameras C <b> 1 and C <b> 3 perform shooting in a state where the robot cameras C <b> 1 and C <b> 3 are accurately directed to the gazing point Pt. However, as described above, the rotation matrix R (hereinafter referred to as “rotation matrix R ′”) obtained by the weak calibration calibration includes a control error of the drive motor. For this reason, as shown by the broken lines in FIG. 7, the robot cameras C1 and C3 perform shooting in a state in which the shooting angle of view is shifted with respect to the gazing point Pt. Therefore, the control
具体的には、制御誤差補正部４４は、ロボットカメラＣ１の位置から注視点Ｐｔの世界座標までの単位ベクトルを算出し、その単位ベクトルをカメラ座標軸のｚ軸とする。また、制御誤差補正部４４は、カメラ座標軸のｚ軸と世界座標系のＺ軸との直交条件から、カメラ座標軸のｘ軸を求める。そして、制御誤差補正部４４は、カメラ座標軸のｚ軸とカメラ座標軸のｘ軸との直交条件からカメラ座標軸のｙ軸を求め、これらカメラ座標軸から回転行列Ｒを求める。さらに、制御誤差補正部４４は、この回転行列Ｒと、弱校正キャリブレーションによって求めた回転行列Ｒ´とから射影変換行列を求め、ロボットカメラＣ１が撮影した撮影画像を射影変換して、撮影画像上で制御誤差を補正する。
Specifically, the control
つまり、制御誤差補正部４４は、下記の式（２０）の変換式を用いて、撮影画像を射影変換し、制御誤差を補正する。この式（２０）では、ｇが補正前の制御誤差を含んだ撮影画像であり、ｇ´が射影変換後の撮影画像であり、Ａが内部パラメータ行列であり、Ｒ´が弱校正キャリブレーションによって求めた回転行列であり、Ｒがカメラ座標軸から求めた回転行列である。
In other words, the control
なお、制御誤差補正部４４は、ロボットカメラＣ１と同様の手順でロボットカメラＣ２，Ｃ３の撮影画像を射影変換することは言うまでもない。ここで、この制御誤差の補正は、例えば、特許文献「特開２００６‐１１５２９８号公報：多視点カメラ映像表現システム」に記載されている。
Needless to say, the control
＜部分領域立体モデル生成部の詳細＞
以下、図８〜図１０を参照し、部分領域立体モデル生成部５０の詳細について説明する（適宜図１参照）。ここでは、図８（ａ）に示すように、ロボットカメラＣ１〜Ｃ３のそれぞれが、３次元空間Ｓｐ内の部分領域Ｂａ１を撮影する。また、制御誤差補正部４４は、ロボットカメラＣ１〜Ｃ３がそれぞれ撮影した撮影画像について、制御誤差を補正する。そして、撮影画像記憶部１０は、図８（ｂ）〜（ｄ）に示すように、同一の部分領域Ｂａ１を、ロボットカメラＣ１〜Ｃ３がそれぞれ異なる撮影画角で撮影した撮影画像が記憶される。
<Details of Partial Area Stereo Model Generation Unit>
Hereinafter, the details of the partial region solid
特徴点抽出部５１は、ロボットカメラＣ１の撮影画像（図８（ｂ）参照）から、ＳＩＦＴ特徴量に基づいて特徴点を抽出する。ここで、特徴点抽出部５１は、例えば、図９（ａ）に示すように、撮影画像内で顕著な特徴を有する点を特徴点として抽出する（例えば、複数のσ値でフィルタして被写体の端点を抽出）。また、特徴点抽出部５１は、ロボットカメラＣ１と同様に、ロボットカメラＣ２，Ｃ３の撮影画像から、ＳＩＦＴ特徴量に基づいて特徴点を抽出する（図９（ｂ），（ｃ）参照）。
The feature
つまり、図９（ａ）〜（ｃ）に示すように、ロボットカメラＣ１〜Ｃ３の撮影画像には、同一の特徴点が映ることになる。まず、特徴点抽出部５１は、ロボットカメラＣ１〜Ｃ３の撮影画像の間で、各特徴点のＳＩＦＴ特徴量をマッチングして特徴点の対応関係を求める。例えば、特徴点抽出部５１は、マッチングにより、ロボットカメラＣ１〜Ｃ３の撮影画像の間で特徴点Ｆｐ１が同一の特徴点であることが判り、特徴点Ｆｐ２も同一の特徴点であることが判る。そして、特徴点抽出部５１は、この対応関係から特徴点の画像座標を求める。
That is, as shown in FIGS. 9A to 9C, the same feature points appear in the captured images of the robot cameras C1 to C3. First, the feature
次に、特徴点世界座標算出部５２は、特徴点抽出部５１が求めた特徴点の画像座標から世界座標を求め、図９（ｄ）に示すように、各特徴点を部分領域Ｂａ１における３次元空間にプロットする。特徴点の世界座標を算出するために、特徴点世界座標算出部５２は、弱キャリブレーションにより得たカメラパラメータから、下記の式（２１）のような射影投影行列Ｐｍを生成する。なお、図９（ｄ）では、説明のために、プロットした特徴点に対応する被写体を破線で図示した。
Next, the feature point world coordinate
ここで、ｍはロボットカメラの番号、ａは画素のアスペクト比、Ｆはロボットカメラの焦点距離、（Ｃｘ，Ｃｙ）はロボットカメラ光軸と画像面の交点、Ｒｍは撮影時におけるロボットカメラの姿勢に基づいた回転ベクトル、Ｔｍは世界座標からカメラ座標系への移動ベクトルである。 Here, m is the number of the robot camera, a is the pixel aspect ratio, F is the focal length of the robot camera, (Cx, Cy) is the intersection of the robot camera optical axis and the image plane, and Rm is the posture of the robot camera at the time of shooting. Rotation vector based on, Tm is a movement vector from the world coordinates to the camera coordinate system.
そして、射影投影行列Ｐｍ、算出した特徴点の画像座標（ｕ，ｖ）、および、これから求める特徴点の世界座標（Ｘ、Ｙ、Ｚ）の関係は、下記の式（２２）で表される。 Then, the relationship between the projection projection matrix Pm, the calculated image coordinates (u, v) of the feature points, and the world coordinates (X, Y, Z) of the feature points calculated from this is expressed by the following equation (22). .
前記した式（２２）を展開して世界座標（Ｘ、Ｙ、Ｚ）に関してまとめると、下記の式（２３）のようになる。 When the above equation (22) is developed and summarized with respect to the world coordinates (X, Y, Z), the following equation (23) is obtained.
特徴点の画像座標（ｕ，ｖ）は既知であるので、前記した式（２３）は、世界座標（Ｘ、Ｙ、Ｚ）を未知数とする連立一次方程式となる。１つの撮影映像から式（２３）の方程式が２つ得られるため、２つの撮影映像からは、下記の式（２４）で表される４つの方程式が得られる。 Since the image coordinates (u, v) of the feature points are known, the above equation (23) is a simultaneous linear equation with the world coordinates (X, Y, Z) as unknowns. Since two equations of Expression (23) are obtained from one photographed image, four equations represented by the following Expression (24) are obtained from the two photographed images.
式（２４）には３つの未知数に対して４つの方程式があるので、特徴点世界座標算出部５２は、最小二乗解を求める。式（２４）を下記の式（２５）とおくと、世界座標Ｘの最小二乗解は、下記の式（２６）で求めることができる。
Since there are four equations for the three unknowns in the equation (24), the feature point world coordinate
Ｍ＋は一般化逆行列と呼ばれ、下記の式（２７）で定義される。このように、特徴点世界座標算出部５２は、特徴点の世界座標（Ｘ、Ｙ、Ｚ）を算出して、これを部分領域の立体モデルとする。
M + is called a generalized inverse matrix and is defined by the following equation (27). In this way, the feature point world coordinate
その後、部分領域Ｂａ１の立体モデルを生成したら、図１０に示すように、特徴点世界座標算出部５２は、それに隣接する部分領域Ｂａ２についても、部分領域Ｂａ２を撮影したロボットカメラＣ１〜Ｃ３の撮影画像を用いて、同様の手順で立体モデルを生成する。そして、特徴点世界座標算出部５２は、この手順を繰り返し行い、３次元空間Ｓｐ内の全ての部分領域Ｂａについて、立体モデルを生成する。
After that, when the three-dimensional model of the partial area Ba1 is generated, as shown in FIG. 10, the feature point world coordinate
なお、立体モデルを生成するときには部分領域が重複すること（例えば、部分領域Ｂａ２を撮影した撮影画像に部分領域Ｂａ１の一部が映り込むこと）が考えられる。この場合、重複部分に含まれる１つの特徴点は、世界座標系に複数回プロットされ、本来なら１点だけの特徴点か複数個存在することになる。この場合、特徴点世界座標算出部５２は、この複数回プロットされた特徴点の世界座標の平均値を算出し、この平均値を特徴点の世界座標としても良い。このようにして、特徴点世界座標算出部５２は、同一の特徴点が複数回プロットされる事態を防止できる。
Note that it is conceivable that the partial areas overlap when generating the three-dimensional model (for example, a part of the partial area Ba1 is reflected in the captured image obtained by capturing the partial area Ba2). In this case, one feature point included in the overlapping portion is plotted a plurality of times in the world coordinate system, and there are originally only one feature point or a plurality of feature points. In this case, the feature point world coordinate
＜全領域立体モデル生成部の詳細＞
図１１を参照し、全領域立体モデル生成部６０の詳細について説明する（適宜図１参照）。図１１では、説明を簡易にするために、４個の部分領域Ｂａ３〜Ｂａ６の立体モデルを連結する例で説明するが、３次元空間Ｓｐ内の全ての部分領域Ｂａについて、立体モデルを連結することは言うまでもない。
<Details of all-region stereo model generator>
With reference to FIG. 11, the detail of the all-region solid model production |
全領域立体モデル生成部６０は、図１１（ｂ），（ｃ）に示すように、部分領域の立体モデルを連結して、３次元空間Ｓｐ全体の立体モデルを生成する。具体的には、全領域立体モデル生成部６０は、注視点の世界座標を基準として、部分領域Ｂａ３〜Ｂａ６の立体モデルを連結する。その後、全領域立体モデル生成部６０は、ポリゴンや、撮影映像を用いたテクスチャを貼り付けることで、３次元空間Ｓｐ全体の立体モデルを生成する。
As shown in FIGS. 11B and 11C, the all-region stereo
以上より、本発明の第１実施形態に係る多視点ロボットカメラ立体モデル生成装置１によれば、以下（ａ）〜（ｃ）の手法を実現できる。
（ａ）ロボットカメラＣ１〜Ｃ３が空間中の１点（注視点）を向くように一斉に制御する手法。
（ｂ）ロボットカメラＣ１〜Ｃ３のズームにより細部を拡大した３次元空間の部分領域を撮影画角とし、その撮影画角で３次元空間全体を走査して撮影する手法。
（ｃ）撮影画像から３次元空間の部分領域の立体モデルを生成し、それら立体モデルを連結することで３次元空間全体の立体モデルを生成する手法。
As described above, according to the multi-viewpoint robot camera three-dimensional
(A) A method of performing simultaneous control so that the robot cameras C1 to C3 face one point (gazing point) in the space.
(B) A method in which a partial area of a three-dimensional space whose details are enlarged by zooming of the robot cameras C1 to C3 is used as a shooting angle of view, and the entire three-dimensional space is scanned at the shooting angle of view.
(C) A method of generating a three-dimensional model of the entire three-dimensional space by generating a three-dimensional model of a partial region of the three-dimensional space from the captured image and connecting the three-dimensional models.
前記（ａ）〜（ｃ）を実現することにより、多視点ロボットカメラ立体モデル生成装置１は、ロボットカメラＣ１〜Ｃ３がズームして３次元空間Ｓｐの細部を拡大した際にも、制御誤差の影響がない正確な撮影画像を取得できる。そして、多視点ロボットカメラ立体モデル生成装置１は、ロボットカメラＣ１〜Ｃ３をズームさせて部分領域を撮影画角とし、この撮影画角で３次元空間Ｓｐ全体を走査するように撮影させる。さらに、多視点ロボットカメラ立体モデル生成装置１は、これら撮影画像を用いて、細部が正確に再現された部分領域の立体モデルを生成して連結し、３次元空間Ｓｐ全体の立体モデルを生成する。これによって、多視点ロボットカメラ立体モデル生成装置１は、多視点画像を用いた従来技術に比べて、精度の高い立体モデルおよび解像度の高いテクスチャを生成することが可能となり、３次元空間Ｓｐ全体の精巧な立体モデルを生成することができる。
By realizing the above (a) to (c), the multi-viewpoint robot camera three-dimensional
また、多視点ロボットカメラ立体モデル生成装置１は、レーザを用いて被写体形状を計測する従来技術に比べて、レーザを人等の被写体に照射する必要がないので安全性が高く、被写体の材質によって立体モデルの精度が劣化することもない。また、レーザを用いて被写体形状を計測する従来技術では、立体モデルを生成できる距離が最長１００メートル程度と言われている。しかし、多視点ロボットカメラ立体モデル生成装置１は、ロボットカメラＣ１〜Ｃ３がズーム可能な距離であれば、１００メートルよりも遠方の立体モデルを生成することができる。
In addition, the multi-viewpoint robot camera three-dimensional
ここで、多視点ロボットカメラ立体モデル生成装置１は、ロボットカメラＣ１〜Ｃ３のズーム倍率が特に制限されるものではないが、例えば、１倍を超えて１５０倍以下であり、７２倍以下であることがより好ましい。
Here, in the multi-viewpoint robot camera three-dimensional
なお、本発明の第１実施形態では、多視点ロボットカメラ立体モデル生成装置１が世界座標指定部４５を備えることとして説明したが、これを備えなくとも良い。具体的には、ロボットカメラＣ１〜Ｃ３が３次元空間Ｓｐ内の全ての部分領域Ｂａを走査して撮影できるように複数の注視点が手動で指定される場合、多視点ロボットカメラ立体モデル生成装置１は、世界座標指定部４５を備えなくとも良い。
In the first embodiment of the present invention, the multi-viewpoint robot camera three-dimensional
なお、本発明の第１実施形態では、ロボットカメラＣ１〜Ｃ３を固定型の撮影カメラとして説明したが、移動機構を備えた自律移動型の撮影カメラとしても良い。この場合、多視点ロボットカメラ立体モデル生成装置１は、ロボットカメラＣ１〜Ｃ３の何れかが移動したとき、強校正キャリブレーション等の処理を再び行えば良い。あるいは、多視点ロボットカメラ立体モデル生成装置１は、移動機構からのフィードバック信号を用いて、強校正キャリブレーションを行った位置を基準として、移動後の相対的な位置を算出しても良い。
In the first embodiment of the present invention, the robot cameras C1 to C3 have been described as fixed imaging cameras, but may be autonomously moving imaging cameras including a moving mechanism. In this case, the multi-viewpoint robot camera three-dimensional
なお、本発明の第１実施形態では、３台のロボットカメラＣ１〜Ｃ３を一列に設置することとして説明したが、その台数および配置はこれに限定されない。例えば、本発明では、２台又は４台以上のロボットカメラを３次元空間Ｓｐの周囲に配置しても良い。 In the first embodiment of the present invention, the three robot cameras C1 to C3 are described as being installed in a row, but the number and arrangement thereof are not limited to this. For example, in the present invention, two or four or more robot cameras may be arranged around the three-dimensional space Sp.
（第２実施形態）
［多視点ロボットカメラ立体モデル生成装置の構成］
図１２，図１３を参照し、本発明の第２実施形態に係る多視点ロボットカメラ立体モデル生成装置１Ｂの構成について、第１実施形態と異なる点を説明する。この第２実施形態では、多視点ロボットカメラ立体モデル生成装置１Ｂが、ＳＩＦＴ特徴量の代わりに、ステレオマッチングを用いて立体モデルを生成する。
(Second Embodiment)
[Configuration of multi-viewpoint robot camera stereo model generator]
With reference to FIGS. 12 and 13, the configuration of the multi-viewpoint robot camera 3D
図１２の撮影画像記憶部１０、注視点指定部２０、カメラ制御部３０、および、カメラパラメータ生成・記憶部４０は、図１の各手段と同様のため、説明を省略する。
The captured
部分領域立体モデル生成部５０Ｂは、距離画像生成部５３を備える。
距離画像生成部５３は、撮影画像記憶部１０を参照し、ロボットカメラＣ１〜Ｃ３の撮影画像から、３次元空間Ｓｐ内の部分領域Ｂａ毎に、距離画像をステレオマッチングによって生成する（図１２（ａ）参照）。つまり、距離画像生成部５３は、部分領域Ｂａの立体モデルとして、距離画像を生成する。
The partial region three-dimensional
The distance
全領域立体モデル生成部６０Ｂは、部分領域立体モデル生成部５０Ｂから部分領域Ｂａ毎に距離画像が入力され、この距離画像を連結して、３次元空間Ｓｐ全体の立体モデルを生成する。具体的には、全領域立体モデル生成部６０Ｂは、図１２（ｂ）に示すように、各距離画像の中央部を切り出す。そして、全領域立体モデル生成部６０Ｂは、図１２（ａ）に示すように、注視点の世界座標を基準として、切り出した距離画像を連結させて３次元空間Ｓｐ全体の距離画像を生成する。そして、全領域立体モデル生成部６０Ｂは、生成した３次元空間Ｓｐ全体の距離画像に撮影映像のテクスチャを貼り付け、３次元空間Ｓｐ全体の立体モデルを生成する。
The all-region three-dimensional
［多視点ロボットカメラ立体モデル生成装置の動作］
図１４を参照し、図１２の多視点ロボットカメラ立体モデル生成装置１Ｂの動作について説明する（適宜図１２参照）。なお、図１４のステップＳ１〜Ｓ５は、図２の各ステップと同様であるため、説明を省略する。
[Operation of multi-viewpoint robot camera stereo model generator]
The operation of the multi-viewpoint robot camera 3D model generation apparatus 1B of FIG. 12 will be described with reference to FIG. 14 (see FIG. 12 as appropriate). Note that steps S1 to S5 in FIG. 14 are the same as the steps in FIG.
多視点ロボットカメラ立体モデル生成装置１Ｂは、距離画像生成部５３によって、部分領域Ｂａ毎の距離画像を生成する（ステップＳ１０）。また、多視点ロボットカメラ立体モデル生成装置１Ｂは、全領域立体モデル生成部６０Ｂによって、距離画像を連結して３次元空間Ｓｐ全体の立体モデルを生成する（ステップＳ１１）。
The multi-viewpoint robot camera three-dimensional model generation device 1B generates a distance image for each partial region Ba by using the distance image generation unit 53 (step S10). In addition, the multi-viewpoint robot camera stereo model generation device 1B generates a stereo model of the entire three-dimensional space Sp by connecting the distance images using the all-region stereo
以上のように、本発明の第２実施形態に係る多視点ロボットカメラ立体モデル生成装置１Ｂによれば、第１実施形態と同様、３次元空間Ｓｐ全体の精巧な立体モデルを生成することができる。 As described above, according to the multi-viewpoint robot camera stereo model generation device 1B according to the second embodiment of the present invention, as in the first embodiment, an elaborate stereo model of the entire three-dimensional space Sp can be generated. .
なお、撮影画像の内容によって、ＳＩＦＴ特徴量を用いる手法（第１実施形態）、又は、ステレオマッチングを用いる手法（第２実施形態）の何れが最適なのか異なる。そこで、立体モデルの生成に際し、本発明に係る多視点ロボットカメラ立体モデル生成装置は、ＳＩＦＴ特徴量を用いる手法とステレオマッチングを用いる手法とを手動で選択可能とすることで、撮影画像の内容に関わらず精度の高い立体モデルを生成することができる。 Depending on the content of the captured image, it is different which of the method using the SIFT feature value (first embodiment) or the method using the stereo matching (second embodiment) is optimal. Therefore, when generating a stereo model, the multi-viewpoint robot camera stereo model generation apparatus according to the present invention can manually select a method using SIFT feature and a method using stereo matching, so that the content of the captured image can be selected. Regardless, a highly accurate three-dimensional model can be generated.
１，１Ｂ 多視点ロボットカメラ立体モデル生成装置（立体モデル生成装置）
１０ 撮影画像記憶部
２０ 注視点指定部
３０ カメラ制御部
４０ カメラパラメータ生成・記憶部
４１ カメラパラメータ記憶部
４２ 強校正キャリブレーション部
４３ 弱校正キャリブレーション部
４４ 制御誤差補正部
４５ 世界座標指定部
５０，５０Ｂ 部分領域立体モデル生成部
５１ 特徴点抽出部
５２ 特徴点世界座標算出部
５３ 距離画像生成部
６０，６０Ｂ 全領域立体モデル生成部
1,1B Multi-viewpoint robot camera stereo model generator (stereo model generator)
DESCRIPTION OF
Claims (3)
強校正キャリブレーションによって前記複数台のロボットカメラに共通する世界座標系を設定する強校正キャリブレーション部と、
前記世界座標系において予め指定された注視点に向けられた前記複数台のロボットカメラのカメラパラメータを、弱校正キャリブレーションによって算出する弱校正キャリブレーション部と、
前記弱校正キャリブレーション部が算出したカメラパラメータを用いた射影変換によって、前記複数台のロボットカメラの制御誤差を前記撮影画像上で補正する制御誤差補正部と、
前記３次元空間を走査するように当該３次元空間内の全ての部分領域を撮影し、かつ、前記制御誤差が補正された前記撮影画像が入力され、マッチングにより前記部分領域毎に立体モデルを生成する部分領域立体モデル生成部と、
前記部分領域立体モデル生成部が生成した部分領域の立体モデルを連結して、前記３次元空間全体の立体モデルを生成する全領域立体モデル生成部と、
を備えることを特徴とする立体モデル生成装置。 A three-dimensional model generation device that generates a three-dimensional model of the entire three-dimensional space using captured images obtained by zooming and photographing the same partial area in the three-dimensional space.
A strong calibration calibration unit for setting a global coordinate system common to the plurality of robot cameras by strong calibration,
A weak calibration unit for calculating the camera parameters of the plurality of robot cameras directed to a gazing point designated in advance in the world coordinate system by weak calibration;
A control error correction unit that corrects control errors of the plurality of robot cameras on the captured image by projective transformation using the camera parameters calculated by the weak calibration unit;
All partial regions in the three-dimensional space are photographed so as to scan the three-dimensional space, and the photographed image in which the control error is corrected is input, and a stereo model is generated for each partial region by matching. A partial region stereo model generation unit to perform,
An all-region stereo model generating unit that generates a stereo model of the entire three-dimensional space by connecting the stereo models of the partial regions generated by the partial region stereo model generating unit;
A three-dimensional model generation apparatus comprising:
入力された前記撮影画像のそれぞれから、ＳＩＦＴ特徴量による特徴点を抽出すると共に、前記撮影画像の間で前記特徴点における前記ＳＩＦＴ特徴量をマッチングすることで、前記特徴点の画像座標を算出する特徴点抽出部と、
前記特徴点抽出部が算出した特徴点の画像座標から、前記弱校正キャリブレーション部が算出したカメラパラメータを用いた射影変換によって前記部分領域の立体モデルを生成する特徴点世界座標算出部と、
を備えることを特徴とする請求項１に記載の立体モデル生成装置。 The partial region stereo model generation unit
A feature point based on a SIFT feature value is extracted from each of the inputted photographed images, and image coordinates of the feature point are calculated by matching the SIFT feature value at the feature point between the photographed images. A feature point extraction unit;
A feature point world coordinate calculation unit that generates a three-dimensional model of the partial region by projective transformation using the camera parameters calculated by the weak calibration calibration unit from the image coordinates of the feature points calculated by the feature point extraction unit;
The solid model generation apparatus according to claim 1, comprising:
入力された前記撮影画像のそれぞれから、ステレオマッチングによって前記部分領域毎に距離画像を、前記部分領域の立体モデルとして生成する距離画像生成部を備えることを特徴とする請求項１に記載の立体モデル生成装置。 The partial region stereo model generation unit
The stereo model according to claim 1, further comprising: a distance image generation unit that generates a distance image for each of the partial regions as a stereo model of the partial region by stereo matching from each of the input captured images. Generator.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010003700A JP2011146762A (en) | 2010-01-12 | 2010-01-12 | Solid model generator |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010003700A JP2011146762A (en) | 2010-01-12 | 2010-01-12 | Solid model generator |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011146762A true JP2011146762A (en) | 2011-07-28 |
Family
ID=44461257
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010003700A Pending JP2011146762A (en) | 2010-01-12 | 2010-01-12 | Solid model generator |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011146762A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014027528A (en) * | 2012-07-27 | 2014-02-06 | Nippon Hoso Kyokai <Nhk> | Projection transformation video generation device, program of the same and multi-viewpoint video expression device |
| JP2014103474A (en) * | 2012-11-19 | 2014-06-05 | Nippon Hoso Kyokai <Nhk> | Robot camera control device, program for the same, and multi-viewpoint robot camera system |
| JP2016218999A (en) * | 2015-05-21 | 2016-12-22 | 三菱電機株式会社 | Method for training classifier to detect object represented in image of target environment |
| WO2018079260A1 (en) * | 2016-10-25 | 2018-05-03 | ソニー株式会社 | Image processing device and image processing method |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09197582A (en) * | 1996-01-17 | 1997-07-31 | Sony Corp | Seamless panoramic video photographing device for multiscreen |
| JPH11509946A (en) * | 1995-06-22 | 1999-08-31 | サーノフ コーポレイション | Method and system for image combination using parallax dependent technique |
| JP2000137815A (en) * | 1998-11-02 | 2000-05-16 | Gen Tec:Kk | New viewpoint image generating method |
| JP2001235819A (en) * | 2000-02-21 | 2001-08-31 | Minolta Co Ltd | Calibration method and device for camera and corresponding point searching method |
| JP2004235934A (en) * | 2003-01-30 | 2004-08-19 | Sony Corp | Calibration processor, calibration processing method, and computer program |
| JP2006098256A (en) * | 2004-09-30 | 2006-04-13 | Ricoh Co Ltd | Three-dimensional surface model preparing system, image processing system, program, and information recording medium |
| JP2006115298A (en) * | 2004-10-15 | 2006-04-27 | Nippon Hoso Kyokai <Nhk> | Multi-viewpoint camera video image representation system, device and program |
| JP2009017480A (en) * | 2007-07-09 | 2009-01-22 | Nippon Hoso Kyokai <Nhk> | Camera calibration device and program thereof |
| JP2009135921A (en) * | 2007-11-06 | 2009-06-18 | Panasonic Corp | Image projection apparatus, and image projection method |
| JP2009143722A (en) * | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | Person tracking apparatus, person tracking method and person tracking program |
| JP2009253715A (en) * | 2008-04-08 | 2009-10-29 | Nippon Telegr & Teleph Corp <Ntt> | Camera calibrating device, camera calibrating method, camera calibrating program, and recording medium for recording the program |
-
2010
- 2010-01-12 JP JP2010003700A patent/JP2011146762A/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11509946A (en) * | 1995-06-22 | 1999-08-31 | サーノフ コーポレイション | Method and system for image combination using parallax dependent technique |
| JPH09197582A (en) * | 1996-01-17 | 1997-07-31 | Sony Corp | Seamless panoramic video photographing device for multiscreen |
| JP2000137815A (en) * | 1998-11-02 | 2000-05-16 | Gen Tec:Kk | New viewpoint image generating method |
| JP2001235819A (en) * | 2000-02-21 | 2001-08-31 | Minolta Co Ltd | Calibration method and device for camera and corresponding point searching method |
| JP2004235934A (en) * | 2003-01-30 | 2004-08-19 | Sony Corp | Calibration processor, calibration processing method, and computer program |
| JP2006098256A (en) * | 2004-09-30 | 2006-04-13 | Ricoh Co Ltd | Three-dimensional surface model preparing system, image processing system, program, and information recording medium |
| JP2006115298A (en) * | 2004-10-15 | 2006-04-27 | Nippon Hoso Kyokai <Nhk> | Multi-viewpoint camera video image representation system, device and program |
| JP2009017480A (en) * | 2007-07-09 | 2009-01-22 | Nippon Hoso Kyokai <Nhk> | Camera calibration device and program thereof |
| JP2009135921A (en) * | 2007-11-06 | 2009-06-18 | Panasonic Corp | Image projection apparatus, and image projection method |
| JP2009143722A (en) * | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | Person tracking apparatus, person tracking method and person tracking program |
| JP2009253715A (en) * | 2008-04-08 | 2009-10-29 | Nippon Telegr & Teleph Corp <Ntt> | Camera calibrating device, camera calibrating method, camera calibrating program, and recording medium for recording the program |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014027528A (en) * | 2012-07-27 | 2014-02-06 | Nippon Hoso Kyokai <Nhk> | Projection transformation video generation device, program of the same and multi-viewpoint video expression device |
| JP2014103474A (en) * | 2012-11-19 | 2014-06-05 | Nippon Hoso Kyokai <Nhk> | Robot camera control device, program for the same, and multi-viewpoint robot camera system |
| JP2016218999A (en) * | 2015-05-21 | 2016-12-22 | 三菱電機株式会社 | Method for training classifier to detect object represented in image of target environment |
| WO2018079260A1 (en) * | 2016-10-25 | 2018-05-03 | ソニー株式会社 | Image processing device and image processing method |
| US11127194B2 (en) | 2016-10-25 | 2021-09-21 | Sony Corporation | Image processing apparatus and image processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Forssén et al. | Rectifying rolling shutter video from hand-held devices | |
| WO2019049331A1 (en) | Calibration device, calibration system, and calibration method | |
| JP6201476B2 (en) | Free viewpoint image capturing apparatus and method | |
| WO2018235163A1 (en) | Calibration device, calibration chart, chart pattern generation device, and calibration method | |
| WO2017183470A1 (en) | Three-dimensional reconstruction method | |
| KR20150120066A (en) | System for distortion correction and calibration using pattern projection, and method using the same | |
| JP2011243205A (en) | Image processing system and method for the same | |
| CN107809610B (en) | Camera parameter set calculation device, camera parameter set calculation method, and recording medium | |
| CN113841384B (en) | Calibration device, chart for calibration and calibration method | |
| US8531505B2 (en) | Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium | |
| JP4948552B2 (en) | Camera calibration apparatus, camera calibration method, camera calibration program, and recording medium recording the program | |
| JP2012185772A (en) | Method and program for enhancing accuracy of composited picture quality of free viewpoint picture using non-fixed zoom camera | |
| JP6055223B2 (en) | Projection-converted video generation device and program thereof, and multi-view video expression device | |
| TWI501193B (en) | Computer graphics using AR technology. Image processing systems and methods | |
| JP2018155664A (en) | Imaging system, imaging control method, image processing device, and image processing program | |
| JP2014010783A (en) | Image processing apparatus, image processing method, and program | |
| JP2011146762A (en) | Solid model generator | |
| JP5321417B2 (en) | Perspective transformation parameter generation device, image correction device, perspective transformation parameter generation method, image correction method, and program | |
| JP6799468B2 (en) | Image processing equipment, image processing methods and computer programs | |
| JP2019121945A (en) | Imaging apparatus, control method of the same, and program | |
| JP2007033087A (en) | Calibration device and method | |
| JP7203051B2 (en) | Method for generating a two-dimensional global image | |
| JP2005063041A (en) | Three-dimensional modeling apparatus, method, and program | |
| WO2015198478A1 (en) | Image distortion correction apparatus, information processing apparatus and image distortion correction method | |
| WO2017057426A1 (en) | Projection device, content determination device, projection method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120321 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130410 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130723 |