JP2008278103A - Video composition device and video composition program - Google Patents
Video composition device and video composition program Download PDFInfo
- Publication number
- JP2008278103A JP2008278103A JP2007118091A JP2007118091A JP2008278103A JP 2008278103 A JP2008278103 A JP 2008278103A JP 2007118091 A JP2007118091 A JP 2007118091A JP 2007118091 A JP2007118091 A JP 2007118091A JP 2008278103 A JP2008278103 A JP 2008278103A
- Authority
- JP
- Japan
- Prior art keywords
- video
- position information
- image
- pixel
- color arrangement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
Abstract
Description
本発明は、カメラで撮影した映像とCG画像とを合成する映像合成装置及び映像合成プログラムに関する。 The present invention relates to a video synthesizing apparatus and a video synthesizing program for synthesizing a video photographed by a camera and a CG image.
近年、カメラで撮影した映像(以下、実写映像ともいう)と同じ空間にあたかも実在するようなCG(Computer Graphics:以下、CG画像という)を作画して、当該映像と当該CG画像とを合成することが広く行われている。
この映像とCG画像との合成に関する技術では、カメラで撮影している撮影空間におけるカメラ位置・撮影方向・画角の情報(以下、これらをまとめて、カメラパラメータという)をリアルタイムで取得することを前提としている。
In recent years, CG (Computer Graphics: hereinafter referred to as a CG image) as if it existed in the same space as a video photographed by a camera (hereinafter also referred to as a live-action video) is synthesized and the video and the CG image are combined. It is widely done.
In the technology related to the synthesis of the video and the CG image, information on the camera position, shooting direction, and angle of view (hereinafter, collectively referred to as camera parameters) in the shooting space where the camera is shooting is acquired. It is assumed.
例えば、カメラの雲台やズーム機構等の機械駆動部分にセンサを設置し、撮影している映像の変化を定量的に取り出すことで、カメラパラメータをリアルタイムで取得したり、格子模様などの、ある特定のパターンを、撮影空間内に配置し、このパターンがカメラによって撮影された際の当該パターンの形状を解析することで、カメラパラメータをリアルタイムで取得したりすることが行われている(例えば、特許文献1,2,3参照)。
そして、取得されたカメラパラメータを元に、CG画像の作画が行われ、映像と合成されている。
Then, based on the acquired camera parameters, a CG image is drawn and synthesized with the video.
しかしながら、従来のカメラの雲台やズーム機構等の機械駆動部分にセンサを設置する手法では、設備導入費が比較的高価で、メンテナンス等のランニングコストも高く、センサを設置してあるカメラで映像を撮影しなければならないという制限があり、映像を撮影する際の撮影機材が制約されてしまうという問題がある。 However, the conventional method of installing a sensor on a mechanical drive part such as a camera platform or zoom mechanism has a relatively high equipment introduction cost and high running costs such as maintenance. There is a problem that the photographing equipment is restricted when photographing the video.
また、従来の格子模様のパターンを用いる手法は、撮影される人物以外をすべてCG画像で作画するような大きな設備が整っている場合に採用されている。このため、設備投資が高額となり、特定のスタジオで映像を撮影しなければならず、映像を撮影する際の撮影環境が制約されてしまうという問題がある。 Further, the conventional method using a lattice pattern is employed when a large facility for drawing everything except a person to be photographed with a CG image is prepared. For this reason, there is a problem that the capital investment is high, the video must be shot in a specific studio, and the shooting environment for shooting the video is restricted.
そこで、本発明では、前記した問題を解決し、映像を撮影する際の撮影機材や撮影環境に制約されることなく、映像とCG画像とを合成することができる映像合成装置及び映像合成プログラムを提供することを目的とする。 Therefore, in the present invention, there is provided a video synthesizing apparatus and a video synthesizing program that can synthesize a video and a CG image without being restricted by photographing equipment and a photographing environment for photographing the video. The purpose is to provide.
前記課題を解決するため、請求項1に記載の映像合成装置は、カメラで撮影した映像中に含まれる特定の色配置を検出することで得た位置情報に基づいて、当該映像とCG画像とを合成する映像合成装置であって、位置情報検出手段と、CG作画手段と、合成手段と、を備える構成とした。
In order to solve the above problem, the video composition device according to
かかる構成によれば、映像合成装置は、位置情報検出手段によって、映像中に含まれる特定の色配置の位置を、当該映像を構成する静止画像における画素の配置が予め設定した判別基準を満たすか否かに基づいて判別し、当該判別基準を満たした色配置の位置を、位置情報として検出する。続いて、映像合成装置は、CG作画手段によって、予め蓄積しておいたCG画像を作画するための素材となるCG素材データにより、位置情報検出手段で検出された位置情報で位置が判別した特定の色配置を覆い隠す大きさのCG画像を作画する。そして、映像合成装置は、合成手段によって、CG作画手段で作画されたCG画像と映像とを、位置情報検出手段で検出された位置情報に基づいて合成する。 According to such a configuration, the video composition device uses the position information detection unit to determine whether the position of the specific color arrangement included in the video satisfies the discrimination criterion set in advance by the arrangement of pixels in the still image constituting the video. A determination is made based on whether or not, and the position of the color arrangement that satisfies the determination criterion is detected as position information. Subsequently, the video composition device uses the CG drawing means to identify the position determined by the position information detected by the position information detecting means based on the CG material data that is a material for drawing the CG image stored in advance. A CG image having a size that covers the color arrangement is drawn. Then, the video synthesizing apparatus synthesizes the CG image drawn by the CG drawing means and the video by the synthesizing means based on the position information detected by the position information detecting means.
請求項2に記載の映像合成装置は、請求項1に記載の映像合成装置において、前記位置情報検出手段が、前記判別基準を満たした画素の集合を、前記静止画像中の点群とみなし、この点群の重心の位置座標を、前記位置情報として検出することを特徴とする。
The video composition device according to claim 2 is the video composition device according to
かかる構成によれば、映像合成装置は、位置情報検出手段によって、判別基準を満たした画素の集合を、静止画像中の点群とみなし、この点群の重心の位置座標を、位置情報として検出する。 According to such a configuration, the video composition device regards a set of pixels satisfying the discrimination criterion as a point group in the still image by the position information detection unit, and detects the position coordinates of the center of gravity of the point group as the position information. To do.
請求項3に記載の映像合成プログラムは、カメラで撮影した映像中に含まれる特定の色配置を検出することで得た位置情報に基づいて、当該映像とCG画像とを合成するために、コンピュータを、位置情報検出手段と、CG作画手段と、合成手段と、を備える構成とした。
A video composition program according to
かかる構成によれば、映像合成プログラムは、位置情報検出手段によって、映像中に含まれる特定の色配置の位置を、当該映像を構成する静止画像における画素の配置が予め設定した判別基準を満たすか否かに基づいて判別し、当該判別基準を満たした色配置の位置を、位置情報として検出し、CG作画手段によって、予め蓄積しておいたCG画像を作画するための素材となるCG素材データにより、位置情報検出手段で検出された位置情報で位置が判別した特定の色配置を覆い隠す大きさのCG画像を作画し、合成手段によって、CG作画手段で作画されたCG画像と映像とを、位置情報検出手段で検出された位置情報に基づいて合成する。 According to such a configuration, the video composition program uses the position information detection unit to determine whether the position of the specific color arrangement included in the video satisfies the discrimination criterion set in advance by the arrangement of pixels in the still image constituting the video. CG material data serving as a material for creating a CG image preliminarily accumulated by CG drawing means by detecting the position of the color arrangement satisfying the determination criterion as position information. Thus, a CG image having a size covering the specific color arrangement whose position is determined by the position information detected by the position information detecting means is drawn, and the CG image and video drawn by the CG drawing means are combined by the synthesizing means. And combining based on the position information detected by the position information detecting means.
請求項1、3に記載の発明によれば、入力される映像について、当該映像中に含まれる特定の色配置を設けておいて、この色配置の位置から、CG画像を合成する位置となる位置情報を検出することで、特定の色配置が入力される映像中に含まれるようにしておけば、従来のように、カメラパラメータを取得するセンサを設置してあるカメラや、撮影される人物以外をすべてCG画像で作画するような大きな設備が整っているスタジオで撮影する必要がなくなる。このため、映像を撮影する際の撮影機材や撮影環境に制約されることなく、映像とCG画像とを合成することができる。 According to the first and third aspects of the present invention, the input video is provided with a specific color arrangement included in the video, and the position of the color arrangement is a position for synthesizing the CG image. If a specific color arrangement is included in the input video by detecting the position information, a camera with a sensor for acquiring camera parameters or a person to be photographed as in the past It is not necessary to shoot in a studio equipped with large facilities for drawing everything except CG images. For this reason, the video and the CG image can be combined without being restricted by the photographing equipment and the photographing environment when photographing the video.
請求項2に記載の発明によれば、判別基準を満たした画素の集合を、静止画像中の点群とみなし、この点群の重心の位置座標を、位置情報として検出することで、色配置の位置を厳密に求めることがなく、色配置の近傍の位置座標を求めることとなる。このため、例えば、カメラで映像を撮影している際に用いる照明の照度が変化した場合、すなわち、撮影環境が変化することで、画素の色相や輝度が変化してしまった場合でも、判別条件を満たす画素が最低限1つでもあれば(ここが重心となる)、位置情報を取得することができることとなる。すなわち、点群の重心を取ることで、色の判別条件を広く取ることができるため、撮影環境の自由度を広くすることができる(撮影環境に制約されることが少なくなる)。 According to the second aspect of the present invention, a set of pixels satisfying the discrimination criterion is regarded as a point group in the still image, and the position coordinates of the center of gravity of the point group are detected as position information, so that the color arrangement Thus, the position coordinates in the vicinity of the color arrangement are obtained without strictly obtaining the position of. For this reason, for example, even when the illumination illuminance used when shooting a video with a camera changes, that is, even when the hue or luminance of a pixel changes due to a change in the shooting environment, the determination condition If there is at least one pixel satisfying (this is the center of gravity), position information can be acquired. In other words, by taking the center of gravity of the point group, it is possible to make a wide range of color discrimination conditions, so that the degree of freedom of the shooting environment can be widened (restricted by the shooting environment).
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
(映像合成装置の構成)
図1は、映像合成装置のブロック図である。この図1に示すように、映像合成装置1は、カメラ(図示せず)で撮影された映像を入力として、この映像中に含まれる特定の色配置を検出することで、当該カメラのカメラパラメータを取得し、このカメラパラメータに基づいて、映像とCG画像とを合成するもので、位置情報検出手段3と、CG作画手段5と、CG素材データ蓄積手段7と、合成手段9とを備えている。
Next, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
(Configuration of video composition device)
FIG. 1 is a block diagram of a video composition device. As shown in FIG. 1, the
位置情報検出手段3は、入力された映像中に含まれる特定の色配置(色配置パターン)の位置を、当該映像を構成する静止画像における画素(ピクセル)の配置が予め設定した判別基準を満たすか否かに基づいて判別し、当該判別基準を満たした色配置の位置を、位置情報として検出するものである。 The position information detection means 3 satisfies the criterion for determining the position of a specific color arrangement (color arrangement pattern) included in the input video, in which the arrangement of pixels in the still image constituting the video is set in advance. The position of the color arrangement that satisfies the determination criterion is detected as position information.
色配置パターンは、入力された映像と作画するCG画像とを合成する際の基準となる位置を、位置情報として検出するのに用いるもので、同一面積の赤色の正方形1個と、緑色の正方形1個と、青色の正方形1個とを、カギ括弧を成すよう配置したものである。つまり、この色配置パターンには、赤色の画素が占める領域である赤色域と、緑色の画素が占める領域である緑色域と、青色の画素が占める領域である緑色域とから構成されている。 The color arrangement pattern is used to detect a position serving as a reference when combining an input video and a CG image to be drawn as position information. One red square having the same area and a green square are used. One piece and one blue square are arranged so as to form a bracket. In other words, this color arrangement pattern includes a red area that is an area occupied by red pixels, a green area that is an area occupied by green pixels, and a green area that is an area occupied by blue pixels.
なお、映像を構成する静止画像は、赤(Red:以下単にRとも記載)・緑(Green、以下単にGとも記載)・青(Blue、以下単にBとも記載)の3原色の各色成分を持つ画素の列として入力されており、これら3原色の組合せによって、1つの画素の色が表されている。つまり、静止画像(以下、単に画像ともいう)は、位置座標(X,Y)における画素(ピクセル)のRGBデータが格納された配列pixel[X][Y]と表記することができる。この配列pixel[X][Y]は、後記する映像画像合成装置1の動作の説明において、この位置情報検出手段3によって、位置情報を検出する際に、実際に処理される対象となるものである。
The still image constituting the video has three primary color components of red (Red: hereinafter simply referred to as R), green (Green, hereinafter simply referred to as G), and blue (Blue, hereinafter simply referred to as B). It is input as a column of pixels, and the color of one pixel is represented by a combination of these three primary colors. That is, a still image (hereinafter also simply referred to as an image) can be expressed as an array pixel [X] [Y] in which RGB data of pixels (pixels) at position coordinates (X, Y) is stored. This array pixel [X] [Y] is a target to be actually processed when position information is detected by the position information detecting means 3 in the description of the operation of the video
そして、映像を撮影する際の撮影環境によって、画素の色は変化することになるが、3原色の成分の組合せには、ある傾向がみられるため、映像合成装置1では、適当な条件式で表される判断条件(判別基準)を設定し、この条件式を満たすか満たさないかによって、ある画素が、求める色域(色配置パターンの赤色域、緑色域、青色域)であるかどうかを判別することができる。 The color of the pixel changes depending on the shooting environment when shooting the video, but there is a certain tendency in the combination of the three primary color components. Whether or not a certain pixel is in the desired color gamut (red, green, or blue gamut of the color arrangement pattern) depends on whether or not this conditional expression is met or not. Can be determined.
なお、この3原色の成分の組合せにおける、ある傾向とは、例えば、赤(Red)・緑(Green)・青(Blue)の3原色の各色が0〜255の画素値をとる場合、R=0、G=0、B=255であれば、この3原色の成分の組合せは理想的な青色域となる。しかし、実際の撮影環境によってRGBの画素値の値は変動しているので、理想的な青色域を維持することが困難である。そこで、「Bの画素値が他よりもある程度大きく、RとGとの画素値はほぼ同じ」という傾向は、撮影環境が変化しても保持されるので、このような傾向を指す。なお、この傾向を数式で表すと、例えば、B−R>50、|R−G|<10となる。 A certain tendency in the combination of the three primary color components is, for example, when each of the three primary colors of red (Red), green (Green), and blue (Blue) takes a pixel value of 0 to 255, R = If 0, G = 0, and B = 255, the combination of these three primary color components is an ideal blue region. However, since the RGB pixel values vary depending on the actual shooting environment, it is difficult to maintain an ideal blue region. Therefore, the tendency that “the pixel value of B is somewhat larger than the others and the pixel values of R and G are almost the same” is maintained even when the shooting environment changes, and thus indicates such a tendency. In addition, when this tendency is expressed by a mathematical expression, for example, B−R> 50 and | R−G | <10.
ここで、図2に、色配置パターンの例を示す。なお、この図2において、色配置パターンIは、縦縞が青色の画素の占める青色域を示しており、横縞が赤色の画素の占める赤色域を示しており、格子縞が緑色の画素の占める緑色域を示している。そして、この色配置パターン(左上青、右赤、左下緑)を、時計回りに90度回転させたもの(左緑、右上青、右下赤)、180度回転させたもの(左赤、右上緑、右下青)、270度回転させたもの(左上赤、左下青、右緑)、の4つの色配置パターンを、この実施形態では用いることとしている。 Here, FIG. 2 shows an example of the color arrangement pattern. In FIG. 2, the color arrangement pattern I indicates a blue region in which vertical stripes are occupied by blue pixels, a horizontal stripe indicates a red region in which red pixels are occupied, and a green region in which lattice stripes are occupied by green pixels. Is shown. This color arrangement pattern (upper left blue, right red, lower left green) is rotated 90 degrees clockwise (left green, upper right blue, lower right red), and rotated 180 degrees (left red, upper right green) In this embodiment, four color arrangement patterns of green (lower right blue) and 270 degrees rotated (upper left red, lower left blue, right green) are used.
そして、これら4つの色配置パターンを、図3に示すように、板状のパネルPの四隅に描いておく。なお、この図3は、スタジオのセットをカメラで撮影した映像の例を示したものである。すなわち、4つの色配置パターンを描いておいた板状のパネルPは、当該スタジオのセットの一部であり、同じくセットの一部である載置台Sに設置されている。また、色配置パターン(左上青、右赤、左下緑:I1(I))を、時計回りに90度回転させたもの(左緑、右上青、右下赤:I2(I))、180度回転させたもの(左赤、右上緑、右下青:I3(I))、270度回転させたもの(左上赤、左下青、右緑:I4(I))としている。 These four color arrangement patterns are drawn at the four corners of the plate-like panel P as shown in FIG. FIG. 3 shows an example of an image obtained by photographing a studio set with a camera. That is, the plate-like panel P on which the four color arrangement patterns are drawn is a part of the set of the studio, and is installed on the mounting table S that is also a part of the set. A color arrangement pattern (upper left blue, right red, lower left green: I 1 (I)) rotated 90 degrees clockwise (left green, upper right blue, lower right red: I 2 (I)), Rotated 180 degrees (left red, upper right green, lower right blue: I 3 (I)) and rotated 270 degrees (upper left red, lower left blue, right green: I 4 (I)).
なお、この実施形態では、4つの色配置パターンを用いて、後記するようにCG画像を合成する位置(領域)を特定しているが、これに限定されず、4未満又は5以上の色配置パターンを用いて位置情報を検出し、CG画像を合成する位置を特定してもよい。図1に戻る。 In this embodiment, the position (region) for synthesizing the CG image is specified using four color arrangement patterns as will be described later. However, the present invention is not limited to this, and the color arrangement of less than four or five or more is used. The position information may be detected using a pattern, and the position where the CG image is synthesized may be specified. Returning to FIG.
そして、位置情報検出手段3は、この図3に示した4つの色配置パターンから位置情報を検出するために、まず、静止画像に含まれている1つの画素が、青色域の色であるかどうかを判別し、青色域の色でないと判別した場合、次の画素が青色域の色であるどうかを判別する。そして、位置情報検出手段3は、1つの画素が、青色域の色であると判別した場合、次の4つの判別(判別A、判別B、判別C、判別D)をそれぞれ行っている。
Then, in order to detect the position information from the four color arrangement patterns shown in FIG. 3, the position
この実施の形態では、RGBのそれぞれの画素値の範囲が0〜255の場合、青色域:B−R>50 |R−G|<10と設定しており、また、赤色域:R−B>80 |G−B|<10、緑色域:G−R>30 |R−B|<20と設定している。 In this embodiment, when the range of each pixel value of RGB is 0 to 255, the blue region: BR> 50 | RG | <10 is set, and the red region: RB > 80 | GB | <10, green region: GR> 30 | RB | <20.
判別Aでは、1回目の判別(判別A−1)として、この青色域の画素の右に1ピクセル(1画素分)移動した位置にある画素が赤色域であり、且つ、この青色域の画素の下に1ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。 In the discrimination A, as a first discrimination (discrimination A-1), a pixel at a position moved by one pixel (one pixel) to the right of the blue region pixel is the red region, and the blue region pixel It is checked whether or not the pixel at the position moved by one pixel below is in the green region.
続いて、判別Aでは、2回目の判別(判別A−2)として、この青色域の画素の右に2ピクセル(2画素分)移動した位置にある画素が赤色域であり、且つ、この青色域の画素の下に2ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。 Subsequently, in the discrimination A, as a second discrimination (discrimination A-2), the pixel located at the position moved by 2 pixels (2 pixels) to the right of the blue region pixel is the red region, and this blue region It is checked whether or not a pixel at a position shifted by two pixels below the pixel in the area is in the green area.
そして、判別Aでは、このような判別を繰り返し、n回目の判別(判別A−n)として、この青色域の画素の右にnピクセル(n画素分)移動した位置にある画素が赤色域であり、且つ、この青色域の画素の下にnピクセル移動した位置にある画素が緑色域であるかどうかを行っている。 In the determination A, such determination is repeated, and as a determination for the nth time (determination An), a pixel at a position moved n pixels (n pixels) to the right of the pixel in the blue region is the red region. In addition, it is determined whether or not a pixel at a position shifted by n pixels below the pixel in the blue region is in the green region.
そして、位置情報検出手段3は、1回目の判別からn回目の判別までのうち、少なくとも1回でも条件を満たした場合は、判別Aの条件を満たしたとする。 Then, the position information detection means 3 satisfies the condition of the discrimination A when the condition is satisfied at least once from the first discrimination to the n-th discrimination.
判別Bでは、1回目の判別(判別B−1)として、この青色域の画素の下に1ピクセル(1画素分)移動した位置にある画素が赤色域であり、且つ、この青色域の画素の左に1ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。 In the discrimination B, as the first discrimination (discrimination B-1), the pixel at the position moved by one pixel (one pixel) below the blue region pixel is the red region, and the blue region pixel Whether or not the pixel at the position moved by one pixel to the left of is in the green region.
続いて、判別Bでは、2回目の判別(判別B−2)として、この青色域の画素の下に2ピクセル(2画素分)移動した位置にある画素が赤色域であり、且つ、この青色域の画素の左に2ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。 Subsequently, in the discrimination B, as the second discrimination (discrimination B-2), the pixel at the position moved by 2 pixels (2 pixels) below the blue region pixel is the red region, and this blue region It is checked whether or not a pixel at a position shifted by two pixels to the left of the pixel in the area is in the green area.
そして、判別Bでは、このような判別を繰り返し、n回目の判別(判別B−n)として、この青色域の画素の下にnピクセル(n画素分)移動した位置にある画素が赤色域であり、且つ、この青色域の画素の左にnピクセル移動した位置にある画素が緑色域であるかどうかを行っている。 In the determination B, such determination is repeated, and as a determination for the nth time (determination B−n), a pixel at a position moved by n pixels (n pixels) below the pixel in the blue region is the red region. In addition, it is determined whether or not a pixel at a position shifted by n pixels to the left of the blue region pixel is in the green region.
そして、位置情報検出手段3は、1回目の判別からn回目の判別までのうち、少なくとも1回でも条件を満たした場合は、判別Bの条件を満たしたとする。
Then, it is assumed that the position
判別Cでは、1回目の判別(判別C−1)として、この青色域の画素の左に1ピクセル(1画素分)移動した位置にある画素が赤色域であり、且つ、この青色域の画素の上に1ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。 In the discrimination C, as a first discrimination (discrimination C-1), a pixel at a position moved by one pixel (one pixel) to the left of the blue region pixel is the red region, and the blue region pixel Whether or not the pixel at the position moved by one pixel above is in the green region is determined.
続いて、判別Cでは、2回目の判別(判別C−2)として、この青色域の画素の左に2ピクセル(2画素分)移動した位置にある画素が赤色域であり、且つ、この青色域の画素の上に2ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。 Subsequently, in the discrimination C, as the second discrimination (discrimination C-2), the pixel at the position moved by 2 pixels (2 pixels) to the left of the blue region pixel is the red region, and this blue region It is checked whether or not a pixel at a position shifted by two pixels above the pixel in the region is in the green region.
そして、判別Cでは、このような判別を繰り返し、n回目の判別(判別C−n)として、この青色域の画素の左にnピクセル(n画素分)移動した位置にある画素が赤色域であり、且つ、この青色域の画素の上にnピクセル移動した位置にある画素が緑色域であるかどうかを行っている。 In the determination C, such determination is repeated, and as a determination for the nth time (determination C−n), a pixel at a position moved by n pixels (n pixels) to the left of the pixel in the blue region is the red region. In addition, it is determined whether or not a pixel located at a position shifted by n pixels on the blue region pixel is in the green region.
そして、位置情報検出手段3は、1回目の判別からn回目の判別までのうち、少なくとも1回でも条件を満たした場合は、判別Cの条件を満たしたとする。 The position information detection means 3 is assumed to satisfy the condition of discrimination C when the condition is satisfied at least once from the first discrimination to the n-th discrimination.
判別Dでは、1回目の判別(判別D−1)として、この青色域の画素の上に1ピクセル(1画素分)移動した位置にある画素が赤色域であり、且つ、この青色域の画素の右に1ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。 In the determination D, as a first determination (determination D-1), a pixel located at a position moved by one pixel (one pixel) above the pixel in the blue region is the red region, and the pixel in the blue region Whether or not the pixel at the position moved by one pixel to the right of is in the green region.
続いて、判別Dでは、2回目の判別(判別D−2)として、この青色域の画素の上に2ピクセル(2画素分)移動した位置にある画素が赤色域であり、且つ、この青色域の画素の右に2ピクセル移動した位置にある画素が緑色域であるかどうかを行っている。 Subsequently, in the determination D, as a second determination (determination D-2), a pixel at a position moved by two pixels (for two pixels) on this blue region pixel is the red region, and this blue region It is checked whether or not a pixel at a position shifted by two pixels to the right of the pixel in the region is in the green region.
そして、判別Dでは、このような判別を繰り返し、n回目の判別(判別D−n)として、この青色域の画素の上にnピクセル(n画素分)移動した位置にある画素が赤色域であり、且つ、この青色域の画素の右にnピクセル移動した位置にある画素が緑色域であるかどうかを行っている。 In the determination D, such determination is repeated, and as a determination for the nth time (determination D−n), a pixel at a position moved by n pixels (for n pixels) on the pixel in the blue region is the red region. In addition, it is determined whether or not a pixel at a position shifted by n pixels to the right of the blue region pixel is in the green region.
そして、位置情報検出手段3は、1回目の判別からn回目の判別までのうち、少なくとも1回でも条件を満たした場合は、判別Dの条件を満たしたとする。
Then, it is assumed that the position
なお、判別A、判別B、判別C及び判別Dにおけるnは、静止画像を構成する画素の総数に従って設定したものである。
また、これら4つの判別の意味について述べると、板状のパネルPの四隅に描いた色配置パターンの中で、判別Aは左上に描いた色配置パターンの位置を判別するのに行うものであり、判別Bは右上に描いた色配置パターンの位置を判別するのに行うものであり、判別Cは右下に描いた色配置パターンの位置を判別するのに行うものであり、判別Dは左下に描いた色配置パターンの位置を判別するのに行うものである。
Note that n in the discrimination A, the discrimination B, the discrimination C, and the discrimination D is set according to the total number of pixels constituting the still image.
Further, the meaning of these four discriminations will be described. Among the color arrangement patterns drawn at the four corners of the plate-like panel P, discrimination A is performed to discriminate the position of the color arrangement pattern drawn at the upper left. Discrimination B is performed to discriminate the position of the color arrangement pattern drawn in the upper right, Discrimination C is carried out to discriminate the position of the color arrangement pattern drawn in the lower right, and Discrimination D is the lower left. This is performed to determine the position of the color arrangement pattern drawn in (1).
この実施の形態では、4つの色配置パターンについて、3原色の正方形の領域を、カギ括弧を成すように配置しており、頂角の部分に青色域の領域を配置しているが、青色域の領域に限定されず、赤色域の領域でも、緑色域の領域でもよい。 In this embodiment, for the four color arrangement patterns, the three primary color square areas are arranged so as to form square brackets, and the blue area is arranged at the apex portion. The region is not limited to the above region, and may be a red region or a green region.
そして、位置情報検出手段3では、判別A〜判別Dによって判別される画素が、板状のパネルPの四隅に描かれている色配置パターンにおいて、頂角の部分に配置されている青色域に集まることになる。そして、位置情報検出手段3では、判別A〜判別Dにおいて、複数回条件を満たした場合、すなわち、条件を満たした画素が複数個ある場合、これらの画素の集まりである点群について、当該点群の重心となる位置座標を四隅に描かれている色配置パターンごとに求め、位置A、B、C、D(A点、B点、C点、D点)とすることで、これらの位置座標を、位置情報として検出している。
Then, in the position information detection means 3, the pixels determined by the determination A to the determination D are in the blue region arranged in the apex portion in the color arrangement pattern drawn at the four corners of the plate-like panel P. Will be gathered. In the position
つまり、位置情報検出手段3で用いている判別基準は、静止画像に含まれる画素が特定色(特定の色域に属すか否か、この実施の形態では青色域)である否かを判別し、特定色の画素と判別した場合に、当該特定色の画素から左又は右(横方向)に位置する画素の色と、上又は下(縦方向)に位置する画素の色とがそれぞれ特定の色域(赤色域、緑色域)に属すか否かということである。 In other words, the discrimination criterion used in the position information detection means 3 discriminates whether or not the pixel included in the still image is a specific color (whether it belongs to a specific color gamut, or in this embodiment, a blue color gamut). When the pixel is determined to be a specific color pixel, the color of the pixel located on the left or right (horizontal direction) from the pixel of the specific color and the color of the pixel located above or below (vertical direction) are respectively specified. Whether it belongs to the color gamut (red gamut, green gamut).
CG作画手段5は、CG素材データ蓄積手段7に蓄積されているCG素材データにより、位置情報検出手段3で検出された位置情報(位置座標;A点、B点、C点、D点の座標)で位置が判別した特定の色配置(色配置パターン)を覆い隠す大きさのCG画像を作画(描画)して、合成手段9に出力するものである。なお、位置情報検出手段3で検出された位置情報も合成手段9に出力される。
The CG drawing means 5 uses the CG material data stored in the CG material data storage means 7 to detect the position information (position coordinates; points A, B, C, D) detected by the position information detection means 3. CG image having a size that covers the specific color arrangement (color arrangement pattern) whose position is determined in () is drawn (drawn) and output to the synthesizing means 9. Note that the position information detected by the position
この実施形態では、位置情報検出手段3によって検出された色配置パターンが4つであるので、この4つの位置(4点の位置座標)で囲まれる領域を覆い隠すCG画像がCG作画手段5によって作画されることになる。ただし、色配置パターンが1つ又は2つの場合、囲まれる領域が特定できないことになるが、合成時に、これら色配置パターンが隠れるような大きさのCG画像を作画すればよい。 In this embodiment, since there are four color arrangement patterns detected by the position information detection means 3, a CG image that covers an area surrounded by these four positions (position coordinates of four points) is obtained by the CG drawing means 5. It will be drawn. However, when there are one or two color arrangement patterns, the enclosed area cannot be specified, but a CG image having such a size as to hide these color arrangement patterns may be drawn at the time of synthesis.
CG素材データ蓄積手段7は、CG画像を作画する際に用いるCG素材データを予め蓄積しておくもので、一般的なハードディスク等によって構成されている。 The CG material data storage means 7 stores CG material data used for drawing a CG image in advance, and is constituted by a general hard disk or the like.
合成手段9は、CG作画手段5で作画されたCG画像と、入力された映像とを、位置情報(A点、B点、C点及びD点の位置座標)に基づいて合成するものである。以下、この合成手段9で合成されたものを、合成画像又は合成映像という。
The synthesizing means 9 synthesizes the CG image drawn by the CG drawing means 5 and the input video based on the position information (position coordinates of the points A, B, C, and D). . Hereinafter, what is synthesized by the synthesizing
ここで、図4から図6までを参照して、CG作画手段5によって、実際に作画したCG画像の例を示しながら、合成手段9によって、CG作画手段5で作画したCG画像と、カメラで撮影した映像とを合成する流れを説明する。 Here, referring to FIG. 4 to FIG. 6, while showing an example of the CG image actually drawn by the CG drawing means 5, the CG image drawn by the CG drawing means 5 by the synthesizing means 9 and the camera. The flow of synthesizing the shot video will be described.
このCG作画手段5は、まず、CG素材データ蓄積手段7からCG素材データを読み出してCG画像Gを作画する(図4参照)。続いて、CG作画手段5は、作画したCG画像Gを合成する領域として、A点、B点、C点及びD点の位置座標を頂点とする四角形を想定する。
The CG drawing means 5 first reads CG material data from the CG material data storage means 7 and draws a CG image G (see FIG. 4). Subsequently, the
そして、CG作画手段5は、この四角形の相似形状を保ったまま、当該四角形を拡大し、この拡大した四角形(四角形領域)の内部に収まるように、作画したCG画像を変形処理する。ここで、四角形を拡大するのは、作画したCG画像と映像とを合成する際に、色配置パターンの描かれている板状のパネルPが完全に隠れるようにするためである。なお、CG作画手段5は、この変形処理した際に、四角形領域の外部を黒色の映像とする(図5参照)。なお、この図5において、変形処理したCG画像を、変形処理CG画像GBとしている。 Then, the CG drawing means 5 enlarges the rectangle while maintaining the similar shape of the rectangle, and deforms the drawn CG image so as to fit within the enlarged rectangle (rectangular region). Here, the reason for enlarging the quadrangle is to completely hide the plate-like panel P on which the color arrangement pattern is drawn when the drawn CG image and the video are combined. Note that the CG drawing means 5 makes the outside of the quadrangular area a black image when this deformation processing is performed (see FIG. 5). Incidentally, in FIG. 5, the CG image obtained by deformation processing, and the deformation processing CG image G B.
そして、合成手段9は、入力された映像を構成する静止画像に図5に示したCG画像をスーパー合成する、つまり、A点、B点、C点及びD点の位置座標を頂点とする四角形、すなわち、特定の色配置パターンが描かれている板状のパネルPの位置に当該CG画像をはめ込むように合成する(図6参照)。
Then, the synthesizing
この図6に示したように、合成映像(合成画像)は、入力された映像が背景映像Hとなり、載置台Sに設置された板状のパネルP(4つの色配置パターンI)を覆い隠すように、変形処理CG画像GBが合成されている。すなわち、この合成映像では、変形処理CG画像GBの黒色の映像が、背景映像Hに置き換わったものとも言える。 As shown in FIG. 6, in the synthesized video (synthesized image), the inputted video becomes the background video H, and covers the plate-like panel P (four color arrangement patterns I) installed on the mounting table S. as such, deformation process CG image G B have been synthesized. That is, in this combined image, the image of a black modification process CG image G B is true as replacing a background image H.
なお、入力された映像は、短時間に更新される静止画像で構成されていると言えるので映像合成装置1は、位置情報検出手段3によって、静止画像一枚一枚について、位置情報(A点、B点、C点及びD点の位置座標)を順次取得し、合成手段9によって、CG作画手段5で作画したCG画像を合成していくことで、リアルタイムにはめ込み処理を行うことができる。
Since the input video can be said to be composed of still images that are updated in a short time, the
この映像合成装置1によれば、入力される映像について、当該映像中に含まれる特定の色配置を設けておいて、この色配置の位置から、位置情報検出手段3によって、CG画像を合成する位置となる位置情報を検出することで、特定の色配置が入力される映像中に含まれるようにしておけば、従来のように、カメラパラメータを取得するセンサを設置してあるカメラや、撮影される人物以外をすべてCG画像で作画するような大きな設備が整っているスタジオで撮影する必要がなくなる。このため、映像を撮影する際の撮影機材や撮影環境に制約されることなく、合成手段9によって、映像とCG画像とを合成することができる。
According to this
また、この映像合成装置1によれば、判別基準を満たした画素の集合を、静止画像中の点群とみなし、この点群の重心の位置座標を、位置情報として検出することで、色配置の位置を厳密に求めることがなく、色配置の近傍の位置座標を求めることとなる。このため、例えば、カメラで映像を撮影している際に用いる照明の照度が変化した場合、すなわち、撮影環境が変化した場合に、画素の色相や輝度が変化してしまった場合でも、判別条件を満たす画素が最低限1つでもあれば(ここが重心となる)、位置情報を取得することができることとなる。すなわち、点群の重心を取ることで、色の判別条件を広く取ることができるため、撮影環境の自由度を広くすることができる(撮影環境に制約されることが少なくなる)。
In addition, according to the
(映像合成装置の動作)
次に、図7に示すフローチャートを参照して、映像合成装置1の動作について説明する(適宜、図1参照)。
まず、映像合成装置1は、位置情報検出手段3に、映像を構成する画像(ピクセルのRGBデータが格納された配列pixel[X][Y])を入力する(ステップS1)。続いて、映像合成装置1は、位置情報検出手段3によって、pixel[X][Y]のRGBデータの解析を開始する(ステップS2)。なお、この解析は、初期値pixel[0][0]から実行される。
(Operation of video composition device)
Next, the operation of the
First, the
そして、映像合成装置1は、pixel[X][Y]からある方向・範囲にあるピクセルの集合A1、A2、・・・Anを設定する(判別A〜判別Dの設定に相当する)(ステップS3)。また、映像合成装置1は、RGBの値がある特定のパターンを持つような条件P1、P2、・・・Pnを設定する(色配置パターンの設定に相当する)(ステップS4)。そして、映像合成装置1は、ピクセル群(ピクセルの集合)A1、A2、・・・Anと条件P1、P2、・・・Pnを用いて、判断条件(判別基準)Pを設定する(ステップS5)。
Then, the
そして、映像合成装置1は、位置情報検出手段3によって、判断条件“P”を満たすか否かを判定し(ステップS6)、満たすと判定した場合(ステップS6でYes)、pixel[X][Y]を、条件を満たしたピクセルとして処理する(ステップS7)。また、映像合成装置1は、ステップS6にて判断条件“P”を満たすと判定しなかった場合(ステップS6でNo)、ステップS8に移行する。
Then, the
そして、映像合成装置1は、位置情報検出手段3によって、すべてのピクセルの解析が終了したか否かを判定し(ステップS8)、すべてのピクセルの解析が終了したと判定しなかった場合(ステップS8でNo)、ステップS2に戻り、次のピクセルの解析をする(ステップS9)。
Then, the
映像合成装置1は、位置情報検出手段3によって、すべてのピクセルの解析が終了したと判定した場合(ステップS8でYes)、条件を満たしたピクセルの点群の重心G=(GX,GY)を求める(ステップS10)。つまり、映像合成装置1は、青色域の画素の集合における重心を計算する。
When the position
そして、映像合成装置1は、位置情報検出手段3からCG作画手段5に求めた重心座標を出力する(ステップS11)。そして、映像合成装置1は、CG作画手段5によって、CG素材データ蓄積手段7からCG素材データを読み出して、CG画像を作画し(ステップS12)、合成手段9によって、映像とCG画像を合成して出力する(ステップS13)。
Then, the
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、映像合成装置1として説明したが、各構成の処理を実行可能に記述した映像合成プログラムとしても構成することができる。
As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. For example, in the present embodiment, the
1 映像合成装置
3 位置情報検出手段
5 CG作画手段
7 CG素材データ蓄積手段
9 合成手段
P 板状のパネル
S 載置台
G CG画像
GB 変形処理CG画像
H 背景映像(入力された映像)
1
Claims (3)
前記映像を構成する静止画像における画素の配置が予め設定した判別基準を満たすか否かに基づいて、当該映像中に含まれる特定の色配置の位置を判別し、当該判別基準を満たした色配置の位置を、位置情報として検出する位置情報検出手段と、
予め蓄積しておいた前記CG画像を作画するための素材となるCG素材データにより、前記位置情報検出手段で検出された位置情報で位置が判別した特定の色配置を覆い隠す大きさのCG画像を作画するCG作画手段と、
このCG作画手段で作画されたCG画像と前記映像とを、前記位置情報検出手段で検出された位置情報に基づいて合成する合成手段と、
を備えることを特徴とする映像合成装置。 A video synthesizing device that synthesizes the video and a CG image based on position information obtained by detecting a specific color arrangement included in the video shot by the camera,
Based on whether or not the pixel arrangement in the still image constituting the video satisfies a predetermined criterion, the position of a specific color arrangement included in the video is determined, and the color arrangement satisfying the criterion Position information detecting means for detecting the position as position information;
A CG image having a size that covers the specific color arrangement whose position is determined by the position information detected by the position information detecting means, based on the CG material data as a material for drawing the CG image accumulated in advance. CG drawing means to draw
Combining means for combining the CG image drawn by the CG drawing means and the video based on the position information detected by the position information detecting means;
A video synthesizing apparatus comprising:
前記映像を構成する静止画像における画素の配置が予め設定した判別基準を満たすか否かに基づいて、当該映像中に含まれる特定の色配置の位置を判別し、当該判別基準を満たした色配置の位置を、位置情報として検出する位置情報検出手段、
予め蓄積しておいた前記CG画像を作画するための素材となるCG素材データにより、前記位置情報検出手段で検出された位置情報で位置が判別した特定の色配置を覆い隠す大きさのCG画像を作画するCG作画手段、
このCG作画手段で作画されたCG画像と前記映像とを、前記位置情報検出手段で検出された位置情報に基づいて合成する合成手段、
として機能させることを特徴とする映像合成プログラム。 In order to synthesize the video and the CG image based on the position information obtained by detecting a specific color arrangement included in the video captured by the camera,
Based on whether or not the pixel arrangement in the still image constituting the video satisfies a predetermined criterion, the position of a specific color arrangement included in the video is determined, and the color arrangement satisfying the criterion Position information detecting means for detecting the position of
A CG image having a size that covers the specific color arrangement whose position is determined by the position information detected by the position information detecting means, based on the CG material data as a material for drawing the CG image accumulated in advance. CG drawing means to draw
Combining means for combining the CG image drawn by the CG drawing means and the video based on the position information detected by the position information detecting means;
A video composition program characterized by functioning as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007118091A JP2008278103A (en) | 2007-04-27 | 2007-04-27 | Video composition device and video composition program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007118091A JP2008278103A (en) | 2007-04-27 | 2007-04-27 | Video composition device and video composition program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008278103A true JP2008278103A (en) | 2008-11-13 |
Family
ID=40055551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007118091A Pending JP2008278103A (en) | 2007-04-27 | 2007-04-27 | Video composition device and video composition program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008278103A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016024466A (en) * | 2014-07-23 | 2016-02-08 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Display driver, display system, and method of operating display driver |
CN107566761A (en) * | 2017-09-30 | 2018-01-09 | 联想(北京)有限公司 | A kind of image processing method and electronic equipment |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003346190A (en) * | 2002-05-29 | 2003-12-05 | Canon Inc | Image processor |
JP2004178554A (en) * | 2002-09-30 | 2004-06-24 | Canon Inc | Video compositing apparatus and method |
JP2004287699A (en) * | 2003-03-20 | 2004-10-14 | Tama Tlo Kk | Image composition device and method |
-
2007
- 2007-04-27 JP JP2007118091A patent/JP2008278103A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003346190A (en) * | 2002-05-29 | 2003-12-05 | Canon Inc | Image processor |
JP2004178554A (en) * | 2002-09-30 | 2004-06-24 | Canon Inc | Video compositing apparatus and method |
JP2004287699A (en) * | 2003-03-20 | 2004-10-14 | Tama Tlo Kk | Image composition device and method |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016024466A (en) * | 2014-07-23 | 2016-02-08 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Display driver, display system, and method of operating display driver |
US10430918B2 (en) | 2014-07-23 | 2019-10-01 | Samsung Electronics Co., Ltd. | Display driver, display system, and method of operating the display driver |
CN107566761A (en) * | 2017-09-30 | 2018-01-09 | 联想(北京)有限公司 | A kind of image processing method and electronic equipment |
CN107566761B (en) * | 2017-09-30 | 2020-08-25 | 联想(北京)有限公司 | Image processing method and electronic equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3925521B2 (en) | Keystone correction using part of the screen edge | |
TWI253006B (en) | Image processing system, projector, information storage medium, and image processing method | |
US10666862B2 (en) | Image stitching and automatic-color correction | |
US9171351B2 (en) | Image processing device that synthesizes image | |
US8326077B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
US8761497B2 (en) | Removal of shadows from images in a video signal | |
US20170345214A1 (en) | High Resolution (HR) Panorama Generation Without Ghosting Artifacts Using Multiple HR Images Mapped to a Low-Resolution 360-Degree Image | |
JP4165540B2 (en) | How to adjust the position of the projected image | |
US8290271B2 (en) | Method, medium and apparatus correcting projected image | |
JP2003219324A (en) | Image correction data calculation method, image correction data calculation apparatus, and multi- projection system | |
JP2009124685A (en) | Method and system for combining videos for display in real-time | |
JP2008234130A (en) | Picture quality improvement processing method and program corresponding to two or more regions | |
JP2007271771A (en) | Image display system and control method therefor | |
JP2008278103A (en) | Video composition device and video composition program | |
JP6056511B2 (en) | Image processing apparatus, method, program, and imaging apparatus | |
JP2007096622A (en) | Correction data creation method, correction data creation device, and image projection system | |
JP2011050054A (en) | Method and device for generating display mask, and computer readable storage medium | |
WO2018087856A1 (en) | Image synthesis device and image synthesis method | |
JP2010193154A (en) | Image processor and method | |
JP5883715B2 (en) | Image processing LSI, image processing system, and image processing method | |
JP2012113244A (en) | Image processor, image processing method and program | |
JP6694760B2 (en) | Image synthesizing device and image synthesizing program | |
CN111754398A (en) | Method and device for generating virtual reality image by using image stitching technology | |
JP2005333628A (en) | Camera control apparatus, and monitoring camera system using same | |
JP7496564B2 (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091016 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120522 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120925 |