JP2019200774A - Image synthesizing device, image synthesizing method, and program - Google Patents
Image synthesizing device, image synthesizing method, and program Download PDFInfo
- Publication number
- JP2019200774A JP2019200774A JP2018212309A JP2018212309A JP2019200774A JP 2019200774 A JP2019200774 A JP 2019200774A JP 2018212309 A JP2018212309 A JP 2018212309A JP 2018212309 A JP2018212309 A JP 2018212309A JP 2019200774 A JP2019200774 A JP 2019200774A
- Authority
- JP
- Japan
- Prior art keywords
- image
- target object
- video
- unit
- arrangement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 title claims description 47
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 239000000203 mixture Substances 0.000 claims description 51
- 238000004590 computer program Methods 0.000 claims description 2
- 238000001308 synthesis method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 26
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像合成装置、画像合成方法及びプログラムに関する。 The present invention relates to an image composition device, an image composition method, and a program.
放送番組の映像等では、映像中に出現する人物や建物等のオブジェクトの名前、説明等の関連事項を記述したコンピュータグラフィク画像（以下、ＣＧ画像と記載する）を、そのオブジェクト上や近傍の位置に配置した合成映像が用いられている。 In a broadcast program video or the like, a computer graphic image (hereinafter referred to as a CG image) that describes related items such as names and descriptions of objects such as persons and buildings that appear in the video is positioned on or near the object. The composite video placed in is used.
現在、これらの合成技術において、ＣＧ画像を配置する配置位置は、オブジェクトを基準にして予め定めており、コンピュータグラフィク画像をその位置に配置して、合成映像を生成している。 At present, in these synthesis techniques, the arrangement position where the CG image is arranged is determined in advance with reference to the object, and the computer graphic image is arranged at that position to generate a synthesized video.
しかしながら、オブジェクトの映像上の位置によっては、予め定めた位置にＣＧ画像を配置すると、ＣＧ画像が画面内に収まりきれない場合があった。結果として、このような場合はＣＧ画像の合成を諦めていた。 However, depending on the position of the object on the video, if the CG image is arranged at a predetermined position, the CG image may not fit within the screen. As a result, in such a case, the synthesis of the CG image was given up.
また、オブジェクトが多数の場合、それに伴い合成するＣＧ画像も増加する。このような場合、従来のように予め定めた位置にＣＧ画像を配置すると、ＣＧ画像同士が重なり合ってしまう場合も多かった。 In addition, when there are a large number of objects, CG images to be combined increase accordingly. In such a case, when CG images are arranged at a predetermined position as in the past, the CG images often overlap each other.
そこで、本発明の目的は、オブジェクトの映像上の位置によって、ＣＧ画像を重畳する位置を適応的に制御する画像合成装置、画像合成方法及びプログラムを提供することにある。 Accordingly, an object of the present invention is to provide an image composition device, an image composition method, and a program that adaptively control the position where a CG image is superimposed according to the position of an object on a video.
本発明の一態様は、映像中に出現するターゲットオブジェクトに関連するコンピュータグラフィク画像を前記映像に合成する画像合成装置であって、前記映像から、前記ターゲットオブジェクトを画像認識する画像認識部と、前記画像認識部により認識されたターゲットオブジェクトの映像上の位置を検出する位置検出部と、前記位置検出部により検出されたターゲットオブジェクトの映像上の位置を用いて、前記コンピュータグラフィク画像の映像上の配置位置を適応的に決定する画像配置部と、前記コンピュータグラフィク画像が前記画像配置部により決定された配置位置に重畳された映像を生成する画像合成部とを有する画像合成装置である。 One aspect of the present invention is an image synthesis device that synthesizes a computer graphic image related to a target object appearing in a video with the video, an image recognition unit that recognizes the target object from the video, and A position detection unit for detecting a position on the video of the target object recognized by the image recognition unit, and an arrangement on the video of the computer graphic image using the position on the video of the target object detected by the position detection unit An image composition apparatus comprising: an image placement unit that adaptively determines a position; and an image composition unit that generates an image in which the computer graphic image is superimposed on the placement position determined by the image placement unit.
本発明の一態様は、映像中に出現するターゲットオブジェクトに関連するコンピュータグラフィク画像を前記映像に合成する画像合成方法であって、前記映像から、前記ターゲットオブジェクトを画像認識し、認識されたターゲットオブジェクトの映像上の位置を検出し、検出されたターゲットオブジェクトの映像上の位置を用いて、前記コンピュータグラフィク画像の映像上の配置位置を適応的に決定し、前記コンピュータグラフィク画像が前記画像配置部により決定された配置位置に重畳された映像を生成する画像合成方法である。 One aspect of the present invention is an image composition method for compositing a computer graphic image related to a target object appearing in a video with the video, wherein the target object is image-recognized from the video, and the recognized target object The position of the computer graphic image is adaptively determined using the detected position of the target object on the image, and the computer graphic image is detected by the image arrangement unit. This is an image composition method for generating a video image superimposed on a determined arrangement position.
本発明の一態様は、映像中に出現するターゲットオブジェクトに関連するコンピュータグラフィク画像を前記映像に合成するコンピュータのプログラムであって、前記映像から、前記ターゲットオブジェクトを画像認識する画像認識処理と、前記画像認識処理により認識されたターゲットオブジェクトの映像上の位置を検出する位置検出処理と、前記位置検出処理により検出されたターゲットオブジェクトの映像上の位置を用いて、前記コンピュータグラフィク画像の映像上の配置位置を適応的に決定する画像配置処理と、前記コンピュータグラフィク画像が前記画像配置部により決定された配置位置に重畳された映像を生成する画像合成処理とをコンピュータに実行させるプログラムである。 One aspect of the present invention is a computer program that synthesizes a computer graphic image related to a target object appearing in a video with the video, the image recognition processing for recognizing the target object from the video, A position detection process for detecting a position on the video of the target object recognized by the image recognition process, and an arrangement on the video of the computer graphic image using the position on the video of the target object detected by the position detection process This is a program for causing a computer to execute an image arrangement process for adaptively determining a position and an image composition process for generating an image in which the computer graphic image is superimposed on the arrangement position determined by the image arrangement unit.
本発明は、オブジェクトの映像上の位置によって、ＣＧ画像を重畳する位置を適応的に制御しているので、ＣＧ画像が適切な位置で重畳された映像を生成することができる。 According to the present invention, the position where the CG image is superimposed is adaptively controlled according to the position of the object on the video, so that a video in which the CG image is superimposed at an appropriate position can be generated.
＜第１の実施の形態＞
図面を参照して、本発明の第１の実施の形態における画像合成装置及びプログラムを説明する。
<First Embodiment>
With reference to the drawings, an image composition device and a program according to the first embodiment of the present invention will be described.
図１は本実施形態における画像合成装置１のブロック図である。画像合成装置１は、画像認識部１１と、ターゲットオブジェクト位置・大きさ検出部１２と、ＣＧ画像記憶部１３と、ＣＧ画像選択部１４と、ＣＧ画像配置部１５と、画像合成部１６とを備える。
FIG. 1 is a block diagram of an
画像認識部１１は、ＣＧ画像に関連する又は表示する対象となるオブジェクト（以下、ターゲットオブジェクトと記載する）を、入力された映像から画像認識するものである。ターゲットオブジェクトの画像認識は、ターゲットオブジェクトの特徴量（例えば、ターゲットオブジェクトが特定人物の場合、顔の特徴量）等により認識する。このような、ターゲットオブジェクトを認識する画像認識方法としては、パターンマッチングや、ディープラーニング等の手法を用いた機械学習を用いた画像認識技術などがある。尚、ターゲットオブジェクトの画像認識は、予め定められた時間間隔（例えば、１秒又は２秒毎）で行われることが好ましい。
The
画像認識部１１が認識するターゲットオブジェクトの指定であるが、ユーザがＣＧ画像を表示させたいターゲットオブジェクトを、画像認識部１に指定することにより行われる。ターゲットオブジェクトの指定は、個々の個体を特定する方法（例えば、特定の人物を指定する方法）と、個々の個体を特定しない方法（例えば、映像上に現れる人物等を指定する方法）とのいずれでも良い。また、指定するターゲットオブジェクトの数は、単数、複数を問わない。そして、画像認識したターゲットオブジェクトの認識結果（例えば、ターゲットオブジェクトの属性情報やターゲットオブジェクトを映像上で特定する情報等）を、ターゲットオブジェクト位置・大きさ検出部１２に出力する。更に、複数のターゲットオブジェクトを画像認識する場合において、そのターゲットオブジェクトに優先順位が設けられている場合には、認識したターゲットオブジェクトの情報に優先順位を付してターゲットオブジェクト位置・大きさ検出部１２に出力する。以下の説明では、ターゲットオブジェクトを主に特定の人物とする例を説明するが、ターゲットオブジェクトは人物に限らず、置物、建物等のオブジェクトでも良い。
The target object to be recognized by the
ターゲットオブジェクト位置・大きさ検出部１２は、画像認識部１１の認識結果を受け、ターゲットオブジェクトの映像画面上の位置、大きさを検出する。ターゲットオブジェクト位置・大きさ検出部１２によるターゲットオブジェクトの画面上の位置、大きさの認識であるが、例えば、図２の例がある。図２の例は、人物をターゲットオブジェクトとした場合の例である。ターゲットオブジェクト位置・大きさ検出部１２は、画像認識部１１が認識した人物に関して、図２に示す如く、認識した人物の頭頂部から首中点を結ぶ直線の距離をＬとし、人物の首中心から下方向の位置にＬ×２Ｌの大きさの注目領域を設定する。また、認識した人物の首中点を中心点とする。そして、認識した人物の大きさを注目領域の面積とし、中心点を認識した人物の画面上の位置座標とする。尚、本例は一例であり、他の方法でもかまわない。例えば、顔を囲むＬ×Ｌの大きさの領域を注目領域としても良い。更に、ターゲットオブジェクトである人物の顔そのものを注目領域としても良い。そして、ターゲットオブジェクト位置・大きさ検出部１２は、ターゲットオブジェクトの注目領域、中心点及び属性情報を、ＣＧ画像選択部１４に出力する。
The target object position / size detection unit 12 receives the recognition result of the
ＣＧ画像記憶部１３は、図３に示す如く、映像に重畳するターゲットオブジェクトのＣＧ画像が記憶されている。記憶されているＣＧ画像は、ターゲットオブジェクトの属性毎に、ＣＧ画像の内容は同じものであるが、ターゲットオブジェクトの注目領域の大きさに応じた複数の異なる大きさのＣＧ画像である。ＣＧ画像の大きさは、基本的に、ターゲットオブジェクトの注目領域の大きさが大きい程、ＣＧ画像も大きい。尚、ＣＧ画像の大きさは、ターゲットオブジェクトの大きさに比例させると、ＣＧ画像が不自然に大きくなってしまたり、小さくなってしまう可能性がある。そこで、図４のように、ターゲットオブジェクトの大きさがある所定の大きさ以上、又、以下になると、ＣＧ画像の大きさもそれ以上大きくならず、又は、小さくならないように制御しても良い。 As shown in FIG. 3, the CG image storage unit 13 stores a CG image of the target object to be superimposed on the video. The stored CG images are CG images having a plurality of different sizes according to the size of the target region of the target object, although the contents of the CG image are the same for each attribute of the target object. The size of the CG image is basically larger as the size of the target area of the target object is larger. Note that if the size of the CG image is proportional to the size of the target object, the CG image may become unnaturally large or small. Therefore, as shown in FIG. 4, when the size of the target object is greater than or equal to a predetermined size or less, the size of the CG image may be controlled so as not to become larger or smaller.
ＣＧ画像選択部１４は、ターゲットオブジェクト位置・大きさ検出部１２からのターゲットオブジェクトの注目領域及びターゲットオブジェクトの属性情報を受信し、ターゲットオブジェクトの属性情報に合致し、ターゲットオブジェクトの注目領域に応じた大きさのＣＧ画像を、ＣＧ画像記憶部１３から選択する。ＣＧ画像選択部１４のＣＧ画像の選択であるが、ターゲットオブジェクトに優先順位が設定されている場合には、その優先順位の順番で、ＣＧ画像記憶部１３から選択する。 The CG image selection unit 14 receives the target object attention area and the target object attribute information from the target object position / size detection unit 12, matches the target object attribute information, and corresponds to the target object attention area. A CG image having a size is selected from the CG image storage unit 13. The CG image selection unit 14 selects a CG image. When a priority order is set for the target object, selection is made from the CG image storage unit 13 in the order of the priority order.
尚、本例では、複数のＣＧ画像がＣＧ画像記憶部１３に記憶され、ＣＧ画像選択部１４がターゲットオブジェクトの大きさ及び属性情報に応じたＣＧ画像を、ＣＧ画像記憶部１３から選択する方法を説明するが、これに限られない。例えば、ＣＧ画像選択部１４が、ターゲットオブジェクトの属性情報及び検出されたターゲットオブジェクトの大きさに応じたＣＧ画像を自動的に生成するようにしても良い。尚、ＣＧ画像を自動的に生成する場合も、上述したように、ＣＧ画像の大きさは、ターゲットオブジェクトの大きさに比例させると、ＣＧ画像が不自然に大きくなってしまたり、小さくなってしまう可能性がある。そこで、図４のように、ターゲットオブジェクトの大きさがある所定の大きさ以上、又、以下になると、ＣＧ画像の大きさもそれ以上大きくならず、又は、小さくならないように制御しても良い。 In this example, a plurality of CG images are stored in the CG image storage unit 13 and the CG image selection unit 14 selects a CG image corresponding to the size and attribute information of the target object from the CG image storage unit 13. However, the present invention is not limited to this. For example, the CG image selection unit 14 may automatically generate a CG image according to the attribute information of the target object and the size of the detected target object. Even when a CG image is automatically generated, as described above, if the size of the CG image is proportional to the size of the target object, the CG image becomes unnaturally large or small. There is a possibility. Therefore, as shown in FIG. 4, when the size of the target object is greater than or equal to a predetermined size or less, the size of the CG image may be controlled so as not to become larger or smaller.
ＣＧ画像配置部１５は、ＣＧ画像選択部１４により選択されたＣＧ画像を、映像の画面上の適切な位置に配置するものである。ＣＧ画像の映像の画面上の配置位置は、予め複数設定されており、その配置位置には優先順位か設けられている。そして、その優先順位に従って、ＣＧ画像の配置を試み、配置可能な最も優先順位の高い配置位置にＣＧ画像を配置する。 The CG image arrangement unit 15 arranges the CG image selected by the CG image selection unit 14 at an appropriate position on the video screen. A plurality of arrangement positions on the screen of the video of the CG image are set in advance, and a priority order is provided for the arrangement positions. Then, according to the priority order, an attempt is made to place the CG image, and the CG image is placed at the highest possible placement position.
ＣＧ画像配置部１５によるＣＧ画像の配置位置の決定の一例を、図５を用いて説明する。まず、ターゲットオブジェクトの中心点を中心とする円上にＣＧ画像の配置位置を設定する。図５の例では、０度、９０度、１８０度、２７０度の位置がＣＧ画像の配置位置である。そして、配置位置の優先順位は、高い順位に、１８０度の配置位置ａ、０度の配置位置ｂ、２７０度の配置位置ｃ、９０度の配置位置ｄに設定されている。上述した配置位置の優先順位は一例であり、これに限定するものではない。例えば、配置位置の優先順位は、高い順位に、配置位置ｂ、配置位置ａ、配置位置ｃ、配置位置ｄであっても良い。 An example of determination of the layout position of the CG image by the CG image layout unit 15 will be described with reference to FIG. First, the arrangement position of the CG image is set on a circle centered on the center point of the target object. In the example of FIG. 5, the positions of 0 degrees, 90 degrees, 180 degrees, and 270 degrees are the CG image arrangement positions. The priority of the arrangement positions is set to 180 degrees arrangement position a, 0 degrees arrangement position b, 270 degrees arrangement position c, and 90 degrees arrangement position d in the highest order. The priority of the arrangement position described above is an example, and the present invention is not limited to this. For example, the priority of the arrangement position may be the arrangement position b, the arrangement position a, the arrangement position c, and the arrangement position d in the higher order.
ＣＧ画像配置部１５は、まず、最も優先順位が高い配置位置ａに、ＣＧ画像の配置を試みる。この時、配置位置ａに配置したＣＧ画像の全てが画面内に表示できる場合、かつ、後述するように、優先順位の高いターゲットオブジェクトの注目領域に重複していない場合等は、ＣＧ画像の配置位置を配置位置ａに決定する。一方、配置位置ａに配置したＣＧ画像が画面上からはみ出してＣＧ画像の全てを表示できない場合、又は、優先順位の高いターゲットオブジェクトの注目領域に重複してしまう場合等は、配置位置ａにはＣＧ画像を配置できないと判定する。そして、次に優先順位の高い配置位置ｂに、ＣＧ画像の配置を試みる。このような判定を、配置位置が決定するまで行う。尚、全ての配置位置の検証を行っても配置位置の決定ができない場合は、ＣＧ画像の配置の決定行わず、ＣＧ画像を映像に重畳しないことを決定する。 The CG image placement unit 15 first tries to place a CG image at the placement position a having the highest priority. At this time, if all of the CG images arranged at the arrangement position a can be displayed on the screen, and if not overlapped with the attention area of the target object having a higher priority as will be described later, the arrangement of the CG images The position is determined as the arrangement position a. On the other hand, when the CG image arranged at the arrangement position a protrudes from the screen and cannot display all of the CG image, or when it overlaps the attention area of the target object having a high priority, the arrangement position a It is determined that a CG image cannot be arranged. Then, an attempt is made to place a CG image at the placement position b having the next highest priority. Such determination is performed until the arrangement position is determined. If the arrangement position cannot be determined even after verifying all the arrangement positions, the arrangement of the CG image is not determined and it is determined not to superimpose the CG image on the video.
上述したＣＧ画像配置部１５の配置位置の決定は、一例であり、これに限定するものではなく、他の方法でも良い。 The determination of the arrangement position of the CG image arrangement unit 15 described above is an example, and the present invention is not limited to this, and other methods may be used.
画像合成部１６は、ＣＧ画像配置部１５により決定された映像上の配置位置に、ＣＧ画像選択部１４により選択されたＣＧ画像を重畳し、ＣＧ画像が合成された映像を生成する。 The image composition unit 16 superimposes the CG image selected by the CG image selection unit 14 on the placement position on the video determined by the CG image placement unit 15 to generate a video in which the CG image is synthesized.
上述した画像合成装置１は、具体的には、各種の演算処理等を行うプロセッサを有するコンピュータシステム２（情報処理装置）によって実現することができる。図６はコンピュータシステム２によって構成された画像合成装置１のブロック図である。
Specifically, the above-described
画像合成装置１は、プロセッサ２１、メモリ（ＲＯＭやＲＡＭ）２２、記憶装置（ハードディスク、半導体ディスクなど）２３、入力装置（キーボード、マウス、タッチパネルなど）２４、表示装置２５、通信装置２６などのハードウェア資源を有する汎用のコンピュータ２により構成することができる。
The
コンピュータ２は、記憶装置２３に格納されたプログラムがメモリ２２にロードされ、プロセッサ２１により実行されることにより、画像認識処理と、ターゲットオブジェクト位置・大きさ検出処理と、ＣＧ画像選択処理と、ＣＧ画像配置処理と、画像合成処理とが実現されるものである。尚、画像認識処理は画像認識部１１に対応し、ターゲットオブジェクト位置・大きさ検出処理はターゲットオブジェクト位置・大きさ検出部１２に対応し、ＣＧ画像選択処理はＣＧ画像選択部１４に対応し、ＣＧ画像配置処理はＣＧ画像配置部１５に対応し、画像合成処理は画像合成部１６に対応する。
The computer 2 loads the program stored in the storage device 23 into the memory 22 and is executed by the processor 21, thereby performing image recognition processing, target object position / size detection processing, CG image selection processing, CG An image arrangement process and an image composition process are realized. The image recognition process corresponds to the
次に、上述した画像合成装置１の動作を説明する。
Next, the operation of the
図７は画像合成装置１の動作フローチャートである。尚、以下の説明では、ＣＧ画像の配置位置とその優先順位とは、図５のものとして説明する。
FIG. 7 is an operation flowchart of the
最初に、ターゲットオブジェクトが単数の特定人物Ｘであり、特定人物Ｘが映像上移動する場合を、図７の動作フローチャート、図８及び図９の具体例を用いて説明する。 First, a case where the target object is a single specific person X and the specific person X moves on the video will be described with reference to the operation flowchart of FIG. 7 and the specific examples of FIGS.
まず、ターゲットオブジェクトの数を設定する（Ｓｔｅｐ１００）。本例では、ターゲットオブジェクトは特定人物Ｘのみであり、単数なので、Ｐ＝１である。 First, the number of target objects is set (Step 100). In this example, since the target object is only the specific person X and is singular, P = 1.
画像認識部１１は、ＣＧ画像を表示する対象となる特定人物Ｘを、映像から画像認識する（Ｓｔｅｐ１０１）。そして、画像認識したターゲットオブジェクトの認識結果（例えば、ターゲットオブジェクトの属性情報やターゲットオブジェクトを映像上で特定する情報等）をターゲットオブジェクト位置・大きさ検出部１２に出力する。尚、ターゲットオブジェクトに優先順位が設けられている場合には、認識したターゲットオブジェクトの情報に優先順位を付してターゲットオブジェクト位置・大きさ検出部１２に出力する。
The
ターゲットオブジェクト位置・大きさ検出部１２は、画像認識部１１が認識した特定人物Ｘの画面上の位置、大きさを検出する。すなわち、特定人物Ｘの注目領域、中心点の算出である（Ｓｔｅｐ１０２）。
The target object position / size detection unit 12 detects the position and size of the specific person X recognized by the
ＣＧ画像選択部１４は、ターゲットオブジェクトの優先順位Ｍを１に設定する（Ｓｔｅｐ１０３）。ＣＧ画像選択部１４は、優先順位Ｍ＝１の特定人物Ｘの注目領域及び属性情報を取得する（Ｓｔｅｐ１０４）。ＣＧ画像選択部１４は、特定人物Ｘの注目領域の大きさ及び属性情報に対応したＣＧ画像を選択する（Ｓｔｅｐ１０５）。 The CG image selection unit 14 sets the priority M of the target object to 1 (Step 103). The CG image selection unit 14 acquires the attention area and attribute information of the specific person X with the priority M = 1 (Step 104). The CG image selection unit 14 selects a CG image corresponding to the size and attribute information of the attention area of the specific person X (Step 105).
ＣＧ画像配置部１５は、ターゲットオブジェクト位置・大きさ検出部１２から特定人物Ｘの中心点と、ＣＧ画像選択部１４から選択されたＣＧ画像とを、取得する（Ｓｔｅｐ１０６）。そして、ＣＧ画像の配置位置の優先順位数をＱとし（Ｓｔｅｐ１０７）、優先順位をＮとしＮ＝１とする（Ｓｔｅｐ１０８）。 The CG image arrangement unit 15 acquires the center point of the specific person X from the target object position / size detection unit 12 and the CG image selected from the CG image selection unit 14 (Step 106). Then, the priority order number of the arrangement position of the CG image is set to Q (Step 107), the priority order is set to N, and N = 1 is set (Step 108).
ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置に配置することを試みる（Ｓｔｅｐ１０９）。図８は映像上の時刻ｔの特定人物Ｘの映像上の位置を示したものであり、特定人物Ｘの中心点を中心とする円上の４つのＣＧ画像の配置位置ａから配置位置ｄを示したものである。尚、配置位置の優先順位は高い順位に、１８０度の配置位置ａ、０度の配置位置ｂ、２７０度の配置位置ｃ、９０度の配置位置ｄに設定されている。従って、ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置ａに配置することを試みる。 The CG image placement unit 15 tries to place the CG image at the placement position having the priority of 1 (Step 109). FIG. 8 shows the position of the specific person X on the video at the time t on the video. The positions d of the four CG images on the circle centered on the center point of the specific person X are shown. It is shown. Note that the priority of the arrangement positions is set to the higher order: an arrangement position a of 180 degrees, an arrangement position b of 0 degrees, an arrangement position c of 270 degrees, and an arrangement position d of 90 degrees. Therefore, the CG image placement unit 15 tries to place the CG image at the placement position a having the priority order of 1.
ＣＧ画像配置部１５は、優先順位が１の配置位置にＣＧ画像が配置可能かを判定する（Ｓｔｅｐ１１０）。図８の例では、配置位置ａにＣＧ画像を配置した場合、ＣＧ画像の全てを表示でき、かつ、他のターゲットオブジェクトの注目領域に重複していないので、ＣＧ画像を配置位置ａに配置可能と判定する。 The CG image placement unit 15 determines whether a CG image can be placed at a placement position with a priority of 1 (Step 110). In the example of FIG. 8, when the CG image is arranged at the arrangement position a, all of the CG images can be displayed and do not overlap with the attention area of other target objects, so the CG image can be arranged at the arrangement position a. Is determined.
ＣＧ画像配置部１５が配置可能と判定した場合、画像合成部１６はその配置位置にＣＧ画像が重畳された映像を生成する（Ｓｔｅｐ１１１）。図８の下図の例では、配置位置ａにＣＧ画像が重畳された映像を示している。 When the CG image placement unit 15 determines that the placement is possible, the image composition unit 16 generates a video in which the CG image is superimposed on the placement position (Step 111). The example in the lower diagram of FIG. 8 shows a video in which a CG image is superimposed on the arrangement position a.
ＣＧ画像選択部１４は、処理対象となるターゲットオブジェクトが残っているかを判定する（Ｓｔｅｐ１１２）。すなわち、Ｍ＝Ｐとなるかの判定である。本例では、ターゲットオブジェクトが単数の特定人物Ｘであるので、Ｍ＝Ｐ＝１である。よって、処理は終了する。 The CG image selection unit 14 determines whether a target object to be processed remains (Step 112). That is, it is a determination as to whether M = P. In this example, since the target object is a single specific person X, M = P = 1. Therefore, the process ends.
次に、時刻ｔ＋１となり、特定人物Ｘが移動した場合を、図７の動作フローチャート、図９の具体例を用いて説明する。 Next, a case where the specific person X moves at time t + 1 will be described with reference to an operation flowchart of FIG. 7 and a specific example of FIG.
まず、ターゲットオブジェクトの数を設定する（Ｓｔｅｐ１００）。本例では、特定人物Ｘの単数なので、Ｐ＝１である。 First, the number of target objects is set (Step 100). In this example, since the specific person X is singular, P = 1.
画像認識部１１は、ＣＧ画像を表示する対象となる特定人物Ｘを、映像から画像認識する（Ｓｔｅｐ１０１）。そして、画像認識したターゲットオブジェクトの認識結果（例えば、ターゲットオブジェクトの属性情報やターゲットオブジェクトを映像上で特定する情報等）をターゲットオブジェクト位置・大きさ検出部１２に出力する。尚、ターゲットオブジェクトに優先順位が設けられている場合には、認識したターゲットオブジェクトの情報に優先順位を付してターゲットオブジェクト位置・大きさ検出部１２に出力する。
The
ターゲットオブジェクト位置・大きさ検出部１２は、画像認識部１１が認識した特定人物Ｘの画面上の位置、大きさを検出する。すなわち、特定人物Ｘの注目領域、中心点の算出する（Ｓｔｅｐ１０２）。
The target object position / size detection unit 12 detects the position and size of the specific person X recognized by the
ＣＧ画像選択部１４は、ターゲットオブジェクトの優先順位Ｍを１に設定する（Ｓｔｅｐ１０３）。ＣＧ画像選択部１４は、優先順位Ｍ＝１の特定人物Ｘの注目領域及び属性情報を取得する（Ｓｔｅｐ１０４）。ＣＧ画像選択部１４は、特定人物Ｘの注目領域の大きさ及び属性情報に対応したＣＧ画像を選択する（Ｓｔｅｐ１０５）。ここで、留意すべきは、選択されるＣＧ画像の大きさである。時刻ｔの特定人物Ｘの注目領域の大きさと、時刻ｔ＋１の特定人物Ｘの注目領域の大きさとでは、時刻ｔ＋１の特定人物Ｘの注目領域の方が大きい。従って、時刻ｔ＋１の特定人物Ｘに対して選択されるＣＧ画像は、時刻ｔの特定人物Ｘに対して選択されるＣＧ画像よりも大きいことに留意すべきである。
The CG image selection unit 14 sets the priority M of the target object to 1 (Step 103). The CG image selection unit 14 acquires the attention area and attribute information of the specific person X with the priority M = 1 (Step 104). The CG image selection unit 14 selects a CG image corresponding to the size and attribute information of the attention area of the specific person X (Step 105). Here, what should be noted is the size of the selected CG image. The attention area of the specific person X at time t + 1 is larger in the size of the attention area of the specific person X at time t and the attention area of the specific person X at
ＣＧ画像配置部１５は、ターゲットオブジェクト位置・大きさ検出部１２から特定人物Ｘの注目領域及び中心点と、ＣＧ画像選択部１４から選択されたＣＧ画像とを、取得する（Ｓｔｅｐ１０６）。そして、ＣＧ画像の配置位置の優先順位数をＱとし（Ｓｔｅｐ１０７）、優先順位をＮとしＮ＝１とする（Ｓｔｅｐ１０８）。尚、本例では、ＣＧ画像の配置位置の優先順位が１から４であるので、優先順位数は４であり、Ｑ＝４である。 The CG image placement unit 15 acquires the attention area and center point of the specific person X from the target object position / size detection unit 12 and the CG image selected from the CG image selection unit 14 (Step 106). Then, the priority order number of the arrangement position of the CG image is set to Q (Step 107), the priority order is set to N, and N = 1 is set (Step 108). In this example, since the priority order of the arrangement position of the CG image is 1 to 4, the priority order number is 4, and Q = 4.
ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置に配置することを試みる（Ｓｔｅｐ１０９）。図９は映像上の時刻ｔ＋１の特定人物Ｘの映像上の位置を示したものであり、特定人物Ｘの中心点を中心とする円上の４つのＣＧ画像の配置位置ａから配置位置ｄを示したものである。尚、配置位置の優先順位は高い順位に、１８０度の配置位置ａ、０度の配置位置ｂ、２７０度の配置位置ｃ、９０度の配置位置ｄに設定されている。従って、ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置ａに配置することを試みる。 The CG image placement unit 15 tries to place the CG image at the placement position having the priority of 1 (Step 109). FIG. 9 shows the position of the specific person X on the video at the time t + 1 on the video. The positions d of the four CG images on the circle centered on the center point of the specific person X are shown. It is shown. Note that the priority of the arrangement positions is set to the higher order: an arrangement position a of 180 degrees, an arrangement position b of 0 degrees, an arrangement position c of 270 degrees, and an arrangement position d of 90 degrees. Therefore, the CG image placement unit 15 tries to place the CG image at the placement position a having the priority order of 1.
ＣＧ画像配置部１５は、優先順位が１の配置位置ａにＣＧ画像が配置可能かを判定する（Ｓｔｅｐ１１０）。図９の例では、配置位置ａにＣＧ画像を配置した場合、ＣＧ画像を画面内に全て表示することができないので、ＣＧ画像を配置位置ａに配置不可能と判定する。 The CG image placement unit 15 determines whether or not a CG image can be placed at the placement position a having a priority of 1 (Step 110). In the example of FIG. 9, when a CG image is arranged at the arrangement position a, it is determined that the CG image cannot be arranged at the arrangement position a because all the CG images cannot be displayed on the screen.
配置不可能と判定した場合、ＣＧ画像配置部１５は配置可能な配置位置があるかを判定する（Ｓｔｅｐ１１３）。すなわち、Ｎ＝Ｑであるかである。図９の例では、配置可能な配置位置ｂ、配置位置ｃ、配置位置ｄが残っている。そこで、ＣＧ画像配置部１５は、Ｎに１を加算し（Ｓｔｅｐ１１４）、ＣＧ画像を優先順位が２の配置位置に配置することを試みる（Ｓｔｅｐ１０９）。図９の例では、配置位置ｂにＣＧ画像を配置した場合、ＣＧ画像の全てを表示でき、かつ、他のターゲットオブジェクトの注目領域に重複していないので、ＣＧ画像を配置位置ｂに配置可能と判定する。一方、Ｎ＝Ｑの場合、Ｓｔｅｐ１１２に進む。 When it is determined that the arrangement is impossible, the CG image arrangement unit 15 determines whether there is an arrangement position where the arrangement is possible (Step 113). That is, whether N = Q. In the example of FIG. 9, the arrangement position b, the arrangement position c, and the arrangement position d that can be arranged remain. Therefore, the CG image placement unit 15 adds 1 to N (Step 114), and tries to place the CG image at a placement position with a priority of 2 (Step 109). In the example of FIG. 9, when the CG image is arranged at the arrangement position b, the entire CG image can be displayed and does not overlap with the attention area of another target object, so the CG image can be arranged at the arrangement position b. Is determined. On the other hand, if N = Q, the process proceeds to Step 112.
ＣＧ画像配置部１５が配置可能と判定した場合、画像合成部１６はその配置位置にＣＧ画像が重畳された映像を生成する（Ｓｔｅｐ１１１）。図９の下図の例では、配置位置ｂにＣＧ画像が重畳された映像を示している。 When the CG image placement unit 15 determines that the placement is possible, the image composition unit 16 generates a video in which the CG image is superimposed on the placement position (Step 111). The example in the lower diagram of FIG. 9 shows a video in which a CG image is superimposed on the arrangement position b.
ＣＧ画像選択部１４は、処理対象となるターゲットオブジェクトが残っているかを判定する（Ｓｔｅｐ１１２）。すなわち、Ｍ＝Ｐとなるかの判定である。本例では、ターゲットオブジェクトが単数の特定人物Ｘであるので、Ｍ＝Ｐ＝１である。よって、処理は終了する。 The CG image selection unit 14 determines whether a target object to be processed remains (Step 112). That is, it is a determination as to whether M = P. In this example, since the target object is a single specific person X, M = P = 1. Therefore, the process ends.
次に、ターゲットオブジェクトが複数の特定人物Ｘ、特定人物Ｙである場合を、図７の動作フローチャート、図１０及び図１１の具体例を用いて説明する。 Next, the case where the target object is a plurality of specific persons X and specific persons Y will be described using the operation flowchart of FIG. 7 and the specific examples of FIGS. 10 and 11.
まず、ターゲットオブジェクトの数を設定する（Ｓｔｅｐ１００）。本例では、複数の特定人物Ｘ、特定人物Ｙなので、Ｐ＝２である。また、特定人物Ｘの優先順位を１、特定人物Ｙの優先順位を２とする。 First, the number of target objects is set (Step 100). In this example, since a plurality of specific persons X and specific persons Y, P = 2. Further, the priority order of the specific person X is 1, and the priority order of the specific person Y is 2.
画像認識部１１は、ＣＧ画像を表示する対象となる特定人物Ｘ、特定人物Ｙを、映像から画像認識する（Ｓｔｅｐ１０１）。そして、画像認識したターゲットオブジェクトの認識結果（例えば、ターゲットオブジェクトの属性情報やターゲットオブジェクトを映像上で特定する情報等）をターゲットオブジェクト位置・大きさ検出部１２に出力する。尚、認識した特定人物Ｘの情報に優先順位１を付し、認識した特定人物Ｙの情報に優先順位２を付してターゲットオブジェクト位置・大きさ検出部１２に出力する。
The
ターゲットオブジェクト位置・大きさ検出部１２は、画像認識部１１が認識した特定人物Ｘ及び特定人物Ｙの画面上の位置、大きさを検出する。すなわち、特定人物Ｘ及び特定人物Ｙの注目領域、中心点の算出する（Ｓｔｅｐ１０２）。
The target object position / size detection unit 12 detects the positions and sizes of the specific person X and the specific person Y recognized by the
ＣＧ画像選択部１４は、ターゲットオブジェクトの優先順位Ｍを１に設定する（Ｓｔｅｐ１０３）。尚、図１０の例では、特定人物Ｘの優先順位を１、特定人物Ｙの優先順位を２とする。 The CG image selection unit 14 sets the priority M of the target object to 1 (Step 103). In the example of FIG. 10, the priority order of the specific person X is 1 and the priority order of the specific person Y is 2.
ＣＧ画像選択部１４は、優先順位Ｍ＝１の特定人物Ｘの注目領域及び属性情報を取得する（Ｓｔｅｐ１０４）。ＣＧ画像選択部１４は、特定人物Ｘの注目領域の大きさ及び属性情報に対応したＣＧ画像を選択する（Ｓｔｅｐ１０５）。 The CG image selection unit 14 acquires the attention area and attribute information of the specific person X with the priority M = 1 (Step 104). The CG image selection unit 14 selects a CG image corresponding to the size and attribute information of the attention area of the specific person X (Step 105).
ＣＧ画像配置部１５は、ターゲットオブジェクト位置・大きさ検出部１２から特定人物Ｘの注目領域及び中心点と、ＣＧ画像選択部１４から選択されたＣＧ画像とを、取得する（Ｓｔｅｐ１０６）。そして、ＣＧ画像の配置位置の優先順位数をＱとし（Ｓｔｅｐ１０７）、優先順位をＮとし、Ｎ＝１とする（Ｓｔｅｐ１０８）。尚、本例では、ＣＧ画像の配置位置の優先順位が１から４であるので、優先順位数は４であり、Ｑ＝４である。 The CG image placement unit 15 acquires the attention area and center point of the specific person X from the target object position / size detection unit 12 and the CG image selected from the CG image selection unit 14 (Step 106). Then, the priority order number of the arrangement position of the CG image is set to Q (Step 107), the priority order is set to N, and N = 1 is set (Step 108). In this example, since the priority order of the arrangement position of the CG image is 1 to 4, the priority order number is 4, and Q = 4.
ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置に配置することを試みる（Ｓｔｅｐ１０９）。図１０は映像上の時刻ｔの特定人物Ｘの映像上の位置を示したものであり、特定人物Ｘの中心点を中心とする円上の４つのＣＧ画像の配置位置ａから配置位置ｄを示したものである。尚、配置位置の優先順位は高い順位に、１８０度の配置位置ａ、０度の配置位置ｂ、２７０度の配置位置ｃ、９０度の配置位置ｄに設定されている。従って、ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置ａに配置することを試みる。 The CG image placement unit 15 tries to place the CG image at the placement position having the priority of 1 (Step 109). FIG. 10 shows the position of the specific person X on the video at the time t on the video. The positions d of the four CG images on the circle centered on the center point of the specific person X are shown. It is shown. Note that the priority of the arrangement positions is set to the higher order: an arrangement position a of 180 degrees, an arrangement position b of 0 degrees, an arrangement position c of 270 degrees, and an arrangement position d of 90 degrees. Therefore, the CG image placement unit 15 tries to place the CG image at the placement position a having the priority order of 1.
ＣＧ画像配置部１５は、優先順位が１の配置位置にＣＧ画像が配置可能かを判定する（Ｓｔｅｐ１１０）。図１０の例では、配置位置ａにＣＧ画像を配置した場合、ＣＧ画像の全てを表示でき、かつ、優先順位の高い他のターゲットオブジェクトの注目領域に重複していないので、ＣＧ画像を配置位置ａに配置可能と判定する。 The CG image placement unit 15 determines whether a CG image can be placed at a placement position with a priority of 1 (Step 110). In the example of FIG. 10, when a CG image is arranged at the arrangement position a, all of the CG images can be displayed and do not overlap with the attention area of another target object having a high priority. It determines with arrangement | positioning to a possible.
ＣＧ画像配置部１５が配置可能と判定した場合、画像合成部１６はその配置位置にＣＧ画像が重畳された映像を生成する（Ｓｔｅｐ１１１）。図１０の下図の例では、配置位置ａに特定人物ＸのＣＧ画像が重畳された映像を示している。 When the CG image placement unit 15 determines that the placement is possible, the image composition unit 16 generates a video in which the CG image is superimposed on the placement position (Step 111). The example in the lower diagram of FIG. 10 illustrates a video in which a CG image of the specific person X is superimposed on the arrangement position a.
ＣＧ画像選択部１４は、処理対象となるターゲットオブジェクトが残っているかを判定する（Ｓｔｅｐ１１２）。すなわち、Ｍ＝Ｐとなるかの判定である。本例では、Ｍ＝１、Ｐ＝２なので、Ｍ＝Ｐではない。よって、Ｍに１を加算し（Ｓｔｅｐ１１５）、Ｓｔｅｐ１０４に戻る。 The CG image selection unit 14 determines whether a target object to be processed remains (Step 112). That is, it is a determination as to whether M = P. In this example, since M = 1 and P = 2, M = P is not satisfied. Therefore, 1 is added to M (Step 115), and the process returns to Step 104.
ＣＧ画像選択部１４は、優先順位Ｍ＝２の特定人物Ｙの注目領域及び属性情報を取得する（Ｓｔｅｐ１０４）。ＣＧ画像選択部１４は、特定人物Ｙの注目領域の大きさ及び属性情報に対応したＣＧ画像を選択する（Ｓｔｅｐ１０５）。ここで、留意すべきは、選択されるＣＧ画像の大きさである。図１１に示されるように、時刻ｔの特定人物Ｘの注目領域の大きさと、時刻ｔの特定人物Ｙの注目領域の大きさとでは、特定人物Ｙの注目領域の方が小さい。従って、特定人物Ｙに対して選択されるＣＧ画像は、特定人物Ｘに対して選択されるＣＧ画像よりも小さいことに留意すべきである。 The CG image selection unit 14 acquires the attention area and attribute information of the specific person Y with the priority M = 2 (Step 104). The CG image selection unit 14 selects a CG image corresponding to the size and attribute information of the attention area of the specific person Y (Step 105). Here, what should be noted is the size of the selected CG image. As shown in FIG. 11, the attention area of the specific person Y is smaller in the size of the attention area of the specific person X at the time t and the size of the attention area of the specific person Y at the time t. Therefore, it should be noted that the CG image selected for the specific person Y is smaller than the CG image selected for the specific person X.
ＣＧ画像配置部１５は、ターゲットオブジェクト位置・大きさ検出部１２から特定人物Ｙの注目領域及び中心点と、ＣＧ画像選択部１４から選択されたＣＧ画像とを、取得する（Ｓｔｅｐ１０６）。そして、ＣＧ画像の配置位置の優先順位数をＱとし（Ｓｔｅｐ１０７）、Ｎ＝１とする（Ｓｔｅｐ１０８）。 The CG image placement unit 15 acquires the attention area and center point of the specific person Y from the target object position / size detection unit 12 and the CG image selected from the CG image selection unit 14 (Step 106). Then, the priority order number of the arrangement position of the CG image is set to Q (Step 107), and N = 1 (Step 108).
ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置に配置することを試みる（Ｓｔｅｐ１０９）。図１１は映像上の特定人物Ｙの映像上の位置を示したものであり、特定人物Ｙの中心点を中心とする円上の４つのＣＧ画像の配置位置ａから配置位置ｄを示したものである。尚、配置位置の優先順位は高い順位に、１８０度の配置位置ａ、０度の配置位置ｂ、２７０度の配置位置ｃ、９０度の配置位置ｄに設定されている。従って、ＣＧ画像配置部１５は、ＣＧ画像を優先順位が１の配置位置ａに配置することを試みる。 The CG image placement unit 15 tries to place the CG image at the placement position having the priority of 1 (Step 109). FIG. 11 shows the position on the video of the specific person Y on the video, and shows the position d from the positions of the four CG images on the circle centered on the center point of the specific person Y. It is. Note that the priority of the arrangement positions is set to the higher order: an arrangement position a of 180 degrees, an arrangement position b of 0 degrees, an arrangement position c of 270 degrees, and an arrangement position d of 90 degrees. Therefore, the CG image placement unit 15 tries to place the CG image at the placement position a having the priority order of 1.
ＣＧ画像配置部１５は、優先順位が１の配置位置ａにＣＧ画像が配置可能かを判定する（Ｓｔｅｐ１１０）。図１１の例では、配置位置ａにＣＧ画像を配置した場合、ＣＧ画像が優先順位の高い特定人物Ｘの注目領域に重複してしまうので、ＣＧ画像を配置位置ａに配置不可能と判定する。 The CG image placement unit 15 determines whether or not a CG image can be placed at the placement position a having a priority of 1 (Step 110). In the example of FIG. 11, when a CG image is arranged at the arrangement position a, the CG image overlaps the attention area of the specific person X having a high priority, so it is determined that the CG image cannot be arranged at the arrangement position a. .
配置不可能と判定した場合、ＣＧ画像配置部１５は配置可能な配置位置があるかを判定する（Ｓｔｅｐ１１３）。すなわち、Ｎ＝Ｑであるかである。図１１の例では、配置可能な配置位置ｂ、配置位置ｃ、配置位置ｄが残っている。そこで、ＣＧ画像配置部１５は、Ｎに１を加算し（Ｓｔｅｐ１１４）、ＣＧ画像を優先順位が２の配置位置に配置することを試みる（Ｓｔｅｐ１０９）。図１１の例では、配置位置ｂにＣＧ画像を配置した場合、ＣＧ画像を画面内に表示することができないので、ＣＧ画像を配置位置ｂに配置不可能と判定する。 When it is determined that the arrangement is impossible, the CG image arrangement unit 15 determines whether there is an arrangement position where the arrangement is possible (Step 113). That is, whether N = Q. In the example of FIG. 11, the arrangement position b, the arrangement position c, and the arrangement position d that can be arranged remain. Therefore, the CG image placement unit 15 adds 1 to N (Step 114), and tries to place the CG image at a placement position with a priority of 2 (Step 109). In the example of FIG. 11, when a CG image is arranged at the arrangement position b, the CG image cannot be displayed on the screen, so it is determined that the CG image cannot be arranged at the arrangement position b.
配置不可能と判定した場合、ＣＧ画像配置部１５は配置可能な配置位置があるかを判定する（Ｓｔｅｐ１１３）。すなわち、Ｎ＝Ｑであるかである。図１１の例では、配置可能な配置位置ｃ、配置位置ｄが残っている。そこで、ＣＧ画像配置部１５は、Ｎに１を加算し（Ｓｔｅｐ１１４）、ＣＧ画像を優先順位が３の配置位置に配置することを試みる（Ｓｔｅｐ１０９）。図１１の例では、配置位置ｃにＣＧ画像を配置した場合、ＣＧ画像の全てを表示でき、又は、特定人物Ｘのターゲットオブジェクトの注目領域に重複していないので、ＣＧ画像を配置位置ｃに配置可能と判定する。一方、Ｎ＝Ｑの場合、Ｓｔｅｐ１１２に進む。 When it is determined that the arrangement is impossible, the CG image arrangement unit 15 determines whether there is an arrangement position where the arrangement is possible (Step 113). That is, whether N = Q. In the example of FIG. 11, the arrangement position c and the arrangement position d that can be arranged remain. Therefore, the CG image placement unit 15 adds 1 to N (Step 114), and tries to place the CG image at the placement position with the priority order 3 (Step 109). In the example of FIG. 11, when the CG image is arranged at the arrangement position c, the entire CG image can be displayed, or since it does not overlap the attention area of the target object of the specific person X, the CG image is placed at the arrangement position c. It is determined that placement is possible. On the other hand, if N = Q, the process proceeds to Step 112.
ＣＧ画像配置部１５が配置可能と判定した場合、画像合成部１６はその配置位置にＣＧ画像が重畳された映像を生成する（Ｓｔｅｐ１１１）。図１１の下図の例では、配置位置ｃに特定人物ＹのＣＧ画像が重畳された映像を示している。 When the CG image placement unit 15 determines that the placement is possible, the image composition unit 16 generates a video in which the CG image is superimposed on the placement position (Step 111). The example in the lower diagram of FIG. 11 shows a video in which a CG image of the specific person Y is superimposed on the arrangement position c.
ＣＧ画像選択部１４は、処理対象となるターゲットオブジェクトが残っているかを判定する（Ｓｔｅｐ１１２）。すなわち、Ｍ＝Ｐとなるかの判定である。本例では、ターゲットオブジェクトが特定人物Ｘと特定人物Ｙの二人なので、Ｍ＝Ｐ＝２である。よって、処理は終了する。 The CG image selection unit 14 determines whether a target object to be processed remains (Step 112). That is, it is a determination as to whether M = P. In this example, since the target objects are the specific person X and the specific person Y, M = P = 2. Therefore, the process ends.
第１の実施の形態は、ターゲットオブジェクトの映像上の位置及び大きさによって、ＣＧ画像を重畳する位置とＣＧ画像の大きさを適応的に制御しているので、ＣＧ画像が適切な位置、大きさで重畳された映像を生成することができる。 In the first embodiment, the position where the CG image is superimposed and the size of the CG image are adaptively controlled according to the position and size of the target object on the video. The superimposed video can be generated.
尚、ＣＧ画像の表示は、ターゲットオブジェクトが映像上に表示（登場）している間、表示し続けても良いが、ＣＧ画像の表示の開始から所定時間経過後に表示しないようにしても良い。また、ＣＧ画像を表示したターゲットオブジェクトが映像から一旦消え、再度、表示（登場）されたような場合は、ＣＧ画像を表示しないように制御しても良い。 The display of the CG image may be continued while the target object is displayed (appears) on the video, but may not be displayed after a predetermined time has elapsed since the start of the display of the CG image. Further, when the target object displaying the CG image disappears from the video once and is displayed (appears) again, it may be controlled not to display the CG image.
＜第１の実施の形態の変形例＞
第１の実施の形態では、予め記憶されているＣＧ画像をＣＧ画像選択部１４が選択し、選択されたＣＧ画像を映像に合成する例を説明した。
<Modification of the first embodiment>
In the first embodiment, the example in which the CG image selection unit 14 selects a CG image stored in advance and synthesizes the selected CG image with a video has been described.
しかし、多くのＣＧ画像を配置する場合や、ＣＧ画像の配置位置によっては、いずれのターゲットオブジェクトのＣＧ画像であるのかが解りにくくなる場合もあると思われる。 However, when many CG images are arranged or depending on the arrangement position of the CG image, it may be difficult to understand which target object is the CG image.
そこで、第１の実施の形態の変形例では、映像に重畳するＣＧ画像を配置する位置によって変形させる例を説明する。 Therefore, in the modification of the first embodiment, an example will be described in which deformation is performed depending on the position where the CG image to be superimposed on the video is arranged.
変形させる代表的な方法として、重畳するＣＧ画像がいずれのターゲットオブジェクトのＣＧ画像であるかを示すような吹き出し、矢印を設ける方法がある。図１２は、吹き出しによってＣＧ画像を変形させた場合の例である。図１２の例では、各ＣＧ画像ａからＣＧ画像ｄが吹き出しの画像であり、吹き出し元をターゲットオブジェクトの中心点に設定した場合の例を示している。 As a typical method of deformation, there is a method of providing a balloon and an arrow indicating which target object the CG image to be superimposed is. FIG. 12 shows an example in which a CG image is deformed by a balloon. In the example of FIG. 12, each CG image a to CG image d is a balloon image, and the balloon source is set to the center point of the target object.
これらの変形は、ＣＧ画像配置部１５がＣＧ画像の配置位置を決定した後に、決定した配置位置からターゲットオブジェクトの中心点に向けて、選択したＣＧ画像の吹き出しを変形させることにより、可能となる。 These deformations are made possible by deforming the balloon of the selected CG image from the determined arrangement position toward the center point of the target object after the CG image arrangement unit 15 determines the arrangement position of the CG image. .
＜第２の実施の形態＞
駅伝やマラソン等の競技では、多くの人物が映像に映っており、また、その順位の変動も大きい。このようなケースにおいて、競技に出場している全ての選手をターゲットオブジェクトとし、全ての選手にＣＧ画像を配置すると、ＣＧ画像によって本来の映像が見にくくなってしまう。そこで、先頭から何位までというようにターゲットオブジェクトに優先順位をつけて、配置するＣＧ画像の数を制限することが考えられる。
<Second Embodiment>
In competitions such as relay races and marathons, many people are shown in the images, and the ranking varies greatly. In such a case, if all players participating in the competition are set as target objects and CG images are arranged for all players, the original image becomes difficult to see due to the CG images. Therefore, it is conceivable to prioritize the target objects such as how many from the top to limit the number of CG images to be arranged.
しかし、ターゲットオブジェクトを単に認識するだけでは順位まではわからない。 However, simply recognizing the target object does not tell the rank.
そこで、第２の実施の形態では、認識したターゲットオブジェクトの映像上の位置関係を識別し、その位置関係に基づいてターゲットオブジェクトの優先順位を設定する方法を説明する。 Therefore, in the second embodiment, a method of identifying the positional relationship of the recognized target object on the video and setting the priority order of the target object based on the positional relationship will be described.
図１３は第２の実施の形態の画像合成装置１のブロック図である。
FIG. 13 is a block diagram of the
第２の実施の形態の画像合成装置１は、第１の実施の形態の画像合成装置１に加えて、位置関係識別部３０を備える。
The
位置関係識別部３０は、画像識別部１１により識別されたターゲットオブジェクトの映像上の位置関係を識別するものである。位置関係を識別する一つの方法としては、映像上のターゲットオブジェクトの大きさを用いる。２次元の映像では、手前にあるものが大きく映り、遠方にあるものほど小さく映る。これは競技を撮影している場合も同様である。例えば、マラソンや駅伝では、選手を正面から撮影した場合、手前を走る選手ほど映像上で大きく映り、後方の選手ほど映像上で小さく映る。選手を背面から撮影した場合も、同様である。位置関係識別部３０は、このような性質を利用し、画像識別部１１により識別したターゲットオブジェクトの映像上の大きさから各ターゲットオブジェクトの位置関係を識別する。
The positional relationship identifying unit 30 identifies the positional relationship on the video of the target object identified by the
具体的には、位置関係識別部３０は、識別したターゲットオブジェクトの映像上の大きさの指標として、ターゲットオブジェクト位置・大きさ検出部１２が検出した注目領域の大きさ（例えば、面積）に着目する。 Specifically, the positional relationship identification unit 30 focuses on the size (for example, area) of the attention area detected by the target object position / size detection unit 12 as an index of the size of the identified target object on the video. To do.
例えば、図１４はターゲットオブジェクトをマラソン等の選手とし、選手を正面から撮影した映像の場合である。図１４の例では、選手Ａの注目領域が最も大きく、選手Ｃの注目領域が最も小さい。従って、選手の順位は、選手Ａ、選手Ｂ、選手Ｃであることが識別できる。一方、図１５は選手を背面から撮影した映像の場合である。図１５の例でも、選手Ａの注目領域が最も大きく、人物Ｃの注目領域が最も小さい。しかし、選手を背面から撮影した映像であるので、選手の順位は、選手Ｃ、選手Ｂ、選手Ａであることを識別できる。 For example, FIG. 14 shows a case where a target object is a player such as a marathon and the player is photographed from the front. In the example of FIG. 14, the attention area of player A is the largest, and the attention area of player C is the smallest. Therefore, it is possible to identify the player ranks as player A, player B, and player C. On the other hand, FIG. 15 shows a case where an image is taken of the player from the back. Also in the example of FIG. 15, the attention area of the player A is the largest, and the attention area of the person C is the smallest. However, since it is a video taken from the back of the player, it can be identified that the player's rank is player C, player B, and player A.
このような撮影方向は、撮影するカメラから得ても良いし、画像認識により顔正面か背面かを識別し、正面から撮影した映像か、背面から撮影した映像かを識別するようにしても良い。 Such a shooting direction may be obtained from the camera that shoots, or may be identified from the front or back of the face by image recognition to identify whether the video is shot from the front or from the back. .
このように、識別されたターゲットオブジェクトの映像上の大きさに着目することにより、位置関係識別部３０は、画像識別部１により識別されたターゲットオブジェクトの映像上の位置関係を識別する。そして、位置関係識別部３０は、ターゲットオブジェクト位置・大きさ検出部１２が検出したターゲットオブジェクトの中心点、注目領域の大きさ及び属性情報に、位置関係を識別したターゲットオブジェクトの優先順位を付して、ＣＧ画像選択部１４に出力する。尚、上述した注目領域は一例であり、他の方法でもかまわない。例えば、顔を囲むＬ×Ｌの大きさの領域を注目領域としても良い。更に、ターゲットオブジェクトである人物の顔そのものを注目領域としても良い。
In this way, by focusing on the size of the identified target object on the video, the positional relationship identifying unit 30 identifies the positional relationship on the video of the target object identified by the
尚、上述した例では、識別したターゲットオブジェクトの注目領域に着目して位置関係を識別したが、これに限られない。注目領域の大きさを決定したＬ等の長さに着目するようにしても良い。更に、例えば、ターゲットオブジェクト自体の映像内での選手の大きさでも良い。また、他の方法として、映像上にある基準点を利用する方法がある。基準点の例としては、映像上の消失点等がある。位置関係の特定は、まず、画像識別部１により、識別された選手の映像上の位置情報を取得する。映像上にある消失点と各選手の映像上の位置情報との距離を計算し、この距離が長い程、映像上手前にあると推定するようにしても良い。
In the above-described example, the positional relationship is identified by focusing on the attention area of the identified target object, but the present invention is not limited to this. You may make it pay attention to the length of L etc. which determined the magnitude | size of the attention area. Furthermore, for example, the size of the player in the video of the target object itself may be used. As another method, there is a method of using a reference point on the video. Examples of the reference point include a vanishing point on the video. For specifying the positional relationship, first, the
ＣＧ画像配置部１５は、位置関係識別部３０が識別したターゲットオブジェクトの優先順位で、上述した第１の実施の形態と同様に、ＣＧ画像の配置を行う。このとき、ＣＧ画像配置部１５は、ＣＧ画像を配置するターゲットオブジェクトを、例えば、上位から１番目から３番目までの順位のターゲットオブジェクトとすることにより、配置するＣＧ画像の数を制限することができる。 The CG image arrangement unit 15 arranges the CG images in the priority order of the target objects identified by the positional relationship identification unit 30 as in the first embodiment described above. At this time, the CG image placement unit 15 may limit the number of CG images to be placed by setting the target objects on which the CG images are placed, for example, as the target objects having the first to third ranks from the top. it can.
＜第２の実施の形態の変形例＞
第２の実施の形態の変形例を説明する。第２の実施の形態では、ターゲットオブジェクト（選手）の位置関係により、ターゲットオブジェクトの優先順位を設定する方法を説明した。第２の実施の形態の変形例では、ターゲットオブジェクト（選手）の位置関係により、ターゲットオブジェクト（選手）の優先順位を選定するまでは、同様であるが、ターゲットオブジェクト（選手）の優先順位を用いて、ＣＧ画像配置部１５によるＣＧ画像の配置位置の優先順位を変化させる例を説明する。
<Modification of Second Embodiment>
A modification of the second embodiment will be described. In the second embodiment, the method of setting the priority order of the target objects based on the positional relationship of the target objects (players) has been described. The modification of the second embodiment is the same until the priority order of the target object (player) is selected according to the positional relationship of the target object (player), but the priority order of the target object (player) is used. An example in which the priority order of the CG image placement position by the CG image placement unit 15 is changed will be described.
図１７は第２の実施の形態の変形例を説明するための図である。図１７の例では、ＣＧ画像配置部１５によるＣＧ画像の映像の画面上の配置位置の優先順位を示しており、ターゲットオブジェクト（選手）の走行順位が１から３位までの配置位置の優先順位と、ターゲットオブジェクト（選手）の走行順位が４以下の配置位置の優先順位とを示している。
FIG. 17 is a diagram for explaining a modification of the second embodiment. In the example of FIG. 17, the priority order of the placement positions on the screen of the CG image video by the CG image placement unit 15 is shown, and the priority orders of the placement positions of the target object (player) running
ターゲットオブジェクト（選手）の走行順位が１から３位までの配置位置の優先順位は、高い順位に、１８０度の配置位置ａ、２７０度の配置位置ｃ、９０度の配置位置ｄ、０度の配置位置ｂに設定されている。一方、ターゲットオブジェクト（選手）の走行順位が４位以下の配置位置の優先順位は、高い順位に、０度の配置位置ｂ、２７０度の配置位置ｃ、９０度の配置位置ｄ、１８０度の配置位置ａに設定されている。 The priority order of the placement positions of the target object (player) with the running order from 1st to 3rd place is 180 degree placement position a, 270 degree placement position c, 90 degree placement position d, 0 degree. The arrangement position b is set. On the other hand, the priority order of the placement positions where the running order of the target object (player) is 4th or lower is higher, the placement position b of 0 degrees, the placement position c of 270 degrees, the placement position d of 90 degrees, and the position of 180 degrees. The arrangement position a is set.
このようなターゲットオブジェクト（選手）の走行順位によって、ＣＧ画像の画面上の配置位置の優先順位を変化させる理由は、走行順位が高いターゲットオブジェクト（選手）ほど、すなわち、映像の前方に映っているターゲットオブジェクト（選手）ほど、その選手のＣＧ画像をターゲットオブジェクト（選手）の下方（例えば、配置位置ａ）に表示させ、走行順位が低いターゲットオブジェクト（選手）ほど、すなわち、映像の後方に映っているターゲットオブジェクト（選手）ほど、その選手のＣＧ画像をターゲットオブジェクト（選手）の上方（例えば、配置位置ｂ）に表示させることにある。 The reason why the priority of the arrangement position on the screen of the CG image is changed according to the running order of such target objects (players) is that the target object (player) with the higher running order is shown in front of the video. The target object (player) displays the CG image of the player below the target object (player) (for example, the arrangement position a), and the target object (player) with the lower running order, that is, appears behind the video. The target object (player) is to display the CG image of the player above the target object (player) (for example, the arrangement position b).
図１８は、図１７で示した配置順位により、選手Ａから選手Ｆまでの６人の選手が映っている映像で、それらの選手のＣＧ画像を表示した場合の一例を示した図である。図１７では、１位から３位までの選手には走行順位が１から３位までの配置位置の優先順位が適用され、先頭の選手ＡのＣＧ画像は優先順位が最も高い配置位置ａに表示されており、２位の選手ＢのＣＧ画像は優先順位が２番目の配置位置ｃに表示されており、３位の選手ＣのＣＧ画像は優先順位が最も高い配置位置ａに表示されている。一方、４位以下の選手には走行順位が４位以下の配置位置の優先順位が適用され、４位の選手ＤのＣＧ画像は優先順位が最も高い配置位置ｂに表示されており、５位の選手ＥのＣＧ画像は優先順位が最も高い配置位置ｂに表示されており、６位の選手ＦのＣＧ画像は優先順位が最も高い配置位置ｂに表示されている。 FIG. 18 is a diagram showing an example in which six players from player A to player F are shown in the arrangement order shown in FIG. 17 and CG images of those players are displayed. In FIG. 17, the first to third players are assigned the priority of the placement positions from the first to the third run order, and the CG image of the first player A is displayed at the placement position a having the highest priority. The CG image of the second player B is displayed at the second arrangement position c, and the CG image of the third player C is displayed at the highest arrangement position a. . On the other hand, the priority of the arrangement position where the running order is the fourth or lower is applied to the player who is fourth or lower, and the CG image of the player D who is the fourth place is displayed at the arrangement position b having the highest priority. The CG image of the player E is displayed at the arrangement position b with the highest priority, and the CG image of the player F, which is the sixth place, is displayed at the arrangement position b with the highest priority.
上述した配置位置の優先順位は一例であり、これに限定するものではない。配置位置の優先順位は適時変更しても良い。 The priority of the arrangement position described above is an example, and the present invention is not limited to this. The priority of the arrangement position may be changed as appropriate.
このようにすることにより、映像上に多数のターゲットオブジェクト（選手）が映っている場合、走行順位が高いターゲットオブジェクト（選手）ほど、すなわち、前方に映っているターゲットオブジェクト（選手）ほど、そのターゲットオブジェクト（選手）のＣＧ画像が下方（胸の位置）に表示され、走行順位が低いターゲットオブジェクト（選手）ほど、すなわち、後方に映っているターゲットオブジェクト（選手）ほど、そのターゲットオブジェクト（選手）のＣＧ画像が上方に表示され、自然な映像表現を行うことができる。 By doing in this way, when a large number of target objects (players) are shown on the video, the target object (player) with the higher running order, that is, the target object (player) shown in the front is the target. A CG image of an object (player) is displayed below (chest position), and a target object (player) with a lower running order, that is, a target object (player) reflected in the rear of the target object (player). A CG image is displayed on the upper side, and natural video expression can be performed.
＜第３の実施の形態＞
コンテンツの内容によっては、登場するターゲットオブジェクトの大きさが変化しない場合も多いと思われる。例えば、屋上に設けられた定点カメラの映像等では、カメラがパン、チルトすることにより、画面内に登場するビルなどのオブジェクトは変更するが、その大きさ自体は変わらない場合が多い。このような映像にＣＧ画像を配置する場合、ターゲットオブジェクトの位置を考慮すれば良いと思われる。
<Third Embodiment>
Depending on the content, the size of the target object that appears may not change. For example, in a fixed-point camera image or the like provided on a rooftop, an object such as a building that appears on the screen changes as the camera pans and tilts, but the size itself often does not change. When a CG image is arranged on such a video, it is considered that the position of the target object should be taken into consideration.
そこで、第３の実施の形態は、ターゲットオブジェクトの大きさを考慮せず、ターゲットオブジェクトの位置のみを考慮して、ＣＧ画像の画面に配置する例である。 Therefore, the third embodiment is an example in which the size of the target object is not taken into consideration, and only the position of the target object is taken into consideration, and arranged on the CG image screen.
図１６は第３の実施の形態の画像合成装置１のブロック図である。
FIG. 16 is a block diagram of the
第３の実施の形態が第１の実施の形態と異なる所は、ターゲットオブジェクト位置・大きさ検出部１２に代えて、ターゲットオブジェクト位置検出部４０を備える点である。ターゲットオブジェクト位置検出部４０は、画像認識部１１の認識結果を受け、ターゲットオブジェクトの映像画面上の位置を検出する。すなわち、ターゲットオブジェクト位置・大きさ検出部１２からターゲットオブジェクトの大きさを検出する機能が除かれている。
The third embodiment differs from the first embodiment in that a target object position detection unit 40 is provided instead of the target object position / size detection unit 12. The target object position detection unit 40 receives the recognition result of the
更に、ＣＧ画像選択部１４は、ターゲットオブジェクトの大きさにかかわらず、一つの大きさのＣＧ画像を選択する。尚、上述したように、予め用意されたＣＧ画像から選択するのではなく、リアルタイムにＣＧ画像を生成するようにしても良い。 Further, the CG image selection unit 14 selects a CG image of one size regardless of the size of the target object. As described above, a CG image may be generated in real time instead of selecting from a CG image prepared in advance.
他の動作は、第１の実施の形態と同様なものなので、説明を省略する。 Since other operations are the same as those in the first embodiment, description thereof will be omitted.
以上好ましい実施の形態をあげて本発明を説明したが、全ての実施の形態の構成を備える必要はなく、適時組合せて実施することができるばかりでなく、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。 Although the present invention has been described with reference to the preferred embodiments, it is not necessary to have the configurations of all the embodiments, and not only can be implemented in combination in a timely manner, but the present invention is not necessarily limited to the above embodiments. However, various modifications can be made within the scope of the technical idea.
１ 画像合成装置
２ コンピュータ
１１ 画像認識部
１２ ターゲットオブジェクト位置・大きさ検出部
１３ ＣＧ画像記憶部
１４ ＣＧ画像選択部
１５ ＣＧ画像配置部
１６ 画像合成部
２１ プロセッサ
２２ メモリ
２３ 記憶装置
２４ 入力装置
２５ 表示装置
２６ 通信装置
３０ 位置関係識別部
４０ ターゲットオブジェクト位置検出部
DESCRIPTION OF
Claims (11)
前記映像から、前記ターゲットオブジェクトを画像認識する画像認識部と、
前記画像認識部により認識されたターゲットオブジェクトの映像上の位置を検出する位置検出部と、
前記位置検出部により検出されたターゲットオブジェクトの映像上の位置を用いて、前記コンピュータグラフィク画像の映像上の配置位置を適応的に決定する画像配置部と、
前記コンピュータグラフィク画像が前記画像配置部により決定された配置位置に重畳された映像を生成する画像合成部と
を有する画像合成装置。 An image composition device for compositing a computer graphic image related to a target object appearing in a video with the video,
An image recognition unit for recognizing the target object from the video;
A position detection unit for detecting a position on the video of the target object recognized by the image recognition unit;
An image arrangement unit that adaptively determines an arrangement position on the video of the computer graphic image using a position on the video of the target object detected by the position detection unit;
An image composition apparatus comprising: an image composition unit that generates a video in which the computer graphic image is superimposed on an arrangement position determined by the image arrangement unit.
請求項１に記載の画像合成装置。 The image placement unit is a candidate for the placement position of the computer graphic image, and a plurality of candidate placement positions with priorities determined in advance, and the image placement unit detects the computer graphic image. When the target object is placed at a candidate placement position on the basis of the position on the video, all the computer graphic images are displayed on the video, and the highest priority candidate placement position is placed on the computer graphic image. The image composition device according to claim 1, wherein the image composition device determines the position.
前記画像配置部には、前記複数のターゲットオブジェクトの優先順位が予め定められ、前記画像配置部は、前記ターゲットオブジェクトの優先順位に従って、前記コンピュータグラフィク画像を前記候補配置位置に配置していき、前記コンピュータグラフィク画像の全てが映像上に表示され、優先順位の高いターゲットオブジェクトの所定の領域と前記コンピュータグラフィク画像とが重畳せず、かつ、最も優先順位の高い候補配置位置を、前記コンピュータグラフィク画像の配置位置と決定する
請求項２に記載の画像合成装置。 The image recognition unit recognizes a plurality of target objects,
In the image placement unit, the priority order of the plurality of target objects is determined in advance, and the image placement unit places the computer graphic image in the candidate placement position according to the priority order of the target objects, All of the computer graphic images are displayed on the video, the predetermined region of the target object having a high priority and the computer graphic image are not superimposed, and the candidate arrangement position having the highest priority is determined as the computer graphic image. The image synthesizing apparatus according to claim 2, wherein the image synthesizing apparatus is determined as an arrangement position.
前記大きさ検出部により検出されたターゲットオブジェクトの映像上の大きさに応じたコンピュータグラフィク画像を選択する画像選択部と
を有し、
前記画像配置部は、前記画像選択部により選択されたコンピュータグラフィク画像を、前記候補配置位置に配置する
請求項１から請求項３のいずれかに記載の画像合成装置。 A size detector for detecting the size of the target object recognized by the image recognition unit;
An image selection unit that selects a computer graphic image according to the size of the target object on the video detected by the size detection unit;
The image composition device according to any one of claims 1 to 3, wherein the image arrangement unit arranges the computer graphic image selected by the image selection unit at the candidate arrangement position.
請求項４に記載の画像合成装置。 The image composition according to claim 4, wherein the size detection unit detects a size of a region of interest including at least a part of the target object recognized by the image recognition unit as a size on the video of the target object. apparatus.
請求項５に記載の画像合成装置。 The image synthesizing apparatus according to claim 5, wherein the predetermined area of the target object is the attention area.
請求項１から請求項６のいずれかに記載の画像合成装置。 The image composition device according to any one of claims 1 to 6, wherein the image arrangement unit arranges the computer graphic image only on a target object having a predetermined priority order among a plurality of target objects.
前記画像配置部は、前記位置関係識別部が識別したターゲットオブジェクトの位置関係を用いて、予め定められた優先順位のターゲットオブジェクトにのみ、前記コンピュータグラフィク画像を配置する
請求項７に記載の画像合成装置。 A positional relationship identifying unit for identifying the positional relationship of a plurality of target objects;
The image composition unit according to claim 7, wherein the image arrangement unit arranges the computer graphic image only on a target object having a predetermined priority order using the positional relationship of the target objects identified by the positional relationship identification unit. apparatus.
請求項１から請求項８のいずれかに記載の画像合成装置。 The image composition device according to any one of claims 1 to 8, wherein the image arrangement unit changes the priority of the candidate arrangement positions according to the priority of the target object.
前記映像から、前記ターゲットオブジェクトを画像認識し、
認識されたターゲットオブジェクトの映像上の位置を検出し、
検出されたターゲットオブジェクトの映像上の位置を用いて、前記コンピュータグラフィク画像の映像上の配置位置を適応的に決定し、
前記コンピュータグラフィク画像が前記画像配置部により決定された配置位置に重畳された映像を生成する
画像合成方法。 An image composition method for compositing a computer graphic image related to a target object appearing in a video with the video,
Image recognition of the target object from the video,
Detect the position of the recognized target object on the video,
Using the position of the detected target object on the video, adaptively determining the position of the computer graphic image on the video;
An image synthesis method for generating a video in which the computer graphic image is superimposed on an arrangement position determined by the image arrangement unit.
前記映像から、前記ターゲットオブジェクトを画像認識する画像認識処理と、
前記画像認識処理により認識されたターゲットオブジェクトの映像上の位置を検出する位置検出処理と、
前記位置検出処理により検出されたターゲットオブジェクトの映像上の位置を用いて、前記コンピュータグラフィク画像の映像上の配置位置を適応的に決定する画像配置処理と、
前記コンピュータグラフィク画像が前記画像配置部により決定された配置位置に重畳された映像を生成する画像合成処理と
をコンピュータに実行させるプログラム。 A computer program for combining a computer graphic image related to a target object appearing in a video with the video,
Image recognition processing for recognizing the target object from the video;
A position detection process for detecting a position on the video of the target object recognized by the image recognition process;
An image arrangement process for adaptively determining an arrangement position on the video of the computer graphic image using a position on the video of the target object detected by the position detection process;
A program for causing a computer to execute an image composition process for generating a video in which the computer graphic image is superimposed on an arrangement position determined by the image arrangement unit.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018090385 | 2018-05-09 | ||
| JP2018090385 | 2018-05-09 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019200774A true JP2019200774A (en) | 2019-11-21 |
| JP7285045B2 JP7285045B2 (en) | 2023-06-01 |
Family
ID=68611266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018212309A Active JP7285045B2 (en) | 2018-05-09 | 2018-11-12 | Image synthesizing device, image synthesizing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7285045B2 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007215097A (en) * | 2006-02-13 | 2007-08-23 | Matsushita Electric Ind Co Ltd | Display data generating apparatus |
| JP2011234343A (en) * | 2010-04-06 | 2011-11-17 | Canon Inc | Video processing apparatus and video processing method |
| WO2013021643A1 (en) * | 2011-08-11 | 2013-02-14 | パナソニック株式会社 | Hybrid broadcast and communication system, data generation device, and receiver |
-
2018
- 2018-11-12 JP JP2018212309A patent/JP7285045B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007215097A (en) * | 2006-02-13 | 2007-08-23 | Matsushita Electric Ind Co Ltd | Display data generating apparatus |
| JP2011234343A (en) * | 2010-04-06 | 2011-11-17 | Canon Inc | Video processing apparatus and video processing method |
| WO2013021643A1 (en) * | 2011-08-11 | 2013-02-14 | パナソニック株式会社 | Hybrid broadcast and communication system, data generation device, and receiver |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7285045B2 (en) | 2023-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105938552B (en) | Face recognition method and device for automatically updating base map | |
| CN105027033B (en) | Method, device and computer-readable media for selecting Augmented Reality object | |
| JP6501501B2 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING SYSTEM, AND PROGRAM | |
| KR100845390B1 (en) | Image processing apparatus, image processing method, record medium, and semiconductor device | |
| EP2372653B1 (en) | Image processing device and image processing method | |
| AU2010366331B2 (en) | User interface, apparatus and method for gesture recognition | |
| WO2022022036A1 (en) | Display method, apparatus and device, storage medium, and computer program | |
| JP4916548B2 (en) | Establish and use dominant lines of images | |
| CN103914876B (en) | For showing the method and apparatus of video on 3D maps | |
| US11501471B2 (en) | Virtual and real composite image data generation method, virtual and real images compositing system, trained model generation method, virtual and real composite image data generation device | |
| JP2019057836A (en) | Video processing device, video processing method, computer program, and storage medium | |
| CN104508680B (en) | Improved video signal is tracked | |
| JP2011146796A5 (en) | ||
| JP2017102808A (en) | Image processing device and method | |
| US20130229342A1 (en) | Information providing system, information providing method, information processing apparatus, method of controlling the same, and control program | |
| US11709593B2 (en) | Electronic apparatus for providing a virtual keyboard and controlling method thereof | |
| US10032248B2 (en) | Image switching method and apparatus | |
| US10295403B2 (en) | Display a virtual object within an augmented reality influenced by a real-world environmental parameter | |
| CN108431871A (en) | The method that object is shown on threedimensional model | |
| US10546406B2 (en) | User generated character animation | |
| US11961190B2 (en) | Content distribution system, content distribution method, and content distribution program | |
| CN111918114A (en) | Image display method, image display device, display equipment and computer readable storage medium | |
| JP2019200774A (en) | Image synthesizing device, image synthesizing method, and program | |
| CN116863107A (en) | Augmented reality providing method, apparatus, and non-transitory computer readable medium | |
| CN115220636B (en) | Virtual operation method, virtual operation device, electronic equipment and readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211102 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220907 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221102 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230104 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230521 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7285045 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |