JP2021015404A - Image processing apparatus, image processing method, and program - Google Patents
Image processing apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP2021015404A JP2021015404A JP2019129208A JP2019129208A JP2021015404A JP 2021015404 A JP2021015404 A JP 2021015404A JP 2019129208 A JP2019129208 A JP 2019129208A JP 2019129208 A JP2019129208 A JP 2019129208A JP 2021015404 A JP2021015404 A JP 2021015404A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image processing
- processing apparatus
- operating state
- player
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、トラッキングデータを用いて、オブジェクトの動作状態を判別する技術に関する。 The present invention relates to a technique for determining an operating state of an object using tracking data.
従来、２次元の画像処理技術において、オブジェクトの２次元のトラッキングデータを活用した画像解析技術が知られている。特許文献１には、カメラにより撮影された映像データにより生成されるオブジェクトの２次元のトラッキングデータから、そのオブジェクトが不動のオブジェクトであるかを判別して、映像データとともに判別結果を表示する技術が開示されている。
Conventionally, in a two-dimensional image processing technique, an image analysis technique utilizing two-dimensional tracking data of an object is known.
また、他方で、３次元の画像処理技術において、仮想視点画像等を生成する技術が知られている。特許文献２には、複数のカメラで撮影した画像から再構成したオブジェクトの３次元情報をＣＧ（コンピュータグラフィクス）で表示させることで、仮想視点画像を生成する技術が開示されている。 On the other hand, in a three-dimensional image processing technique, a technique for generating a virtual viewpoint image or the like is known. Patent Document 2 discloses a technique for generating a virtual viewpoint image by displaying three-dimensional information of an object reconstructed from images taken by a plurality of cameras by CG (computer graphics).
ここで、従来、特許文献２に開示される仮想視点画像において、特許文献１のようにトラッキングデータを活用したものがなく、そのため、オブジェクトの動作状態を判別することは行われていなかった。詰まるところ、仮想視点画像において、視聴者は、オブジェクトの動作状態を認識することができないという問題があった。
Here, conventionally, there is no virtual viewpoint image disclosed in Patent Document 2 that utilizes tracking data as in
本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、仮想視点画像において、オブジェクトの動作状態を判別することである。 The present invention has been made in view of the above-mentioned conventional problems, and an object of the present invention is to determine the operating state of an object in a virtual viewpoint image.
本発明は、仮想視点に関する情報に基づいて仮想視点画像を生成する画像処理装置であって、オブジェクトのトラッキングデータを取得する第１の取得手段と、前記オブジェクトの動作状態を判別するための判別情報を取得する第２の取得手段と、前記判別情報と前記トラッキングデータとに基づいて、前記オブジェクトの動作状態を判別する判別手段と、前記オブジェクトの３次元モデルのデータを取得する第３の取得手段と、所定の表示態様により、前記オブジェクトの３次元モデルのデータに基づく前記仮想視点画像と、前記判別された前記オブジェクトの動作状態とを表示させる表示制御手段とを備えることを特徴とする。 The present invention is an image processing device that generates a virtual viewpoint image based on information about a virtual viewpoint, and is a first acquisition means for acquiring tracking data of an object and discrimination information for discriminating the operating state of the object. A second acquisition means for determining the operating state of the object based on the discrimination information and the tracking data, and a third acquisition means for acquiring data of a three-dimensional model of the object. And, according to a predetermined display mode, the virtual viewpoint image based on the data of the three-dimensional model of the object and the display control means for displaying the discriminated operating state of the object are provided.
本発明によれば、仮想視点画像において、オブジェクトの動作状態を判別することができる。 According to the present invention, it is possible to determine the operating state of an object in a virtual viewpoint image.
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、補足として、同一の構成については、同じ符号を付して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. It should be noted that the following embodiments do not limit the present invention, and not all combinations of features described in the present embodiment are essential for the means for solving the present invention. In addition, as a supplement, the same configuration will be described with the same reference numerals.
（実施形態１）
図１は、仮想視点映像システムの概略図である。仮想視点映像システムは、カメラ（撮影装置）１０１−１１４、サーバ１１７、ケーブル１１５を備える。図１に示される例において、カメラ１０１−１１４は、各々異なる撮影視点で、競技場１１６を取り囲むように撮影する。カメラ１０１−１１４の各々は、オブジェクトを映像データ（動画データ）として撮影する機能、また、撮影した映像データを接続したケーブル１１５によってサーバ１１７に伝送する機能を有する。本実施形態において、伝送される映像データはＹＣｂＣｒの３コンポーネントの信号であり、また、その信号比率は４：２：２である。
(Embodiment 1)
FIG. 1 is a schematic view of a virtual viewpoint video system. The virtual viewpoint video system includes a camera (shooting device) 101-114, a
なお、カメラ１０１−１１４の各々が有する機能として、上述したもの以外に、例えば、オートフォーカス機能、自動露出調整機能等も有する。また、カメラ１０１−１１４の各々には、不図示のコンパクトフラッシュ（登録商標）、ＳＤ（Solid State Drive）等の記録媒体が内蔵されており、カメラ１０１−１１４の各々は、その記録媒体に撮影した映像データを記録することができる。その他、映像データ形式として、例えば、ＲＧＢ、グレースケール等の別の表現形式を用いてもよく、また、映像データの信号比率として、例えば、４：４：４、４：２：０等の比率を用いてもよい。 In addition to the functions described above, each of the cameras 101-114 also has, for example, an autofocus function and an automatic exposure adjustment function. In addition, each of the cameras 101-114 has a built-in recording medium such as a compact flash (registered trademark) and SD (Solid State Drive) (not shown), and each of the cameras 101-114 takes a picture on the recording medium. It is possible to record the recorded video data. In addition, another expression format such as RGB or grayscale may be used as the video data format, and the signal ratio of the video data is, for example, 4: 4: 4, 4: 2: 0 or the like. May be used.
サーバ１１７は、映像データを入力として、仮想視点映像データを生成及び表示を行なうとともに、オブジェクトの動作状態の判別・表示も行なう。なお、サーバ１１７における処理の詳細は、図２を用いて後述する。また、オブジェクトの動作状態は、そのオブジェクトの絶対的又は相対的な位置の変位のことである。
The
ケーブル１１５は、映像データを、ケーブルの端部（不図示）から入出力することができる。本実施形態では、ＨＤ−ＳＤＩ（High Definition Serial Digital Inerface）規格に基づいた伝送ケーブルであって、ケーブル長として３０ｍの伝送ケーブルを用いる。
The
ケーブル１１５は、図１に示されるように、カメラ１０１−１１４の各々とサーバ１１７を接続している。具体的には、カメラ１０１−１１４の各々は、ケーブル１１５により、（例えば、図１に示されるように、カメラ１０２が、カメラ１０２と隣り合うカメラ１０１とカメラ１０３と接続されるように）リング状に接続される。
The
なお、ケーブル１１５として、上述したもの以外に、ＬＡＮ（Local Area Network）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等の規格に基づいたケーブルを用いてもよい。また、ケーブル１１５に関して、映像データの伝送時に、熱損によりＳ／Ｎ比（Signal to Noise Ratio）が低下するため、不図示の映像増幅器により伝送する映像データを増幅してもよい。
As the
このように、仮想視点映像システムでは、カメラ１０１−１１４及びサーバ１１７がケーブル１１５により接続される。そのため、カメラ１０１−１１４により撮影された競技場１１６で行われている競技の映像データを、リアルタイムでサーバ１１７に伝送することができる。
As described above, in the virtual viewpoint video system, the camera 101-114 and the
次に、図２を用いて、サーバ１１７のハードウェア構成を示すブロック図である。サーバ１１７は、図２に示されるように、入力部２０１、出力部２０２、中央演算部２０３、主記憶部２０４、補助記憶部２０５、バス２０６を備える。
Next, FIG. 2 is a block diagram showing a hardware configuration of the
入力部２０１は、カメラ１０１−１１４からケーブル１１５により伝送される映像データを入力として受信する。入力部２０１は、例えば、ＨＤ−ＳＤＩキャプチャーボード等である。出力部２０２は、仮想視点映像データ、オブジェクトの動作状態を表示制御（出力）する。なお、仮想視点映像データは、公知の技術を用いて、映像データより生成される。また、オブジェクトの動作状態の詳細については、後述の図７及び図８を用いて説明する。
The
中央演算部２０３は、実行されるプログラムの処理ステップに応じた演算処理を実行する。なお、中央演算部２０３は、画像処理プログラムを実行することで、画像処理装置として機能する。また、実行されるプログラムの処理ステップの詳細については、図４を用いて後述する。主記憶部２０４は、中央演算部２０３によるデータの制御により、補助記憶部２０５に記録された映像データ、ユーザ定義データ、処理プログラム等を適宜、一時的に記憶する。なお、ユーザ定義データの詳細については、図６を用いて後述する。
The central
補助記憶部２０５は、映像データ、ユーザ定義データ、処理プログラム等を記録する。バス２０６は、入力部２０１、出力部２０２、中央演算部２０３、主記憶部２０４、及び補助記憶部２０５を接続し、各種データの伝送を可能とする。
The
以上の構成において、処理プログラムが実行されると、その処理プログラムの処理ステップに応じて、記録された映像データ、ユーザ定義データ、仮想視点映像データが各ブロック間で入出力される。なお、サーバ１１７は、上述のブロック以外のブロックとして、例えば、マウス、キーボート等の標準入力装置、テレビジョンディスプレイ等表示装置を備えてもよい。サーバ１１７が標準入力装置を備えることで、ユーザは、意図する表示方法をサーバ１１７（画像処理装置）に指示することができる。また、サーバ１１７が表示装置を備えることで、表示装置に、仮想視点映像データを表示させることができる。
In the above configuration, when the processing program is executed, the recorded video data, user-defined data, and virtual viewpoint video data are input / output between the blocks according to the processing steps of the processing program. The
図３は、サーバ１１７の中央演算部２０３が画像処理プログラムを実行して、画像処理装置として機能する場合の機能ブロック図である。なお、図３において示される一部の機能ブロックは、ハードウェアで実現することもできる。また、画像処理装置は、第１入力部３０１、第２入力部３０２、第３入力部３０３、判別部３０４、表示制御部３０５を備える。
FIG. 3 is a functional block diagram when the
第１入力部３０１は、オブジェクトトラッキングデータを入力として受信する。なお、オブジェクトトラッキングデータの詳細については、図５を用いて後述する。第２入力部３０２は、ユーザ定義データを入力として受信する。なお、ユーザ定義データの詳細については、図６を用いて後述する。第３入力部３０３は、３次元モデルのデータ（以下、３Ｄモデルデータと称する）を入力として受信する。なお、３Ｄモデルデータには、オブジェクトの形状を示す形状データ、及びオブジェクトのテクスチャを示すテクスチャデータが含まれる。また、３Ｄモデルデータのオブジェクトについては、図５（図５（ａ））を用いて後述する。
The
判別部３０４は、オブジェクトトラッキングデータとユーザ定義データからオブジェクトの動作状態を判別する。即ち、判別部３０４は、オブジェクトトラッキングデータとユーザ定義データを入力として、オブジェクトの動作状態を出力する。表示制御部３０５は、オブジェクトの動作状態と３Ｄモデルデータを入力として、表示データを出力する。表示データは、上述の図２に示される出力部２０２に転送されて、視聴者によって視聴される。
The
次に、図４のフローチャートを用いて、画像処理装置における処理の手順を説明する。なお、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。この点、以下のフローチャートの説明においても同様とする。 Next, the procedure of processing in the image processing apparatus will be described with reference to the flowchart of FIG. The symbol "S" in the description of the flowchart represents a step. The same applies to the description of the following flowchart.
Ｓ４０１において、第１入力部３０１は、オブジェクトトラッキングデータを入力として受信する。Ｓ４０２において、第２入力部３０２は、ユーザ定義データを入力として受信する。Ｓ４０３において、判別部３０４は、オブジェクトの動作状態を判別する。なお、この判別する処理に関して、概略的には、ユーザ定義データにおいて指定されているオブジェクトの動作状態について、オブジェクトトラッキングデータから抽出されるオブジェクトの分布状態に基づいて、オブジェクトの動作状態を判別する。補足として、分布状態とは、例えば、後述の図７に示されるようなオブジェクト７０１、７０２、ボール７０３の位置（分布）する状態のことである。
In S401, the
Ｓ４０４において、第３入力部３０３は、３Ｄモデルデータを入力として受信する。Ｓ４０５において、表示制御部３０５は、表示データを出力する（即ち、表示制御処理を実行する）。なお、この表示制御処理に関して、詳細は図８を用いて後述するが、概略的には、オブジェクトの動作状態及び３Ｄモデルデータを用いて表示データを生成し、その生成した表示データを出力部２０２に送信する処理である。
In S404, the
次に、図５を用いて、オブジェクトトラッキングデータについて説明する。図５は、オブジェクトトラッキングデータを示す模式図である。オブジェクトトラッキングデータは、フレームに跨る同一のオブジェクトにおける特徴を示すデータである。このオブジェクトトラッキングデータに関して、例えば、映像データのフレーム間で３次元モデル同士の対応する位置を合わせた結果を用いて、求めることができる。具体的には、その対応付けられている３次元モデル間の頂点座標の差分値を先頭フレームから順に算出することで、求めることができる。 Next, the object tracking data will be described with reference to FIG. FIG. 5 is a schematic diagram showing object tracking data. Object tracking data is data that shows the characteristics of the same object that spans frames. The object tracking data can be obtained, for example, by using the result of aligning the corresponding positions of the three-dimensional models between the frames of the video data. Specifically, it can be obtained by calculating the difference value of the vertex coordinates between the associated three-dimensional models in order from the first frame.
以下、図５（ａ）から図５（ｃ）の各図について説明する。図５（ａ）は、ＣＧ（コンピュータグラフィクス）であり、３次元ワールド座標系におけるオブジェクトを模式的に示した図である。なお、図５（ａ）では、２つのフレーム時刻ｔ０、ｔ１における複数のオブジェクトが示されている。 Hereinafter, each of FIGS. 5 (a) to 5 (c) will be described. FIG. 5A is CG (computer graphics) and is a diagram schematically showing an object in a three-dimensional world coordinate system. Note that FIG. 5A shows a plurality of objects at two frame times t0 and t1.
フレーム時刻ｔ０において、第１の選手５０１、第２の選手５０２、及びボール５０３がオブジェクトとして示される。なお、フレーム時刻ｔ０では、ボール５０３を持って走っている第２の選手５０２に対して、第１の選手５０１がタックルをしようとしている様子が示されている。
At frame time t0, the
また、フレーム時刻ｔ１において、フレーム時刻ｔ０と同じく、第１の選手５０１、第２の選手５０２、及びボール５０３の３つのオブジェクトが示されている。フレーム時刻ｔ１では、フレーム時刻ｔ０よりも１フレーム分、時間が経過しており、第１の選手５０１が、タックルによって、第２の選手５０２の足を捉えようとしている様子が示されている。
Further, at the frame time t1, three objects of the
図５（ｂ）は、オブジェクトトラッキングデータのデータ構造を示す模式図である。オブジェクトトラッキングデータクラス５２１は、１又は複数のフレームデータクラス５２２を保持する構造を有する。フレームデータクラス５２２は、１又は複数のオブジェクトデータ５２３を保持する構造を有する。また、フレームデータクラス５２２は、各フレームデータを識別するフレームＩＤを保持する。これにより、オブジェクトトラッキングデータを参照する際に、フレームの識別が容易なデータ構造を備える。オブジェクトデータ５２３は、オブジェクトを識別するオブジェクトＩＤ（識別情報）、オブジェクト固有のワールド座標値、オブジェクト固有の属性情報を保持する。
FIG. 5B is a schematic diagram showing a data structure of object tracking data. The object tracking
ワールド座標値には、３次元ワールド座標系におけるオブジェクトの配置座標位置が設定される。オブジェクトの配置座標位置は、オブジェクトを構成するオブジェクトデータが有する複数のポリゴンデータを用いて算出される。具体的には、複数のポリゴンデータの各重心座標値から算出される。なお、この方法以外の方法で、３次元ワールド座標系におけるオブジェクトの配置座標位置を算出（定義）してもよく、例えば、複数のポリゴンデータの各頂点座標値のうち、Ｙ軸方向等の所定の軸方向における最大値で定義してもよい。 The arrangement coordinate position of the object in the three-dimensional world coordinate system is set in the world coordinate value. The arrangement coordinate position of the object is calculated by using a plurality of polygon data possessed by the object data constituting the object. Specifically, it is calculated from each center of gravity coordinate value of a plurality of polygon data. In addition, a method other than this method may be used to calculate (define) the arrangement coordinate position of the object in the three-dimensional world coordinate system. For example, among the coordinate values of each vertex of the plurality of polygon data, the Y-axis direction and the like are predetermined. It may be defined by the maximum value in the axial direction of.
属性情報は、３次元ワールド座標系におけるオブジェクトの配置座標位置以外の固有の属性情報である。この固有の属性情報には、“選手”、“ボール” 、“ゴール”等の単体のオブジェクトの形状情報から判別可能な情報や“チーム”、“ポジション”等の複数のオブジェクトの相対位置から判別可能な情報が含まれる。 The attribute information is unique attribute information other than the arrangement coordinate position of the object in the three-dimensional world coordinate system. This unique attribute information is discriminated from information that can be discriminated from the shape information of a single object such as "player", "ball", and "goal", and from the relative positions of multiple objects such as "team" and "position". Contains possible information.
なお、本明細書において、ダブルクオーテーション（“”）で囲まれた文字、単語は、データを示すものとし、また、シングルクォーテーション（‘’）で囲まれた文字、単語は、オブジェクトの動作状態の具体的形態を示すものとする。 In the present specification, the characters and words enclosed in double quotation marks (“”) indicate data, and the characters and words enclosed in single quotation marks ('') are the operating states of the object. It shall show the concrete form of.
図５（ｃ）は、図５（ｂ）に示されるオブジェクトトラッキングデータのデータ構造に基づいて、図５（ａ）で図示されたオブジェクトから抽出したオブジェクトトラッキングデータを模式的に示した図である。即ち、図５（ａ）で図示されたオブジェクトは、図５（ｂ）に示されるオブジェクトトラッキングデータのデータ構造に基づいて、図５（ｃ）に示されるデータ形式でデータ化される。 FIG. 5 (c) is a diagram schematically showing object tracking data extracted from the object shown in FIG. 5 (a) based on the data structure of the object tracking data shown in FIG. 5 (b). .. That is, the object shown in FIG. 5A is converted into data in the data format shown in FIG. 5C based on the data structure of the object tracking data shown in FIG. 5B.
なお、図５（ｃ）では、図中のｔ０、ｔ１の各行において、各々、図５（ａ）の２つのフレーム時刻ｔ０、ｔ１に対応したフレームデータを示している。フレーム時刻ｔ０におけるフレームデータとして、図５（ａ）のフレーム時刻ｔ０における複数のオブジェクトに対応して、オブジェクトＩＤ１、ＩＤ２、ＩＤ３の３つのオブジェクトデータがある。オブジェクトＩＤ１のオブジェクトデータは、ＩＤとしてＩＤ１、ワールド座標値としてｇｘ０１、ｇｙ０１、ｇｚ０１、属性情報として第１の選手を保持する。オブジェクトＩＤ２のオブジェクトデータは、ＩＤとしてＩＤ２、ワールド座標値としてｇｘ０２、ｇｙ０２、ｇｚ０２、属性情報として第２の選手を保持する。オブジェクトＩＤ３のオブジェクトデータは、ＩＤとしてＩＤ３、ワールド座標値としてｇｘ０３、ｇｙ０３、ｇｚ０３、属性情報としてボールを保持する。 Note that, in FIG. 5 (c), each line of t0 and t1 in the figure shows frame data corresponding to the two frame times t0 and t1 of FIG. 5 (a), respectively. As the frame data at the frame time t0, there are three object data of object ID1, ID2, and ID3 corresponding to the plurality of objects at the frame time t0 in FIG. 5A. The object data of the object ID1 holds ID1 as the ID, gx01, gy01, gz01 as the world coordinate values, and the first player as the attribute information. The object data of the object ID2 holds ID2 as the ID, gx02, gy02, gz02 as the world coordinate values, and the second player as the attribute information. The object data of the object ID3 holds the ID3 as the ID, gx03, gy03, gz03 as the world coordinate values, and the ball as the attribute information.
また、フレーム時刻ｔ１におけるフレームデータも、フレーム時刻ｔ０におけるフレームデータと同様に、図５（ａ）のフレーム時刻ｔ１における複数のオブジェクトに対応して、オブジェクトＩＤ１、ＩＤ２、ＩＤ３の３つのオブジェクトデータがある。オブジェクトＩＤ１のオブジェクトデータは、ＩＤとしてＩＤ１、ワールド座標値としてｇｘ１１、ｇｙ１１、ｇｚ１１、属性情報として第１の選手を保持する。オブジェクトＩＤ２のオブジェクトデータは、ＩＤとしてＩＤ２、ワールド座標値としてｇｘ１２、ｇｙ１２、ｇｚ１２、属性情報として第２の選手を保持する。オブジェクトＩＤ３のオブジェクトデータは、ＩＤとしてＩＤ３、ワールド座標値としてｇｘ１３、ｇｙ１３、ｇｚ１３、属性情報としてボールを保持する。このように、フレーム時刻ｔ０、ｔ１で、オブジェクトＩＤ１、ＩＤ２、ＩＤ３の各々に関して、保持しているワールド座標値が変化する。 Further, as for the frame data at the frame time t1, similarly to the frame data at the frame time t0, the three object data of the object ID1, ID2, and ID3 correspond to the plurality of objects at the frame time t1 in FIG. 5A. is there. The object data of the object ID1 holds ID1 as the ID, gx11, gy11, gz11 as the world coordinate values, and the first player as the attribute information. The object data of the object ID2 holds ID2 as the ID, gx12, gy12, gz12 as the world coordinate values, and the second player as the attribute information. The object data of the object ID3 holds the ID3 as the ID, gx13, gy13, gz13 as the world coordinate values, and the ball as the attribute information. In this way, at the frame times t0 and t1, the held world coordinate values change for each of the objects ID1, ID2, and ID3.
以上、オブジェクトトラッキングデータの例として、フレーム時刻の数が２つ、オブジェクトの数が３つである場合について説明したが、必ずしもこれに限られない。したがって、オブジェクトの数として、３つに限らず、３つよりも多い数を定義することもできる。例えば、ラグビー競技の場合、オブジェクトトラッキングデータのオブジェクトの数として、選手が１チーム１５人、ボールが１つ、ゴールバーが２つであることから、合計３３個のオブジェクトを定義することができる。補足として、オブジェクトが選手等、人物像である場合、人体の部位によってオブジェクトを定義してもよい。 As an example of the object tracking data, the case where the number of frame times is two and the number of objects is three has been described above, but the present invention is not necessarily limited to this. Therefore, the number of objects is not limited to three, and a number greater than three can be defined. For example, in the case of a rugby game, as the number of objects in the object tracking data, since there are 15 players per team, 1 ball, and 2 goal bars, a total of 33 objects can be defined. As a supplement, when the object is a human figure such as a player, the object may be defined by a part of the human body.
また、フレーム時刻の数として、２つに限らず、映像データの有するフレームの数に応じて定義してもよい。その他、補足として、上述では、フレーム時刻をｔ０、ｔ１として説明したが、フレーム時刻ｔ０とｔ１の時刻差の逆数は、フレームレートに一致する。なお、フレームレートとして、映像機器で一般的に適用される２４、３０、６０、１２０ｆｐｓを適用することができる。また、これら以外にも、ハイスピードカメラに適用される２０００、１００００ｆｐｓ等の高フレームレートを適用することもできる。 Further, the number of frame times is not limited to two, and may be defined according to the number of frames possessed by the video data. In addition, as a supplement, the frame times have been described as t0 and t1 in the above description, but the reciprocal of the time difference between the frame times t0 and t1 matches the frame rate. As the frame rate, 24, 30, 60, 120 fps, which are generally applied in video equipment, can be applied. In addition to these, a high frame rate such as 2000, 10000 fps, which is applied to a high-speed camera, can also be applied.
次に、図６を用いて、ユーザ定義データについて説明する。図６は、ユーザ定義データを示す模式図である。ユーザ定義データは、オブジェクトの動作状態の判別に必要とされる属性情報が定義されたデータ（判別情報）である。 Next, the user-defined data will be described with reference to FIG. FIG. 6 is a schematic diagram showing user-defined data. User-defined data is data (discrimination information) in which attribute information required for discriminating the operating state of an object is defined.
以下、図６（ａ）及び図６（ｂ）の各図について説明する。図６（ａ）は、ユーザ定義データのデータ構造を示す模式図である。図６（ａ）において、ユーザ定義データクラス６０１は、１又は複数のオブジェクト動作状態クラス６０２を保持する構造を有する。オブジェクト動作状態クラス６０２は、１又は複数の状態属性情報クラス６０３を保持する構造を有する。また、オブジェクト動作状態クラス６０２は、オブジェクトの動作状態を識別する動作状態の名称（以下、状態名と称する）を保持する。状態属性情報クラス６０３は、状態属性情報に固有の状態属性値を保持する。このように、ユーザ定義データは、判別処理を実行する上で、オブジェクトの動作状態毎に階層化して記述される。
Hereinafter, each of FIGS. 6 (a) and 6 (b) will be described. FIG. 6A is a schematic diagram showing a data structure of user-defined data. In FIG. 6A, the user-defined
図６（ｂ）は、ＸＭＬ形式で記述したユーザ定義データを示す模式図である。図６（ｂ）において、符号Ｌ６０４はユーザ定義データの開始、符号Ｌ６０５はオブジェクトの動作状態の１つである‘方向価値’の定義の開始を示している。ここで、方向価値とは、基準とするオブジェクトに対する所定のオブジェクトの変位を評価（判別）する上での指標のことである。また、符号Ｌ６０６は‘方向価値’の状態属性値の１つである“方向番号”を示している。 FIG. 6B is a schematic diagram showing user-defined data described in XML format. In FIG. 6B, the reference numeral L604 indicates the start of user-defined data, and the reference numeral L605 indicates the start of the definition of'direction value', which is one of the operating states of the object. Here, the directional value is an index for evaluating (discriminating) the displacement of a predetermined object with respect to the reference object. Further, the reference numeral L606 indicates a "direction number" which is one of the state attribute values of the "direction value".
なお、“方向番号”は、他の“方向価値”を導出する上で、識別するための識別番号である。ここでは“方向番号”として、“１”が設定されている例を示しており、“方向番号”の“１”は、図７を用いて後述するように、“ボール”と“第１の選手”との関係で方向価値を導出することを示している。また、上述のように、“方向番号”は、識別番号であることから、他の“方向価値”の“方向番号”と重複しないように“１”以外の値を設定（記述）することができる。具体的には、１以上の整数値を設定することができる。 The "direction number" is an identification number for identification in deriving another "direction value". Here, an example in which "1" is set as the "direction number" is shown, and the "1" of the "direction number" is a "ball" and a "first" as will be described later with reference to FIG. It shows that the direction value is derived in relation to the "player". Further, as described above, since the "direction number" is an identification number, it is possible to set (describe) a value other than "1" so as not to overlap with the "direction number" of another "direction value". it can. Specifically, an integer value of 1 or more can be set.
符号Ｌ６０７は、‘方向価値’の状態属性値の一つである“オブジェクト”であって、方向価値の基準とするオブジェクトを示す。図６（ｂ）において、“オブジェクト”に、“ボール”が設定されていることから、ここでは、“ボール”に対する“第１の選手”の方向価値を導出する。なお、“オブジェクト”には、“ボール”以外に“選手”、“ゴール”等のオブジェクトを設定することができる。また、補足として、“オブジェクト”と、オブジェクトトラッキングデータに定義されているオブジェクトデータに記述されている属性情報が一致している場合、記述されたオブジェクトについての方向価値の算出を指定することができる。 Reference numeral L607 is an "object" which is one of the state attribute values of "direction value", and indicates an object as a reference of direction value. Since the "ball" is set in the "object" in FIG. 6B, here, the directional value of the "first player" with respect to the "ball" is derived. In addition to the "ball", objects such as "player" and "goal" can be set in the "object". In addition, as a supplement, when the "object" and the attribute information described in the object data defined in the object tracking data match, the calculation of the direction value for the described object can be specified. ..
符号Ｌ６０８は、‘方向価値’の状態属性値の１つである“表示設定”を示している。“表示設定”は、“方向価値”を表示させる際の表示方法（表示態様）に関する状態属性値である。なお、“表示設定”には、“通常表示”、“非表示”、“点滅表示”、“拡大表示”、“縮小表示”、“別オブジェクトデータ表示”、“別テクスチャ表示”等を指定することができる。 Reference numeral L608 indicates "display setting" which is one of the state attribute values of "direction value". The "display setting" is a state attribute value related to a display method (display mode) when displaying the "direction value". For "display setting", specify "normal display", "non-display", "blinking display", "enlarged display", "reduced display", "separate object data display", "different texture display", etc. be able to.
符号Ｌ６０９は、‘方向価値’の状態属性値の１つである“算出方式”を示している。“算出方式”は、複数で定義される“方向価値”を算出する方式である。図６（ｂ）において、“算出方式”には、“第１基底”が設定されている。“算出方式”には、“第１基底”以外の“方向価値”の算出方式を指定することができる。具体的には、“特定オブジェクト方向＋直交成分（即ち、“第１基底”で定義される方向に直交する方向）”等を指定することができる。なお、“第１基底”については、図７を用いて後述する。符号Ｌ６１０は、“方向価値”の定義の終了を示している。 Reference numeral L609 indicates a "calculation method" which is one of the state attribute values of "direction value". The "calculation method" is a method for calculating a "direction value" defined by a plurality of elements. In FIG. 6B, a “first basis” is set as the “calculation method”. As the "calculation method", a calculation method of "direction value" other than the "first basis" can be specified. Specifically, "specific object direction + orthogonal component (that is, a direction orthogonal to the direction defined by the" first basis ")" and the like can be specified. The "first basis" will be described later with reference to FIG. 7. Reference numeral L610 indicates the end of the definition of "direction value".
符号Ｌ６１１は、オブジェクトの動作状態の１つである‘物体追跡線’の定義の開始を示している。符号Ｌ６１２は、‘物体追跡線’の状態属性値の１つである“追跡対象”を示している。“追跡対象”には、“物体追跡線”を描画する特定のオブジェクトが指定される。図６（ｂ）において、“追跡対象”には、特定のオブジェクトを示す“第１の選手”が指定されている。なお、“追跡対象”には、“第１の選手”以外の“第２の選手”、“ボール”等も指定することができる。 Reference numeral L611 indicates the start of the definition of the'object tracking line', which is one of the operating states of the object. Reference numeral L612 indicates a "tracking target" which is one of the state attribute values of the "object tracking line". In the "tracking target", a specific object for drawing the "object tracking line" is specified. In FIG. 6B, a “first player” indicating a specific object is designated as the “tracking target”. In addition, a "second player", a "ball", etc. other than the "first player" can also be specified as the "tracking target".
符号Ｌ６１３は、‘物体追跡線’の状態属性値の１つである“表示設定”を示している。“表示設定”は、“物体追跡線”を表示させる際の表示方法（表示態様）に関する状態属性値である。なお、“表示設定”には、“通常表示”、“非表示”、“点滅表示”、“拡大表示”、“縮小表示”、“別オブジェクトデータ表示”、“別テクスチャ表示”等を指定することができる。 Reference numeral L613 indicates a "display setting" which is one of the state attribute values of the "object tracking line". The "display setting" is a state attribute value related to a display method (display mode) when displaying the "object tracking line". For "display setting", specify "normal display", "non-display", "blinking display", "enlarged display", "reduced display", "separate object data display", "different texture display", etc. be able to.
符号Ｌ６１４は、‘物体追跡線’の状態属性値の１つである“追加属性”を示している。“追加属性”は、“物体追跡線”を表示させる際に適用される追加の状態属性値である。図６（ｂ）において、“追加属性”には、”Ｙ方向にずらす“が指定されている。ここで、”Ｙ方向にずらす“は、ワールド座標系において、”追跡対象“で指定されたオブジェクトの物体追跡線の表示位置を、Ｙ方向にずらすことを意味する。なお、“追加属性”には、”Ｙ方向にずらす“以外に、”ずれなし“、”Ｘ方向にずらす“、”Ｚ方向にずらす“等を指定することができる。 Reference numeral L614 indicates an "additional attribute" which is one of the state attribute values of the "object tracking line". The "additional attribute" is an additional state attribute value applied when displaying the "object tracking line". In FIG. 6B, "shift in the Y direction" is specified for the "additional attribute". Here, "shifting in the Y direction" means shifting the display position of the object tracking line of the object specified by "tracking target" in the Y direction in the world coordinate system. In addition to "shift in the Y direction", "no shift", "shift in the X direction", "shift in the Z direction", and the like can be specified for the "additional attribute".
符号Ｌ６１５は‘物体追跡線’の定義の終了、また、符号Ｌ６１６はユーザ定義データの終了を示している。なお、オブジェクトの動作状態の判別処理が実行できなかった場合、表示制御部３０５は、ユーザ定義データにオブジェクトの動作状態が記述されていても、動作することはない。また、図６（ｂ）の符号Ｌ６１１、符号Ｌ６１２、符号Ｌ６１３、符号Ｌ６１４、符号Ｌ６１５の各行の記述内容については、本実施形態（実施形態１）ではなく、後述の実施形態２において説明する。
The reference numeral L615 indicates the end of the definition of the'object tracking line', and the reference numeral L616 indicates the end of the user-defined data. If the operation state determination process of the object cannot be executed, the
次に、図７を用いて、オブジェクトの動作状態の判別処理について説明する。図７は、オブジェクトの動作状態の判別処理を示す模式図である。なお、本実施形態では、オブジェクトの動作状態のうち、‘方向価値’を判別する処理を実行するものとする。そのため、図７では、図４のＳ４０３におけるオブジェクトの動作状態の判別処理として、ユーザ定義データに‘方向価値’が設定されていることを識別した場合のオブジェクトの動作状態の判別処理を示すものとする。 Next, the process of determining the operating state of the object will be described with reference to FIG. 7. FIG. 7 is a schematic diagram showing a process of determining the operating state of an object. In this embodiment, it is assumed that the process of determining the'direction value'of the operating state of the object is executed. Therefore, FIG. 7 shows the process of determining the operating state of the object in S403 of FIG. 4 when it is identified that the'direction value'is set in the user-defined data. To do.
図７において、ワールド座標系におけるオブジェクトトラッキングデータの配置位置が示されている。なお、配置位置は、図５（ｂ）のオブジェクトデータ５２３のワールド座標値から取得することができる。オブジェクト７０１は、フレーム時刻ｔ０における図６（ｂ）に示される符号Ｌ６０４の“方向番号”で指定されたオブジェクトである。オブジェクト７０２は、フレーム時刻ｔ１における図６（ｂ）に示される符号Ｌ６０４の“方向番号”で指定されたオブジェクトである。方向価値基準オブジェクト７０３は、フレーム時刻ｔ０における図６（ｂ）に示される符号Ｌ６０７の“オブジェクト”で指定されたオブジェクトである。
In FIG. 7, the arrangement position of the object tracking data in the world coordinate system is shown. The arrangement position can be obtained from the world coordinate values of the
図４のＳ４０３におけるオブジェクトの動作状態の判別処理において、オブジェクトトラッキングデータと照合することで、オブジェクト７０１、オブジェクト７０２及び方向価値基準オブジェクト７０３が特定される。即ち、ここでは、オブジェクト７０１は“第１の選手”、オブジェクト７０２は“第１の選手”、方向価値基準オブジェクト７０３は“ボール”と特定される。
In the object operating state determination process in S403 of FIG. 4, the
ここで、方向価値ベクトルａは、オブジェクト７０１と方向価値基準オブジェクト７０３により、下式（１）で示される。
ａ＝ＯＢＪ７０３−ＯＢＪ７０１ ・・・（１）
Here, the direction value vector a is represented by the following equation (1) by the
a = OBJ703-OBJ701 ... (1)
上式において、ＯＢＪ７０３は、方向価値基準オブジェクト７０３のワールド座標値の３次元ベクトルを示しており、ＯＢＪ７０１は、オブジェクト７０１のワールド座標値の３次元ベクトルを示している。また、フレーム時刻ｔ０からｔ１の時間で、ＯＢＪ７０１が動いた動きベクトルｂは、下式（２）で示される。
ｂ＝ＯＢＪ７０２−ＯＢＪ７０１ ・・・（２）
In the above equation, OBJ703 shows a three-dimensional vector of the world coordinate values of the direction
b = OBJ702-OBJ701 ... (2)
上式において、ＯＢＪ７０２は、オブジェクト７０２のワールド座標値の３次元ベクトルを示している。そして、２つの３次元ベクトルａとｂの内積は、下式（３）で示される。
a・ｂ＝||ａ||||ｂ||cosθ ・・・（３）
In the above equation, OBJ702 shows a three-dimensional vector of the world coordinate values of the
a ・ b ＝ || a |||| b || cosθ ・ ・ ・ (3)
さらに、上式（３）に基づき、方向価値の強さ||ｂ||は、下式（４）で表される。
||ｂ||＝a・ｂ/（ ||ａ|| cosθ） ・・・（４）
Further, based on the above equation (3), the strength of the directional value || b || is expressed by the following equation (4).
|| b || ＝ a ・ b / (|| a || cosθ) ・ ・ ・ (4)
上式において、||ａ||は方向価値ベクトルの長さ、θは（θx, θy, θz）の３次元角度ベクトルである。また、方向価値の強さ||ｂ||は、図７において、方向価値ベクトル７０４で示される。このように、方向価値ベクトルを算出することを、本実施形態において、“第１基底”として定義しており、方向価値ベクトルを算出することで、方向価値基準とするオブジェクトに対する変位（移動量）を判別することが可能である。
In the above equation, || a || is the length of the directional value vector, and θ is the three-dimensional angle vector of (θx, θy, θz). Further, the strength of the directional value || b || is indicated by the
なお、算出される方向価値の強さ||ｂ||を、オブジェクトの密度によって、補正してもよい。具体的には、下式（５）に示されるように、補正することができる。
||ｂ||＝Ｃ１・a・ｂ/（ ||ａ|| cosθ） ・・・（５）
The calculated directional value strength || b || may be corrected by the density of the objects. Specifically, it can be corrected as shown in the following equation (5).
|| b || = C1 ・ a ・ b / (|| a || cosθ) ・ ・ ・ (5)
上式（５）において、Ｃ１は、オブジェクトの密度係数であり、オブジェクト７０１と他のオブジェクトとの隣接状態に応じて設定される。例えば、ワールド座標系において、オブジェクト７０１と他のオブジェクト（不図示）の重心座標値の距離が一定未満の場合等に、Ｃ１の値を増加させる。
In the above equation (5), C1 is an object density coefficient, and is set according to the state of adjacency between the
また、算出される方向価値の強さ||ｂ||は、基準面からの距離によって、補正してもよい。具体的には、下式（６）に示されるように、補正することができる。
||ｂ||＝Ｃ２・a・ｂ/（ ||ａ|| cosθ） ・・・（６）
Further, the calculated strength of the directional value || b || may be corrected by the distance from the reference plane. Specifically, it can be corrected as shown in the following equation (6).
|| b || = C2 ・ a ・ b / (|| a || cosθ) ・ ・ ・ (6)
上式（６）において、Ｃ２は、定義した基準面からの距離係数である。例えば、オブジェクト７０１の重心座標値と基準面の距離が一定未満である場合等に、Ｃ２の値を増加させる。なお、本実施形態において、基準面として地面を適用する。
In the above equation (6), C2 is a distance coefficient from the defined reference plane. For example, when the distance between the coordinate value of the center of gravity of the
次に、図８を用いて、オブジェクトの表示状態について説明する。図８は、表示制御部３０５によりレンダリング処理が施されたオブジェクト、及びオブジェクトについての方向価値を示す模式図である。なお、レンダリング処理には、公知の方法を用いることができる。
Next, the display state of the object will be described with reference to FIG. FIG. 8 is a schematic diagram showing an object that has been rendered by the
図８（ａ）は、フレーム時刻Ｆｒ０１、カメラ視点ｖｉｅｗ０１におけるオブジェクトを示している。また、図８（ａ）では、座標軸８００の方向としてｘ軸方向、ｙ軸方向、ｚ軸方向があり、ｘ軸方向が図８（ａ）の長手方向、ｚ軸方向が図８（ａ）の短手方向、ｙ軸方向がｘ軸とｚ軸のいずれに対しても直交する方向で定義される。
FIG. 8A shows an object at the frame time Fr01 and the camera viewpoint view01. Further, in FIG. 8A, there are x-axis direction, y-axis direction, and z-axis direction as the direction of the coordinate
図８（ａ）において、オブジェクトとして、選手８０１、選手８０２、選手８０３、ボール８０４、及びフィールド８０５が描画されている。また、図８（ａ）において、選手８０２に関する３Ｄ座標値８０７から３Ｄ座標値８０９への方向である方向価値ベクトル８１１も示されている。
In FIG. 8A, a
図８（ｂ）は、フレーム時刻Ｆｒ０１、カメラ視点ｖｉｅｗ０２におけるオブジェクトを示している。即ち、図８（ｂ）は、図８（ａ）で示されるシーンを、異なる視点（具体的には、選手８１２、選手８１３、選手８１４、ボール８１５、フィールド８１６の各オブジェクトを鳥瞰する視点）から観察した模式図である。また、これに関連して、図８（ｂ）では、座標軸８１０の方向に関して、図面上、ｘ軸方向は図８（ａ）と同じになるが、ｙ軸方向とｚ軸方向は図８（ａ）と異なる。
FIG. 8B shows an object at the frame time Fr01 and the camera viewpoint view02. That is, FIG. 8B shows the scene shown in FIG. 8A from a different viewpoint (specifically, a bird's-eye view of each object of the
図８（ｂ）には、選手８１２、選手８１３、選手８１４、ボール８１５、フィールド８１６の各オブジェクトに対応する、３Ｄ座標値８１７、３Ｄ座標値８１８、３Ｄ座標値８１９、３Ｄ座標値８２０、３Ｄ座標値８２１が示されている。また、図８（ｂ）には、３Ｄ座標値８１８から３Ｄ座標値８２０への方向である方向価値ベクトル８２２が示されている。補足として、図８（ａ）と図８（ｂ）における各オブジェクトの対応は、以下の通りである。選手８０１と選手８１２、選手８０２と選手８１３、選手８０３と選手８１４、ボール８０４とボール８１５、フィールド８０５とフィールド８１６が、各々、同一のオブジェクトである。
FIG. 8B shows 3D coordinate
図８（ｃ）は、フレーム時刻Ｆｒ０２、カメラ視点ｖｉｅｗ０１におけるオブジェクトを示している。即ち、図８（ｃ）は、図８（ａ）に示されるフレームに対して、時間的に１フレーム分、遅延しており、選手及びボールは、各々、移動している。なお、図８（ｃ）において、各々の座標軸（ｘ軸、ｙ軸、ｚ軸）８３０の軸方向は、図８（ａ）に示される各々の座標軸８００の軸方向と同じである。
FIG. 8C shows an object at the frame time Fr02 and the camera viewpoint view01. That is, FIG. 8C is delayed by one frame in time with respect to the frame shown in FIG. 8A, and the player and the ball are moving, respectively. In addition, in FIG. 8C, the axial direction of each coordinate axis (x-axis, y-axis, z-axis) 830 is the same as the axial direction of each coordinate
図８（ｃ）には、選手８３１、選手８３２、選手８３３、ボール８３４、フィールド８３５の各オブジェクトに対応する、３Ｄ座標値８３６、３Ｄ座標値８３７、３Ｄ座標値８３８、３Ｄ座標値８３９、３Ｄ座標値８４０が示されている。また、図８（ｃ）には、３Ｄ座標値８３７に対応する前フレーム（図８（ａ））の３Ｄ座標値８０７と方向価値の強さ８４１が示されている。なお、方向価値の強さ８４１は、矢印の長さにより示すようにしてもよいし、別途、生成したテクスチャに数値を描画してもよい。
In FIG. 8C, 3D coordinate
補足として、図８（ａ）と図８（ｃ）における各オブジェクトの対応は、以下の通りである。選手８０１と選手８３１、選手８０２と選手８３２、選手８０３と選手８３３、ボール８０４とボール８３４、フィールド８０５とフィールド８３５が、各々、同一のオブジェクトである。以上、図８（即ち、図８（ａ）、図８（ｂ）、及び図８（ｃ））に示されるように、表示制御部３０５に入力されるオブジェクト、及び判別された方向価値を用いて、３Ｄワールド座標空間において、方向価値を描画することができる。
As a supplement, the correspondence of each object in FIGS. 8 (a) and 8 (c) is as follows.
図９は、表示制御部３０５によりレンダリング処理が施されたフレーム時刻Ｆｒ０１におけるフレームを示している。なお、ここでは、参考のため、ワールド座標系上の３次元シーン９３１も示しており、ワールド座標系上の３次元シーン９３１には、図８（ａ）で示したカメラ視点におけるオブジェクトの各々が示されている。また、図９において、各々の座標軸９３２の方向は、図８（ａ）における各々の座標軸８００の方向と同じである。
FIG. 9 shows a frame at the frame time Fr01 that has been rendered by the
スクリーン座標９３３は、出力部２０２の有する機能（不図示）であるＣＧレンダラによって投影されたワールド座標系上の３次元シーン９３１の投影面である。仮想カメラ９３４は、スクリーン座標９３３の投影位置を示している。テクスチャ９３５には、判別部によって判別されたオブジェクトの動作状態である「”ボール”への移動：１００」が描画されている。
The screen coordinates 933 are projection planes of the three-
出力部２０２は、ＣＧレンダラにより、スクリーン座標９３３に、ワールド座標系上の３次元シーン９３１を描画する。これにより、オブジェクトの動作状態が重畳された映像シーンを、ユーザに提示することができる。また、出力部２０２は、ＣＧレンダラにより、スクリーン座標９３３に、ワールド座標系上の３次元シーン９３１を描画した後に、別途、テクスチャ９３５を描画することもできる。別途、テクスチャ９３５を描画することで、幾何変換による歪みのない、オブジェクトの動作状態をユーザに提示することができる。
The
以上、説明したように、本実施形態によれば、仮想視点画像において、オブジェクトの動作状態を判別することができる。具体的には、オブジェクトの動作状態の１つである‘方向価値’を判別し、その判別した‘方向価値’をテクスチャによって３次元シーンに重畳させて表示させることを可能とした。これにより、視聴者は、仮想視点画像を視聴すると同時に、オブジェクトの動作状態を認識することができる。 As described above, according to the present embodiment, it is possible to determine the operating state of the object in the virtual viewpoint image. Specifically, it is possible to discriminate the "direction value" which is one of the operating states of the object, and superimpose the discriminated "direction value" on the three-dimensional scene and display it. As a result, the viewer can recognize the operating state of the object at the same time as viewing the virtual viewpoint image.
（実施形態２）
本実施形態では、オブジェクトの動作状態における“追跡対象”の位置を判別して、“追跡対象”の位置を用いて物体追跡線（軌跡）の描画処理を実行する。なお、実施形態１と同様の構成については、その説明を省略する。
(Embodiment 2)
In the present embodiment, the position of the "tracking target" in the operating state of the object is determined, and the drawing process of the object tracking line (trajectory) is executed using the position of the "tracking target". The description of the same configuration as that of the first embodiment will be omitted.
本実施形態においても、上述の実施形態１と同様に、図２に示されるサーバ１１７を用いることができる。なお、サーバ１１７は、図１に示される仮想視点映像システムにおいて、ケーブル１１５と接続されている必要はなく、また、予めカメラ１０１からカメラ１１４により撮影された映像データはサーバ１１７に送信されているものとする。これにより、各カメラの撮影時刻と画像の表示時刻との関係を考慮することなく、画像処理時間をより多く使用した映像品位の高い仮想視点映像を生成することができる。
Also in this embodiment, the
次に、図１０のフローチャートを用いて、画像処理装置における処理の手順について説明する。なお、ここでは、上述の実施形態１と同じ処理ステップについては、その説明を省略する。Ｓ４０２において入力されたユーザ定義データに図６の符号Ｌ６１１から符号Ｌ６１５に示されるオブジェクトの動作状態である‘物体追跡線’の定義を検出した場合に、Ｓ４０３において、オブジェクトの位置を用いた物体追跡線の描画処理を実行する。 Next, the procedure of processing in the image processing apparatus will be described with reference to the flowchart of FIG. Here, the description of the same processing step as that of the first embodiment will be omitted. When the definition of the'object tracking line'that is the operating state of the object shown by the reference numerals L611 to L615 in FIG. 6 is detected in the user-defined data input in S402, the object tracking using the position of the object is detected in S403. Executes the line drawing process.
Ｓ１００４において、動画データを入力として受信する。なお、本実施形態において、動画データは、フレーム時刻毎に連続して記録された映像データであるとともに、視点位置が固定された仮想視点映像データであるものとする。Ｓ４０５において、表示制御部３０５は、表示データを出力する。
In S1004, the moving image data is received as an input. In the present embodiment, the moving image data is video data continuously recorded for each frame time, and is virtual viewpoint video data in which the viewpoint position is fixed. In S405, the
物体追跡線の描画処理について説明する前に、先ず、図１１を用いて、物体追跡線について説明する。図１１は、物体追跡線を示す模式図である。図１１では、表示制御部３０５によりレンダリング処理が施されたオブジェクト及び物体追跡線を示している。なお、レンダリング処理としては、公知の方法を用いることができる。
Before explaining the drawing process of the object tracking line, first, the object tracking line will be described with reference to FIG. FIG. 11 is a schematic view showing an object tracking line. FIG. 11 shows an object and an object tracking line that have been rendered by the
図１１において、図１１（ａ）は、カメラ視点ｖｉｅｗ０１における、フレーム時刻Ｆｒ０１、Ｆｒ０２、Ｆｒ０３、Ｆｒ０４の各々のオブジェクトを示している。また、図１１（ｂ）は、カメラ視点ｖｉｅｗ０２における、フレーム時刻Ｆｒ０１、Ｆｒ０２、Ｆｒ０３、Ｆｒ０４の各々のオブジェクトを表している。 In FIG. 11, FIG. 11A shows objects at frame times Fr01, Fr02, Fr03, and Fr04 at the camera viewpoint view01. Further, FIG. 11B shows each object of the frame time Fr01, Fr02, Fr03, and Fr04 in the camera viewpoint view02.
図１１（ａ）において、座標軸１１００の方向は、ｘ軸方向が図１１（ａ）の長手方向、ｚ軸方向が図１１（ａ）の短手方向、ｙ軸方向がｘ軸とｚ軸のいずれに対しても直交する方向で定義される。図１１（ａ）において、オブジェクトとして、選手１１０１、選手１１０２、選手１１０３、選手１１０４、フィールド１１０５が描画されている。
In FIG. 11A, the x-axis direction is the longitudinal direction of FIG. 11A, the z-axis direction is the lateral direction of FIG. 11A, and the y-axis direction is the x-axis and the z-axis. It is defined in the direction orthogonal to both. In FIG. 11A,
図１１（ａ）には、選手１１０１、選手１１０２、選手１１０３、選手１１０４、フィールド１１０５の各オブジェクトに対応する、３Ｄ座標値１１０６、３Ｄ座標値１１０７、３Ｄ座標値１１０８、３Ｄ座標値１１０９、３Ｄ座標値１１１０も示されている。なお、これらの３Ｄ座標値は、オブジェクトトラッキングデータから取得される。さらに、図１１（ａ）には、物体追跡線（軌跡）１１１１が示されている。
In FIG. 11A, 3D coordinate
ここで、図１１（ａ）において、選手１１０１はフレーム時刻Ｆｒ０１におけるオブジェクトであり、選手１１０２はフレーム時刻Ｆｒ０２におけるオブジェクトである。また、選手１１０３はフレーム時刻Ｆｒ０３におけるオブジェクトであり、選手１１０４はフレーム時刻Ｆｒ０４におけるオブジェクトである。
Here, in FIG. 11A, the
図１１（ｂ）は、図１１（ａ）で示されるシーンを、異なる視点（具体的には、選手１１２１、選手１１２２、選手１１２３、選手１１２４、フィールド１１２５の各オブジェクトを鳥瞰する視点）から観察した模式図である。また、これに関連して、図１１（ｂ）では、座標軸１１２０の方向に関して、図面上、ｘ軸方向は図１１（ａ）と同じになるが、ｙ軸方向とｚ軸方向は図１１（ａ）と異なる。
FIG. 11B observes the scene shown in FIG. 11A from different viewpoints (specifically, a bird's-eye view of each object of
図１１（ｂ）には、選手１１２１、選手１１２２、選手１１２３、選手１１２４、フィールド１１２５の各オブジェクトに対応する、３Ｄ座標値１１２６、３Ｄ座標値１１２７、３Ｄ座標値１１２８、３Ｄ座標値１１２９、３Ｄ座標値１１３０も示されている。なお、これらの３Ｄ座標値は、オブジェクトトラッキングデータから取得される。さらに、図１１（ｂ）には、物体追跡線１１３１が示されている。
In FIG. 11B, 3D coordinate
補足として、図１１（ａ）と図１１（ｂ）における各オブジェクトの対応は、以下の通りである。選手１１０１と選手１１２１、選手１１０２と選手１１２２、選手１１０３と選手１１２３、選手１１０４と選手１１２４、フィールド１１０５とフィールド１１２５が、各々、同一のオブジェクトである。また、物体追跡線１１３１は、物体追跡線１１１１に対応している。
As a supplement, the correspondence of each object in FIGS. 11 (a) and 11 (b) is as follows.
次に、図１０のＳ４０３におけるオブジェクトの動作状態の判別処理について説明する。図１０のＳ４０３におけるオブジェクトの動作状態の判別処理において、図６（ｂ）の符号Ｌ６１２に示される属性情報値と図５（ｂ）の属性情報とを照合することで、物体追跡線の描画対象とするオブジェクトを特定する。 Next, the process of determining the operating state of the object in S403 of FIG. 10 will be described. In the process of determining the operating state of the object in S403 of FIG. 10, the object tracking line is drawn by collating the attribute information value shown by the reference numeral L612 of FIG. 6B with the attribute information of FIG. 5B. Identify the object to be.
以下、図１１の模式図を用いて、物体追跡線の描画処理について、具体的に説明する。図６（ｂ）の符号Ｌ６１２に示される属性情報値が“第１の選手”であることを前提に、ここでは、オブジェクトトラッキングデータにおける、選手１１０１から選手１１０４に対応するオブジェクトデータの属性情報が“第１の選手”であるものとする。そして、この場合に、物体追跡線の描画対象とするオブジェクトが、選手１１０１から選手１１０４として特定される。
Hereinafter, the drawing process of the object tracking line will be specifically described with reference to the schematic diagram of FIG. Assuming that the attribute information value shown by the reference numeral L612 in FIG. 6B is the “first player”, here, the attribute information of the object data corresponding to the
次に、物体追跡線を描画する対象オブジェクトに対応するオブジェクトデータからワールド座標値を取得する。フレーム時刻Ｆｒ０１に対応するフレームＩＤを有するフレームデータに保持されるオブジェクトデータにおいて、属性情報が“第１の選手”であるオブジェクトデータを検出して、さらに、その検出したオブジェクトデータのワールド座標値を取得する。ここでは、オブジェクトデータのワールド座標値として（ｘ１、ｙ１、ｚ１）を取得する。 Next, the world coordinate value is acquired from the object data corresponding to the target object on which the object tracking line is drawn. In the object data held in the frame data having the frame ID corresponding to the frame time Fr01, the object data whose attribute information is the "first player" is detected, and the world coordinate value of the detected object data is obtained. get. Here, (x1, y1, z1) is acquired as the world coordinate value of the object data.
同様に、フレーム時刻Ｆｒ０２に対応するフレームＩＤを有するフレームデータに保持されるオブジェクトデータにおいて、属性情報が“第１の選手”であるオブジェクトデータを検出して、その検出したオブジェクトデータのワールド座標値を取得する。ここでは、オブジェクトデータのワールド座標値として（ｘ２、ｙ２、ｚ２）を取得する。 Similarly, in the object data held in the frame data having the frame ID corresponding to the frame time Fr02, the object data whose attribute information is the "first player" is detected, and the world coordinate value of the detected object data is detected. To get. Here, (x2, y2, z2) is acquired as the world coordinate value of the object data.
次に、検出した２つのワールド座標値に対して、オフセット値を加算する。符号Ｌ６１４において“Ｙ方向にずらす”と設定されていることから、下式（７）で示されるように、オフセット座標値を取得する。
ｘｏｆｆｓｅｔｎ ＝ ｘｎ
ｙｏｆｆｓｅｔｎ ＝ ｙｎ＋ｏｆｆｓｅｔ ・・・（７）
ｚｏｆｆｓｅｔｎ ＝ ｚｎ
（ｎ ＝ １、２・・・ｍ）
Next, the offset value is added to the two detected world coordinate values. Since it is set to "shift in the Y direction" in the symbol L614, the offset coordinate value is acquired as shown by the following equation (7).
xoffsetn = xn
youffset = yn + offset ・ ・ ・ (7)
zoffsetn = zinc
(N = 1, 2, ... m)
なお、”Ｘ方向にずらす“の場合、下式（８）で示されるように、オフセット座標値を取得する。
ｘｏｆｆｓｅｔｎ ＝ ｘｎ＋ｏｆｆｓｅｔ
ｙｏｆｆｓｅｔｎ ＝ ｙｎ ・・・（８）
ｚｏｆｆｓｅｔｎ ＝ ｚｎ
（ｎ ＝ １、２・・・ｍ）
In the case of "shifting in the X direction", the offset coordinate value is acquired as shown by the following equation (8).
xoffset = xn + offset
youffsetn = yn ・ ・ ・ (8)
zoffsetn = zinc
(N = 1, 2, ... m)
また、”Ｚ方向にずらす“の場合、下式（９）で示されるように、オフセット座標値を取得する。
ｘｏｆｆｓｅｔｎ ＝ ｘｎ
ｙｏｆｆｓｅｔｎ ＝ ｙｎ ・・・（９）
ｚｏｆｆｓｅｔｎ ＝ ｚｎ＋ｏｆｆｓｅｔ
（ｎ ＝ １、２・・・ｍ）
Further, in the case of "shifting in the Z direction", the offset coordinate value is acquired as shown by the following equation (9).
xoffsetn = xn
youffsetn = yn ・ ・ ・ (9)
zoffset = zn + offset
(N = 1, 2, ... m)
次に、２つのオフセット座標値の一方から他方に線を描画する。なお、描画方法については、既存のＣＧレンダリング方法を適用すればよい。以上の処理により、物体追跡線１１１１及び物体追跡線１１３１を描画することができる。
Next, a line is drawn from one of the two offset coordinate values to the other. As for the drawing method, the existing CG rendering method may be applied. By the above processing, the
なお、図６（ａ）では、物体追跡線１１１１は、選手１１０１、選手１１０２等と描画位置が重なるため、ユーザにとって、物体追跡線の視認性が良くない。他方、図６（ｂ）では、物体追跡線１１３１は、選手１１２１と選手１１２２と描画位置が重ならないため、ユーザにとって、物体追跡線の視認性が良い。このように、物体追跡線の描画位置をオブジェクトに対して、所定の方向にずらすことで、物体追跡線の視認性を向上させることができる。
In FIG. 6A, the
以上、説明したように、本実施形態によれば、仮想視点画像において、オブジェクトの動作状態を判別することができる。具体的には、オブジェクトの動作状態の１つである‘物体追跡線’を判別し、その判別した‘物体追跡線’をテクスチャによって３次元シーンに重畳させて表示させることを可能とした。これにより、視聴者は、仮想視点画像を視聴すると同時に、オブジェクトの動作状態を認識することができる。 As described above, according to the present embodiment, it is possible to determine the operating state of the object in the virtual viewpoint image. Specifically, it is possible to discriminate the "object tracking line", which is one of the operating states of the object, and superimpose the discriminated "object tracking line" on the three-dimensional scene by the texture to display it. As a result, the viewer can recognize the operating state of the object at the same time as viewing the virtual viewpoint image.
（その他の変形例）
上述の実施形態１において説明した方向価値の表示に関して、図７で説明したオブジェクト７０１に対して、別のオブジェクトの表示、別のテクスチャの表示をさらに行なうことができる。なお、これらの表示方法を設定する際には、図６（ｂ）に示したユーザ定義データに表示方法に関する設定を記述すればよい。
(Other variants)
Regarding the display of the directional value described in the first embodiment, it is possible to further display another object and another texture with respect to the
また、実施形態２において説明した物体追跡線は、描画の際に、非表示とする（即ち、表示させないようにする）ことや、物体追跡線を点滅させることもできる。なお、これらの表示方法を設定する際には、図６（ｂ）に示したユーザ定義データに表示方法に関する設定を記述すればよい。 Further, the object tracking line described in the second embodiment can be hidden (that is, not displayed) or blinked at the time of drawing. When setting these display methods, the settings related to the display method may be described in the user-defined data shown in FIG. 6 (b).
その他、補足として、オブジェクトの個数に基づいて、オブジェクトの動作状態を判別することもできる。具体的には、例えば、ラグビーの場合、フルバック等のバックスを構成する選手全員の動きを平均化し、バックス全体としてのオブジェクトの動作状態を判別することもできる。 In addition, as a supplement, the operating state of an object can be determined based on the number of objects. Specifically, for example, in the case of rugby, it is possible to average the movements of all the players constituting the bucks such as full backs and determine the operating state of the object as the bucks as a whole.
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
３０１ 第１入力部
３０２ 第２入力部
３０３ 第３入力部
３０４ 判別部
３０５ 表示制御部
301
Claims (16)
オブジェクトのトラッキングデータを取得する第１の取得手段と、
前記オブジェクトの動作状態を判別するための判別情報を取得する第２の取得手段と、
前記判別情報と前記トラッキングデータとに基づいて、前記オブジェクトの動作状態を判別する判別手段と、
前記オブジェクトの３次元モデルのデータを取得する第３の取得手段と、
所定の表示態様により、前記オブジェクトの３次元モデルのデータに基づく前記仮想視点画像と、前記判別された前記オブジェクトの動作状態とを表示させる表示制御手段と
を備えることを特徴とする画像処理装置。 An image processing device that generates a virtual viewpoint image based on information about the virtual viewpoint.
The first acquisition method for acquiring the tracking data of the object,
A second acquisition means for acquiring discrimination information for discriminating the operating state of the object, and
A discriminating means for discriminating the operating state of the object based on the discriminating information and the tracking data, and
A third acquisition means for acquiring data of the three-dimensional model of the object, and
An image processing apparatus comprising: a display control means for displaying a virtual viewpoint image based on data of a three-dimensional model of the object and a determined operating state of the object according to a predetermined display mode.
前記状態属性情報には、当該状態属性情報に固有の状態属性値が定義されていることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。 In the discrimination information, state attribute information indicating the attribute of the operating state of the object is defined.
The image processing apparatus according to any one of claims 1 to 3, wherein a state attribute value unique to the state attribute information is defined in the state attribute information.
前記フレームデータには、前記オブジェクトを識別するオブジェクトデータが定義されており、
前記オブジェクトデータには、前記オブジェクトを識別する識別情報、ワールド座標値、前記オブジェクトの属性情報が定義されることを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。 In the tracking data, frame data corresponding to the time when the data of the three-dimensional model is acquired is defined.
Object data that identifies the object is defined in the frame data, and the object data is defined.
The image processing apparatus according to any one of claims 1 to 12, wherein identification information for identifying the object, world coordinate values, and attribute information of the object are defined in the object data.
オブジェクトのトラッキングデータを取得する第１の取得ステップと、
前記オブジェクトの動作状態を判別するための判別情報を取得する第２の取得ステップと、
前記判別情報と前記トラッキングデータとに基づいて、前記オブジェクトの動作状態を判別する判別ステップと、
前記オブジェクトの３次元モデルのデータを取得する第３の取得ステップと、
所定の表示態様により、前記オブジェクトの３次元モデルのデータに基づく前記仮想視点画像と、前記判別された前記オブジェクトの動作状態とを表示させる表示制御ステップと
を含むことを特徴とする画像処理方法。 An image processing method that generates a virtual viewpoint image based on information about the virtual viewpoint.
The first acquisition step to acquire the tracking data of the object,
A second acquisition step of acquiring determination information for determining the operating state of the object, and
A discrimination step for discriminating the operating state of the object based on the discrimination information and the tracking data, and
The third acquisition step of acquiring the data of the three-dimensional model of the object, and
An image processing method comprising a display control step for displaying the virtual viewpoint image based on the data of the three-dimensional model of the object and the operation state of the determined object according to a predetermined display mode.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019129208A JP2021015404A (en) | 2019-07-11 | 2019-07-11 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019129208A JP2021015404A (en) | 2019-07-11 | 2019-07-11 | Image processing apparatus, image processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021015404A true JP2021015404A (en) | 2021-02-12 |
Family
ID=74531469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019129208A Pending JP2021015404A (en) | 2019-07-11 | 2019-07-11 | Image processing apparatus, image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021015404A (en) |
-
2019
- 2019-07-11 JP JP2019129208A patent/JP2021015404A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6950013B2 (en) | Image processing equipment, image processing methods and programs | |
| US10705678B2 (en) | Image processing apparatus, image processing method, and storage medium for generating a virtual viewpoint image | |
| US11750786B2 (en) | Providing apparatus, providing method and computer readable storage medium for performing processing relating to a virtual viewpoint image | |
| US7843470B2 (en) | System, image processing apparatus, and information processing method | |
| US11086395B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP6407460B1 (en) | Image processing apparatus, image processing method, and program | |
| JP3857988B2 (en) | Stereoscopic image processing method and apparatus | |
| JP6938123B2 (en) | Display control device, display control method and program | |
| CN110574075A (en) | System, method, and program for generating virtual viewpoint image | |
| JP7164968B2 (en) | IMAGE PROCESSING DEVICE, CONTROL METHOD AND PROGRAM OF IMAGE PROCESSING DEVICE | |
| TWI531212B (en) | System and method of rendering stereoscopic images | |
| JP7459870B2 (en) | Image processing device, image processing method, and program | |
| KR20210032549A (en) | Image processing apparatus, image processing method, and computer program | |
| WO2020166376A1 (en) | Image processing device, image processing method, and program | |
| US20220036644A1 (en) | Image processing apparatus, image processing method, and program | |
| JP4118146B2 (en) | Stereoscopic image processing device | |
| US20230353717A1 (en) | Image processing system, image processing method, and storage medium | |
| JP7387286B2 (en) | Information processing device, information processing method, and program | |
| JP2022016929A (en) | Information processing device, information processing method, and program | |
| US11847735B2 (en) | Information processing apparatus, information processing method, and recording medium | |
| JP2021015404A (en) | Image processing apparatus, image processing method, and program | |
| EP3716217A1 (en) | Techniques for detection of real-time occlusion | |
| US20240037843A1 (en) | Image processing apparatus, image processing system, image processing method, and storage medium | |
| JP7378960B2 (en) | Image processing device, image processing system, image generation method, and program | |
| WO2023145571A1 (en) | Information processing device, information processing method, data structure, and program |