JP7233867B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP7233867B2 JP7233867B2 JP2018136900A JP2018136900A JP7233867B2 JP 7233867 B2 JP7233867 B2 JP 7233867B2 JP 2018136900 A JP2018136900 A JP 2018136900A JP 2018136900 A JP2018136900 A JP 2018136900A JP 7233867 B2 JP7233867 B2 JP 7233867B2
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- amount
- information processing
- virtual viewpoint
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/0202—Constructional details or processes of manufacture of the input device
- G06F3/0205—Lever arrangements for operating keyboard cursor control keys in a joystick-like manner
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
このような仮想視点画像を用いたサービスでは、例えば、サッカーやラグビーの試合を撮影した動画像から、動画像制作者によって迫力のある視点のコンテンツを制作できる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら、試合観戦したりすることができるようにもなり、従来の撮影画像と比較してユーザに高臨場感を与えることができる。
画像の生成に関するパラメータを、コントローラを介して制御することが行われている。特許文献1には、ジョイスティックとシーソーコントロールレバーとを用い、カメラのパン角・チルト角・ズーム率を制御するコントローラが開示されている。
特許文献1では、コントローラに含まれる部材(ジョイスティックとシーソーコントロールレバーと)を介して、固定のパラメータ(パン角、チルト角、ズーム率)の制御が行われる。即ち、特許文献1では、コントローラに含まれる部材を介してユーザに合わせて指定されたパラメータの制御をできるようにできなかったため、仮想視点画像の生成に関するパラメータの制御における利便性を向上できなかった。
図1(a)は、画像処理システム10のシステム構成の一例を示す図である。
画像処理システム10は、撮影システム101、生成サーバ102、情報処理装置103を含む。画像処理システム10は、仮想視点画像を生成するシステムである。
撮影システム101は、それぞれ異なる位置に配置された複数の撮像装置を含み、この複数の撮像装置を介して、多視点から同期して撮影された複数の画像を、生成サーバ102に送信するシステムである。撮影システム101は、複数の動画像を生成サーバ102に送信する場合、例えば、複数の動画像における時刻の同期した複数のフレーム(静止画像)を周期的に生成サーバ102に送信することとなる。
更に、生成サーバ102は、撮影システム101から受信した複数の画像を、記憶装置に記憶されたデータベースに記録する機能を有する。生成サーバ102は、記録した複数の画像から、過去の時刻のシーンを描画した仮想視点画像(以下では、リプレイ仮想視点画像とする)を生成することができる。即ち、リプレイ仮想視点画像は、任意の時刻のシーンが撮影システム101により撮影された撮影画像に基づいて、生成された仮想視点画像である。
仮想視点パラメータに含まれる仮想カメラの位置のパラメータは、3次元座標系における座標値(例えば、X軸、Y軸、Z軸の3軸の直交座標系の座標)であってもよい。この場合、仮想カメラのカメラパラメータにより指定される仮想カメラの位置は、座標を示すものであり、例えば、X軸上の座標値、Y軸上の座標値、Z軸上の座標値の3つのパラメータから構成される。この座標系の原点は、撮影空間内の任意の位置としてもよい。予め定められた3次元の座標系における仮想視点の座標を示す3つの仮想視点パラメータ(その座標系上のX軸上の座標値、Y軸上の座標値、Z軸上の座標値)を、以下では、それぞれ、X軸座標、Y軸座標、Z軸座標とする。
仮想視点パラメータにより指定される仮想カメラの画角(ズーム率)は、例えば、焦点距離の1軸により示される。また、仮想視点パラメータに含まれる描画対象のシーンの時刻は、1軸のパラメータである。
よって、仮想視点パラメータには、少なくとも8個のパラメータ(パン角・チルト角・ロール角・画角・X軸座標・Y軸座標・Z軸座標・シーンの時刻)が含まれる。情報処理装置103は、例えば、接続されたコントローラを介した操作に応じて、この8個のパラメータを制御できる。ただし、8個のパラメータのすべてが制御対象とならなければいけないわけではない。また、上記8個のパラメータ以外のパラメータ(例えば仮想カメラのブライトネスやコントラストの値)が制御対象となっていても良い。
本実施形態では、1台の情報処理装置103が、ライブ仮想視点画像とリプレイ仮想視点画像とを生成することとする。しかし、2台の情報処理装置103が、それぞれライブ仮想視点画像とリプレイ仮想視点画像と別個に生成することとしてもよい。
情報処理装置103は、CPU111、Random Access Memory(RAM)112、Read Only Memory(ROM)113、通信部114、入出力部115、ストレージ部116を含む。各要素は、システムバスを介して相互に通信可能に接続されている。
CPU111は、RAM112やROM113に記憶されているプログラムやデータを用いて情報処理装置103の全体を制御する中央演算装置である。RAM112は、ROM113から読みだされたコンピュータプログラムや計算の途中結果のデータ、通信部114を介して外部から供給されるデータ等の一時的な記憶領域として機能する記憶装置である。ROM113は、変更を必要としないコンピュータプログラムやデータを記憶する記憶装置である。
CPU111が、ROM113、ストレージ部116等に記憶されたプログラムにしたがって処理を実行することで、図6で後述する機能等の情報処理装置103の機能、及び、図10、11で後述する処理等の情報処理装置103の処理が実現される。
図2の例では、入出力部115は、出力装置として、3つの表示部(表示部201a~201c)を含む。表示部201a~201cは、それぞれ、ディスプレイ、タッチパネル等の表示装置である。
表示部201aは、カメラビューウィンドウを表示する。カメラビューウィンドウとは、生成サーバ102から受信された仮想視点画像を表示するためのカメラビュー301を含むウィンドウである。
表示部201bは、パイロットウィンドウを表示する。パイロットウィンドウとは、仮想カメラの制御に用いられるウィンドウである。
表示部201cは、リプレイウィンドウを表示する。リプレイウィンドウとは、リプレイ仮想視点画像の生成及び編集に用いられるウィンドウである。
コントローラ202a、202bは、3軸の操作が可能な3軸コントローラである3軸コントローラである。以下では、コントローラ202a、202bを、コントローラ202と総称する。情報処理装置103は、コントローラ202を介したそれぞれの軸の操作に応じて、任意のパラメータを制御できる。
情報処理装置103は、例えば、コントローラ202bを介した各軸の操作に応じて、仮想カメラの姿勢を指定するためのパン角、チルト角、ロール角の3個のパラメータそれぞれを制御する処理を行う。
また、情報処理装置103は、コントローラ202を介したどの軸の操作に応じて、どのパラメータを制御する処理が行われるかを決定できる。
コントローラ204は、リプレイ仮想視点画像の生成に用いられるコントローラであるリプレイコントローラである。また、コントローラ204は、仮想視点画像の描画対象となるシーンの時刻のパラメータの制御に用いられる。
図2に示す入出力部115は、一例に過ぎず、1つ、2つ、又は、4つ以上の表示部を含むこととしてもよいし、3つ以下、又は、5つ以上のコントローラを有することとしてもよい。
図4は、ズームコントローラであるコントローラ203の一例を説明する図である。図4の例では、コントローラ203は、2個のつまみ(901、902)、4個のボタン(903~906)、ダイヤル907、シーソースイッチ908を含む。
図5は、リプレイコントローラであるコントローラ204の一例を説明する図である。コントローラ204は、13個のボタン(1001~1013)、スライダー1014、ジョグホイール1015、フィンガーホイール1016を含む。
情報処理装置103は、コントローラ制御部6001、制御機能割り当て部6003、調整機能割り当て部6004、割り当て保持部6005、制御量取得部6006a、調整量取得部6006b、第1の調整部6007、第2の調整部6008を含む。また、情報処理装置103は、仮想視点パラメータ制御部6009、調整量設定部6010を含む。
コントローラ制御部6001は、入出力部115に含まれるコントローラについて、そのコントローラに含まれる各部材を介した操作を受付ける。
本実施形態では、コントローラ制御部6001は、仮想視点パラメータの制御に用いられるコントローラを、コントローラ7000として、コントローラ7000に含まれる部材を介した操作を受付ける。情報処理装置103は、図2で説明したコントローラ202a、202b、203、204のうちの一部又は全部を、コントローラ7000として用いる。
情報処理装置103は、第1の部材7001に対するユーザ操作が行われたことに応じて、第1の部材7001に対応する仮想視点パラメータを変更する。なお、第1の部材7001と、当該第1の部材7001の操作に応じて制御される仮想視点パラメータの種類とを対応付ける処理を、以下では、「仮想視点パラメータの制御機能の割り当て」と表現する。
このように、第2の部材7002を、第1の部材7001を介したある操作が行われる際に実行される制御処理における調整パラメータの指定に用いられる部材として決定することを、以下では、次のように表現する。即ち、第2の部材7002に対するその調整パラメータの調整機能の割り当てと表現する。情報処理装置103は、第2の部材7002が示している値を取得し、取得した値に応じて、その第2の部材7002に対応する調整パラメータの値を決定することとなる。
第1の部材7001は、N種類(Nは1以上の整数)の操作に用いられる部材である。また、第1の部材7001は、ユーザが手を離した際に、予め定められた位置(例えば、中央)に戻る部材が望ましい。第1の部材7001は、例えば、ジョイスティックやシーソースイッチ等の部材である。
第2の部材7002の数は、第1の部材7001を介して行われる操作の種類の数NのM倍(Mは1以上の整数、例えば、1、2等)以上とする。即ち、第2の部材7002の数は、N×M以上である。また、第2の部材7002は、ユーザが手を離した際に、状態を保持する部材が望ましい。第2の部材7002は、例えば、つまみ、スライダー等の部材である。M=1の場合は、第2の部材7002は、N個以上存在することになる。
例えば、ユーザは、第2の部材7002を介して、撮影範囲が広い程、仮想カメラの位置を示す仮想視点パラメータに対応する最大速度をより大きくするように調整し、撮影範囲が狭い程、最大速度をより小さくするように調整できる。例えば、ユーザは、第2の部材7002を介して、撮影対象がサッカーの試合である場合、撮影対象が卓球の試合の場合に比べて、最大速度を大きくするように調整できる。
これにより、ユーザは、第2の部材7002を介して、カメラワークに応じて適切にカーブを調整することができる。例えば、遠くから全体を映すカメラワークの場合は、カーブを小さくすることで、微妙な制御が可能となる。また、近くから対象を大きく映すカメラワークの場合は、カーブを大きくすることで、ダイナミックな制御が可能となる。ユーザは、第1の部材7001を介した操作ごとに、対応する仮想視点パラメータの制御処理における調整パラメータを、異なるように調整することができる。例えば、サッカーの試合における仮想視点画像を生成する場合について説明する。サッカーのフィールドは垂直方向に比べ水平方向が広い。よって、ユーザは、第2の部材7002を介して、水平方向の位置・姿勢に関する仮想視点パラメータであるX軸座標、Y軸座標、パン角についての最大速度をより大きくすることができる。また、ユーザは、第2の部材7002を介して、し、垂直方向の位置に関する仮想視点パラメータであるZ軸座標、チルト角の最大速度をより小さくすることができる。これより、ユーザは、より容易に仮想視点の指定を行うことができる。
コントローラ7000aは、第1の部材7001に、1軸の操作(1種類の操作)に用いられるシーソースイッチが用いられる場合のコントローラ7000の一例である。第1の部材を介して1種類の操作が行われるため、N=1となる。M=2とすると、コントローラ7000aが含む第2の部材7002の数は、2個(N×M=1×2=2)である。また、M=1とすると、コントローラ7000aが含む第2の部材7002の数は、1個(N×M=1×1=1)である。コントローラ7000aの例では、第2の部材7002は、つまみであるとする。情報処理装置103は、例えば、コントローラ202、コントローラ203等、シーソースイッチと、2つ以上のつまみを有するコントローラを、コントローラ7000aとして用いることができる。
コントローラ7000bは、第1の部材7001に、2軸の操作(2種類の操作、スティックの上下方向への操作、左右方向への操作)に用いられるジョイスティックが用いられる場合のコントローラ7000の一例である。第1の部材を介して2種類の操作が行われるため、N=2となる。M=2とすると、コントローラ7000bが含む第2の部材7002の数は、4個(N×M=2×2=4)である。また、M=1とすると、コントローラ7000bが含む第2の部材7002の数は、2個(N×M=2×1=2)である。コントローラ7000bの例では、第2の部材7002は、つまみであるとする。情報処理装置103は、例えば、コントローラ202等、2軸の操作が可能なジョイスティックと、4つ以上のつまみを有するコントローラを、コントローラ7000bとして用いることができる。
コントローラ7000dは、第1の部材7001に、6軸の操作(6種類の操作)に用いられるジョイスティックが用いられる場合のコントローラ7000の一例である。第1の部材を介して6種類の操作が行われるため、N=6となる。M=2とすると、コントローラ7000dが含む第2の部材7002の数は、12個(N×M=6×2=12)である。また、M=1とすると、コントローラ7000dが含む第2の部材7002の数は、6個(N×M=6×1=6)である。コントローラ7000dの例では、第2の部材7002は、つまみであるとする。情報処理装置103は、例えば、6軸の操作が可能なジョイスティックと12個のつまみを有するコントローラを、コントローラ7000dとして用いることができる。
コマンド8001は、使用されるコントローラの追加を指示するコマンドである。図8の例では、コマンド8001は、第1の部材7001を介した3軸の操作が可能なコントローラ7000(コントローラ7000c)を2つ追加する指示を示すコマンドである。情報処理装置103は、割り当て設定ファイル6002を読込みコマンド8001を取得し、取得したコマンド8001が示すコントローラ7000を、使用するコントローラに追加する。図8の例では、情報処理装置103は、コントローラ202a、202bそれぞれを、使用するコントローラ7000として追加することとなる。
コマンド8002は、どのコントローラの第1の部材7001を介したどの操作に対して、どの仮想視点パラメータの制御機能の割り当てを行うかの指定を示すコマンドである。コマンド8002は、例えば、「仮想カメラのX軸座標の制御を、1つ目のコントローラ7000のジョイスティック(第1の部材7001)の左右方向への操作に割り当てる」等の指定を示すコマンドである。情報処理装置103は、割り当て設定ファイル6002を読込みコマンド8002を取得し、取得したコマンド8002が示す制御機能の割り当てを行う。コマンド8002で指定される第1の部材7001を介した操作に応じて値が変更される仮想視点パラメータは、指定パラメータの一例である。
コマンド8002に、複数のコントローラそれぞれの第1の部材7001を介した操作それぞれに対する同一の仮想視点画像の生成に関する仮想視点パラメータそれぞれの制御機能の割り当ての指定が含まれるとする。その場合、情報処理装置103は、複数のコントローラ7000で同一の仮想視点画像の生成に関する複数の仮想視点パラメータを制御するように設定することができる。例えば、情報処理装置103は、複数のコントローラ7000で同一の仮想カメラを制御するように設定することができる。
コマンド8003は、調整パラメータを用いてどのように仮想視点パラメータの変更量を調整するかを示すカーブの種類を指定するコマンドである。例えば、カーブの種類としては、エキスポネンシャルカーブがある。エキスポネンシャルカーブは、第1の部材7001の操作量に対する仮想視点パラメータの変更量(以下では、制御量とする)を指数関数で調整する手法である。第1の部材7001の操作量をx、第2の部材7002の操作量(例えば、第2の部材(つまみ)が示す値)に基づいて決定された調整パラメータであるカーブパラメータをp、仮想視点パラメータの変更量をf(x)とする。情報処理装置103は、例えば、仮想視点パラメータの変更量を、以下の式1を用いて求めることができる。
f(x)=xp (1)
情報処理装置103は、このカーブを用いることで、xの始点付近で、第1の部材7001の遊びを実現できる。
f(x)=(-2x3+3x2)(1-p)+px (2)
情報処理装置103は、このカーブを用いることで、xの始点と終点の付近で、操作量の遊びを実現できる。なお、エルミートカーブを1つのパラメータで調整するために、情報処理装置103は、以下の条件を用いることとする。即ち、始点の値を0とし、終点の値を1とし、始点と終点のタンジェントを等しい値(=p)とするという条件である。
情報処理装置103は、入出力部115に含まれるマウス・キーボード等の入力装置を介したユーザによる操作に基づいて、割り当て設定ファイル6002の内容を更新することで、ユーザの希望に応じた制御機能の割り当てを行うことができる。また、情報処理装置103は、複数のコントローラ7000のそれぞれの第1の部材7001を介した操作に対して、同一の仮想視点画像の生成に関する仮想視点パラメータの制御機能を分けて割り当てることもできる。また、情報処理装置103は、入出力部115に含まれるマウス・キーボード等の入力装置を介したユーザによる操作に基づいて行われた制御機能の割り当ての指示に基づいて、割り当て設定ファイル6002を用いずに、制御機能の割り当てを行ってもよい。
適切に調整された割り当て設定ファイル6002を複数用意しておくことで、撮影対象、カメラワーク、ユーザが変更された場合に、すばやく設定を変更することが可能になる。
ユーザは、両手のそれぞれを用いて、2台のコントローラ7000それぞれを操作することとしてもよい。また、2名のユーザがそれぞれ、2台のコントローラ7000それぞれを操作することとしてもよい。
例えば、複数の第2の部材7002がコントローラに水平方向に並んで配置されているとする。そして、調整機能割り当て部6004は、例えば、この並んでいる複数の第2の部材7002に対して、左から順に、調整機能の割り当てを行うこととする。そして、予め、どの仮想視点パラメータの制御処理における調整パラメータの調整機能から割り当てを行うかの順番が定められているとする。例えば、「X軸座標、Y軸座標、Z軸座標、パン角、チルト角、ロール角」の順と予め定められているとする。この場合、調整機能割り当て部6004は、まず、左端の2つの第2の部材7002に対して、X軸座標の制御処理における調整パラメータの調整機能の割り当てを行う。そして、調整機能割り当て部6004は、左から3つ目と4つ目との第2の部材7002に対して、Y軸座標の制御処理における調整パラメータの調整機能の割り当てを行う。調整機能割り当て部6004は、以上のような処理を繰り返すことで、予め定められた順に、第2の部材7002に対して、調整機能の割り当てを行っていく。
また、調整機能割り当て部6004は、例えば、コマンド8003に基づいて、カーブの手法として、どの手法を用いるかを決定する。
図8の割り当て設定ファイル6002には、調整機能の割り当て指示がない。そのため、調整機能割り当て部6004は、予め定めた順に、水平に並んだ複数の第2の部材7002について、左から順に、調整パラメータの調整機能を割り当てる。
図9の例では、1つ目のコントローラ7000には、第1の部材7001を介した各操作に対して、X軸座標、Y軸座標、Z軸座標の仮想視点パラメータの制御機能が割り当ててある。そのため、調整機能割り当て部6004は、例えば、第2の部材7002には、左から順に、X軸座標、Y軸座標、Z軸座標の仮想視点パラメータの制御処理における調整パラメータの調整機能を割り当てる。
本実施形態では、対応する仮想視点パラメータに応じて予め定められた順番で、第2の部材7002に対する調整機能の割り当てが行われることとした。そのため、第2の部材7002に対する調整機能の割り当ては、第1の部材7001を介した各操作に対する制御機能の割り当ての順番には依存しない。例えば、第1の部材7001に対するロール角とパン角との割り当て順を逆にしても、第2の部材7002に対する調整機能の割り当ては変わらない。これにより、ユーザは、第2の部材7002に割り当てられた調整機能の順を容易に把握できることとなる。
制御量取得部6006aは、第1の部材7001を介した操作毎に、第1の部材7001の操作量を正規化した値を、仮想視点パラメータの変更量を示す制御量として取得する。制御量取得部6006aは、割り当て保持部6005により保持された割り当ての結果を参照し、第1の部材7001を介したどの操作がどの仮想視点パラメータの制御に対応するかを把握する。そして、制御量取得部6006aは、コントローラ制御部6001を介して、第1の部材7001を介した各操作について、制御量を取得する。
例えば、ユーザは、仮想視点パラメータを制御するために、ジョイスティックである第1の部材7001を操作する。すると、制御量取得部6006aは、第1の部材7001の各操作(ジョイスティックの左右方向の操作、上下方向の操作、ねじり操作)について、第1の部材7001の操作量に基づいて制御量を取得する。以下では、より具体的に説明する。
このようにして、制御量取得部6006aは、第1の部材7001の操作量を、予め定められた範囲に正規化して、制御量として取得する。
例えば、ユーザは、仮想視点パラメータについての調整パラメータである最大速度を調整するために、最大速度に対応するつまみ(第2の部材7002)を回す。調整量取得部6006bは、第2の部材を介した操作を検知して、第2の部材の操作量(第2の部材が示す値)を、仮想視点パラメータの変更量の調整に用いられるパラメータである調整量として取得する。以下では、より具体的に説明する。
次に、カーブパラメータの調整機能について説明する。エキスポネンシャルカーブが用いられる場合、カーブパラメータは、例えば、値の範囲が1~5になるように正規化される。調整量取得部6006bは、例えば、エキスポネンシャルカーブについてのカーブパラメータの調整機能を割り当てた第2の部材7002の操作量を、精度が8ビットの信号として取得する。取得される操作量の値の範囲は、0~255となる。調整量取得部6006bは、取得した操作量を、255で割り、4をかけ、1を足すことで正規化する。調整量取得部6006bは、この正規化された操作量を、調整量として取得する。
エルミートカーブが用いられる場合、カーブパラメータは、例えば、値の範囲が0~1になるように正規化される。調整量取得部6006bは、例えば、エキスポネンシャルカーブについてのカーブパラメータの調整機能を割り当てた第2の部材7002の操作量を、精度が8ビットの信号として取得する。取得される操作量の値の範囲は、0~255となる。調整量取得部6006bは、取得した操作量を、255で割ることで正規化する。調整量取得部6006bは、この正規化された操作量を、調整量として取得する。
第2の調整部6008は、第1の調整部6007により調整された制御量を、更に、調整量取得部6006bにより取得された調整量(調整パラメータである最大速度)を用いて調整する。例えば、第1の調整部6007により調整されたX軸座標についての制御量を0.25とする。また、調整量取得部6006bにより取得された最大速度の調整量を100とする。第2の調整部6008は、第1の調整部6007により調整された制御量に、調整量取得部6006bにより取得された最大速度の調整量をかけ、0.25×100=25を調整後の制御量として取得する。例えば単位をメートル/秒とすると、X軸座標の変更の速度が25メートル/秒となる。
調整量設定部6010は、第2の部材7002それぞれが示すそれぞれの調整パラメータの調整量のデータを調整量設定ファイル6011として、ストレージ部116等に記憶する。更に、情報処理装置103は、調整量設定ファイル6011を読み込み、各調整パラメータについての調整量を、第2の部材7002それぞれに設定することができる。これにより、情報処理装置103は、撮影対象、カメラワーク、ユーザごとに異なる調整量を保存、設定することがより容易にできる。撮影対象とは、例えば、イベントの種類(サッカーの試合、卓球の試合、コンサート、セレモニーなど)である。ただし、イベントの種類に代えて/又はイベントの種類に加えて、シーンの種類(ペナルティキック、コーナーキック、キックオフ、ゴールシーン)などが撮影対象として表現されても良い。本実施形態の情報処理装置103は、例えば、撮影対象ごとに準備された複数の調整量設定ファイルの中から必要な調整量設定ファイルを取得して仮想視点パラメータの制御を行うことができる。このようにすれば、撮影対象が変化した場合に、すばやく設定を変更することができる。また、本実施形態の情報処理装置103は、例えば、ユーザごとに準備された複数の調整量設定ファイルの中からユーザの識別情報に応じた調整量設定ファイルを取得して仮想視点パラメータの制御を行うことができる。このようにすれば、ユーザが変更された場合においてすばやく設定を変更することができる。
つまり、適切に調整された調整量設定ファイル6011を複数用意しておくことで、撮影対象、カメラワーク、ユーザが変更された場合に、すばやく設定を変更することが可能になる。
S10001において、制御機能割り当て部6003は、ストレージ部116から割り当て設定ファイル6002を読み込む。
S10002において、制御機能割り当て部6003は、S10001で読み込んだ割り当て設定ファイル6002から順に1つずつ未処理のコマンドを取得する。制御機能割り当て部6003は、未処理のコマンドを取得できた場合、S10003の処理に進む。未処理のコマンドを取得できなかった場合、即ち、全てのコマンドが処理済みの場合、S10008の処理に進む。
S10004において、制御機能割り当て部6003は、S10002で取得したと判定したコマンドに従い、ユーザが使用するコントローラを、仮想視点パラメータの制御に用いられるコントローラ7000として追加する。以降で、コントローラ制御部6001は、このコマンドで指定されたコントローラ7000の各部材を介した操作を検知して、各操作における操作量を取得する。
S10005において、制御機能割り当て部6003は、S10002で取得したコマンドが、制御機能割り当てを指示するコマンド(例えば、コマンド8002)であるか否かを判定する。制御機能割り当て部6003は、S10002で取得したコマンドが、制御機能割り当てを指示するコマンドであると判定した場合、S10006の処理に進む。また、制御機能割り当て部6003は、S10002で取得したコマンドが、他のコマンドであると判定した場合、S10002で取得したコマンドを、カーブの種類を指定するコマンド(例えば、コマンド8003)であるとして、S10007の処理に進む。
S10007において、調整機能割り当て部6004は、S10002で取得したと判定されたカーブ種類の指定を示すコマンド(例えば、コマンド8003)に従い、以下のようにする。即ち、調整機能割り当て部6004は、各仮想視点パラメータの調整に用いられるカーブの種類それぞれを、このコマンドで指定されたカーブに決定する。
S10009において、調整機能割り当て部6004は、使用されるコントローラ7000毎に、以下の処理を行う。即ち、調整機能割り当て部6004は、第1の部材7001の各操作に制御機能が割り当てられた仮想視点パラメータそれぞれについての調整パラメータそれぞれの調整機能を、予め定めた順に第2の部材7002に割り当てる。
S11001において、制御量取得部6006aは、X軸座標の制御機能が割り当てられた第1の部材7001の操作を検知し、検知した操作における操作量を取得する。例えば、制御量取得部6006aは、割り当て保持部6005により保持された割り当ての結果を参照し、X軸座標の制御機能が割り当てられた第1の部材7001の操作を特定し、特定した操作を検知する。そして、制御量取得部6006aは、検知した操作における操作量を取得し、取得した操作量を正規化することで、制御量を取得する。
また、第1の調整部6007は、第2の部材7002に対して、エキスポネンシャルカーブに用いられるカーブパラメータの調整機能が割り当てられているか否かに基づいて、制御量の調整にエキスポネンシャルカーブが用いられるか否かを判定してもよい。第1の調整部6007は、例えば、第2の部材7002に対して、エキスポネンシャルカーブに用いられるカーブパラメータの調整機能が割り当てられている場合、制御量の調整にエキスポネンシャルカーブが用いられると判定する。また、第1の調整部6007は、例えば、第2の部材7002に対して、エキスポネンシャルカーブに用いられるカーブパラメータの調整機能が割り当てられていなければ場合、制御量の調整にエキスポネンシャルカーブが用いられないと判定する。
第1の調整部6007は、制御量の調整にエキスポネンシャルカーブが用いられると判定した場合、S11003の処理に進み、用いられないと判定した場合、S11005の処理に進む。
S11004において、第1の調整部6007は、S11001で取得された制御量と、S11003で取得されたカーブパラメータと、に基づいて、エキスポネンシャルカーブを用いて、X軸座標の制御量を調整する。例えば、第1の調整部6007は、S11001で取得された制御量をxとして、S11003で取得されたカーブパラメータをpとして、式1を用いて、X軸座標の制御量を調整する。
S11006において、第2の調整部6008は、S11004で調整された制御量と、S11005で取得された最大速度と、に基づいて、X軸座標の制御量を調整する。例えば、第2の調整部6008は、S11004で調整された制御量に、S11005で取得された最大速度を乗じることで、X軸座標の制御量を調整する。
S11007において、仮想視点パラメータ制御部6009は、S11006で調整された制御量に基づいて、仮想視点パラメータであるX軸座標の値を変更させるよう制御する。
情報処理装置103は、他の仮想視点パラメータについても、図11と同様の処理で、値を変更させ、制御することができる。
また、情報処理装置103は、コントローラ7000の第2の部材7001を、第1の部材7001を介した操作が行われたことに応じて実行されることが決定された処理に用いられる調整パラメータの値の指定に用いられる部材として決定した。
これにより、情報処理装置103は、コントローラ7000を介した操作による指定に応じた仮想視点パラメータの制御を可能にすることができる。そのため、ユーザは、コントローラ7000を介して指定に応じた仮想視点パラメータの制御を行うことができる。即ち、情報処理装置103は、仮想視点パラメータの制御における利便性を向上できる。
なお、本実施形態の内容は、以下のように説明することもできる。すなわち、情報処理装置103は、複数のカメラが異なる方向から撮影することで得られる複数の撮影画像に基づく仮想視点画像の生成に関する複数種類のパラメータ(仮想視点パラメータ)と、1又は複数の操作部材(部材7001)と、の対応付け処理を行う。そして、情報処理装置103は、1又は複数の操作部材のうちユーザにより操作された操作部材に対応するパラメータをその対応付け処理の結果に従って制御する。情報処理装置103は、仮想視点パラメータの制御のため、制御信号を生成サーバ102に対して出力できる。ただし、情報処理装置103と生成サーバ102が一体である場合もありうる。一体である場合、情報処理装置103は、自身が有する画像生成部に設定されている仮想視点パラメータをユーザによる操作部材の操作に応じて制御する。
また、情報処理装置103は、複数種類のパラメータ(仮想視点パラメータ)と、部材7001との対応関係を示す指定情報(割り当て設定ファイル6002)を生成できる。これにより、情報処理装置103は、その指定情報を参照することによって、制御対象とする仮想視点パラメータを特定できる。また、指定情報には、仮想視点パラメータと部材7001との対応関係のみならず、パラメータの調整量を決めるための調整用部材(部材7002)との対応関係の情報が含まれるようにしても良い。このようにすれば、情報処理装置103は、ユーザによる部材7001に対する操作に応じた仮想視点パラメータの調整量を、当該指定情報の参照によって決定することができる。
さらに、上記の指定情報は、ユーザごとに生成されるようにしても良い。具体的には、情報処理装置103は、ユーザの識別情報を含む指定情報を生成する。そして、情報処理装置103は、複数の指定情報の中から、部材7001の操作者に対応する指定情報を選択し、その選択された指定情報に基づいて仮想視点パラメータを制御する。このようにすれば、ユーザごとの設定の切替を、より迅速に行うことができる。
また、上記の指定情報は、撮影対象ごとに生成されるようにしても良い。具体的には、情報処理装置103は、撮影対象に関する情報を含む指定情報を生成する。そして、情報処理装置103は、撮影対象を特定すると共に、複数の指定情報の中から、当該撮影対象に応じた指定情報を選択し、その選択された指定情報に基づいて仮想視点パラメータを制御する。このようにすれば、撮影対象ごとの設定の切替をより迅速に行うことができる。なお、撮影対象に関する情報とは、イベントの種類を識別するための識別情報、及び、シーンの種類を識別するための識別情報などが考えられる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。上述した各実施形態を任意に組み合わせたり、適宜改良、応用等してもよい。
102 生成サーバ
103 情報処理装置
Claims (12)
- 複数の撮影装置が行う撮影により得られる複数の撮影画像に基づく仮想視点画像に対応する仮想視点の位置および前記仮想視点からの視線方向の少なくともいずれかの視点パラメータを変更する情報処理装置であって、
操作部材の操作量に応じた前記視点パラメータの変更量を決定するための感度パラメータと、前記操作部材に対する最大操作量に対応する前記視点パラメータの最大変更量を決定するための最大速度パラメータとを設定する設定手段と、
前記感度パラメータと、前記最大速度パラメータと、前記操作部材の操作量とに基づいて前記視点パラメータを変更する変更手段とを有し、
第1の感度パラメータと特定の最大速度パラメータと前記操作部材に対する特定の操作量とに基づいて変更される視点パラメータの変更量と、前記第1の感度パラメータと異なる第2の感度パラメータと前記特定の最大速度パラメータと前記操作部材に対する前記特定の操作量とに基づいて変更される視点パラメータの変更量とが異なる
ことを特徴とする情報処理装置。 - 前記操作部材は、ジョイスティックであって、
前記操作部材の操作量は、前記ジョイスティックの傾倒量であることを特徴とする請求項1に記載の情報処理装置。 - 前記感度パラメータは、エキスポネンシャルカーブまたはエルミートカーブに基づいて定義されるパラメータであることを特徴とする請求項1又は2に記載の情報処理装置。
- 前記感度パラメータおよび前記最大速度パラメータは、前記仮想視点の位置を表すX軸、Y軸、Z軸、前記仮想視点からの視線方向を表すパン、チルト、ロールの少なくとも何れかに対応するパラメータであることを特徴とする請求項1乃至3の何れか1項に記載の情報処理装置。
- 更に、前記設定手段により設定された前記感度パラメータおよび前記最大速度パラメータを記憶する記憶手段を有し、
前記変更手段は、前記記憶手段に記憶された前記感度パラメータと、前記最大速度パラメータと、前記操作部材の操作量と、に基づいて前記視点パラメータを変更することを特徴とする請求項1乃至4の何れか1項に記載の情報処理装置。 - 前記記憶手段は、前記設定手段により設定された前記感度パラメータおよび前記最大速度パラメータを複数記憶することを特徴とする請求項5に記載の情報処理装置。
- 前記記憶手段は、撮影対象、カメラワーク、ユーザのうち少なくとも何れかと前記感度パラメータおよび前記最大速度パラメータとを対応付けて記憶することを特徴とする請求項6に記載の情報処理装置。
- 前記撮影対象はサッカーの試合、卓球の試合、コンサート、セレモニーの少なくとも何れかであることを特徴とする請求項7に記載の情報処理装置。
- 前記感度パラメータおよび前記最大速度パラメータは、コントローラが有するつまみを操作することにより、設定されることを特徴とする請求項1乃至8の何れか1項に記載の情報処理装置。
- 前記変更手段は、前記感度パラメータを正規化した値と、前記最大速度パラメータを正規化した値と、前記操作部材の操作量を正規化した値とに基づいて前記視点パラメータを変更することを特徴とする請求項1乃至9の何れか1項に記載の情報処理装置。
- 複数の撮影装置が行う撮影により得られる複数の撮影画像に基づく仮想視点画像に対応する仮想視点の位置および前記仮想視点からの視線方向の少なくともいずれかの視点パラメータを変更する情報処理方法であって、
操作部材の操作量に応じた前記視点パラメータの変更量を決定するための感度パラメータと、前記操作部材に対する最大操作量に対応する前記視点パラメータの最大変更量を決定するための最大速度パラメータとを設定する設定工程と、
前記感度パラメータと、前記最大速度パラメータと、前記操作部材の操作量とに基づいて前記視点パラメータを変更する変更工程とを有し、
第1の感度パラメータと特定の最大速度パラメータと前記操作部材に対する特定の操作量とに基づいて変更される視点パラメータの変更量と、前記第1の感度パラメータと異なる第2の感度パラメータと前記特定の最大速度パラメータと前記操作部材に対する前記特定の操作量とに基づいて変更される視点パラメータの変更量とが異なる
ことを特徴とする情報処理方法。 - コンピュータを、請求項1乃至10の何れか1項に記載の情報処理装置として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018136900A JP7233867B2 (ja) | 2018-07-20 | 2018-07-20 | 情報処理装置、情報処理方法及びプログラム |
US16/511,582 US11323688B2 (en) | 2018-07-20 | 2019-07-15 | Information processing apparatus and information processing method for generating a virtual viewpoint |
JP2023025087A JP7480377B2 (ja) | 2018-07-20 | 2023-02-21 | 情報処理装置、情報処理方法、及びプログラム |
JP2024070529A JP2024091898A (ja) | 2018-07-20 | 2024-04-24 | 情報処理装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018136900A JP7233867B2 (ja) | 2018-07-20 | 2018-07-20 | 情報処理装置、情報処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023025087A Division JP7480377B2 (ja) | 2018-07-20 | 2023-02-21 | 情報処理装置、情報処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020014177A JP2020014177A (ja) | 2020-01-23 |
JP2020014177A5 JP2020014177A5 (ja) | 2021-08-26 |
JP7233867B2 true JP7233867B2 (ja) | 2023-03-07 |
Family
ID=69162183
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018136900A Active JP7233867B2 (ja) | 2018-07-20 | 2018-07-20 | 情報処理装置、情報処理方法及びプログラム |
JP2023025087A Active JP7480377B2 (ja) | 2018-07-20 | 2023-02-21 | 情報処理装置、情報処理方法、及びプログラム |
JP2024070529A Pending JP2024091898A (ja) | 2018-07-20 | 2024-04-24 | 情報処理装置、情報処理方法及びプログラム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023025087A Active JP7480377B2 (ja) | 2018-07-20 | 2023-02-21 | 情報処理装置、情報処理方法、及びプログラム |
JP2024070529A Pending JP2024091898A (ja) | 2018-07-20 | 2024-04-24 | 情報処理装置、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11323688B2 (ja) |
JP (3) | JP7233867B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7075252B2 (ja) * | 2018-03-23 | 2022-05-25 | キヤノン株式会社 | 情報処理装置およびその制御方法、プログラム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006253935A (ja) | 2005-03-09 | 2006-09-21 | Fujinon Corp | 雲台コントローラ |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002010124A (ja) | 2000-06-21 | 2002-01-11 | Matsushita Electric Ind Co Ltd | カメラ操作装置 |
JP2012109719A (ja) | 2010-11-16 | 2012-06-07 | Canon Inc | 映像処理装置及びその制御方法 |
JP2012215934A (ja) | 2011-03-31 | 2012-11-08 | Namco Bandai Games Inc | プログラム、情報記憶媒体、端末、及びサーバ |
JP6245041B2 (ja) | 2014-04-02 | 2017-12-13 | コニカミノルタ株式会社 | 情報処理装置及びフラッシュメモリの制御方法 |
JP6742869B2 (ja) | 2016-09-15 | 2020-08-19 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP6539253B2 (ja) * | 2016-12-06 | 2019-07-03 | キヤノン株式会社 | 情報処理装置、その制御方法、およびプログラム |
JP6957215B2 (ja) * | 2017-06-06 | 2021-11-02 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6924079B2 (ja) * | 2017-06-12 | 2021-08-25 | キヤノン株式会社 | 情報処理装置及び方法及びプログラム |
CN110892455A (zh) * | 2017-07-14 | 2020-03-17 | 索尼公司 | 图像处理装置、用于图像处理装置的图像处理方法和程序 |
US10569172B2 (en) * | 2017-09-19 | 2020-02-25 | Canon Kabushiki Kaisha | System and method of configuring a virtual camera |
-
2018
- 2018-07-20 JP JP2018136900A patent/JP7233867B2/ja active Active
-
2019
- 2019-07-15 US US16/511,582 patent/US11323688B2/en active Active
-
2023
- 2023-02-21 JP JP2023025087A patent/JP7480377B2/ja active Active
-
2024
- 2024-04-24 JP JP2024070529A patent/JP2024091898A/ja active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006253935A (ja) | 2005-03-09 | 2006-09-21 | Fujinon Corp | 雲台コントローラ |
Also Published As
Publication number | Publication date |
---|---|
JP2023054186A (ja) | 2023-04-13 |
US20200029065A1 (en) | 2020-01-23 |
JP2020014177A (ja) | 2020-01-23 |
JP7480377B2 (ja) | 2024-05-09 |
JP2024091898A (ja) | 2024-07-05 |
US11323688B2 (en) | 2022-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7498209B2 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
JP6742869B2 (ja) | 画像処理装置および画像処理方法 | |
JP6849430B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2024091898A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN108292489A (zh) | 信息处理装置和图像生成方法 | |
US11205360B2 (en) | Display control apparatus, display control method, and non-transitory computer-readable storage medium | |
JP6085411B2 (ja) | 画像処理装置、画像処理方法、および画像処理装置の制御プログラム | |
JP7353782B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN108377361B (zh) | 一种监控视频的显示控制方法及装置 | |
JP2019152903A (ja) | 情報処理装置およびその制御方法 | |
CN112230836A (zh) | 对象的移动方法、装置、存储介质和电子装置 | |
JP2020119095A (ja) | 制御装置、制御方法、及びプログラム | |
JP2021177351A (ja) | 画像表示装置、制御方法、およびプログラム | |
JP2020042362A (ja) | 制御装置及びその制御方法 | |
JP2019220783A (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
US20160344946A1 (en) | Screen System | |
EP4125044A2 (en) | Image processing apparatus, image processing method, and program | |
CN111064946A (zh) | 基于室内场景的视频融合方法、***、装置和存储介质 | |
JP2017123589A (ja) | 情報処理装置、情報処理方法および映像投影システム | |
JP7341674B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN116828131A (zh) | 基于虚拟现实的拍摄处理方法、装置及电子设备 | |
JP6685364B2 (ja) | 表示制御装置、表示制御方法 | |
JP2023175503A (ja) | 画像処理装置及びその画像処理方法 | |
JP2024058941A (ja) | 制御装置、制御方法及びコンピュータプログラム | |
JP2022182836A (ja) | 映像処理装置及びその制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210715 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220726 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220929 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230222 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7233867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |