JP2023094758A - 動画作成システム、動画作成装置、及び動画作成用プログラム - Google Patents

Abstract

【課題】仮想空間におけるキャラクターの撮影動画を作成する際に視聴者を飽きさせない動画を簡便に作成する。
【解決手段】仮想空間の表示データ及びキャラクターの表示データが保存された記憶部１１と、キャラクターの動作を入力する動作入力端末２２と、キャラクターの表示データを読み出し動作入力端末への入力に応じて仮想空間で当該キャラクターを動作させるキャラクター動作制御部１２４と、全景位置及びキャラクター捕捉位置を設定する撮影位置設定部１２５と、全景位置又はキャラクター捕捉位置を撮影位置とする入力を受け付ける撮影位置選択部１３と、受け付けられた撮影位置で仮想空間を撮影することにより得られる画像データを生成する仮想空間撮影部１２６と、仮想空間撮影部により得られる画像のデータを記録して動画のデータを作成する動画作成部１２８とを備える動画作成システム１。
【選択図】図２

Description

本発明は、仮想空間において動作するキャラクターを撮影した動画を作成する技術に関する。

自らがダンスしたり歌唱したりしている様子を撮影して動画を作成し、インターネット上に設けられた動画投稿サイトやソーシャルネットワーキングサービスの個人ページにその動画を投稿することが広く行われている。こうした動画を作成する際には、動画作成者が自宅の一角に設けた撮影スタジオで画像を撮影することが一般的である。

しかし、自宅に設けることが可能な撮影スタジオの広さや内装のバリエーションには限りがある。ユーチューバーと呼ばれるような動画の投稿を職業とする者は、動画を作成する毎にその動画に合わせた撮影スタジオを確保する場合もあるが、それには時間とコストがかかる。

このような問題を解決することが可能な技術として、近年、コンピュータグラフィックス（ＣＧ）が用いられている。ＣＧを用いると、任意の撮影スタジオの内部空間を模した仮想空間を設定することができる。また、その仮想空間に任意のキャラクターを登場させることもできる。

例えば、特許文献１には、テレビ局のスタジオを模した仮想空間にＣＧキャラクターを登場させ、そのＣＧキャラクターを該仮想空間内に配置した仮想カメラで撮影して動画（製作動画）を作成する動画像作成方法が記載されている。この動画像作成方法は、製作動画を撮影するためのカメラに加え、ＣＧキャラクターの配置や動作を確認するためのカメラを配置し、それぞれのカメラで捉えた画像をプレビュー画面で切り替え表示しながら編集し、最終的に製作動画を完成することを特徴としている。具体的な一例として、テレビスタジオを模した仮想空間に二人のＣＧキャラクターを配置し、該仮想空間の略正面に位置するカメラで二人のＣＧキャラクターを撮影した画像によって製作動画を構成することが記載されている。

特開２００１－２０２５３１号公報

上記の例では製作動画の撮影には1台のカメラのみを用いるため、最終的に得られる動画は単一の画角でＣＧキャラクターを捉えた単調なものになってしまい、視聴者が見ているうちに飽きてしまう。製作動画撮影用のカメラを複数台用いれば、画角が異なる複数の画像を取得することができる。しかし、最終的に1つの動画を作成するためには、複数のカメラのそれぞれで仮想空間を並行して撮影することにより得られた多数の動画を確認して所望の部分を選択し、さらにそれらを組み合わせる作業が必要であり、時間と手間がかかる。

本発明が解決しようとする課題は、仮想空間において動作するキャラクターを撮影した動画を作成する際に、視聴者を飽きさせない動画を簡便に作成することができる技術を提供することである。

上記課題を解決するために成された本発明は、仮想空間において動作するキャラクターの動画を作成するシステムであって、
仮想空間の表示データ及びキャラクターの表示データが保存された記憶部と、
前記キャラクターの動作を入力する動作入力端末と、
前記記憶部から前記キャラクターの表示データを読み出し、前記動作入力端末における入力に応じて前記仮想空間で当該キャラクターを動作させるキャラクター動作制御部と、
前記仮想空間の全景を捉える全景位置、及び前記仮想空間におけるキャラクターを予め決められた画角で捉えるキャラクター捕捉位置を設定する撮影位置設定部と、
前記全景位置又は前記キャラクター捕捉位置を撮影位置として選択する入力を受け付ける撮影位置選択部と、
前記撮影位置選択部により受け付けられた撮影位置において仮想カメラで前記仮想空間を撮影することにより得られる画像のデータを生成する仮想空間撮影部と、
前記仮想空間撮影部により得られる画像のデータを順次記録して動画のデータを作成する動画作成部と
を備えることを特徴とする。

上記仮想空間は、実在する空間を模したものであってもよく、実在しない空間であってもよい。また、上記キャラクターは、実際に存在する俳優やアイドルなどの有名人を模したものであってもよく、実在しないものであってもよい。さらには、人間に限らず動物やロボット、あるいは様々なものを擬人化したものであってもよい。
また、上記動作入力端末には、例えば、モーションキャプチャーや、キャラクターの動作とボタンの関係が予め規定されたコントローラなどを用いることができる。
さらに、上記画像や動画のデータは、画像ファイル形式や動画ファイル形式のみには限定されない。例えば、仮想空間の表示データ、仮想空間におけるキャラクターの位置情報及び姿勢情報のデータ、及び当該時点で選択されている撮影位置の情報など、画像や動画を再構成するために必要なパラメータを相互に対応づけたものであってもよい。

本発明に係る動画作成システムでは、例えば、動画作成者であるディレクターが、予め用意された脚本やシナリオに基づいて、映画、ドラマ、コマーシャル動画などの様々な動画を作成することができる。その際には、例えば、実在の俳優を模したキャラクターの動作を当該俳優自らが入力することにより仮想空間で動作させる。キャラクターが動作を開始すると、ディレクターは、当該キャラクターの動作を最も効果的に捉える全景位置又はキャラクター捕捉位置を選択する入力を行う。仮想空間撮影部は、入力された位置で仮想空間を撮影することにより得られる画像のデータを生成し、これを受けて、動画作成部は、その画像データを順次記録した画像のデータを作成する。本発明では、撮影中に、適宜のタイミングで、監督が撮影位置を選択する入力を行うのみで、仮想空間で動作するキャラクターを異なる画角で捉えた画像で構成される動画を簡便に作成することができる。

上記課題を解決するために成された本発明の別の態様は、仮想空間において動作するキャラクターの動作を入力する動作入力端末と接続可能に構成された、該キャラクターの動画を作成する装置であって、
仮想空間の表示データ及びキャラクターの表示データが保存された記憶部と、
前記記憶部から前記キャラクターの表示データを読み出し、前記動作入力端末における入力に応じて前記仮想空間で当該キャラクターを動作させるキャラクター動作制御部と、
前記仮想空間の全景を捉える全景位置、及び前記仮想空間におけるキャラクターを予め決められた画角で捉えるキャラクター捕捉位置を設定する撮影位置設定部と、
前記全景位置又は前記キャラクター捕捉位置を撮影位置として選択する入力を受け付ける撮影位置選択部と、
前記撮影位置選択部により受け付けられた撮影位置において仮想カメラで前記仮想空間を撮影することにより得られる画像のデータを生成する仮想空間撮影部と、
前記仮想空間撮影部により得られる画像のデータを順次記録して動画のデータを作成する動画作成部と
を備えることを特徴とする。

上記課題を解決するために成された本発明のさらに別の態様は、仮想空間において動作するキャラクターの動画を作成するために用いられる動画作成用プログラムであって、該仮想空間において動作するキャラクターの動作を入力する動作入力端末と接続可能に構成され、該仮想空間の表示データ及びキャラクターの表示データが保存された記憶部を備えたコンピュータを、
前記記憶部から前記キャラクターの表示データを読み出し、前記動作入力端末における入力に応じて前記仮想空間で当該キャラクターを動作させるキャラクター動作制御部と、
前記仮想空間の全景を捉える全景位置、及び前記仮想空間におけるキャラクターを予め決められた画角で捉えるキャラクター捕捉位置を設定する撮影位置設定部と、
前記全景位置又は前記キャラクター捕捉位置を撮影位置として選択する入力を受け付ける撮影位置選択部と、
前記撮影位置選択部により受け付けられた撮影位置において仮想カメラで前記仮想空間を撮影することにより得られる画像のデータを生成する仮想空間撮影部と、
前記仮想空間撮影部により得られる画像のデータを順次記録して動画のデータを作成する動画作成部と
として動作させることを特徴とする。

本発明に係る動画作成システム、動画作成装置、又は動画作成用プログラムでは、さらに、
前記全景位置において前記仮想カメラで前記仮想空間を撮影した画像と、前記キャラクター捕捉位置において前記仮想カメラで前記仮想空間を撮影した画像とを表示する撮影画像表示部
を備えることが好ましい。

上記撮影画像表示部を備えた態様の動画作成システム、動画作成装置、又は動画作成用プログラムでは、動画作成者が、実際に仮想空間を捉えた画像を確認しつつ、撮影位置を選択することができる。

本発明に係る動画作成システム、動画作成装置、又は動画作成用プログラムでは、さらに、
前記キャラクターの視点で前記仮想空間を捉えた画像を表示するキャラクター視点表示部
を備えることが好ましい。

上記キャラクター視点表示部を備えた態様の動画作成システム、動画作成装置、又は動画作成用プログラムでは、キャラクターを動作させようとする者がキャラクター視点表示部を用いることにより、仮想空間の内部に没入して、よりリアリティのある動作を入力することができる。そのようなキャラクター視点表示部には、ＶＲゴーグルを好適に用いることができる。

本発明に係る動画作成システム、動画作成装置、又は動画作成用プログラムを用いることにより、視聴者を飽きさせない動画を簡便に作成することができる。

本発明に係る動画作成システムの一実施例の全体構成図。 本実施例の動画作成システムを構成するディレクター装置と演者装置の要部構成図。 本実施例においてディレクター装置の表示部に表示される画面の例。 本実施例におけるシーンと仮想カメラの配置の一例。 本実施例において作成される動画の構成を説明する図。

本発明に係る動画作成システム、動画作成装置、及び動画作成用プログラムの実施例について、以下、図面を参照して説明する。本実施例の演劇型ロールプレイ記録動画作成システムは、実在する空間を模した仮想空間において、実在する俳優を模したキャラクターを動作させることにより映画を撮影するために用いられる。

本実施例の動画作成システム１は、図１及び図２に示すように、大別して、ディレクター装置１０（本発明における動画作成装置に相当）と、複数の演者装置２０で構成される。ディレクター装置１０と演者装置２０はネットワークを介して相互に接続されている。図１には5台の演者装置２０を示し、図２には1台の演者装置２０のみを示しているが、演者装置２０の数は適宜に変更可能である。

図２に、ディレクター装置１０と演者装置２０の要部構成を示す。ディレクター装置１０は、本実施例のように映画を製作する場合、例えば、映画監督やカメラマンによって用いられる。以下の説明では、ディレクター装置１０を使用して動画を作成する者を「ディレクター」と呼ぶ。

ディレクター装置１０は、記憶部１１を備えている。記憶部１１内には、映画、ドラマ、コマーシャル動画などで使用可能である1乃至複数のシーンの名称と、各シーンの表示データとが対応付けられたものが保存されたシーン表示データ記憶部１１１、1乃至複数のキャラクターの名称と、各キャラクターの表示データと対応付けられたもが保存されたキャラクター表示データ記憶部１１２、バックグラウンドミュージック等の音楽データや、効果音などのデータが保存された音声データ記憶部１１３、動画に挿入するために使用する画像や動画のデータが保存された挿入画像データ記憶部１１４、各シーンにおける仮想空間の撮影位置及び各キャラクターの撮影位置に関する情報が保存された撮影位置記憶部１１５、仮想カメラ（後記）により撮影される画面が保存される撮影画面記憶部１１６、及び作成した動画が保存される動画記憶部１１７が設けられている。その他、記憶部１１には、動画作成の分野においてエフェクトと呼ばれる各種の映像効果の情報が保存されている。

シーン表示データ記憶部１１１に保存されるシーン表示データには、同一の空間に関する複数の表示データが含まれうる。例えば、日中の寺院と夜間の寺院の表示データや、教師や生徒（演者が演じるキャラクター以外の存在。いわゆるモブキャラ。）がいる学校の教室と生徒がいない学校の教室、街中の風景であって人のいない風景と雑踏の風景（モブキャラを含む風景）などが含まれうる。モブキャラの有無については、モブキャラを含む仮想空間の表示データとモブキャラを含まない仮想空間の表示データをそれぞれ独立した表示データとして保存しておいてもよく、モブキャラを含まない仮想空間の表示データと、モブキャラのみの表示データを保存しておき、後者の使用が選択された場合に両者を重畳表示するようにしてもよい。また、モブキャラの表示データは、静止画像であってもよく、予め決められた動き（例えば、教室内で生徒が談笑する様子や、多数の人が横断歩道を歩行する様子など）を持たせたものでもよい。また、本実施例におけるモブキャラには、人や動物に限らず、例えば、天空を一定の速度で移動する太陽、星、月なども含まれうる。

また、ディレクター装置１０は、機能ブロックとして、キャラクター設定部１２１、端末決定部１２２、シーン設定部１２３、キャラクター表示制御部１２４、撮影位置設定部１２５、仮想空間撮影部１２６、撮影画面切替部１２７、及び動画作成部１２８を有している。ディレクター装置１０の実体は、一般的なパーソナルコンピュータであり、予めインストールされた動画作成用プログラム１２をプロセッサで実行することにより具現化される。ディレクター装置１０には、キーボードやマウスなどを含む入力部１３と、液晶ディスプレイなどで構成される表示部１４が接続されている。あるいは、ディレクター装置１０がタッチパネル式のものである場合には、入力部１３と表示部１４を兼ねたディスプレイを備える。

演者装置２０は、映画に登場するキャラクターの動作を演じる俳優などの演者が使用する端末である。演者装置２０は、ＶＲゴーグル２１（本発明におけるキャラクター視点表示部に相当）と、モーションセンサ２２（本発明における動作入力端末に相当）を備えている。モーションセンサ２２には、演者が所定の位置に装着する複数のセンサ２２１（センサ群）と、該複数のセンサ２２１の動きを検出する動作検出部２２２が含まれる。複数の演者装置２０には、それぞれの演者装置２０を識別する識別番号が付されている。

次に、本実施例の動画作成システムにおいて映画を撮影する際の流れを説明する。シーン表示データ記憶部１１１に保存される各シーンの表示データ、キャラクター表示データ記憶部１１２に保存されるキャラクターの表示データ、音声データ記憶部１１３に保存される音楽や効果音のデータ、及び挿入画像データ記憶部１１４に保存される挿入用の画像や動画のデータについては、動画の製作に必要なものを予め作成して保存しておく。

まず、ディレクターは、自らが使用する端末からディレクター装置１０にログインし、映画の製作開始を指示する所定の入力操作を行う。

映画の製作開始が指示されると、キャラクター設定部１２１は、キャラクター表示データ記憶部１１２に保存されている、キャラクターの名称のリストを表示部１４に表示する。ディレクターが表示されたリストの中から、これから撮影する映画に登場させるキャラクターを選択すると、キャラクター設定部１２１は、キャラクター表示データ記憶部１１２から、選択されたキャラクターの情報を読み出す。ここで、ディレクターが選択するキャラクターには、プレイヤーキャラクター（演者が動作を演じるキャラクター）と、ノンプレイヤーキャラクター（ディレクター等が動作を制御するキャラクター）の2種類が含まれうる。ノンプレイヤーキャラクターは、例えば、撮影しようとする動画の一部のみに登場する脇役である。

ディレクターは、また、音声データ記憶部１１３に保存されている音楽や効果音のデータの中から動画の製作に必要なものを選択し、挿入画像データ記憶部１１４に保存されている挿入用の画像及び動画のデータの中から動画の製作に使用するものを選択する。

次に、端末決定部１２２は、キャラクター設定部１２１が読み出したプレイヤーキャラクターのリストと、ディレクター装置１０に接続されている演者装置２０のリストを表示部１４の画面に表示する。ディレクターが、表示部１４に表示されたプレイヤーキャラクターのそれぞれに演者装置２０を対応付ける操作を行うと、端末決定部１２２は、各演者装置２０にプレイヤーキャラクターを対応づけた情報を記憶部１１に保存する。

ディレクター装置１０により上記の各操作が行われると、ディレクター装置１０から各演者装置２０に対して、当該演者装置２０に対応付けられたプレイヤーキャラクターの情報が送信される。演者装置２０に送られる情報には、少なくともプレイヤーキャラクターの名称が含まれる。また、当該プレイヤーキャラクターに関する脚本が予め用意されている場合には、その脚本の情報も含まれうる。

その後、ディレクターが所定の入力操作により撮影の開始を指示すると、表示部１４には、図３に示すようなディレクター画面４０が表示される。

ディレクター画面４０は、撮影画面表示部４１、仮想カメラ画像表示部４２、シーン俯瞰図表示部４３、音声選択部４４、シーン選択部４５、エフェクト選択部４６、及び画角調整部４７を有している。

撮影画面表示部４１には、後記の操作によりディレクターが選択した撮影位置で取得した仮想空間の画像が表示される。仮想カメラ画像表示部４２には、撮影中の仮想空間内に配置される複数の仮想カメラの各々によって取得される画面と、イメージショットがそれぞれ表示される。イメージショットとは、例えば撮影中の映画に差し込まれる動画（例えば、オープニング動画、エンディング動画、回想シーンの動画など）や、各シーンで重要な役割を果たすアイテム等の画像である。上記の通り、これらの動画や画像については、予めディレクター等が作成したものが挿入画像データ記憶部１１４に保存されている。

仮想カメラが配置される位置には、仮想空間の全景を捉える位置（全景位置）、各キャラクター（プレイヤーキャラクター及びノンプレイヤーキャラクター）を個別にアップで捉える（キャラクター捕捉位置）位置が含まれる。図４に示すように、キャラクター捕捉位置は、対象のキャラクターを仮想カメラ６により所定の画角で捉える位置であり、キャラクターの移動に伴ってキャラクター捕捉位置も変化する。図４にはキャラクターごとに1つの仮想カメラのみを示しているが、例えば映画の主役となるキャラクターや、各シーンで重要な役割を果たすキャラクターについては、当該キャラクターを異なる画角で捉える複数の仮想カメラを設けてもよい。なお、撮影開始前や撮影中に、ディレクターが画角調整部４７を通じて対象の仮想カメラを選択して画角を変更する操作を行うことにより、当該カメラの画角（仮想空間を捉える画角、及び各キャラクターを捉える画角）を適宜に変更することができる。

本実施例では、仮想カメラ画像表示部４２に、全景位置から広角レンズで仮想空間の全景を捉えた画像を表示する全景画像表示部４２１、該全景位置から標準レンズで予め決められた画角で仮想空間（例えば、当該シーンにおける中心位置を含む空間や、当該シーンにおいて各キャラクターが主に位置する空間。図３の例ではソファー。）を捉えた画像を表示する標準画像表示部４２２、キャラクター捕捉位置から各キャラクター（プレイヤーキャラクター及びノンプレイヤーキャラクター）を捉えた画像を表示するキャラクター画像表示部４２３～４２７（プレイヤーキャラクターa, b, c, dの画像を表示するキャラクター画像表示部４２３～４２６、ノンプレイヤーキャラクターAの画像を表示するキャラクター画像表示部４２７）及びイメージショットを表示するイメージショット表示部４２８、４２９（挿入用の画像４２８と挿入用の動画４２９）が表示される。なお、キャラクター画像表示部４２３～４２７の数は当該シーンに登場するプレイヤーキャラクターとノンプレイヤーキャラクターの数、及び各キャラクターのキャラクター捕捉位置の数によって適宜に変更される。また、イメージショット表示部４２８、４２９についても同様に、当該シーンで必要となる画像や動画の数に応じて適宜に変更可能である。

シーン俯瞰図表示部４３には、展開中のシーンの仮想空間における各キャラクターの位置を示す平面図が表示される。音声選択部４４には、音声データ記憶部１１３に予め保存された音楽（バックグラウンドミュージック等）や効果音の一覧が表示される。シーン選択部４５には、シーン表示データ記憶部１１１に保存されているシーンの一覧が表示される。エフェクト選択部４６には、各種の映像効果の一覧が表示される。映像効果は、動画作成の分野においてエフェクトと呼ばれるものであり、当該分野で従来知られている様々な種類のものを用いることができる。

画角調整部４７には、ディレクターが選択した仮想カメラの名称（プレイヤーキャラクターaの第１カメラなど）、当該仮想カメラの現在の画角、及び該画角を変更するための操作ボタン）が表示される。画角調整部４７には、プルダウンメニューが設けられており、これを操作することにより画角調整部４７において画角を調整する対象の仮想カメラを選択することができる。

本実施例では、操作ボタンとして、仮想カメラの位置を左右（典型的には水平）方向に移動させる水平移動部４７１、上下（典型的には鉛直）方向に移動させる鉛直移動部４７２、及び拡大率を変更する拡大率偏向部４７３が表示される。仮想カメラの画角の変更は、画角調整部４７内のカーソルをマウスで操作することにより行ってもよく、キーボードの上下左右のキーや、テンキーと、仮想カメラの移動及び拡大／縮小を対応づけておき、それらのキーを押すことにより行ってもよい。また、本実施例の画角調整部４７に代えて、仮想空間における仮想カメラの三次元位置及び拡大率を数値入力することにより仮想カメラの画角を調整するものとしてもよい。

各プレイヤーキャラクターを動作させる俳優等の演者は、撮影中、ＶＲゴーグル２１を装着し、身体の予め決められた複数の位置にそれぞれセンサ２２１を装着する。撮影中、ディレクター装置１０のキャラクター表示制御部１２４から、当該ＶＲゴーグル２１を含む演者装置２０に対応付けられたプレイヤーキャラクターの視点で仮想空間を見た画像のデータが演者装置２０に送信され、その画像がＶＲゴーグル２１に表示される。各演者は、ＶＲゴーグル２１を通じて仮想空間を確認することで、より没入感のある演技を行うことができる。

また、ディレクター（又はその補助者）は、キーボードやマウス等の入力部１３を通じて、ノンプレイヤーキャラクターの動作を制御する。ノンプレイヤーキャラクターの動作は、予めキーボードの所定のボタンやマウスの操作と対応付けられている。本実施例ではノンプレイヤーキャラクターの動作を入力するために入力部１３を用いるが、入力部１３とは別に、ノンプレイヤーキャラクターの動作を入力するための第２入力部を設けてもよい。第２入力部には、例えば演者装置２０が有するモーションセンサ２２と同様のものを用いることができる。

撮影中、演者が身体を動かすと、動作検出部２２２は、演者の身体に装着された複数のセンサ２２１のそれぞれの動きを検出し、各センサの移動情報をディレクター装置１０に送信する。ディレクター装置１０では、受信した情報に基づいて、キャラクター表示制御部１２４が仮想空間内のプレイヤーキャラクターを動作させる。また、キャラクター表示制御部１２４は、動作させた後のプレイヤーキャラクターの位置や視線の方向に基づいて、当該プレイヤーキャラクターの視野の情報を更新して演者装置２０に送信する。さらに、入力部１３を通じた所定の入力操作を受けて、キャラクター表示制御部１２４は、仮想区間内のノンプレイヤーキャラクターを動作させる。

ディレクターがシーン選択部４５に表示されているシーン一覧から、これから撮影しようとするシーン（例えばシーン１）を選択すると、シーン設定部１２３は、対応するシーンの表示データをシーン表示データ記憶部１１１から読み出す。各シーンには、当該シーンにおける初期撮影画像の情報（例えば全景画像）が対応付けられており、撮影位置設定部１２５によって当該位置が全景位置として設定される。さらに、仮想空間撮影部１２６は、全景位置から広角レンズを有する仮想カメラで仮想空間を撮影した全景画像のデータと、該全景位置から標準レンズで仮想空間を撮影した標準画像のデータを取得する。全景位置で取得された2つの画像（全景画像と標準画像）のデータはディレクター装置１０の撮影画面記憶部１１６に保存される。また、全景画像は全景画像表示部４２１に表示され、標準画像は標準画像表示部４２２に表示される。

各演者が演者装置２０に対する所定の入力操作により演技（プレイヤーキャラクターの動作）の開始を指示すると、キャラクター表示制御部１２４が、キャラクター表示データ記憶部１１２から当該プレイヤーキャラクターの表示データを読み出し、現在のシーンにおいて予め決められた位置にそのプレイヤーキャラクターを表示する。その後、演者が演技を開始すると、当該演者の身体に取り付けられたセンサの動きを動作検出部２２２が検出して動作データをディレクター装置１０に送信し、その動作データに基づいてキャラクター表示制御部１２４が仮想空間内で当該キャラクターを動作させる。また、ディレクター又はその補助者が入力部１３を通じて所定の入力操作によりノンプレイヤーキャラクターの登場を指示すると、キャラクター表示制御部１２４が、キャラクター表示データ記憶部１１２から当該ノンプレイヤーキャラクターの表示データを読み出し、現在のシーンにそのノンプレイヤーキャラクターを登場させる。

また、仮想空間に各キャラクターを表示すると同時に、撮影位置設定部１２５は、各キャラクターを予め決められた画角で捉えるキャラクター捕捉位置を設定する。撮影開始後、撮影位置設定部１２５は、プレイヤーキャラクターやノンキャラクターの移動に合わせてキャラクター捕捉位置も移動させる。仮想空間撮影部１２６は、各キャラクターのキャラクター捕捉位置で対象のキャラクターを撮影した画像データを取得する。各キャラクターを撮影した画像のデータは撮影画面記憶部１１６に保存され、また、キャラクター画像表示部４２３～４２７に表示される。

撮影開始時点では、ディレクター装置１０の表示部１４の撮影画面表示部４１に初期設定画像（本実施例では全景画像）が表示される。動画作成部１２８は、撮影開始と同時に、撮影画面表示部４１に表示される画像データを順次、動画記憶部１１７に保存する。また、各撮影位置に配置された仮想カメラにより所定の時間間隔で撮影される画像も順次、参照画像として撮影画面記憶部１１６に保存していく。

ディレクターは、各シーンに設定されている内容に沿って、各演者に当該演者が演じるキャラクターの動作を促す。ディレクターと各演者が同じ場所にいる場合には、ディレクターが撮影開始や撮影終了の音声を発することにより演者に撮影開始や撮影終了を伝達する。ディレクターと各演者が別の場所にいる場合には、ディレクターによる所定の入力操作に応じて、各演者が装着するＶＲゴーグル２１に表示する画面に撮影開始前のカウントダウン及び撮影終了を重畳表示する等の構成を採ればよい。あるいは、ディレクターが装着したマイクを通じて撮影開始や撮影終了の音声を発し、演者が装着したイヤホンなどでその指示を聞き取るようにしてもよい。

ディレクターは、シナリオの進行に沿って、入力部１３を通じて、仮想カメラ画像表示部４２の中からいずれかのキャラクター（プレイヤーキャラクター又はノンプレイヤーキャラクター）のキャラクター画像表示部（４２３～４２７のいずれか）を選択する。すると、撮影画面切替部１２７は、ディレクター装置１０の表示部１４の撮影画面表示部４１に、選択された画像を表示する。このように、ディレクターによって仮想カメラ画像表示部４２の中のいずれかが選択されると、撮影画面切替部１２７は撮影画面表示部４１の表示を、ディレクターにより選択されたものに切り替える。例えば、図５に示すように、開始時にはシーン全体を捉える全景画像を表示しておき（図５(a)）、撮影の進行に合わせて、各時点で注目すべきキャラクターをアップで捉えた撮影画面（図５(b)、(c)）に切り替える。

上記のようにディレクターが撮影画面を切り替えると、動画作成部１２８は、切り替え後の撮影画面（選択された位置の仮想カメラにより取得される画像）のデータを動画記憶部１１７に保存していく。また、ディレクターは、撮影画面の切り替えとともに、必要に応じて画角調整部４７を通じて撮影画面の画角を適宜変更する。画角調整部４７では、撮影画面表示部４１に表示している画像を取得中の仮想カメラとそれ以外の仮想カメラの画角のいずれも調整することができる。画角調整部４７において選択中の仮想カメラが、撮影画面表示部４１に表示している画像を取得中のものである場合には、画角調整部４７において変更した仮想カメラの画角が即時に撮影画面表示部４１の画像に反映される。

ディレクターは、撮影中の適宜のタイミングでノンプレイヤーキャラクターを仮想空間に登場させ、プレイヤーキャラクターと共演させる。また、ディレクターは、音声選択部４４で適宜の音声データを選択して音声データ（バックグラウンドミュージックや効果音）を動画に付与したり、エフェクト選択部４６で適宜のエフェクトを選択することにより動画に映像効果を付与したりする。さらに、ディレクターは、イメージショット表示部４２８、４２９に表示されている画像や動画を選択することにより、適宜それらを動画に挿入する。これらの音声データ、エフェクト、及び挿入画像及び挿入動画は、それらが選択されたタイミングで順次、動画記憶部１１７に保存される。

ディレクターが、動画の撮影を終えたことを通知する所定の入力操作を行うと、動画作成部１２８は、一連の撮影中に順次、動画記憶部１１７に保存された画像のデータを用いて動画を作成し、動画の作成を完了したことを示す画面を表示部１４に表示する。

なお、動画作成部１２８は、これらのデータを画像ファイルや動画ファイルとして保存してもよく、それ以外の形式で保存してもよい。例えば、各仮想カメラにより取得した画像のデータを、各時点の仮想空間でのプレイヤーキャラクターやノンプレイヤーキャラクターの位置情報及び姿勢情報と、当該時点で選択されている仮想カメラの情報を対応づけたファイル（このような形式のデータファイルを、以下では「パラメータデータファイル」と呼ぶ。）とし、そのパラメータデータファイルを所定の時間間隔で撮影画面記憶部１１６や動画記憶部１１７に保存してもよい。つまり、プレイ記録動画のデータは、各時点での画像を構成するために必要な情報を含んだ適宜のファイル形式で保存すればよい。画像データや動画データをパラメータデータファイル形式とすることにより、画像データ形式や動画ファイル形式に比べてデータ容量を小さく抑えることができる。

本実施例では、上記のようにリアルタイムで動画を作成し、作成した動画をディレクターが即時に確認することができる。また、本実施例の動画作成システム１では、動画記憶部１１７に順次、撮影画面（選択された位置の仮想カメラにより取得される画像）のデータが保存されるだけでなく、各位置に配置された仮想カメラにより撮影される画像も順次、参照画像として撮影画面記憶部１１６に保存される。そのため、ディレクターは、必要に応じて、これらの参照画像を用いて動画を適宜に編集することができる。また、動画の編集時に、音声データ記憶部１１３に保存されている音声を追加したり、挿入画像データ記憶部１１４に保存されている挿入画像や挿入動画を追加したり、あるいはエフェクトを追加したりすることもできる。

動画ファイルがパラメータデータファイル形式で作成されている場合には、そのファイルに含まれるパラメータを変更するのみで、簡便に適宜の対象（キャラクター等）の位置や姿勢などを変更したり、仮想カメラを変更（別の仮想カメラへの切替えや、画角の変更など）したりすることもできる。

従来、仮想空間におけるキャラクターの動作を撮影する動画作成装置では、1台の仮想カメラのみを用いていたため、最終的に得られる動画は単一の画角でキャラクターを捉えた単調なものになってしまい、視聴者が見ているうちに飽きてしまっていた。製作動画撮影用の仮想カメラを複数台用いれば、画角が異なる複数の画像を取得することができる。しかし、最終的に1つの動画を作成するためには、複数の仮想カメラのそれぞれで仮想空間を並行して撮影することにより得られた多数の動画を確認して所望の部分を選択し、さらにそれらを組み合わせる作業が必要であり、時間と手間がかかる。

一方、本実施例の動画作成システム１では、ディレクターは、予め設定された脚本に沿って俳優を演技させることにより仮想空間でプレイヤーキャラクターを動作させつつ、各時点で当該キャラクターの動作を最も効果的に捉える位置（全景位置やキャラクター捕捉位置）を選択するのみで、当該位置に配置した仮想カメラで取得した画像を順次記録した動画を簡便に作成することができる。

上記実施例は一例であって、本発明の趣旨に沿って適宜に変更することができる。上記実施例では、動画作成システム１により映画を撮影する場合を説明したが、撮影する動画の種類は任意であり、コマーシャル動画やアニメーションを作成することもできる。また、上記仮想空間は、実在する空間を模したものであってもよく、実在しない空間であってもよい。さらに、上記キャラクターは、実際に存在する俳優やアイドルなどの有名人を模したものであってもよく、実在しないものであってもよい。さらに、上記プレイヤーキャラクターやノンプレイヤーキャラクターは、人間に限らず動物やロボット、あるいは様々なものを擬人化したものであってもよい。

例えば、仮想空間として、実在する学校、病院、ホテルなどの施設を設定し、当該施設の関係者をプレイヤーキャラクターに設定して該関係者自身に演者装置２０を使用させ、また、学校の生徒、病院の患者、ホテルの宿泊客などをノンプレイヤーキャラクターに設定することにより、当該施設において火災や地震などが発生した場合を想定した避難訓練を実施させることができる。その場合には、演者には予め脚本やシナリオを伝えることなく、ディレクターが適宜のタイミングで効果音や仮想空間内での突発的なイベント（可燃ガスの爆発、延焼空間の拡がり）を発生させることにより、当該関係者に臨場感や緊迫感のある避難訓練をさせることができる。そして避難訓練において注目すべき行動をとった者が演じるプレイヤーキャラクターを捉えた画像を撮影動画として選択することにより、避難訓練時に留意すべき事項の確認を行ったり、教育用の動画として用いたりすることができる。

上記実施例では演者装置２０に、ＶＲゴーグル２１とモーションセンサ２２を備えたものを用いたが、他のものを用いることもできる。例えば、ＶＲゴーグル２１とモーションセンサ２２に代えて、モーションセンサの機能を兼ね備えたＶＲゴーグルを用いてもよい。また、ＶＲゴーグル２１は、プレイヤーキャラクターの視点で仮想空間を表示する機能に加え、演者の表情を検知し、それを仮想空間内のプレイヤーキャラクターの表情に反映する機能を有するものとしてもよい。あるいは、ＶＲゴーグル２１に代えて、上記実施例におけるＶＲゴーグル２１と同様にプレイヤーキャラクターの視点で仮想空間を捉えた画像を表示するモニタを用いることができる。また、例えば、モーションセンサ２２に代えて、プレイヤーキャラクターの動作とボタンの関係が予め規定されたコントローラなどを用いることができる。なお、一人の演者のみが自らのダンスなどによってプレイヤーキャラクターを動作させるような動画を撮影する場合、必ずしも演者が仮想空間の様子を確認する必要はないため、ＶＲゴーグル２１等の表示部を備えなくてもよい。

また、上記実施例の演者装置２０に、演者に装着させるマイクを追加し、演者がマイクを通じて発した音声を音声データとして記録しておき、撮影画像のデータと音声データを組み合わせた動画を作成してもよい。あるいは、予め演者の音声を録音したデータを音声データ記憶部１１３に保存しておき、撮影中にその音声を選択することにより動画に演者の音声を重ねたり、動画撮影後に動画を編集する際にその音声を重ねたりしてもよい。

上記実施例では、シーン表示データ記憶部１１１に保存されているシーンの中からディレクターが撮影しようとするシーンを選択し、キャラクター表示データ記憶部１１２に保存されているキャラクターの中からディレクターが動画に登場させるキャラクターを選択し、挿入画像データ記憶部１１４に保存されている挿入用の画像や動画のデータの中からディレクターが使用する画像や動画を選択する構成としたが、別の態様を採ることもできる。例えば、撮影しようとする動画のリストを作成しておき、それぞれの動画と、該動画の撮影に使用するシーン、該動画に登場させるキャラクター、及び該動画に挿入する画像や動画のデータを対応づけたものを1つのパッケージとして保存しておき、ディレクターが1つのパッケージを選択するのみで、シーン、キャラクター、及び挿入画像及び動画を一括して選択するように構成することもできる。

上記実施例のディレクター装置１０を構成する記憶部や機能ブロックについて、それらの一部又は全部の機能を、ディレクター装置１０及び演者装置２０と接続可能である別のコンピュータ（例えばクラウドサーバ）に設けてもよい。例えば、上記実施例のディレクター装置１０の機能をクラウドサーバに設けた場合には、ディレクター装置１０及び演者装置２０からの入力に応じてクラウドサーバの各機能のブロックを動作させ、また、作成後の画像ファイルや動画ファイルをクラウドサーバの記憶部からディレクター装置１０にダウンロードするように構成することができる。

１…動画作成システム
１０…ディレクター装置
１１…記憶部
１１１…シーン表示データ記憶部
１１２…キャラクター表示データ記憶部
１１３…音声データ記憶部
１１４…挿入画像データ記憶部
１１５…撮影位置記憶部
１１６…撮影画面記憶部
１１７…動画記憶部
１２…動画作成用プログラム
１２１…撮影動画決定部
１２２…端末決定部
１２３…シーン設定部
１２４…キャラクター表示制御部
１２５…撮影位置設定部
１２６…仮想空間撮影部
１２７…撮影画面切替部
１２８…動画作成部
１３…入力部
１４…表示部
２０…演者装置
２１…ＶＲゴーグル
２２…モーションセンサ
２２１…センサ
２２２…動作検出部
４０…ディレクター画面
４１…撮影画面表示部
４２…仮想カメラ画像表示部
４２１…全景画像表示部
４２２…標準画像表示部
４２３～４２７…キャラクター画像表示部
４２８、４２９…イメージショット表示部
４３…シーン俯瞰図表示部
４４…音楽選択部
４５…シーン選択部
４６…画像効果選択部
４７…脚本表示部
６…仮想カメラ

撮影中、演者が身体を動かすと、動作検出部２２２は、演者の身体に装着された複数のセンサ２２１のそれぞれの動きを検出し、各センサの移動情報をディレクター装置１０に送信する。ディレクター装置１０では、受信した情報に基づいて、キャラクター表示制御部１２４が仮想空間内のプレイヤーキャラクターを動作させる。また、キャラクター表示制御部１２４は、動作させた後のプレイヤーキャラクターの位置や視線の方向に基づいて、当該プレイヤーキャラクターの視野の情報を更新して演者装置２０に送信する。さらに、入力部１３を通じた所定の入力操作を受けて、キャラクター表示制御部１２４は、仮想空間内のノンプレイヤーキャラクターを動作させる。

Claims (6)

1. 仮想空間において動作するキャラクターの動画を作成するシステムであって、
   仮想空間の表示データ及びキャラクターの表示データが保存された記憶部と、
   前記キャラクターの動作を入力する動作入力端末と、
   前記記憶部から前記キャラクターの表示データを読み出し、前記動作入力端末における入力に応じて前記仮想空間で当該キャラクターを動作させるキャラクター動作制御部と、
   前記仮想空間の全景を捉える全景位置、及び前記仮想空間におけるキャラクターを予め決められた画角で捉えるキャラクター捕捉位置を設定する撮影位置設定部と、
   前記全景位置又は前記キャラクター捕捉位置を撮影位置として選択する入力を受け付ける撮影位置選択部と、
   前記撮影位置選択部により受け付けられた撮影位置において仮想カメラで前記仮想空間を撮影することにより得られる画像のデータを生成する仮想空間撮影部と、
   前記仮想空間撮影部により得られる画像のデータを順次記録して動画のデータを作成する動画作成部と
   を備えることを特徴とする動画作成システム。
2. さらに、
   前記全景位置において前記仮想カメラで前記仮想空間を撮影した画像と、前記キャラクター捕捉位置において前記カメラで前記仮想空間を撮影した画像とを表示する撮影画像表示部
   を備えることを特徴とする請求項１に記載の動画作成システム。
3. さらに、
   前記キャラクターの視点で前記仮想空間を捉えた画像を表示するキャラクター視点表示部
   を備えることを特徴とする請求項１又は２に記載の動画作成システム。
4. さらに、
   前記全景位置及び／又は前記キャラクター捕捉位置において仮想カメラにより対象を捉える際の画角を調整する画角調整部
   を備えることを特徴とする請求項１から３のいずれかに記載の動画作成システム。
5. 仮想空間において動作するキャラクターの動作を入力する動作入力端末と接続可能に構成された、該キャラクターの動画を作成する装置であって、
   仮想空間の表示データ及びキャラクターの表示データが保存された記憶部と、
   前記記憶部から前記キャラクターの表示データを読み出し、前記動作入力端末における入力に応じて前記仮想空間で当該キャラクターを動作させるキャラクター動作制御部と、
   前記仮想空間の全景を捉える全景位置、及び前記仮想空間におけるキャラクターを予め決められた画角で捉えるキャラクター捕捉位置を設定する撮影位置設定部と、
   前記全景位置又は前記キャラクター捕捉位置を撮影位置として選択する入力を受け付ける撮影位置選択部と、
   前記撮影位置選択部により受け付けられた撮影位置において仮想カメラで前記仮想空間を撮影することにより得られる画像のデータを生成する仮想空間撮影部と、
   前記仮想空間撮影部により得られる画像のデータを順次記録して動画のデータを作成する動画作成部と
   を備えることを特徴とする動画作成装置。
6. 仮想空間において動作するキャラクターの動画を作成するために用いられる動画作成用プログラムであって、該仮想空間において動作するキャラクターの動作を入力する動作入力端末と接続可能に構成され、該仮想空間の表示データ及びキャラクターの表示データが保存された記憶部を備えたコンピュータを、
   前記記憶部から前記キャラクターの表示データを読み出し、前記動作入力端末における入力に応じて前記仮想空間で当該キャラクターを動作させるキャラクター動作制御部と、
   前記仮想空間の全景を捉える全景位置、及び前記仮想空間におけるキャラクターを予め決められた画角で捉えるキャラクター捕捉位置を設定する撮影位置設定部と、
   前記全景位置又は前記キャラクター捕捉位置を撮影位置として選択する入力を受け付ける撮影位置選択部と、
   前記撮影位置選択部により受け付けられた撮影位置において仮想カメラで前記仮想空間を撮影することにより得られる画像のデータを生成する仮想空間撮影部と、
   前記仮想空間撮影部により得られる画像のデータを順次記録して動画のデータを作成する動画作成部と
   として動作させることを特徴とする動画作成用プログラム。

Images