JP7291835B1 - 画像処理方法、情報処理装置、及び、コンピュータプログラム - Google Patents

Abstract

【課題】対象物を撮影し、撮影された対象物の映像を用いて動画像を再構成する際に、再構成処理が効率的に行うことを可能とする。【解決手段】動画像を再構成する画像処理方法であって、撮影部により模型の外観の画像を複数方向から撮影して生成された複数の画像から、処理部が前記画像に含まれる前記模型の第１の三次元モデルデータを生成する工程と、処理部が、予め第２の三次元モデルデータを含んで構成された動画像のテンプレートデータにおいて、前記第２の三次元モデルデータを前記第１の三次元モデルデータと置き換えることにより、前記動画像を再構成する工程と、出力部が、再構成された動画像の取得先を示す情報を出力する工程とを含む。【選択図】図１

Description

本発明は、画像処理方法、情報処理装置、及び、コンピュータプログラムに関する。

特許文献１には、撮影部により対象物を複数の撮影方向から撮影した撮影画像群から生成されたテクスチャを、仮想空間におけるプリミティブにマッピングして、仮想空間において仮想カメラから見える仮想空間画像を生成する技術が記載されている。

特開２０２０－１０７２５１号公報

上記のような技術においては、対象物を撮影し、撮影された対象物の映像を用いて動画像を再構成する際に、再構成処理が効率的に行われることが期待される。

そこで、対象物を撮影し、撮影された対象物の映像を用いて動画像を再構成する際に、再構成処理が効率的に行うことを可能とする。

上記課題を解決するための一形態は、動画像を再構成する画像処理方法であって、撮影部により模型の外観の画像を複数方向から撮影して生成された複数の画像から、処理部が前記画像に含まれる前記模型の第１の三次元モデルデータを生成する工程と、処理部が、予め第２の三次元モデルデータを含んで構成された動画像のテンプレートデータにおいて、前記第２の三次元モデルデータを前記第１の三次元モデルデータと置き換えることにより、前記動画像を再構成する工程と、出力部が、再構成された動画像の取得先を示す情報を出力する工程とを含む。
上記課題を解決するための一形態はまた、動画像を再構成する画像処理方法であって、撮影部により模型の外観を複数方向から撮影して生成された複数の画像から、処理部が前記画像に含まれる前記模型の第１の三次元モデルデータを生成する工程と、処理部が、予め第２の三次元モデルデータを含んで構成された動画像のテンプレートデータにおいて、前記第２の三次元モデルデータを前記第１の三次元モデルデータと置き換えることにより、前記動画像を再構成する工程と、出力部が、再構成された動画像の取得先を示す情報を出力する工程とを含み、前記動画像のテンプレートデータは、模型の種別に応じた複数のテンプレートデータが用意され、前記処理部が、前記複数のテンプレートデータから１つのテンプレートデータの選択を受け付ける工程を更に含み、前記模型の種別には、等身大の形状を縮小した外観形状を有する模型の第１の種別と、等身大の形状をデフォルメした外観形状を有する模型の第２の種別とが含まれ、前記生成する工程は、前記第１の三次元モデルデータが、前記動画像の内容に応じた大きさに調整されて生成され、前記大きさの調整は、前記選択を受け付けた前記動画像のテンプレートデータにおける前記模型の種別と同一の種別の模型の前記第１の三次元モデルデータについて行われる。

対象物を撮影し、撮影された対象物の映像を用いて動画像を再構成する際に、再構成処理が効率的に行うことができる。

実施形態に対応する画像処理システムの構成例を示す図、及び、情報処理装置１００のハードウェア構成の一例を示す図。 実施形態に対応する模型の外観の一例を示す図。 実施形態に対応する画像処理システムの実装例、及び、ARマーカの一例を示す図。 実施形態に対応するデータテーブルのデータ構成の一例を示す図。 実施形態に対応するPVデータを生成するための処理の一例に対応するフローチャート。 実施形態に対応する撮影処理の一例に対応するフローチャート。 実施形態に対応するＰＶ再構成の処理の一例を示すフローチャート。 実施形態に対応する模型の画像を撮影する際の撮影環境について説明するための図。 実施形態に対応する、ＰＶテンプレートの変換を仮データについて行った場合と、本データについて行った場合とで出力結果の比較例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。また、各図において、紙面に対する上下左右表裏方向を、本実施形態における部品（またはパーツ）の上下左右表裏方向として、本文中の説明の際に用いることとする。

まず、本実施形態に対応する画像処理システムの構成を説明する。図１（Ａ）は、本実施形態に対応する画像処理システム１０の構成の一例を示す図である。画像処理システム１０は、情報処理装置１００に、撮影部１１０、サポートアーム１２０、模型支持装置１３０、表示装置１４０、印刷装置１５０等が接続されて構成されている。なお、システム構成は、図１（Ａ）に示すものに限られず、情報処理装置１００がネットワークを介して外部サーバ、クラウドサーバ等と更に接続されていてもよい。当該外部サーバ等では、以下で説明する実施形態の少なくとも一部の処理を実行することができる。

情報処理装置１００は、撮影部１１０、サポートアーム１２０及び模型支持装置１３０の少なくともいずれかの動作を制御し、撮影対象の物品を任意の角度から撮影して複数の画像を生成し、当該複数の画像から三次元モデルデータ（本データ）を生成する。そして、予め用意された仮の３次元モデルデータ（仮データ）を含む動画像（プロモーションビデオ：PVデータ）のテンプレート（ＰＶテンプレート）を用い、ＰＶテンプレートの仮データを本データと置き換えて変換することでＰＶデータを再構成することができる。また、情報処理装置１００は、生成した本データを仮想空間用データとして用いることで、仮想空間上に表示される画像の生成を行う画像処理装置としても機能することができる。画像処理装置を情報処理装置１００とは別に用意してもよい。本実施形態において、撮影対象の物品は、組立可能なプラスチックモデル、アクションフィギュア（可動式の関節部を備えたフィギュア）、玩具体、人形等であり、これらを総称して「模型」という。また、本実施形態において、プロモーションビデオ（ＰＶ）とは、撮影対象の模型の広告宣伝、販売促進を目的とした動画に限らず、撮影対象となる模型を用いた魅力的な動画像（ショートムービー、ムービー、または、デモ動画等、動画像の形式、種類は限らない）を言うものとする。これ以降の説明においても、これらの動画像を含めた総称として「ＰＶ」或いは「プロモーションビデオ」を使用する。

次に撮影部１１０は、情報処理装置１００の制御に従って、撮影対象の模型の３次元形状を撮影（スキャン）して、撮影対象の画像を出力する撮影装置である。撮影部１１０は、例えば、３次元形状を撮影するためのアプリケーションがインストールされたカメラ付きスマートフォンを利用することができる。また、撮影部１１０を三次元形状及び色情報を出力可能な三次元スキャナ装置で構成してもよい。当該三次元スキャナ装置としては、例えばArtec社製のSpace Spiderを使用することができる。例えば、スキャン画像を５００フレームから８００フレーム程度を取得することで、模型全体の３Ｄ次元モデルデータを取得することができる。

サポートアーム１２０は、情報処理装置１００の制御に従って撮影部１１０を所定の撮影位置及び姿勢に移動させる位置姿勢制御装置である。サポートアーム１２０は、撮影位置や姿勢を手動で変更することが可能であると共に、変更後の位置・姿勢を固定的に維持可能に構成されるものであってもよいし、情報処理装置１００により制御可能に構成されていてもよい。サポートアーム１２０を情報処理装置１００により制御可能に構成する場合、例えばUFACTORY社製のxArm 7を使用することができる。xArm７は７つのジョイントからなり、人間の腕と同様の動きができる。なお、サポートアーム１２０の代わりに、手動で撮影部１１０の位置決めをしてもよい。

模型支持装置１３０は、ポーズの固定された模型を支持する支持台である。模型支持装置１３０は、例えば、模型が支持台上に設置、或いは、支持棒の先端に設置された状態において回転可能に構成されていてもよい。本実施形態では、サポートアーム１２０により任意の撮影位置・撮影角度に撮影部１１０を位置させた後、模型支持装置１３０を１周回転させて撮影を行う。これを複数の撮影位置・撮影角度において行うことにより、模型全体の画像を取得することができる。なお、ここでサポートアーム１２０と模型支持装置１３０とを同期して駆動させることで、撮影処理をより簡便に精度高く行うことができる。また、模型支持装置１３０の代わりに、手動で撮影部１１０を模型の周囲を移動させて、任意の撮影位置・撮影角度位から撮影を行ってもよい。

表示装置１４０は、液晶ディスプレイ（ＬＣＤ）等のディスプレイ装置であって、撮影部１１０で取得した画像を表示したり、当該撮影画像から生成された三次元モデルデータの本データを表示したり、本データを使って再構成したＰＶデータを表示したりする。また、表示装置１４０は、ダウンロード先のリンクを示す二次元バーコード（ＱＲコード）を画面に表示することもできる。印刷装置１５０は、ＰＶデータが再構成された後にユーザが当該ＰＶデータを取得して視聴するための、ダウンロード先のリンクを示すＱＲコードを紙媒体等に印刷する印刷装置である。

図１（Ｂ）は、情報処理装置１００のハードウェア構成の一例を示す。ＣＰＵ１０１は、情報処理装置１００の全体的な制御やデータの計算・加工・管理を行う装置である。例えば、撮影部１１０における画像の撮影タイミング、撮影枚数を制御すると共に、サポートアーム１２０のアームのジョイントを制御して、撮影部１１０を任意の撮影位置・撮影角度に配置することができる。また、撮影部１１０の撮影位置・撮影角度が決定された後、模型支持装置１３０を回転させて、撮影部１１０により撮影動作を実施することができる。また、ＣＰＵ１０１は、撮影部１１０から出力された画像を処理する画像処理部としても機能しうる。

ＲＡＭ１０２は、揮発性のメモリであり、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＲＯＭ１０３は、不揮発性のメモリであり、画像データやその他のデータ、ＣＰＵ１０１が動作するための各種プログラム等が、それぞれ所定の領域に格納されている。ＣＰＵ１０１は、例えばＲＯＭ１０３に格納されるプログラムに従い、ＲＡＭ１０２をワークメモリとして用いて、情報処理装置１００の各部を制御する。尚、ＣＰＵ１０１が動作するためのプログラムは、ＲＯＭ１０３に格納されるものに限られず、記憶装置１０４に記憶されていてもよい。

記憶装置１０４は、例えばＨＤＤやフラッシュメモリなどの磁気ディスクにより構成される。記憶装置１０４には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム、ゲームプログラム等が格納される。また、再構成の対象となるPVテンプレートのデータが含まれる。ＰＶテンプレートには、仮データが含まれており、ＰＶテンプレートごとに三次元モデルのサイズやポーズが異なっていてもよい。記憶装置１０４は、ＣＰＵ１０１の制御に基づき、データを読み出したり、書き込みしたりすることができる。記憶装置１０４をＲＡＭ１０２やＲＯＭ１０３の代わりに使用してもよい。

通信装置１０５は、ＣＰＵ１０１の制御に基づき、撮影部１１０、サポートアーム１２０、模型支持装置１３０と通信するための通信インタフェースである。通信装置１０５は、更には外部サーバ等と通信可能に構成されていてもよい。通信装置１０５は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。ここで、情報処理装置１００と、撮影部１１０、サポートアーム１２０、模型支持装置１３０との通信は無線通信により行われてもよい。

また、通信装置１０５は、有線接続のための有線通信モジュールを含むこともできる。有線通信モジュールは１つ以上の外部ポートを介して表示装置１４０を含む他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

操作部１０６は、例えばボタン、キーボード、タッチパネル等で構成され、ユーザからの操作入力を受け付ける。表示制御部１０７は、情報処理装置１００と接続された表示装置１４０に情報を表示するためのインタフェースとして機能し、表示装置１４０の動作を制御する。操作部１０６の一部の機能が、表示装置１４０に備えられていてもよい。即ち、表示装置１４０がタブレット端末のようなタッチパネルを備える装置として構成されていてもよい。

次に、図２を参照して、本実施形態において撮影対象となる模型の一例を説明する。模型２００は、人形型（ロボット、又は、人間）の外観を有する模型である。当該模型は、例えばプラスチックモデルとして組み立てられ、塗装されたものとすることができる。或いは、可動式の関節部を備えたフィギュア（アクションフィギュア）のように、完成済みの模型であってもよい。図２の模型はあくまで説明のための一例にすぎず、模型の形状は人形型の外観を有するものだけではなく、一般車両、レース車両、軍用車両、航空機、船舶、動物、仮想生命体等、任意の形状の模型とすることができる。なお、撮影対象となる物品は、撮影部１１０で三次元形状が撮影可能な物品であれば模型に限定されないことはもちろんである。

模型２００は、頭部２０１、胸部２０２、右腕部２０３、左腕部２０４、右胴体部２０５、左胴体部２０６、右脚部２０７、左脚部２０８、右足部２０９、左足部２１０の各部品を有し、これらが結合されて構成されている。個々の部位２０１～２１０の少なくとも一部は、隣接する部位に対して回動（或いは揺動）可能に支持される。例えば、頭部２０１は胸部２０２に対して回動可能に支持され、右腕部２０３、左腕部２０４は胸部２０２に対して回動可能に支持される。このようにして模型２００の各部位には関節構造が設けられているため、模型２００は任意の姿勢を取ることができる。

次に、図３を参照して、本実施形態における画像処理システム１０の実装例を説明する。図３（Ａ）は、模型を撮影して生成した本データからＰＶデータを再構成し、当該再構成ＰＶデータを視聴するためのダウンロードリンクをプリンタで発行可能な実装例を示す。図３（Ｂ）及び（Ｃ）は、本実施形態におけるＡＲ（Augmented Reality）マーカの構成例を示す図である。

図３（Ａ）において、ケース３０１内には、情報処理装置１００、サポートアーム３０２を駆動するための駆動系、ターンテーブル３０６を駆動するための駆動系等が含まれる。なお、サポートアーム３０２は、手動で撮影方向・位置を調整することもできる。ケース３０１の表面は宣伝用のポスターを添付することができるよう平坦な構造となっている。

サポートアーム３０２は、サポートアーム１２０に対応し、情報処理装置１００の制御に従い、或いは、手動により撮影部１１０として機能する端末３０３を支持し、位置を固定することができる。サポートアーム３０２はまた、端末３０３の傾きを制御するように動作することも可能である。

端末３０３は、カメラ内蔵でタッチパネル式の端末であり、例えば、スマートフォン、タブレット端末、デジタルカメラ等を利用することができる。端末３０３は模型２００の画像を撮影し、情報処理装置１００に送信することができる。リングライト３０４は、端末３０３により模型２００を撮影する際に利用される照明装置であり、模型２００に均等に光を当てて、影を出にくくすることができる。なお、追加の光源として、リングライト３０４の他に、トップライトや左右、下側に補助ライトを設置してもよい。

背景シート３０５は撮影用の背景シートであり、例えば白色のシートを利用することができる。ターンテーブル３０６は、模型２００を搭載して模型を回転させることができる。ターンテーブル３０６には、図３（Ｂ）に示すようなＡＲマーカ３１０が複数配置されている。ARマーカ３１０は撮影された模型の向きや位置を調整するために利用される。図３（Ｂ）や図３（C）に示すように、ARマーカ３１０からは三次元座標を特定することができ、X軸、Y軸、Z軸の傾きが特定できる。例えば図３（Ｂ）に示されるＡＲマーカ３１０から特定される三次元座標を基準とした場合、図３（Ｃ）に示されるＡＲマーカ３１０から特定される三次元座標を当該基準に一致させることにより、本データの向きや傾きを正しく補正することができる。

図３（A）では、模型が半透明（透明）の台の上に設置されているが、これ以外にも例えば「アクションベース」と呼ばれるような支持器具を利用してもよい。アクションベースは台座の上に、「く」の字型に曲げられるように構成された支柱が設置されており、支柱の先端に模型を取り付けることができる。このとき支柱の先端部分にARマーカを配置してもよい。模型の指示方法は、ポーズに応じて変更することができる。例えば、直立姿勢の場合には透明の台の上に設置して撮影を行うことができる。一方、飛翔姿勢のように足の裏まで撮影したい場合には、アクションベースを利用してもよい。なお、直立姿勢を撮影するためにアクションベースを使用してもよい。

ディスプレイ装置３０７は表示装置１４０に対応する装置であり、タッチパネル機能を有していてもよい。表示装置１４０には、例えばユーザが再構成を希望するＰＶの選択肢としてアイコン画像を表示してユーザからの選択を受け付けることができる。プリンタ３０８は、例えばサーマルプリンタであって、ＰＶデータの再構成が完了した後に、ダウンロード先のＵＲＬを示すＱＲコードを印刷することができる。また、QRコードをディスプレイ装置３０７上に表示して、ユーザが自身のスマートフォンなどで読み取るようにしてもよい。

次に、図４を参照して、情報処理装置１００の記憶装置１０４に記憶される各種テーブルのデータ構造について説明する。図４（A）のＰＶ管理テーブル４００には、ＰＶ名４０１と関連付けて、模型のモデル種別を識別するモデル種別情報４０２、ＰＶに含まれる仮データの情報４０３、ＰＶテンプレートデータの保存先４０４が登録されている。

まず、ＰＶ名４０１には、本実施形態において再構成される動画像の元となるプロモーションビデオ（PV）のテンプレートデータを一意に特定するための識別情報が登録される。モデル種別情報４０２は、PVが対応する模型の種別を識別するための情報である。本実施形態では、ＰＶは模型の種類ごとに用意されていてもよく、例えば、第１の形状として通常形状（例えば、等身大の形状をそのまま縮小した外観形状）の模型の他、第２の形状としてデフォルメ形状（例えば、等身大の形状をデフォルメして２等身や３等身に変形した外観形状）の模型用に用意されてもよい。モデル種別情報４０２は、Ｍ１で対応するＰＶが第１の形状の模型に対応するものであることを示し、Ｍ２で第２の形状の模型に対応するものであることを示す。

仮データ情報４０３は、ＰＶに含まれる仮データの情報が登録される。本実施形態では、仮データを利用してＰＶのテンプレートデータが構成されており、当該仮データを、撮影した画像から生成した本データにより置き換えることで、ＰＶを再構成することができる。保存先４０４は、ＰＶのテンプレートデータの保存先の情報を示す。

テーブル４００には、ＰＶに関するそのほかの情報を登録することができる。当該情報には、例えばＰＶ選択用のアイコン画像、サンプルムービー、ＰＶにおける推奨ポーズに関する情報等がある。

次に、図４（Ｂ）は、画像処理システム１０を利用するユーザの情報を登録するユーザ情報テーブル４１０の構成例を示す。テーブル４１０は、ユーザ名４１１、ＰＶ名４１２、撮影画像データ４１３、三次元モデル４１４、ＵＲＬ４１５を登録する。ユーザ名４１１は、撮影部１１０により撮影された模型の所有者であるユーザ（或いは、プレイヤ）を一意に識別するための情報である。ＰＶ名４１２は、当該ユーザが選択したＰＶ名が登録される。ＰＶ名４１２は、テーブル４００においてＰＶ名４０１として登録されている情報のいずれか１つに対応する。

撮影画像データ４１３は、ユーザ名４１１に登録されているユーザが所有する模型を撮影部１１０が撮影して得られた撮影画像の情報が登録される。三次元モデル４１４には、撮影画像データ４１３に基づいて生成された、本データが登録される。ＵＲＬ４１５は、三次元モデル４１４の本データを用いて再構成されたＰＶデータの保存場所を示すリンク情報であり、印刷装置１５０により印刷されるＱＲコードで示されるＵＲＬである。

次に図５を参照して、本実施形態に対応する、情報処理装置１００が実行する処理の一例を説明する。当該フローチャートに対応する処理の少なくとも一部は、情報処理装置１００のＣＰＵ１０１が、ＲＯＭ１０３や記憶装置１０４に記憶されたプログラムを実行することにより実現される。

まずＳ５０１において、ＣＰＵ１０１は、ユーザ登録を受け付ける。ユーザの名称や連絡先の入力を受け付ける。各ユーザに対しては個々のユーザを一意に識別するためのユーザ識別子を付与する。当該ユーザ識別子は図４（Ｂ）のユーザ名４１１に対応する。ＣＰＵ１０１は、入力されたユーザ情報を、入力を受け付けた時間やユーザ識別子と関連付けて記憶装置１０４に記憶しておく。

続くＳ５０２において、ＣＰＵ１０１は、表示制御部１０７を介して表示装置１４０に、選択可能なプロモーションビデオ（ＰＶ）のアイコンを表示して、ユーザが作成することを希望するＰＶの選択を受け付ける。ＰＶのアイコンは任意の数が存在し、それぞれのＰＶには異なるシーンが含まれている。このときサンプルムービーを表示してもよい。また、ＰＶは模型の種類ごとに用意されていてもよく、例えば、第１の形状として通常形状（例えば、等身大の形状をそのまま縮小した外観形状）の模型の他、第２の形状としてデフォルメ形状（例えば、等身大の形状をデフォルメして２等身や３等身に変形した外観形状）の模型用に用意されてもよい。ユーザは、自身が所持している模型の形状が通常形状のものなのか、それともデフォルメされた形状のものなのかを判断し、形状に対応するＰＶを選択することができる。

続くＳ５０３では、ＣＰＵ１０１はユーザからＰＶの選択を受け付ける。個々のＰＶには予め識別情報が付与されており、選択を受け付けたＰＶの識別情報をＳ５０１で受け付けたユーザ情報と紐づけて記憶装置１０４のテーブル４１０に格納する。

続くＳ５０４では、ＣＰＵ１０１は選択されたＰＶにおける模型の推奨ポーズを、表示制御部１０７を介して表示装置１４０に表示する。本実施形態では、ＰＶ毎に模型のポーズが異なっており、選択したＰＶに合ったポーズにより模型の外観を撮影することで、より臨場感のある動画像を再構成することが可能となる。本実施形態における模型のポーズには、例えば、直立姿勢や、飛翔姿勢、攻撃姿勢等がある。ＰＶは、直立姿勢に対応した内容、飛翔姿勢に対応した内容、攻撃姿勢に対応した内容がそれぞれ用意されているので、違和感のないＰＶを作成するためには、各ＰＶの内容に対応したポーズを取ることが重要である。

ユーザは、表示装置１４０に表示された模型の推奨ポーズを確認し、自身の模型のポーズを決定し模型支持装置１３０にセットする。ＣＰＵ１０１は撮影部１１０による撮像画像に基づいて模型支持装置１３０に模型がセットされたかどうかを判定することができる。或いは、模型支持装置１３０に模型がセットされた場合にオンになるスイッチを配置しておき、スイッチからの信号をＣＰＵ１０１が検知して判断してもよい。或いは、表示装置１４０に模型のセットが完了した場合に操作を受け付けるためのボタンを表示しておき、ＣＰＵ１０１は当該ボタン操作に対する操作を受け付けたかどうかを検知することができる。Ｓ５０５においては、ＣＰＵ１０１が上述のいずれかの方法により、模型支持装置１３０に模型がセットされたことを検知する。当該検知に応じて処理はＳ５０６に進む。

Ｓ５０６では、撮影部１１０が撮影処理を実行して画像を生成する。撮影された画像は、情報処理装置１００に送信され、ＣＰＵ１０１は、記憶装置１０４のテーブル４１０にユーザ識別子等と関連付けて撮影画像データ４１３として保存する。続くＳ５０７では、ＣＰＵ１０１は撮影画像データ４１３に基づきＰＶの再構成処理を行う。ＣＰＵ１０１は、再構成されたＰＶデータを、Ｓ５０１で登録したユーザ情報と関連付けて記憶装置１０４に記憶する。

続くＳ５０８において、当該ＰＶデータにユーザがアクセスするためのＵＲＬ及びＱＲコードを発行する。当該ＵＲＬやＱＲコードは、ユーザのメールアドレスに送信してもよいし、或いは、表示装置１４０に表示してもよい。ユーザは、ＵＲＬやＱＲコードを取得するとＰＶデータの格納場所にアクセスして、Ｓ５０９において再構成されたＰＶデータをダウンロードすることができる。

次に、図６を参照して、Ｓ５０６における撮影処理の詳細を説明する。本実施形態においては、サポートアーム１２０の駆動情報、当該撮影位置における撮影部１１０の撮影回数が撮影位置毎に登録されている。そして、各撮影位置において撮影を行う際に、模型支持装置１３０を回転させることで撮影が行われる。

まず、Ｓ６０１では、ＣＰＵ１０１はサポートアーム１２０を制御して、撮影部１１０を登録されたいずれかの撮影位置に移動させる。或いは、サポートアーム１２０を手動で制御していずれかの撮影位置に移動させてもよい。また、模型支持装置１３０を制御して、回転開始位置に移動させる。続くＳ６０２では、ＣＰＵ１０１は、当該撮影位置において模型支持装置１３０を回転させながら撮影部１１０が撮影を行うことで、模型２００の画像を取得する。これにより撮影角度の異なる複数の画像を取得することができる。例えば、撮影角度を１５度ずつ変えた場合には、２４枚の画像を撮影することができ、１０度ずつであれば３６枚を撮影することができる。撮影角度の変化幅をより小さくすることで、後段で生成される本データの精度が上がる。

またこのとき模型支持装置１３０を特定の回転位置で停止し、サポートアーム１２０を制御して、或いは、撮影者が手動で撮像部１１０の角度を変えることで、縦方向に撮影部１１０に移動させながら模型の撮影を行ってもよい。これにより模型を上方から、或いは下方からも撮影することができる。特に下方から撮影することで、模型の足の裏も撮影することが可能となる。このようにして、本実施形態では、模型の全周を網羅するように撮影方向、撮影角度を選択して撮影を行う。

本実施形態では、模型支持装置１３０から伸びた透明な支持棒の上に模型をセットする形で浮かせて撮影することができる。或いは、模型支持装置１３０のターンテーブル上に直接直立させて撮影することもできる。前者の撮影形態においては、模型の足裏も撮影することができるので、飛翔姿勢の撮影に適している。一方、後者の撮影形態では、足裏を撮影することはできないが、直立姿勢を撮影するのには適している。なお、直立姿勢を前者の撮影形態において撮影してもよい。

また、模型支持装置１３０の支持棒やターンテーブルにはARマーカが配置されており、撮影を行う際にはこのARマーカを含めて画像を生成する。ＡＲマーカは、撮影対象物の向き及び位置を補正するために用いられる。

続くＳ６０３では、ＣＰＵ１０１は予め設定された撮影位置のうち未選択の撮影位置があるかどうかを判定し、未選択の撮影位置がある場合は、Ｓ６０１に戻って処理を継続する。一方、未選択の撮影位置が無い場合、S６０４に移行する。Ｓ６０４では、撮影部１１０は、以上により得られた画像を情報処理装置１００に送信し、ＣＰＵ１０１は受信した画像をユーザ情報等と関連付けて記憶装置１０４のテーブル４１０に撮影画像データ４１３として記憶する。

次に、図７を参照して、Ｓ５０６において得られた撮影画像に基づき、ＰＶを再構成するＳ５０７の処理の詳細を説明する。まず、Ｓ７０１において、ＣＰＵ１０１は、記憶装置１０４に撮影画像データ４１３として保存されている撮影部１１０が撮影した複数の画像を取得する。続くＳ７０２では、ＣＰＵ１０１は、取得した模型を異なる角度から撮影した複数の画像から、本データとなる模型の３次元モデルデータを生成する。

当該３次元モデルデータの生成方法においては、例えば、複数の画像から取得される模型の画像を用いて、公知の視体積交差法により模型の形状に対応する三次元モデルを決定することができる。この視体積交差法では、複数枚の模型画像を用いて、カメラ位置を頂点としてシルエットが断面となるような錐体（視体積）を作り、シルエットを3次元空間に逆投影し、その交差部分（共通部分）として3次元形状を復元する。

Ｓ７０３では、ＣＰＵ１０１は、予め設定された模型の位置やサイズに関するレギュレーションを適用し、Ｓ７０２で生成された本データのリサイズ処理を行う。このリサイズ処理は、模型が予定されているＰＶの画角を超える場合には模型の一部が表示画面枠からはみ出て見切れてしまうため、模型が見切れてしまわないようにサイズを調整する処理である。模型のサイズは、ＰＶ毎に縦横高さ、奥行が予め定められており、いずれかが指定サイズを超える場合には、指定サイズ内に収まるようにリサイズする。なお、リサイズ処理は、第１の形状用のＰＶについては、第１の形状の模型について行うこととし、第２の形状の模型については行わなくてもよい。同様に第２の形状用のＰＶについては、第２の形状の模型について行うこととし、第１の形状の模型については行わなくてよい。

続くＳ７０４では、ＣＰＵ１０１は、レギュレーションによりリサイズされたモデルについて、方向及び位置を調整する。当該処理は、Ｓ７０３の前に行ってもよい。三次元モデルにはＡＲマーカが含まれており、このＡＲマーカの向きに従って三次元モデルの正面の方向及び位置を決定する。ＡＲマーカにより、三次元モデルがＸＹＺの三次元座標系においてどの程度傾いているのか、或いは、どの程度ずれているのかが分かるので、傾き及びずれをリセットして三次元座標系を再設定する。或いは、元の三次元座標系における補正値を算出し、その後、当該補正値を利用して三次元モデルの方向や位置を調整してもよい。

ＰＶテンプレートに含まれる仮データも、方向及び位置が補正済みであるので、生成する本データについて補正を行っておくことで、仮データと置き換えた場合であっても、ＰＶ中の模型の方向や位置のずれが生ずることが無い。Ｓ７０４の処理後は、本データからＡＲマーカを除去することができる。

また、Ｓ７０４においては、本データの原点を決定する。直立姿勢の模型の場合、地面などに設置して表示されることとなるので、本データの最下部に原点を設定し、本データの方向及び位置の調整を行う。直立姿勢のポーズの場合、足の裏が原点となるのでどの模型であっても地面に設置させることができる。また、直立姿勢ではなく、飛翔姿勢の場合には、原点の位置を最下部ではなく、模型の重心位置に設定してもよい。なお、模型が武器やその他の装備を有している場合には、それらの影響で重心位置が移動してしまう場合があるので、重心位置を設定する場合には、武器や装備を除外した模型本体のみの重心位置を定めるようにしてもよい。本データに設定された原点は、PVテンプレートの仮データと置き換える場合に、置き換えられる本データの配置位置を決定するための基準となる。

続くＳ７０５では、以上のステップで生成された本データを、ＰＶテンプレートに含まれている仮データと置き換え、ＰＶの動画像データとして出力する。ＰＶのテンプレートでは、背景やオブジェクトの動き、カメラアングルと共に、仮データの動きやカメラアングル（視点位置）が設定されており、テンプレートデータを視聴可能な動画像データに変換して出力することができる。ここで、仮データとＳ７０２で生成した本データを置き換えて、動画像データに変換することで、任意の本データを用いたＰＶデータを再構成することが可能となる。ＰＶテンプレートは、例えばUNREAL ENGINE 5（登録商標）を利用して生成することができる。

より具体的には、ＰＶテンプレートには、ＰＶの時間軸に合わせて、３次元空間内でのオブジェクトやモデルの位置情報、オブジェクト、モデルの動作開始位置及び３次元空間内での動き（時間に応じた位置変化）の情報、カメラアングルの情報、ライティング等のエフェクト情報等が設定されている。このテンプレートデータにおいて、仮データをＳ７０２で生成した本データに置き換えて３次元空間内で動作・移動等させ、それをフレーム単位の２次元画像として切り出してＨ２６４等の任意の動画像符号化方式で圧縮することにより、ＰＶデータとして動画像データを生成することができる。

或いは、PVデータを構成する各フレームについて、三次元モデルデータのカメラアングルが指定されており、それぞれのカメラアングルに対応した三次元モデルのテクスチャを生成し、フレーム単位に仮データのテクスチャを置き換えていくことで、ＰＶを再構成してもよい。続くＳ７０６では、ＣＰＵ１０１はＳ７０５で再構成されたＰＶデータを記憶装置１０４に保存する。

上述の説明では、撮影部１１０が撮影した複数の画像を情報処理装置１００に送信して本データを生成する場合を説明したが、複数の画像から本データを生成する処理については、外部サーバ、クラウドサーバを利用してもよい。その場合、情報処理装置１００は複数の画像を外部サーバに送信し、処理結果として本データを取得することができる。また、S７０５におけるＰＶの再構成処理についても、同様に外部サーバやクラウドサーバを利用してもよい。

図８は、模型２００を撮影部１１０により撮影する際のライティングについて説明する図である。図８（A）は、模型２００の上側から見た照明の配置例を示す図であり、撮影対象の模型２００の正面にリングライト３０４が配置されている。このときリングライト３０４単独で被写体である模型２００を照らすと、リングライト３０４からの照射光Ｌ０だけでは模型２００の裏側に影ができてしまうため、リングライト３０４の側方に補助ライト８０１と８０２とを配置して、それぞれからの照射光Ｌ１、Ｌ２を利用して撮影範囲に影が含まれないようにする。

次に図８（Ｂ）は、模型２００を側方から見た照明の配置例を示す図であり、撮影対象２００の正面のリングライト３０４の上方にトップライト８０３、下方に補助ライト８０４が配置されている。これはトップライト８０３により模型２００の頭部を照射して、頭部の画像を線メイン取得できるようにするとともに、トップライト８０３の照射光Ｌ３による影を補助ライト８０４の照射光Ｌ４により相殺するためのものである。なお、トップライト８０３の照射光Ｌ３は、上記の補助ライト８０１、８０２の照射光Ｌ１、Ｌ２によっても相殺される。

図８（Ａ）、図８（Ｂ）に示した補助ライト８０１、８０２、８０４、トップライト８０３は、これらをすべて用いる必要はなく、リングライト３０４による影を相殺する目的で少なくともいずれか１つ以上を用いることができる。

図９は、ＰＶテンプレートの変換を仮データについて行った場合と、本データについて行った場合とで出力結果の比較例を示す。図９（Ａ）において、シーン９００においては仮データ９０１を使用したＰＶテンプレートで変換を行った場合の出力結果が表示されている。これに対し、再構成後のシーン９００においては、本データ９０２を使用したＰＶテンプレートで変換を行った場合の出力結果が表示されている。本データ９０２は仮データ９０１と同位置に配置されており、置き換えが行われたことが分かる。また図９（Ｂ）は同一のＰＶにおける別シーン９１０を示すが、ここでもシーン９１０において仮データ９１１が、本データ９１２に置き換わっている。

このようにして、本実施形態では、仮データについて生成したＰＶテンプレートを用いることで、仮データを本データで置き換えるだけで同様のＰＶデータを効率的に再構成することが可能となる。

上述の実施形態の説明においては、模型を撮影して得られた画像から生成した三次元モデルデータを仮想空間内に表示するプロモーションビデオの動画を生成する場合を説明した。しかし、実施形態は、ＰＶデータの生成に限定されるものではなく、当該三次元モデルデータを仮想空間用のゲームデータとして用いることもできる。また、仮想空間内でキャラクタを動作させる処理にも広く適用が可能である。例えば、仮想空間内で行われるイベント、コンサート、スポーツ、オンライン会議等に、当該キャラクタを登場させることも可能である。更には、クロスリアリティ（ＸＲ）のような現実世界と仮想世界とを融合し、現実空間には存在しないものを知覚可能とする映像技術において、本実施形態の技術を適用することもできる。

このようにして本実施形態では、模型の外観を撮影した画像から三次元モデルデータを生成し、これをユーザの好みのプロモーションビデオに登場させることが可能となる。模型は、例えば組み立て式プラスチックモデルのように、ユーザが塗装等を行って独自の作品として仕上げているものがあり、それらの個性を動画や仮想空間内のキャラクタ表現に反映することができるので嗜好性を格段に向上させることができる。

＜実施形態のまとめ＞
上記実施形態は以下の画像処理方法、情報処理装置、及びコンピュータプログラムを少なくとも開示する。

（１） 動画像を再構成する画像処理方法であって、
撮影部により模型の外観の画像を複数方向から撮影して生成された複数の画像から、処理部が前記画像に含まれる前記模型の第１の三次元モデルデータを生成する工程と、
処理部が、予め第２の三次元モデルデータを含んで構成された動画像のテンプレートデータにおいて、前記第２の三次元モデルデータを前記第１の三次元モデルデータと置き換えることにより、前記動画像を再構成する工程と、
出力部が、再構成された動画像の取得先を示す情報を出力する工程と
を含む、画像処理方法。

（２） 前記複数の画像は、前記模型の向き及び位置を特定するためのマーカを含み、
前記第１の三次元モデルデータは、前記マーカに基づき向き及び位置が補正されて生成される、（１）に記載の画像処理方法。

（３） 前記動画像のテンプレートデータは、模型の種別に応じて複数のテンプレートデータが用意され、
前記再構成する工程では、ユーザからの選択を受け付けたテンプレートデータについて、前記動画像の再構成が行われる、（１）又は（２）に記載の画像処理方法。

（４） 前記模型の種別には、等身大の形状を縮小した外観形状を有する模型の第１の種別と、等身大の形状をデフォルメした外観形状を有する模型の第２の種別とが含まれる、（３）に記載の画像処理方法。

（５） 前記生成する工程では、前記第１の三次元モデルデータが、前記動画像の内容に応じた大きさに調整されて生成される、（３）または（４）に記載の画像処理方法。

（６） 前記大きさの調整は、前記動画像のテンプレートデータの前記模型の種別と同一の種別の模型の前記第１の三次元モデルデータについて行われ、前記動画像のテンプレートデータの前記模型の種別と異なる種別の前記第１の三次元モデルデータについては行われない、（５）に記載の画像処理方法。

（７） 前記動画像のテンプレートデータには、前記模型について推奨されるポーズが関連付けられ、
前記複数の画像は、前記模型を前記推奨されるポーズとした外観を撮影して生成されている、（１）から（６）のいずれか１つに記載の画像処理方法。

（８） 前記処理部が、前記動画像のテンプレートデータの選択を受け付ける工程を更に含む、（１）から（７）のいずれか１つに記載の画像処理方法。

（９） 前記動画像のテンプレートデータの選択を受け付けたことに応じて、前記処理部が、前記動画像について推奨されるポーズの指定を表示装置に表示させる工程を更に含む、（８）に記載の画像処理方法。

（１０） 前記複数方向は、前記模型の全周を網羅するように定められる、（１）から（９）のいずれか１つに記載の画像処理方法。

（１１） 前記複数の画像は、前記撮影部が、第１の光源と、前記第１の光源からの照射光による影を相殺する少なくとも１つ以上の第２の光源とにより照射された前記模型を撮影して生成される、（１）から（１０）のいずれか１つに記載の画像処理方法。

（１２） 前記処理部が、前記撮影部から前記複数の画像を受信する工程を更に含む、（１）から（１１）のいずれか１つに記載の画像処理方法。

（１３） 前記テンプレートデータには、前記第２の三次元モデルデータの３次元空間内での位置、動き、カメラアングル、ライティングの少なくともいずれかの情報が、前記動画像の時間軸に合わせて設定されている、（１）から（１２）のいずれか１つに記載の画像処理方法。

（１４） 模型の外観の画像を複数方向から撮影して生成された複数の画像から、前記画像に含まれる前記模型の第１の三次元モデルデータを生成する生成手段と、
予め第２の三次元モデルデータを含んで構成された動画像のテンプレートデータにおいて、前記第２の三次元モデルデータを前記第１の三次元モデルデータと置き換えることにより、前記動画像を再構成する再構成手段と、
再構成された動画像の取得先を示す情報を出力部から出力するように制御する制御手段と
を備える情報処理装置。

（１５） コンピュータに、（１）から（１３）のいずれか１つに記載の画像処理方法を実行させるためのコンピュータプログラム。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

Claims (11)

1. 動画像を再構成する画像処理方法であって、
   撮影部により模型の外観を複数方向から撮影して生成された複数の画像から、処理部が前記画像に含まれる前記模型の第１の三次元モデルデータを生成する工程と、
   処理部が、予め第２の三次元モデルデータを含んで構成された動画像のテンプレートデータにおいて、前記第２の三次元モデルデータを前記第１の三次元モデルデータと置き換えることにより、前記動画像を再構成する工程と、
   出力部が、再構成された動画像の取得先を示す情報を出力する工程と
   を含み、
   前記動画像のテンプレートデータは、模型の種別に応じた複数のテンプレートデータが用意され、
   前記処理部が、前記複数のテンプレートデータから１つのテンプレートデータの選択を受け付ける工程を更に含み、
   前記模型の種別には、等身大の形状を縮小した外観形状を有する模型の第１の種別と、等身大の形状をデフォルメした外観形状を有する模型の第２の種別とが含まれ、
   前記生成する工程は、前記第１の三次元モデルデータが、前記動画像の内容に応じた大きさに調整されて生成され、
   前記大きさの調整は、前記選択を受け付けた前記動画像のテンプレートデータにおける前記模型の種別と同一の種別の模型の前記第１の三次元モデルデータについて行われる、画像処理方法。
2. 前記複数の画像は、前記模型の向き及び位置を特定するためのマーカを含み、
   前記第１の三次元モデルデータは、前記マーカに基づき向き及び位置が補正されて生成される、請求項１に記載の画像処理方法。
3. 前記大きさの調整は、前記動画像のテンプレートデータの前記模型の種別と異なる種別の前記第１の三次元モデルデータについては行われない、請求項１に記載の画像処理方法。
4. 前記動画像のテンプレートデータには、前記模型について推奨されるポーズが関連付けられ、
   前記複数の画像は、前記模型を前記推奨されるポーズとした外観を撮影して生成されている、請求項１に記載の画像処理方法。
5. 前記動画像のテンプレートデータの選択を受け付けたことに応じて、前記処理部が、前記動画像について推奨されるポーズの指定を表示装置に表示させる工程を更に含む、請求項１に記載の画像処理方法。
6. 前記複数方向は、前記模型の全周を網羅するように定められる、請求項１に記載の画像処理方法。
7. 前記複数の画像は、前記撮影部が、第１の光源と、前記第１の光源からの照射光による影を相殺する少なくとも１つ以上の第２の光源とにより照射された前記模型を撮影して生成される、請求項１に記載の画像処理方法。
8. 前記処理部が、前記撮影部から前記複数の画像を受信する工程を更に含む、請求項１に記載の画像処理方法。
9. 前記テンプレートデータには、前記第２の三次元モデルデータの３次元空間内での位置、動き、カメラアングル、ライティングの少なくともいずれかの情報が、前記動画像の時間軸に合わせて設定されている、請求項１に記載の画像処理方法。
10. 模型の外観を複数方向から撮影して生成された複数の画像から、前記画像に含まれる前記模型の第１の三次元モデルデータを生成する生成手段と、
    予め第２の三次元モデルデータを含んで構成された動画像のテンプレートデータにおいて、前記第２の三次元モデルデータを前記第１の三次元モデルデータと置き換えることにより、前記動画像を再構成する再構成手段と、
    再構成された動画像の取得先を示す情報を出力部から出力するように制御する制御手段と、
    前記動画像のテンプレートデータの選択を受け付ける受付手段と、
    を備え、
    前記動画像のテンプレートデータは、模型の種別に応じて複数のテンプレートデータが用意され、
    前記模型の種別には、等身大の形状を縮小した外観形状を有する模型の第１の種別と、等身大の形状をデフォルメした外観形状を有する模型の第２の種別とが含まれ、
    前記生成手段は、前記第１の三次元モデルデータを、前記動画像の内容に応じた大きさに調整して生成し、前記大きさの調整を、前記受付手段が前記選択を受け付けた前記動画像のテンプレートデータにおける前記模型の種別と同一の種別の模型の前記第１の三次元モデルデータについて行なう、情報処理装置。
11. コンピュータに、請求項１から９のいずれか１項に記載の画像処理方法を実行させるためのコンピュータプログラム。

Images