JP7297960B1 - 情報処理装置、及び、コンピュータプログラム - Google Patents

Abstract

【課題】物品の外観に関する情報を精度高く取得し、仮想空間において利用可能とする。【解決手段】三次元スキャナ装置で取得された物品の外観のスキャン情報から、仮想空間用データを生成する情報処理装置であって、物品をスキャンして得られた第１スキャン情報の座標系を物品のフレームデータの座標系に合わせて調整するための第１の画面に表示された第１スキャン情報に対する操作指示を受け付け、該操作指示の後に得られた第２スキャン情報とフレームデータとから仮想空間用データを生成する。【選択図】図１

Description

本発明は、情報処理装置、及び、コンピュータプログラムに関する。

特許文献１には、ネットワークを介して接続される２以上の端末によって操作される仮想空間内の機体同士を対戦させるオンラインゲームにおいて、各端末においてプラモデルの情報を読み込んで機体情報を生成し、利用する技術が記載されている。

特開２０１６－０８７００７号公報

特許文献１では、ゲームを実施する端末においてプラモデルの情報を読み込むことにしており、読み込みの精度を上げることが期待される。

本発明は、物品の外観に関する情報を精度高く取得し、仮想空間内において利用可能とすることを目的とする。

本発明は、物品の三次元形状及び色情報を取得可能に構成された三次元スキャナ装置で取得された前記物品の外観のスキャン情報から、仮想空間上で利用可能な仮想空間用データを生成する情報処理装置であって、前記物品の種別を判定する判定手段と、前記判定された種別の物品に対応するフレームデータであって、前記スキャン情報から得られるテクスチャ情報をマッピング可能に構成されたフレームデータを取得する取得手段と、前記物品を前記三次元スキャナ装置によりスキャンすることで生成された第１スキャン情報について設定された座標系を、前記フレームデータについて設定されている座標系に合わせて調整するための第１の画面であって、前記第１スキャン情報の表示を含む第１の画面を表示部に表示させる表示制御手段と、前記第１の画面に表示された前記第１スキャン情報に対する、移動及び回転の少なくともいずれかの第１の操作指示を含む指示を受け付け可能な受付手段と、前記指示に応じて前記第１の画面の表示を終了した後に得られる第２スキャン情報と、前記フレームデータとから、前記フレームデータ上にマッピングするためのテクスチャ情報を含む前記仮想空間用データを生成する第１の生成手段とを備える。

本発明によれば、物品の外観に関する情報を精度高く取得し、仮想空間内において利用可能とすることができる。

実施形態に対応するゲームシステムの構成例を示す図、及び、情報処理装置１００のハードウェア構成の一例を示す図。 実施形態に対応する玩具体の外観の一例を示す図。 実施形態に対応する玩具体を固定する固定具の外観の一例を示す図。 実施形態に対応するデータテーブルのデータ構成の一例を示す図。 実施形態に対応するゲーム用データを生成するための処理の一例に対応するフローチャート。 実施形態に対応するスキャン処理の一例に対応するフローチャート。 実施形態に対応するゲーム用データ生成処理の一例を示すフローチャート。 実施形態に対応するゲーム用データ生成処理時に表示される操作画面の表示例を示す図。 実施形態に対応するゲーム用データ生成処理時に表示される操作画面の他の表示例を示す図。 実施形態に対応するゲーム処理の一例を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。また、各図において、紙面に対する上下左右表裏方向を、本実施形態における部品（またはパーツ）の上下左右表裏方向として、本文中の説明の際に用いることとする。

まず、本実施形態に対応するゲームシステムの構成を説明する。図１（Ａ）は、本実施形態に対応するゲームシステム１０の構成の一例を示す図である。ゲームシステム１０は、情報処理装置１００に、スキャナ１１０、ロボットアーム１２０、ターンテーブル１３０及び表示装置１４０が接続されて構成されている。

情報処理装置１００は、スキャナ１１０、ロボットアーム１２０及びターンテーブル１３０の動作を制御し、スキャン対象の物品を任意の角度からスキャンして物品の三次元データを生成すると共に、得られた三次元データを、テクスチャとして玩具体に対応するフレームデータに適用することでゲームにおいて利用可能なゲーム用データを生成する。また、情報処理装置１００は、生成したゲーム用データを用いたゲーム処理を実行するゲーム装置、或いは、ゲーム用データを仮想空間用データとして用いることで、仮想空間上に表示される画像の生成を行う画像処理装置としても機能することができる。ゲーム装置や画像処理装置を情報処理装置１００とは別に用意してもよい。本実施形態においては、スキャン対象の物品をプラスチックモデルや人形等の玩具体とする。

次にスキャナ１１０は、情報処理装置１００の制御に従って、撮像対象の玩具体の３次元形状を撮像（スキャン）して、撮像対象の三次元形状及び色情報を出力する三次元スキャナ装置である。本実施形態においては、スキャナ１１０から出力されるスキャン信号を総称して「スキャン画像」と呼ぶ。スキャナ１１０には、例えばArtec社製のSpace Spiderを使用することができる。本実施形態においては、例えば、スキャン画像を５００フレームから８００フレーム程度を取得することで、玩具体全体の３Ｄスキャンデータを取得することができる。

ロボットアーム１２０は、情報処理装置１００の制御に従ってスキャナ１１０を所定のスキャン位置及び姿勢に移動させる位置姿勢制御装置である。ロボットアーム１２０は、例えばUFACTORY社製のxArm 7を使用することができる。xArm７は７つのジョイントからなり、人間の腕と同様の動きができる。

ターンテーブル１３０は、情報処理装置１００の制御に従って、玩具体が載置された状態において回転可能に構成された回転装置である。本実施形態では、ロボットアーム１２０により任意の撮像位置・撮像角度にスキャナ１１０を位置させた後、ターンテーブル１３０を１周回転させてスキャンを行う。これを複数の撮像位置・撮像角度において行うことにより、玩具体全体の３Ｄスキャンデータを取得する。なお、ここでターンテーブル１３０とロボットアーム１２０を同期して駆動させることで、スキャン処理をより簡便に精度高く行うことができ好ましい。

表示装置１４０は、液晶ディスプレイ（ＬＣＤ）等のディスプレイ装置であって、スキャナ１１０で取得した３Ｄスキャンデータを表示したり、図８、図９に示すような操作画面を表示したり、生成したゲーム用データを使ったゲーム画面を表示したりする。

図１（Ｂ）は、情報処理装置１００のハードウェア構成の一例を示す。ＣＰＵ１０１は、情報処理装置１００の全体的な制御やデータの計算・加工・管理を行う装置である。具体的に、スキャナ１１０におけるスキャン画像の撮像タイミング、撮像枚数を制御すると共に、ロボットアーム１２０のアームのジョイントを制御して、スキャナ１１０を任意の撮像位置・撮像角度に配置することができる。また、スキャナ１１０の撮像位置・撮像角度が決定された後、ターンテーブル１３０を回転させて、スキャナ１１０によりスキャン動作を実施する。また、ＣＰＵ１０１は、スキャナ１１０から出力されたデジタル画像信号を圧縮・符号化して画像データを生成する画像処理部としても機能しうる。

ＲＡＭ１０２は、揮発性のメモリであり、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＲＯＭ１０３は、不揮発性のメモリであり、画像データやその他のデータ、ＣＰＵ１０１が動作するための各種プログラム等が、それぞれ所定の領域に格納されている。ＣＰＵ１０１は、例えばＲＯＭ１０３に格納されるプログラムに従い、ＲＡＭ１０２をワークメモリとして用いて、情報処理装置１００の各部を制御する。尚、ＣＰＵ１０１が動作するためのプログラムは、ＲＯＭ１０３に格納されるものに限られず、記憶装置１０４に記憶されていてもよい。

記憶装置１０４は、例えばＨＤＤやフラッシュメモリなどの磁気ディスクにより構成される。記憶装置１０４には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム、ゲームプログラム等が格納される。記憶装置１０４は、ＣＰＵ１０１の制御に基づき、データを読み出したり、書き込みしたりすることができる。記憶装置１０４をＲＡＭ１０２やＲＯＭ１０３の代わりに使用してもよい。

通信装置１０５は、ＣＰＵ１０１の制御に基づき、スキャナ１１０、ロボットアーム１２０、ターンテーブル１３０と通信するための通信インタフェースである。通信装置１０５は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。ここで、情報処理装置１００と、スキャナ１１０、ロボットアーム１２０、ターンテーブル１３０との通信は無線通信により行われてもよい。

また、通信装置１０５は、有線接続のための有線通信モジュールを含むこともできる。有線通信モジュールは１つ以上の外部ポートを介して表示装置１４０を含む他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

操作部１０６は、例えばボタン、キーボード、タッチパネル等で構成され、ユーザからの操作入力を受け付ける。表示制御部１０７は、情報処理装置１００と接続された表示装置１４０に情報を表示するためのインタフェースとして機能し、表示装置１４０の動作を制御する。

ゲーム装置が情報処理装置１００とは独立して設けられる場合、当該ゲーム装置のハードウェア構成も図１（Ｂ）と同様とすることができる。

次に、図２を参照して、本実施形態においてスキャン対象となる玩具体の一例を説明する。玩具体２００は、人形型（ロボット、又は、人間）の外観を有する玩具体である。当該玩具体は、例えばプラスチックモデルとして組み立てられ、塗装されたものとすることができる。図２の玩具体はあくまで説明のための一例にすぎず、玩具体の形状は人形型の外観を有するものだけではなく、一般車両、レース車両、軍用車両、航空機、船舶、動物、仮想生命体等、任意の形状の玩具体とすることができる。なお、スキャン対象となる物品は、スキャナ１１０でスキャン可能な物品であれば玩具体に限定されないことはもちろんである。

玩具体２００は、頭部２０１、胸部２０２、右腕部２０３、左腕部２０４、右胴体部２０５、左胴体部２０６、右脚部２０７、左脚部２０８、右足部２０９、左足部２１０の各部品を有し、これらが結合されて構成されている。個々の部位２０１～２１０の少なくとも一部は、隣接する部位に対して回動（或いは揺動）可能に支持される。例えば、頭部２０１は胸部２０２に対して回動可能に支持され、右腕部２０３、左腕部２０４は胸部２０２に対して回動可能に支持される。このようにして玩具体２００の各部位には関節構造が設けられているため、玩具体２００は任意の姿勢を取ることができる。その一方で、玩具体２００をスキャナ１１０でスキャンして外表面の３次元形状や色情報を取得するためには、三次元形状を取り込むのに適した姿勢を取る必要がある。

そこで、図３に示すような固定具３００を利用して、玩具体２００のスキャンを行う際の姿勢を決定する。固定具３００は、玩具体２００の、頭部２０１、胸部２０２、右腕部２０３、左腕部２０４、右胴体部２０５、左胴体部２０６、右脚部２０７、左脚部２０８、右足部２０９、左足部２１０の各部位に対応した部位を有する。頭固定部３０１は、頭部２０１を固定するための部材である。胸固定部３０２は、胸部２０２を固定するための部材である。右腕固定部３０３と、左腕固定部３０４とは、右腕部２０３、左腕部２０４とが胸部２０２から離れて延びるようにそれぞれを固定する。また、右胴体固定部３０５、左胴体固定部３０６は、胸部２０２に対する右胴体部２０５、左胴体部２０６の位置を固定する。右脚固定部３０７、左脚固定部２０８は、それぞれ右脚部２０７、左脚部２０８を歩幅を開いて固定するための部材であり、右足固定部３０９、左脚固定部３１０は、右足部２０９、左脚部２１０をそれぞれ固定するための部材である。

固定具３００は、玩具体２００の正面側から被せるようにして固定して、玩具体２００を固定具３００の形状に対応する姿勢とした後、玩具体をターンテーブル１３０に配置する。その際、ターンテーブル１３０には玩具を固定する部材を設置して、当該部材に玩具体を取り付けた後、固定具３００を玩具体２００から取り外す。これにより、ターンテーブル１３０上の玩具体をスキャン画像の取得に適した所定の姿勢で配置することができる。

図３では、玩具体２００の本体に使用する固定具３００のみを示したが、玩具体２００が付属品を有する場合であって、当該付属品を取り付けた状態において取り付け角度や形が変更可能な場合、当該付属品の姿勢を固定するための固定具も併せて利用することができる。

次に、図４を参照して、情報処理装置１００の記憶装置１０４に記憶される各種テーブルのデータ構造について説明する。図４（A）のテーブル４００には、玩具体のモデル名４０１と関連付けて、玩具体の外観に基づいてモデル名を特定するための情報であるモデル識別情報４０２、使用する固定具を特定する固定具情報４０３、スキャン撮像時の撮像系制御情報４０４、玩具体のモデルに対応したフレームデータ（スキャン画像をテクスチャとしてマッピングするための骨組み情報）４０５が登録されている。

まず、モデル名４０１には、本実施形態においてゲーム用データを作成可能な玩具体を一意に特定するための識別情報が登録される。モデル識別情報４０２は、玩具体の外観から、当該玩具体のモデル名或いは種別を特定するための情報であって、例えば玩具体の特定部位の形状に関する情報が登録されていてもよい。具体的には、玩具体の足裏の形状・模様・穴の数などの情報が登録され、玩具体２００の足裏の画像を当該モデル識別情報４０２に基づき処理することにより、モデルを特定することが可能である。

固定具情報４０３には、その種別がモデル名４０１に登録されたモデルであると判明した玩具体に取り付ける固定具を識別するための情報が登録される。固定具情報には、固定具の色、素材、形状、固定具番号等が含まれる。撮像系制御情報４０４は、CPU１０１が、スキャン撮像時にスキャナ１１０、ロボットアーム１２０、ターンテーブル１３０の動作をモデル毎に制御するための制御情報である。

フレームデータ４０５は、スキャナ１１０で取り込んだスキャナ画像から生成したテクスチャがマッピングされるテンプレートデータである。フレームデータには、モデルの各頂点の頂点データ（頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）と、可動関節の情報とが含まれる。フレームデータは個別に座標系が設定されている。フレームデータは、（テクスチャがマッピングされていないことを除けば）ゲーム上で利用可能なデータであって、種々の玩具体に対応する外観を有し、玩具体の構造と同様にゲーム上で稼働させることができる。フレームデータの表面に、実物の玩具体から取得したテクスチャデータをマッピングすることで、ゲームにおいて玩具体をあたかも実際に操作しているかのような表現が可能となる。

本実施形態では、モデル毎に、外形、及び、可動する関節が異なっている。例えば、モデルＡの玩具体では、足首が稼働するが股関節は固定されているのに対し、モデルＢの玩具体では足首が稼働しないが、その代わりに股関節が稼働する、という場合がある。この場合、モデルＡに対応するフレームデータ４０５は、足首は稼働するが股関節は固定されており、モデルＢに対応するフレームデータ４０５は、足首は固定されている一方で股関節は稼働する。このように実際の玩具体の構造上の特性をフレームデータに含めることで、玩具体の外観情報を取り込んで行うゲームにおいて、玩具体の構造上の特性が反映されることとなる。

次に、図４（Ｂ）は、スキャン処理により取り込んだ情報等をユーザ毎の登録情報として登録するテーブル４１０の構成例を示す。テーブル４１０は、ユーザ情報４１１、モデル名４１２、スキャン情報４１３、ゲーム用データ４１４を登録する。ユーザ情報４１１は、スキャンにより取り込まれた玩具体の所有者であるユーザ（或いは、プレイヤ）を一意に識別するための情報である。ユーザ情報４１１は、ゲームを実行する際のログイン情報として利用してもよい。モデル名４１２は、当該ユーザの所有する玩具体の種別を示す情報が登録される。モデル名４１２は、テーブル４００においてモデル名４０１として登録されている情報のいずれか１つに対応する。

スキャン情報４１３は、ユーザ名４１１に登録されているユーザが所有する玩具体をスキャンして得られたスキャン画像の情報が登録される。ゲーム用データ４１４には、スキャン情報４１３に基づいて生成された、ゲーム用データが登録される。ゲーム用データの生成方法については図７のフローチャートを参照して後述する。

次に図５を参照して、本実施形態に対応する、情報処理装置１００が実行する処理の一例を説明する。当該フローチャートに対応する処理の少なくとも一部は、情報処理装置１００のＣＰＵ１０１が、ＲＯＭ１０３や記憶装置１０４に記憶されたプログラムを実行することにより実現される。

まずＳ５０１において、ＣＰＵ１０１は、玩具体２００の種別を判定する。種別の判定においては、例えば玩具体２００の足裏の撮像画像を情報処理装置１００に入力し、ＣＰＵ１０１が撮像画像をモデル識別情報４０２に基づき画像処理することで、玩具の種別、即ちモデル名４０１を特定することができる。

続くＳ５０２では、ＣＰＵ１０１は特定されたモデル名４０１の情報に従い、テーブル４００において対応する固定具情報４０３を特定する。このとき、ＣＰＵ１０１は、表示制御部１０７を介して表示装置１４０に特定した固定具情報４０３の内容を表示してもよい。具体的には、固定具を特定するために必要な情報、例えば、固定具の色、素材、形状、固定具番号等、固定具を特定するために有意な情報を表示することができる。

続くＳ５０３では、情報処理装置１００のユーザが表示された固定具に関する情報に従い固定具３００を選択し、玩具体２００に取り付ける。固定具３００により玩具体２００の姿勢を固定することができる。その後、Ｓ５０４において、ユーザは玩具体２００をターンテーブル上の固定部材に取り付けた後、固定具３００を玩具体２００から取り外す。なお、Ｓ５０３及びＳ５０４の工程は人的な手段に依らず、ロボットアーム等を用いてＣＰＵ１０１の制御により行ってもよい。

続くＳ５０５では、ＣＰＵ１０１はＳ５０１で判定した玩具体２００の種別に応じた撮像系制御情報４０４をテーブル４００から取得し、Ｓ５０６においてスキャン処理を実行してスキャン情報４１３を生成する。続くＳ５０７では、ＣＰＵ１０１はスキャン情報４１３に基づきゲーム用データ４１４を生成する。

次に、図６を参照して、Ｓ５０６におけるスキャン処理の詳細を説明する。本実施形態においては、撮像制御情報４０４にはスキャン位置を特定するためのロボットアーム１２０の駆動情報、当該スキャン位置におけるスキャナ１１０の撮像回数がスキャン位置毎に登録されている。そして、各スキャン位置において撮像を行う際に、ターンテーブル１３０を回転させることでスキャンが行われる。

まず、Ｓ６０１では、ＣＰＵ１０１はロボットアーム１２０を制御して、スキャナ１１０を撮像制御情報４０４に登録されたいずれかのスキャン位置に移動させる。続くＳ６０２では、ＣＰＵ１０１は、当該スキャン位置においてターンテーブル１３０を回転させながらスキャナ１１０で３Ｄデータの撮像を行うことで、玩具体２００のスキャン情報４１３を取得する。またこのとき、ターンテーブル１３０を特定の回転位置で停止し、ロボットアーム１２０を制御して縦方向にスキャナ１１０に移動させながら玩具体のスキャンを行ってもよい。

続くＳ６０３では、ＣＰＵ１０１は撮像制御情報４０４において未選択のスキャン位置があるかどうかを判定し、未選択のスキャン位置がある場合は、Ｓ６０１に戻って処理を継続する。一方、未選択のスキャン位置が無い場合、S６０４に移行する。Ｓ６０４では、CPU１０１は、以上により得られたスキャン情報をテーブル４１０のスキャン情報４１３として記憶装置１０４に記憶させ、スキャン処理を終了する。

次に、図７を参照して、Ｓ５０６において得られたスキャン情報に基づき、ゲーム用データ４１４を生成するＳ５０７の処理の詳細を説明する。まず、Ｓ７０１において、ＣＰＵ１０１は、特定された玩具体の種別に対応するフレームデータ４０５をテーブル４００から読み出す。続くＳ７０２では、表示制御部１０７により、スキャン情報とフレームデータ４０５とを表示装置１４０に表示しつつ、フレームデータ４０５上にスキャン情報が重畳されるよう、スキャン情報の位置や角度を修正する。このとき、ＣＰＵ１０１は、フレームデータ４０５に基づきスキャン情報の位置合わせのためのガイド画面を表示し、スキャン情報をガイド画面に合わせて位置決めするようにしてもよい。

Ｓ７０２の処理は、スキャン情報について設定されている座標系（スキャン処理時に設定されるものであり、同一の種別の玩具体であっても個々のスキャン情報によりばらつきがある。）を、フレームデータ４０５の座標系に合わせて調整するための処理である。スキャン情報とフレームデータ４０５とは、本来同じ種別の玩具体の情報であるので共通の座標系で表示した際にはそのまま重畳表示されるはずである。しかし、スキャン処理により生成されたスキャン情報の座標系には、若干のズレが生じていることがあり、そのズレの影響により共通の座標系で表示した際にもフレームデータ４０５に対してズレが生ずる。Ｓ７０２では、この座標系のズレを調整するために、スキャン情報自体を移動或いは回転させるものである。

図８は、Ｓ７０２における処理時に表示装置１４０に表示されるガイド画面の一例を示す。図８（Ａ）は、ガイド画面における操作パネル８００の一例を示す。操作パネル８００には、スキャン情報をどの方向から見るか（表示方向）を設定するための、表示方向について「上面」、「側面」、「正面」が表示されており、このうち「上面」を選択すると図８（Ｂ）に示すような表示画面８１０が表示される。表示画面８１０には、玩具体２００のスキャン情報８１１を上側から、即ち、玩具体２００の頭部２０１を上側から見たような画像が表示される。このとき、スキャン情報８１１に対して、フレームデータ４０５の対応する輪郭位置をガイド情報８１２で示している。このガイド情報８１２とスキャン情報８１１の胸部の輪郭線とが一致するようにスキャン情報８１１の位置を移動及び回転することにより、スキャン情報８１１をフレームデータ４０５に重畳することができる。

図８の例では、スキャン情報８１１が図８（Ｂ）において上側にずれていると共に、反時計回りの方向に回転しているので、スキャン情報８１１を十字キーボタンで下側に移動させると共に、時計回りの方向の回転ボタンで回転させることで、図８（Ｃ）に示すように、スキャン情報８１１の胸部の輪郭がガイド情報８１２と一致する。

上面以外の「側面」や「正面」についても同様に位置合わせをすることで、スキャン情報８１１をフレームデータに重畳することが可能となる。例えば、「側面」が選択された場合、腰部の側面のガイド情報を表示して、スキャン情報８１１を位置合わせすることができる。また、「正面」が選択された場合、胸部と腰部の正面のガイド情報を表示してスキャン情報８１１を位置合わせすることができる。上記において、位置合わせはスキャン情報８１１とガイド情報との間にズレがある場合に行えばよい。スキャンの仕方によってはズレが生じない場合も当然にあり得るので、その場合にはズレを補正するための操作指示は不要となる。以上の位置合わせ処理が完了した後（操作指示なしで完了する場合もある）、「完了」ボタンを操作すると図８のガイド画面の表示が終了し、Ｓ７０２における処理も終了する。

図７の説明に戻り、Ｓ７０２においてスキャン情報の位置・角度の調整が完了すると、処理はＳ７０３に進み、ＣＰＵ１０１は、玩具体の変形部分に対応する箇所に予め用意した画像を重畳する。Ｓ７０３はゲーム用のデータ（画像）をスキャン情報に重畳する位置を決定するための処理である。当該重畳位置は、玩具体の種別に対応するフレームデータ４０５において、予め設定された位置としてもよいし、図９のガイド画面を利用して、スキャン情報上で受け付けた指定に基づいて決定してもよい。
玩具体の変形部分とは、玩具体の膝や肘といった折れ曲がる関節部分等の可動可能な部分である。本実施形態では、玩具体の腕や足を延ばした状態でスキャン情報を取得するため、そのようにして得られた関節部分をその後のゲーム中に曲げ伸ばし等の表示を行うと、関節部分の見え方が不自然になってしまう。そこで、関節部分等の変形する（可動する）箇所については、玩具体の種別ごとに予め用意した変形に対応する関節データを重畳して用いることとする。本実施形態では、玩具体の構造中、変形部分については、スキャン情報から得られるテクスチャデータの上に、予め用意した変形に対応する画像を重ねて表示することとしている。ただし、これに限られることはなく、スキャン情報から得られるテクスチャデータを用いない場合であっても良い。

図９は、関節データをスキャン情報に重畳する際のガイド画面の一例を示す。図９（Ａ）の画面９００はガイド画面における操作パネル９００の一例を示す。操作パネル９００には、関節データを玩具体のスキャン情報のどの関節位置に重畳するかを指定するための選択ボタンが表示されており、図９（Ａ）では、左上の選択ボタン９０１が選択された状態を示している。即ち、玩具体の右腕部分が選択されたものであり、このときのスキャン情報の表示画面９１０を図９（Ｂ）に示す。スキャン情報９１１の右腕関節部分に関節データ９１２が重畳表示されている。しかし図９（Ｂ）では、右腕部と関節データ９１２の角度が一致していないので、操作パネル９００の反時計回りの回転方向のボタンを操作して、図９（Ｃ）に示すように、スキャン情報９１１の右腕部上において関節データ９１２の位置を決めることができる。なお、関節データ９１２は、玩具体のモデルごとに用意いてもよいし、１つの関節データ９１２を複数のモデルについて共通に使用してもよい。上記において、スキャン情報９１１と関節データ９１２との位置合わせは両者の間にズレがある場合に行えばよい。スキャンの仕方によってはズレが生じない場合も当然にあり得るので、その場合にはズレを補正するための操作指示は不要となる。以上の位置合わせ処理が完了した後（操作指示なしで完了する場合もある）、「完了」ボタンを操作すると図９のガイド画面の表示が終了し、Ｓ７０３における処理も終了する。

続くＳ７０４では、ＣＰＵ１０１はゲーム用データを生成する。具体的には、ＣＰＵ１０１は、上述の処理により生成されたスキャン情報に基づきフレームデータにマッピングするためのテクスチャ情報を生成すると共に、当該テクスチャ情報をフレームデータ上にマッピングする際のテクスチャ座標と関連付け、テーブル４１０のゲーム用データ４１４として記憶装置１０４に記憶させる。ＣＰＵ１０１は、Ｓ７０３において決定した関節データをマッピングする位置の情報もゲーム用データに含める。マッピング位置の情報は、玩具体の種別に対応するフレームデータ４０５において予め設定された位置、或いは、図９のガイド画面を利用してスキャン情報上で受け付けた指定に基づいて決定された位置となる。以上により、ゲーム用データ４１４を生成することができる。

なお、上記においてはロボットアーム１２０を利用して、スキャナ１１０の位置・姿勢を制御していたが、ロボットアーム１２０の代わりに手動で位置決めを行ってもよい。

次に図１０は、上述の処理により生成されたゲーム用データを用いてゲームを実行する際の処理の一例を説明する。当該フローチャートに対応する処理の少なくとも一部は、情報処理装置１００のＣＰＵ１０１が、ＲＯＭ１０３や記憶装置１０４に記憶されたプログラムを実行することにより実現される。

まず、Ｓ１００１において、ＣＰＵ１０１はユーザ選択を受け付ける。例えば、表示装置１４０に入力画面を表示し、ユーザ情報の入力を受け付ける。ユーザ情報は、ログイン名とパスワードのセットであってもよい。これらの情報はユーザ情報４１１としてテーブル４１０に登録されている。

Ｓ１００１において入力された情報によりユーザが特定されると、続くＳ１００２においてCPU１０１は、当該ユーザと関連付けて登録されているゲーム用データ４１４の情報をテーブル４１０から読み出し、表示装置１４０に表示する。本実施形態においては、１人のユーザについて複数のゲーム用データを登録することが可能であり、複数のゲーム用データ４１４が登録されている場合は、それらのアイコン画像等を表示装置１４０に表示してユーザからの選択を受け付ける。ゲーム用データ４１４が選択されると、処理はＳ１００３に移行し、ゲーム処理を開始する。当該ゲームは、例えば、仮想空間内の所定のフィールド上でゲーム用データから生成されたキャラクタ（ロボット、人物、車両、航空機等）を対戦させるオンライン、又はオフラインの対戦型のゲームとすることができる。対戦相手は、ゲーム装置等のＣＰＵでもよいし、他のユーザであってもよい。なお、ゲームの種類は対戦ゲームに限らず、シミュレーションゲーム、ロールプレイングゲーム、アドベンチャーゲーム等、様々なゲームに適用可能である。なお、複数人がゲームに参加する場合は、Ｓ１００１とＳ１００２の処理を人数分繰り返した後にＳ１００３を実行する。

Ｓ１００３においては、選択されたゲーム用データ４１４に対応するフレームデータ４０５に、ゲーム用データ４１４に含まれるテクスチャ情報をマッピングすることにより、ゲームキャラクタを生成する。その際、図７のＳ７０３で指定された可動部分については、ゲーム用データ４１４に含まれるテクスチャ情報の上に重ねて表示された予め用意した関節モデルのデータに基づいて、ゲームキャラクタの姿勢に応じた重畳画像を生成し、使用する。これにより、関節部分が折れ曲がる際に、より自然な表現が可能となる。
なお、上述の実施形態の説明においては、仮想空間内で実施されるゲームで使用するために、玩具体の外観の情報に基づいてゲーム用データを生成する場合を説明した。しかし、本実施形態において生成されるゲーム用データの用途はゲームに限定されるものではなく、仮想空間用データとして用いることで仮想空間上に表示される画像の生成を行うことができ、仮想空間内でキャラクタを動作させる処理に広く適用が可能である。例えば、仮想空間内で行われるイベント、コンサート、スポーツ、オンライン会議等に、当該キャラクタを登場させることも可能である。更には、クロスリアリティ（ＸＲ）のような現実世界と仮想世界とを融合し、現実空間には存在しないものを知覚可能とする映像技術において、本実施形態の技術を適用することもできる。

このようにして本実施形態では、玩具体の外観の情報を取得し、当該外観情報からテクスチャ情報を生成してフレームデータにマッピングしてゲーム用のキャラクタとしてゲーム、或いは、任意の仮想空間内で使用することができる。玩具体は、例えばプラスチックモデルのように、ユーザが塗装等を行って独自の作品として仕上げているものがあり、それらの個性をゲームや仮想空間内のキャラクタ表現に反映することができるので嗜好性を格段に向上させることができる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

Claims (14)

1. 物品の三次元形状及び色情報を取得可能に構成された三次元スキャナ装置で取得された前記物品の外観のスキャン情報から、仮想空間上で利用可能な仮想空間用データを生成する情報処理装置であって、
   前記物品の種別を判定する判定手段と、
   前記判定された種別の物品に対応するフレームデータであって、前記スキャン情報から得られるテクスチャ情報をマッピング可能に構成されたフレームデータを取得する取得手段と、
   前記物品を前記三次元スキャナ装置によりスキャンすることで生成された第１スキャン情報について設定された座標系を、前記フレームデータについて設定されている座標系に合わせて調整するための第１の画面であって、前記第１スキャン情報の表示を含む第１の画面を表示部に表示させる表示制御手段と、
   前記第１の画面に表示された前記第１スキャン情報に対する、移動及び回転の少なくともいずれかの第１の操作指示を含む指示を受け付け可能な受付手段と、
   前記指示に応じて前記第１の画面の表示を終了した後に得られる第２スキャン情報と、前記フレームデータとから、前記フレームデータ上にマッピングするためのテクスチャ情報を含む前記仮想空間用データを生成する第１の生成手段と、
   を備える情報処理装置。
2. 前記第１の画面は、前記物品のいずれかの部位に対応する前記第１スキャン情報の表示と、前記フレームデータにおける前記部位の位置を示す表示とを含み、
   前記受付手段は、前記部位の前記第１スキャン情報の表示位置と、前記部位の位置の表示位置とを一致させるための操作指示を受け付ける、請求項１に記載の情報処理装置。
3. 前記第１の画面は、前記第１スキャン情報の表示方向を切り替える切替操作部を含み、
   選択された前記切替操作部に応じた表示方向における、前記物品のいずれかの部位の前記第１スキャン情報と、前記フレームデータにおける前記部位の位置とを表示する、請求項２に記載の情報処理装置。
4. 前記第１の生成手段は、前記物品の所定箇所に対応する前記第２スキャン情報に重畳表示される画像の位置情報を含むように前記仮想空間用データを生成する、請求項１ないし３のいずれか一項に記載の情報処理装置。
5. 前記表示制御手段は、前記物品の所定箇所に対応する前記第１スキャン情報に重畳表示される画像の位置を調整するための第２の画面を前記表示部に更に表示させ、
   前記受付手段は、前記第2の画面に表示された前記画像に対する、移動及び回転の少なくともいずれかの第２の操作指示を更に受け付け可能であり、
   前記第１の生成手段は、前記第２の操作指示に応じた前記画像の位置情報を更に含むように、前記仮想空間用データを生成する、請求項１ないし３のいずれか一項に記載の情報処理装置。
6. 前記所定箇所は、前記物品の可動部分である、請求項４または５に記載の情報処理装置。
7. 前記物品が人型の玩具体である場合に、前記可動部分は関節部分である、請求項６に記載の情報処理装置。
8. 判定された前記物品の種別に基づき、前記三次元スキャナ装置によりスキャンする際の前記物品の姿勢を規定する固定具を選択する選択手段を更に備える、請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記第１スキャン情報は、前記固定具により定められた姿勢において前記物品が前記三次元スキャナ装置によりスキャンされることで生成された、請求項８に記載の情報処理装置。
10. 前記三次元スキャナ装置が設置され、前記三次元スキャナ装置の位置及び姿勢を制御する位置姿勢制御装置を更に備え、
    前記第１スキャン情報は、前記物品が、前記位置姿勢制御装置により設置された所定の位置及び姿勢において前記三次元スキャナ装置によりスキャンされることで生成された、請求項１から９のいずれか１項に記載の情報処理装置。
11. 前記物品が載置され回転可能に構成された回転装置を更に備え、
    前記第１スキャン情報は、前記回転装置に載置された前記物品が前記三次元スキャナ装置によりスキャンされることで生成された、請求項１から１０のいずれか１項に記載の情報処理装置。
12. 前記判定手段は、前記物品の所定の部位の情報に基づいて、前記物品の種別を判定する、請求項１から１１のいずれか１項に記載の情報処理装置。
13. 前記物品が人型の玩具体である場合に、前記所定の部位は足裏である、請求項１２に記載の情報処理装置。
14. コンピュータを、請求項１から１２のいずれか１項に記載の情報処理装置の各手段として動作させるためのコンピュータプログラム。

Images