JP2013501304A - 対象物抽出のためのシステム及び方法 - Google Patents

Abstract

例えば複数のブロックで組み立てられた物理的対象物の画像を抽出するシステムおよび方法が示される。システムおよび方法は、端部検出演算子を用いて、背景の境界および端部を検出し、斜視変換計算を実行して物理的対象物の画像に実質的に位置合わせされた補正仮想グリッドを計算し、色校正パレットをデジタル画像に配置して色校正パレットの画素の明度情報を抽出し、物理的対象物の画像の一部分として複数のブロックを識別し、前記識別は、色パレットと、背景の色とが比較された複数のブロックの色の判定に部分的に基づく、識別された複数のブロックは、抽出された画像を形成する。コンピュータ読み取り可能媒体は、方法に従って複数のブロックで組み立てられた物理的対象物の画像をシステムに抽出させる命令を含む。

Description

本発明は、対話型コンピュータの画像処理のシステム及び方法に関し、特に画像から抽出された対象物を識別するシステム及び方法に関する。

構造物の集合は、種々の異なるモデルまたは形状の構造物を可能にする規格化された結合要素を含む。これらの要素は、複雑なシステムを組み立てるための特定のトレーニングまたは設計時間を必要としない。結合要素は、子供用のおもちゃとして用いられる一時的な構造物を作成するのに好適である。結合構成の集合の一例は、ＬＥＧＯ（登録商標）（ＬＥＧＯ Ｊｕｒｉｓ Ａ／Ｓ Ｃｏｒｐｏｒａｔｉｏｎ、デンマーク）であり、ＬＥＧＯは、複数のカラフルな結合プラスチックブロックと、用具一式、小さな人形、及び種々の他のパーツとを含み得る。これらの結合ブロックは、多くの方法によって取り付けされて結合され、乗り物、建造物、及び作業ロボットでさえ構成可能である。これらの結合ブロックにより構成された如何なるものでも分解可能であり、他の対象物を作成するために分解された要素が用いられてもよい。

本発明の実施形態は、複数のブロックにより組み立てられた物理的対象物の画像を抽出するシステムを提供する。システムは、プロセッサ又はコントローラと、プロセッサ又はコントローラに接続され、且つパターン、又は視覚的な合図を含む背景に配置される物理的対象物のデジタル画像を提供するように構成されるデジタル画像処理装置と、コントローラに接続され、且つデジタル画像の背景の境界及び端部を検出するように構成される背景検出ユニットと、コントローラに接続され、且つ物理的対象物の画像に実質的に位置合わせされた補正視覚的グリッドを計算するように構成された斜視変換ユニットと、コントローラに接続され、且つ補正グリッドに位置合わせされた関連画素をサンプリングすることによりデジタル画像内の色校正パレットを配置するように構成される色校正抽出ユニットと、コントローラに接続され、且つ物理的対象物の画像の一部分としてデジタル画像内の複数のブロックを識別するように構成されたブロック識別ユニットとを含み、識別されたブロックは、抽出画像を形成する。明細書中で説明された種々のユニット（接続された背景検出ユニット、斜視形成ユニット等）は、プロセッサ又はコントローラにより、例えば、命令又はコードを実行するコントローラ又はプロセッサにより具体化され得る。

本発明の他の実施形態は、複数のブロックで組み立てられた物理的対象物のデジタル画像を抽出する方法を提供する。方法は、背景に配置される物理的対象物のデジタル画像を取得すること、端部検出演算子を用いて背景の境界および端部を検出することであって、９０度又は約９０度で計算された端部の屈曲はコーナーと識別される、前記検出すること、斜視変換計算ユニットに物理的対象物の画像に実質的に配置される補正視覚的グリッドを計算させること、デジタル画像内に色校正パレットを配置すること、物理的対象物の画像の一部分として複数のブロックを識別すること、その識別は、色パレットおよび背景の色と比較される複数のブロックの色の判定に部分的に基き、識別された複数のブロックは、抽出された画像を形成する。

本発明の別の実施形態は、コンピュータ読み取り可能媒体（例えば、メモリ装置、ディスクドライブ）にエンコードされたコンピュータ読み取り可能なプログラムを提供する。コンピュータ読み取り可能プログラムは、システムに命令して複数のブロックにより組み立てられた物理的対象物の画像を抽出させるように構成された実行コンピュータプログラムコードを含む。

本発明の実施形態に従ったシステムの回路図を示す。 図１のシステムの構成要素の回路図を示す。 図１に示されたシステムにより取り込まれた画像を示す。 本発明の実施形態に従った方法を示す。 図４に示された方法のステップに従った画像表示を示す。 図４に示された方法の他のステップの説明を示す。 図５の画像の一部分の拡大図を示す。 図３の画像の一要素の代替的な実施形態を示す。 図４に示された方法の他のステップの説明を示す。 図４に示された方法の他のステップの説明を示す。 図４に示された方法の他のステップの説明を示す。 図４に示された方法に従った図３の画像から抽出された画像を示す。 本発明の実施形態に従った方法を示す。 本発明の実施形態に従った方法を示す。 現世界の対象物の種別を示す。 ビデオゲームで具体化された図１１Ａの対象物の種別を示す。 携帯用モバイルデバイスに表示される図２の方法に従った結果の表示を示す。

以下の説明では、本発明の種々の実施形態を説明する。説明する目的のために、特定の例示は、本発明の少なくとも１つの実施形態の完全な理解を提供する。本発明の他の実施形態が明細書中に説明された例示に制限されないことは、当業者にとって明らかである。さらにまた、周知技術の特徴は、明細書中に記載された本発明の実施形態を明確にするため、省略又は簡略化されている。

以下の説明から明らかな別段の具体的な説明がなければ、明細書全体を通じて、コンピュータ・システムのレジスタおよびメモリの少なくとも一方の電子等の物理量として表現されるデータを、コンピュータ・システムのメモリの物理量として同様に表現される他のデータに操作および変換の少なくとも一方を行うコンピュータ、コンピュータプロセッサ、コンピュータ・システム、または同様な電子コンピュータ装置、レジスタまたは他の情報記憶装置、送信装置、またはディスプレイ装置の動作および処理の少なくとも一方に言及される「選択」、「評価」、「処理」、「演算」、「計算」、「結合」、「判定」、「設計」、または「割り当て」等の用語を利用する説明を理解されたい。

明細書中に記載される処理および機能は、如何なる特定のコンピュータ、ネットワーク、または他の装置に本質的に関連しない。明細書中に説明された本発明の実施形態は、如何なる特定のプログラミング言語、マシンコード等を参照して説明されない。種々のプログラミング言語、ネットワークシステム、プロトコルまたはハードウェア構成を用いることによって、明細書中に記載される本発明の実施形態の技術が具体化されることを理解されたい。幾つかの実施形態では、本発明の実施形態の１以上の方法は、メモリデバイス等の構成要素に命令またはコードとして記憶され、プロセッサまたはコンピュータにより実行される命令等によって、本発明の実施形態の方法が実行される。

対話型ゲームおよびコンピュータの視覚的画像処理システムに関するアプリケーションは、画像に組み込まれた対象物を抽出して識別する。対象物は、複数の結合ブロック（interlocking bricks）（例えば、ＬＥＧＯ（登録商標）のブロックまたは構造物の構成要素）、他の要素、または構造物ブロックを組み立てることにより作成される。一実施形態では、用いられる複数のブロック(bricks)または構造物対象物は、周知な集合の特徴（例えば、周知な、且つ限定的な集合の形状および特徴）を有するか、または適合する。画像は、非制御の照明条件で取り込まれる。対象物の識別は、形状分析および形状比較の少なくとも一方に基づく。識別は、対象物の予め定義されたデータベースの記録との比較により対象物を認識して分類することにより実行される。対話型ビデオゲームに物理的対象物の抽出画像が取り込まれることにより、ユーザは、抽出された対象物との相互作用の段階（level of interaction）を経験する。

図１は、本発明の実施形態に従ったシステム１００の回路図を示す。システム１００は、ワークステーションまたはパーソナルコンピュータ１１０等のコンピュータ、およびデジタル画像処理装置１９０を含む。パーソナルコンピュータ１１０は、プロセッサ、ディスプレイ２９２（図２）、ユーザインターフェース入力または出力装置２９６（図２）（例えば、キーボード、十字キー、およびマウスのうち少なくとも一つ）、およびメモリ２４５（図２）を含む。例えば、デジタル画像処理装置１９０は、撮像装置、ウェブカメラ、またはデジタルカメラである。パーソナルコンピュータ１１０は、画像および他のデータ（例えば、ソフトウェアまたはコード）のデータベースを含むデータストア１７０に接続されている。データストア１７０は、ハードディスクドライブ等のメモリまたは他のストレージデバイスにより具体化される。

システム１００は、プロセッサ、ディスプレイ、ユーザインターフェース、メモリ、データベース、デジタル画像処理装置を有する専用の独立型装置である。システム１００は、ノートブックまたはネットブック１２０等の他のコンピューティング装置、パーソナルデジタルアシスタント（personal digital assistant : PDA）１３０、モバイルフォン１４０、またはタブレット（パッド）コンピュータ１５０により具体化される。システム１００は、例えばＰＤＡ１３０およびモバイルフォン１４０内の集積画像処理装置を含む。デジタル画像処理装置１９０，１９２，１９４は、パーソナルコンピュータ１１０、ノートブックまたはネットブック１２０、およびタブレットコンピュータ１５０にそれぞれ接続されている。

システム１００は、不揮発性メモリ、またはコンピュータ読み取り可能媒体（例えば、ハードディスク、フラッシュメモリ、ＣＤ ＲＯＭ，磁気メディア等）に記憶されたコンピュータのプログラム・アプリケーションを含む。コンピュータのプログラム・アプリケーションは、実行される場合に、対象物を抽出するか、識別するか、または組み込む方法のような明細書中に記載された方法をシステム１００のコントローラまたはプロセッサに実行するように命令するか、または実行させるコードまたは実行可能な命令を含む。

他の実施形態では、システム１００のコンピュータ装置１１０，１２０，１３０，１４０，１５０は、電子通信ネットワーク１６０を介してリモートサーバ１８０に接続されるクライアント装置としてそれぞれ構成されている。電子通信ネットワーク１６０は、インターネット、ローカルエリアネットワーク、広域ネットワーク、または電子通信ネットワークの他の好適な構成である。クライアント装置のコンピュータ装置１１０，１２０，１３０，１４０，１５０は、ローカルクライアント・アプリケーションを有し、リモートサーバ１８０は、リモートサーバ・アプリケーションを含む。組み合わせでは、クライアント・アプリケーションおよびリモートサーバ・アプリケーションは、システム１００に対する命令を提供して、対象物を抽出するか、識別するか、または組み込む方法のような明細書中に記載された方法を実行する。画像のデータベースを含むデータストア１７２は、リモートサーバ１８０に接続されている。一実施形態では、画像のデータベースを含む独立型データストア１７４は、電子通信ネットワーク１６０に接続されている。データストア１７４は、コンピュータデバイス１１０，１２０，１３０，１４０，１５０およびリモードサーバ１８０のうちの少なくとも一方により電子通信ネットワークを介してアクセスされる。

システム１００は、デジタル画像処理装置１９０，１９２，１９４により取り込まれる実世界の場面（scene）の画像から画像の物理的対象物を検出して抽出することができる対話型システムを提供する。システム１００は、コンピュータ・ビデオゲームにおいて視覚化および組み込みのためにコンピュータ・ディスプレイ上に抽出対象物を表示する。対象物は、複数の結合ブロック、他の要素、または他の物質から構成される。一実施形態では、システム１００は、組み立てられるべき対象物、例えば飛行機、自動車、家、キャラクター等の提案された形状または構成に関する命令をユーザに供給する。例えば、プロセッサまたはコントローラは、物理的対象物を作成するために、ユーザに、表示された形状を複数のブロックで組み立てさせる命令に従って、形状を選択してディスプレイ上に形状を表示する。提案された構成は、例えばデータストア１７０，１７２，１７４に記憶されている。提案された対象物が抽出された後に、システム１００は、抽出画像と、提案された構成とを比較して、画像または物理的対象物と、提案された構成または形状との一致性、または比較結果を示す評価（rating）またはメトリックを計算する。

図２は、システム１００の構成要素の回路図を示す。システム１００は、インターナルバス２３０に接続されたコントローラまたは中央処理ユニット２７０を含む。デジタル画像処理装置１９０は、入力または出力ポート（図示せず）を介してＣＰＵ２７０に接続されている。また、メモリまたはデータストア１７０は、入力または出力ポートを介してＣＰＵ２７０に接続されている。代替的な実施形態では、データストアに記憶された形状構成が、インターナルバス２３０に接続されたメモリ２４５に記憶されて、データストア１７０の必要性を低減させる。

ＣＰＵ２７０は、デジタル画像処理装置により供給されるデジタル画像を背景検出器２４０に供給する。背景検出器２４０は、ＣＰＵ２７０が命令を実行する専用のハードウェア、ソフトウェアモジュール、およびファームウェアにより具体化される。また、明細書中に説明された他のユニットも、ＣＰＵ２７０が命令を実行する専用のハードウェア、ソフトウェアモジュール、およびファームウェアにより具体化される。背景２２０の境界および端部は、端部検出処理またはアルゴリズムを用いて背景検出器２４０により計算されて抽出される。複数のブロックまたは他の組み立て要素により作成される物理的対象物の画像２０５（図３）（例えば、デジタル画像）から背景２２０（図３）を識別するため、端部の屈曲が計算されて、屈曲が約９０度である位置をコーナーとして検出する。検出された各コーナーは、各コーナーと接続される端部の屈曲と関連付けされる。背景検出器は、インターナルメモリ２４５、または例えば、データストア１７０に記憶するように外部メモリに記憶するために、その結果をＣＰＵ２７０に供給する。背景２２０は、グリッド、パターン、または物理的対象物の画像抽出を行うための視覚的な合図を含む。背景は、必ずしも用いられなくてもよい。

斜視変換補正（perspective transformation correction : PTC）ユニット２５０は、対象物２１０の画像に実質的に位置合わせされた補正視覚的グリッドを計算する。色校正抽出ユニット２６０は、斜視補正グリッドを用いて、背景上に形成された色校正パレットを配置する。パレットのブロックに対応する画像２０５の関連画素の明度は、色校正抽出ユニットにより抽出されて他の色空間表示に変換される。また、領域の色を表示することが選択された背景２２０の背景領域の幾つかの校正ポイントは、色校正抽出ユニット２６０により抽出されて同じＨＳＶ（色彩、彩度、および明度）色空間に変換される。また、他の色空間も用いられ、色は、必ずしも用いられなくてもよい。

ブロック識別ユニット２８０は、幾つかの異なる位置において画像２０５の関連画素の値をサンプリングして抽出する。これらの値は、例えばＨＳＶ色空間に変換される。変換されたデータの色彩の値は、色校正パレットの色彩の値と比較され、任意に背景２２０の領域の色彩の値と比較される。最も小さな差を有する色は、ブロック識別ユニット２８０により選択されて、グリッド位置の色が表示される。ブロック識別ユニット２８０は、画素の明度および彩度のレベルを比較して、ブロックが黒または白に色付けされるかを判定する。ブロックの判定された色が背景の色ではない場合、ブロック識別ユニット２８０は、ブロックが組み立て対象物の一部分であることを識別する。

比較ユニット２９０は、検出された画像の形状と、データベースに記憶された記録とを比較する。比較は、比較ユニットによって補正機能を用いて行われる。
図３は、背景２２０に配置された対象物２１０の画像２０５を示す。対象物２１０は、複数の組み立て用ブロックまたは他の組み立て要素で作成される、実世界の物理的対象物である。同様に、背景２２０は、複数の組み立て用ブロックまたは他の組み立て要素で作成されるか、または紙または厚紙（cardboard）上に印刷される、実世界の物理的対象物である。

抽出されるべき対象物は、予め定義されたパターンを有する背景に取り込まれる。この予め定義されたパターンは、対象物２１０に属する画素を背景２２０に属する画素から識別可能な予め設定された即知の空間特徴を有する。例えば、図３は、四角状のグリッドを有する背景２２０を示す。背景２２０の空間パターンは、複数の結合組み立て用ブロックから作成された対象物２１０を含む画像２０５の画素から識別され、結合組み立て用ブロックは、通常、無地であり、且つ固体である。予め定義されたグリッドは、必ずしも四角状のグリッドでなくてもよく、予め定義された背景パターンの他の実施形態は用いられる。

前景の対象物が背景から青色のスクリーンまたは緑色のスクリーンを用いて分離される彩度基本技術（chroma key technique）と同様な結果のため、システム１００は、抽出された対象物空間および形態的特徴を用いることにより画像２０５から対象物２１０を抽出し、且つ色認識と独立して動作する。

対象物２１０を含む、取り込まれた画像は分析されて、背景２２０から対象物を抽出する。抽出されたとき、対象物２１０は、対象物の予め定義されたデータベースとの比較により形状識別のために分析される。対象物２１０の形状が識別されたとき、デジタル抽出対象物は、プレイヤーとの種々の動的相互作用において用いられる。

図４は、本発明の実施形態に従ったプロセス４００を示す。対象物２１０のマスクは、２Ｄ・ボトムハット演算子（2D bottom hat operator）等の形態的演算子（morphological operator）を用いて抽出される。形態的演算子は、閾値の手法と他の形態的演算子（例えば、閉鎖（closing）と開放（opening））との組み合わせを用いてフィルタされる画像を提供して擬似アーチファクトを除去する。これらの形態的演算子を適用することにより作成された合成マスクは、背景２２０から検出されて分離される対象物２１０を再表示する。

一実施形態では、対象物２１０を抽出して識別するプロセス４００は、以下のように実行される。ステップ４１０において、画像２０５は、背景２２０上に対象物２１０を配置して、その配置のデジタル画像を取得することにより取得される。画像は、パーソナルコンピュータであるコンピュータ装置１１０に接続されたデジタル画像処理装置１９０を用いて取得される。代替的には、画像は、上記した他のコンピュータ装置、およびこれらの他のコンピューティング装置と関連付けされた外部および内部のいずれかのデジタル画像処理装置を用いて取得される。

背景対象物検出
複数のブロックが配置される背景対象物は、特定の色、特定の空間パターン、または対象物の検出および抽出を補助する他のスペクトルまたは空間的な特徴等の即知の特徴を有する任意の表面である。背景対象物２２０は、例えば印刷された紙または厚紙、つまり複数の結合ブロックから形成された表面である。例えば、複数の結合ブロック背景が背景として用いられる場合、プロセス４００は、高コントラストの４つのコーナーを検出することを含み、高コントラストコーナーは、例えば白色の周辺のブロックを用いて暗い色の領域を取り囲むことにより作成される。コーナーは、以下の手段において背景領域の境界が解るように用いられる。

画像の境界は、如何なる端部検出器を用いて計算されて抽出され、端部検出器は、画像内の端部を検出し、例えば慎重なアルゴリズムは、複数段階のアルゴリズム等の一つである。慎重なアルゴリズムは、４つのフィルタを含んで画像内の水平の端部、垂直の端部、斜めの端部を検出する検出演算子を用いる。端部検出演算子は、水平方向および垂直方向の第１導関数（derivative）の値を戻す。これらの導関数から、端部の傾斜および方向が判定される。他の非最大抑制端部検出技術（non-maximal suppression edge detector techniques）はプロセス４００により用いられる。

画像２０５から背景２２０を識別するため、ステップ４２０において、端部の屈曲が計算されて屈曲が約９０度である位置がコーナーとして検出される。図５は、プロセス４００により識別されて図中に「＋」マークで表示されるコーナーを有する結合ブロック背景および対象物を示す。マークされたコーナーの各々は、背景領域の候補コーナーと判定される。

図５に示すように、検出された各候補コーナーは、各候補コーナーと接続される端部の屈曲に関連付けされる。予め設定された閾値内でこれら端部の屈曲がほぼゼロ度と検出される場合、端部の屈曲は直線である。この場合、コーナーは、背景領域のコーナーの候補としてマークされる。候補コーナーの関連付けされた各端部の傾斜が計算され、直線の方程式が抽出される。第１候補コーナーと第２候補コーナーに関連付けされた直線の方程式との差が予め設定された同じ閾値よりも小さい場合、これら２つのコーナーは、同じ直線上にあると判定される。４つのコーナーが四角形を形成する直線と判定される場合、背景領域のコーナーが検出されたと推測される。他のコーナーと同じ直線上にない候補コーナーは、背景コーナーの判定から除外される。

斜視変換補正
背景が必ずしもカメラのレンズ軸と垂直に配向されなく、取得された画像は、正方形及び正確ではない可能性があることに起因して、背景２２０は、長方形、正方形、または他の形状である。ステップ４３０において、検出された背景２２０のコーナーの位置が用いられて、斜視変換計算が実行される。この斜視変換が用いられて、画像２０５に示されるような対象物２１０を形成する複数の結合ブロックの画像に実質的に位置合わせされる補正視覚グリッドを計算する。図６は、斜視変換計算後に重ね合わされた正確なグリッドを有する画像２０５の表示を示す。

校正色抽出
図７は、色校正パレット６１０を示す背景２２０の一つのコーナーの拡大図を示す。背景２２０は、４つのコーナーのうちの１以上のコーナーに配置される色校正パレット６１０を有する。各色校正パレットは、例えば異なる４つの色、例えば赤色、黄色、緑色、および青色の付いたブロックを含む。他の色の数および他の色が用いられてもよい。背景２２０が組み立てられる場合、色の付いたブロックが、例えば結合ブロックを用いて形成される。

ステップ４３０において取得された斜視補正グリッドを用いて、色校正パレット６１０を形成するこれら色の付いた複数のブロックの各々の位置が検出される。ステップ４４０において、パレットのブロックに対応する画像２０５と関連付けされた画素の明度が抽出されて、ＨＳＶ色空間等の他の色空間表示に変換される。また、領域の色を表示するために背景２２０の背景領域から選択された幾つかの校正ポイントは、抽出されて同じＨＳＶ色空間に変換される。

色の付いた組み立てブロックは、追加の分析およびこれらの色の区分を経て、作成された対象物の色モデルを取得する。
図８は、背景２２０の代替的な実施形態を示す。この実施形態では、背景２２０は、紙または厚紙等の好適な平らな表面および材質上に印刷される。ここで、背景２２０は、特定の空間的配置に配置された色の組み合わせを含む色校正パレット６２０を含む。色校正パレット６２０は、色の校正を可能にしてホワイトバランス、ダイナミックレンジ、および色の適合性を補償する。

ブロック識別
ステップ４５０において、各グリッド位置に対して、画像２０５の関連付けされた画素の値は、幾つかの異なる位置においてサンプリングされて抽出される。これらの値は、ＨＳＶ色空間に変換される。変換されたデータの色相の値は、色校正パレットの色相の値と比較され、任意にステップ４４０において取得される背景領域の色相の値と比較される。このグリッド位置の色を表示するために、最も小さな差を有する色が選択される。関連付けされた画素の明度の値は、背景２２０の４つのコーナーに用いられるブロックに関連付けされた黒および白の画素の明度の値および彩度の値と比較される。彩度の値が、色パレットの彩度の値よりも白色の彩度とほぼ等しい場合、且つ彩度の値が高い場合、グリッド位置の色は、白色とマークされる。明度の値が極めて低く、且つ黒色の明度の値とほぼ等しい場合、グリッド位置は、黒色としてマークされる。さもなければ、グリッド位置の色は、色校正パレットから割り当てられた対応する色である。

図９Ａ〜図９Ｃは、ステップ４４０の中間結果を示す。２Ｄ・ボトムハット演算子等の形態的演算子は、１つの閾値手法または１以上の閾値手法（図９Ａを参照）および他の形態的演算子、例えば閉鎖および開放を用いてフィルタされる画像（図９Ａを参照）を付与して、スプリアスアーチファクトを除去する。これらの形態的演算子を適用することにより作成される合成マスクは、背景２２０から分離される対象物２１０を表示する（図９Ｃを参照）。図１０は、プロセス４００による画像２０５からの抽出後の対象物２１０の画像の一例を示す。

対象物２１０の画像が背景２２０から分離されて画像２０５から抽出された後に、プロセス４００は、バイナリー・ラージ・オブジェクト（binary large object : BLOB）分析、標識化、およびモーメント計算を適用することにより抽出された画像の配向のさらなる分析を実行して、より所望の角度に対象物を回転させるように使用可能な計算された角度を取得する。

一実施形態では、検出された対象物と関連付けされた空間的およびスペクトル的特徴のさらなる分析が用いられて、例えば検出された対象物の色ヒストグラムを試験すること、および検出された対象物内の色の付いたセグメントの関係により、対象物をシステム１００に識別させる。この情報は、データストア１７０，１７２，１７４に記憶される。

形状比較および記憶
ステップ４６０，４７０において、画像２０５から抽出された対象物の形状は、データストア１７０、データストア１７２、または１７４内に記憶されたデータベースの記録と比較される。抽出された対象物形状は、例えば正規化補正関数（normalized correlation function）を用いることにより、データベースから入力された形状と比較され、補正関数は、
ｆ（ｃｏｒ）＝（記憶された構成、抽出された形状）、
ｆ（ｃｏｒ）＝記憶された構成が抽出された形状と同じである場合に１であり、
ここで、
記憶された構成は、データストア内であり、
抽出された形状は、例えばプロセス４００により提供される。

他のオペレーションを用いることもできる。一実施形態では、ゲームは、抽出された画像およびその画像の識別に基づいて作成される。コンピュータは、対話方法によりユーザに、抽出のためにコンピュータに供給される実世界の対象物を画像内に作成させる。コンピュータは、コンピュータ・ディスプレイ上にデータベースからの記録を表示して、プレイヤーに、表示された対象物を組み立てるかどうかを質問する。表示された対象物は、例えば自動車である。対象物がプレイヤーにより組み立てられた後に、（例えば、上記した）好適な背景上に配置された対象物の画像が取得される。コンピュータは、対象物の画像を抽出して、その画像とデータベースの記録とを比較する。図１３Ａは、組み立てられた種々の対象物を示す。例として、図１３Ａは、キャラクター１０１０、自動車１０２０、木１０３０、飛行機１０４０、顔１０５０、および家１０６０の形状を有する、実世界の対象物を示す。以下の文章は、ユーザに出力される対話の脚本の一例であり、本実施形態に従った動作に対応する。

コンピュータ：ようこそ、プレイヤー、楽しい物語の冒険に始めましょう！
コンピュータ：まず、キャラクターが必要です。キャラクターの男の子を組み立ててくれますか？
（プレイヤーは、背景上にキャラクターの胴体を組み立てて表示する）
コンピュータ（対象物を抽出して比較した後）：格好いい、すぐにキャラクターに顔を与えよう。キャラクターの顔を組み立ててくれますか？
（プレイヤーは、背景上に顔を組み立てて表示する）
コンピュータ：素晴らしい、ウーン、キャラクターに家を建てよう、家を建てるのを手伝ってくれますか？
（プレイヤーは、背景上に家を建てて表示する）
コンピュータ：それは本当に良い家じゃない。

コンピュータ：ちょっと、あの音は何かな？この音は飛行機かな？飛行機を組み立ててくれますか？
（プレイヤーは、背景上に飛行機を組み立てて表示する）
コンピュータ：それから、この音は何？自動車がクラクションを鳴らしているのかな？自動車を組み立てよう。

（プレイヤーは、背景上に自動車を組み立てて表示する）
間違ったものを表示する場合に、コンピュータは、以下のように応答する。
コンピュータ：それは、格好いい（顔、家、飛行機、自動車、または木）だが、もう一度やり直そう。

構成された対象物の画像を取得することにより、コンピュータ装置は、形状の表示を検出して、ディスプレイスクリーン上の抽出された形状のデジタル表示を示す形状を抽出する。ユーザは、スクリーン上の形状のデジタル表示の配置または他の外観を操作することにより仮想世界を作成可能である。

また、抽出は、画像処理技術を用いて形状の自動認識を含み得る。自動認識を用いて、コンピュータは、ユーザに特定の形状を組み立てるかどうかを質問して、データベース内の予め定義された画像との比較に基づいて幾つかのフィードバックを付与する。

図１１は、例えば上記に示された対話の脚本を含むゲームを具体化するプロセス７００を示す。ステップ７１０において、コンピュータは、プレイヤーに対象物を組み立てるように（ディスプレイまたはモニターを介して）命令する。命令は、例えばサウンドカードを介して音声（言語または音）により、またはコンピュータ・ディスプレイ上に書かれた言葉を視覚的に表示することにより提供される。対象物の画像は、表示されるか、または表示されない。命令された対象物の画像を表示しないことによって、プレイヤーの知識、単語能力、および想像力が発揮される。対象物は、データベースから無作為に選択されるか、または予め設定された順序で選択される。予め設定された順序は、プレイヤーの組み立て能力が対象物の選択の順序により発達するように選択されてもよい。

プレイヤーが対象物を組み立てた後に、プレイヤーは、上記したように好適な背景上に対象物を配置し、デジタル画像処理装置を用いて対象物および背景のデジタル画像を取得する。背景は、必ずしも用いられなくてもよい。

ステップ７３０において、組み立てられた物理的対象物の画像が、デジタル画像から抽出される。抽出は、例えば図４を参照して上述したプロセス４００の方法を用いて実行される。

ステップ７４０において、対象物の抽出された画像は、命令された画像に対応するデータベースの記録と比較される。本発明の一実施形態では、比較は、命令された対象物に対する組み立てられた対象物の適合性を示す評価またはメトリックを提供する。

ステップ７５０において、抽出された画像がビデオゲームに組み込まれて、プレイヤーによりゲームのパラメータ内で利用される。
他のステップまたはステップの順序が用いられてもよい。

他の実施形態では、コンピュータは、形状（例えば、メモリまたはデータベースから取得された予め設定された形状）を無造作に選択して、ディスプレイ装置上に形状を示すかまたは表示する。プレイヤーは、複数のブロックまたは他の組み立て対象物を用いて、例えば時間的条件下で、ゲームの要素として形状を試すかまたは組み立ててもよい。プレイヤーが形状を組み立て終わるとき、プレイヤーは、デジタル撮像装置を用いて、プレイヤーの作成物をコンピュータにアップロードする。コンピュータが対象物を抽出して識別した後に、その対象物は、装置上に示されるオリジナルの形状と比較可能である。比較の結果は、対話型競争の要素（part of an interactive competition）として組み立てタスクの成功または失敗を示すように表示されてもよい。

ユーザは、スクリーンまたはコンピューティング装置上に現れる複数のブロックまたは他の組み立て構成要素から構成される選択形状が提示される。この選択形状は、ユーザが形状を最初に見たときにスタートするタイマーと同時に現れてもよい。タイマーは、どれだけ早くユーザが複数の結合ブロックを用いて形状の組み立てに成功するかを測定するように用いられても良い。

背景が用いられる場合、ユーザは、四角状のブロックを用いて形状を組み立てるように試みて、プレイヤーが組み立てた対象物を背景領域として指定された領域に配置してもよい。コンピューティング装置は、常に、デジタルカメラから取得された画像を分析して、背景領域の対象物の表示を検出してもよい。

対象物が検出された場合、方法の実施形態は、本発明の実施形態のプロセス、例えば上記したプロセス４００を用いて、ユーザにより作成された対象物の形状を抽出してもよい。

プロセスは、ユーザにより組み立てられた対象物の抽出画像と、ターゲット形状として表示された選択形状とを比較して、どれくらいユーザによる形状の組立が成功したかを判定してもよい。比較は、どれくらいユーザの対象物が選択形状に精密に対応するかに基づいて評価またはメトリックを提供してもよい。また、この評価またはメトリックは、対象物を組み立てるのにかかる時間を示す要素を含み、要素は、対象物の複雑さに基づいて変更されてもよい。

図１２は、上記した時間制限を設けた組み立てを具体化したプロセス８００を示す。ステップ８１０において、コンピュータは、予め設定された形状を示す記録を含むデータベースから記録を読み出す。ステップ８２０において、読み出された形状の視覚的画像は、コンピュータ・ディスプレイ上に表示される。

ステップ８３０において、コンピュータは、ディスプレイ上に対象物をプレイヤーに組み立てさせることを要求するメッセージを供給する。任意に、コンピュータは、スクリーン上にタイマーを表示してもよい。（表示されるかまたは表示されない）タイマーは、カウントアップするか、またはカウントダウンして、ユーザが物理的対象物を組み立てるのにかかる時間を測定する。

ユーザの組み立てが完成した、または予め設定された時間が経過したという情報を（例えば、ユーザ入力デバイスを介して）受信した後、ステップ８４０において、コンピュータは、上記した好適な背景上に対象物をユーザに配置させるように命令して、デジタル画像処理装置を用いて対象物および背景のデジタル画像を取得する。背景は、必ずしも用いられなくともよい。ステップ８５０において、コンピュータは、デジタル画像処理装置から画像ファイルとしてデジタル画像を取得する。

ステップ８６０において、組み立てられた対象物の画像は、デジタル画像から抽出される。抽出は、例えば図４を参照して説明されたプロセス４００の方法を用いて実行される。

ステップ８７０において、対象物の抽出された画像は、読み出されたデータベースの記録と比較される。比較は、読み出された記録に対する組み立てられた対象物の適合性を示す評価またはメトリックを提供する。

ステップ８８０において、抽出された画像は、ビデオゲームに組み込まれて、プレイヤーによるゲームのパラメータ内で利用される。
他のステップまたはステップの順序が用いられてもよい。

抽出された画像（または種々の物理的対象物の複数の抽出された画像）は、仮想世界またはビデオゲームの要素としてディスプレイ装置上にデジタル的に表示可能であり、仮想世界およびビデオゲームの少なくとも一方を制限する対象物は、実世界の構造物の集合から設計されて、組み立てられる。図１３Ｂは、コンピュータグラフィックに取り込まれた図１３Ａの実世界の複数の対象物の抽出画像を示す。

図１４は、複数の結合ブロック、背景、および対象物を含む実世界の組み合わせ１０２０が処理された後の抽出された画像１１０を示す。図１４は、内部カメラが備えられたモバイルデバイス１３０，１４０上の抽出画像を示す。

幾つかの実施形態に適用された本発明の必須の新規な特徴が示され、且つ説明されたが、当業者であれば、例示された実施形態の形態、詳細、および動作の省略、置換、および変更が可能であることを理解するだろう。一実施形態から他の実施形態に要素を置換することは、十分に意図され、且つ考えられる。本発明は、明細書に添付された特許請求の範囲、および明細書中の記載の均等物に関して説明されただけである。

Claims (27)

1. 複数のブロックで組み立てられた物理的対象物の画像を抽出するシステムであって、
   コントローラと、
   前記コントローラに接続されたデジタル画像処理装置であって、背景に配置された前記物理的対象物のデジタル画像を供給するように構成される前記デジタル画像処理装置と、
   前記コントローラに接続にされた背景検出ユニットであって、前記デジタル画像の背景の境界および端部を検出するように構成される前記背景検出ユニットと、
   前記コントローラに接続されたブロック識別ユニットであって、前記物理的対象物の画像の要素としてデジタル画像内の複数のブロックを識別するように構成される前記ブロック識別ユニットとを備え、
   前記識別された複数のブロックは、前記抽出された画像を形成する、システム。
2. 前記コントローラと、前記予め設定された複数の形状を記載する記録を有するデータベースを含むデータストアとに接続された比較ユニットをさらに備え、
   前記比較ユニットは、前記抽出された画像と、前記予め設定された複数の形状のうちの対応する形状とを比較するように構成される、請求項１に記載のシステム。
3. 前記コントローラは、ビデオゲームのディスプレイに、前記抽出された画像のデジタル表示を組み込むように構成され、
   前記デジタル表示は、ユーザにより操作される、請求項１に記載のシステム。
4. 前記比較ユニットは、前記物理的対象物と前記対応する形状との適合性の評価を提供するように構成される、請求項２に記載のシステム。
5. 前記コントローラは、前記物理的対象物を生成するために、前記対応する形状を選択し、前記複数のブロックで表示された形状をユーザに組み立てさせる命令に従ってディスプレイユニットに前記形状を表示する、請求項２に記載のシステム。
6. 前記コントローラは、前記ユーザによる前記物理的対象物の組み立てが完成するのにかかる時間を測定するように構成される、請求項５に記載のシステム。
7. 前記コントローラは、前記物理的対象物を生成するために、前記対応する形状を選択して、前記複数のブロックで前記形状をユーザに組み立てさせる命令を提供する、請求項２に記載のシステム。
8. 前記コントローラに接続される斜視変換ユニットであって、前記物理的対象物の画像に実質的に位置合わせされた補正仮想グリッドを計算するように構成された前記斜視変換ユニットをさらに備える、請求項１に記載のシステム。
9. 前記コントローラに接続される色校正抽出ユニットであって、前記補正グリッドに位置合わせされた関連画素をサンプリングすることによりデジタル画像に色校正パレットを配置するように構成された前記色校正抽出ユニットをさらに備える、請求項１に記載のシステム。
10. 複数のブロックで組み立てられた物理的対象物の画像を抽出する方法であって、
    領域を有する背景に配置される前記物理的対象物のデジタル画像を取得するステップと、
    端部検出演算子を用いて前記背景の境界および端部を検出するステップであって、約９０度に計算される端部の屈曲はコーナーを示す、前記境界および端部を検出するステップと、
    前記物理的対象物のデジタル画像の要素として複数のブロックを識別するステップとを備え、
    前記識別するステップは、前記背景領域と比較された前記複数のブロックの色の判定に部分的に基づき、
    前記識別された複数のブロックは、前記抽出された画像を形成する、方法。
11. 前記抽出された画像と、対応する形状を記載するデータベースの記録とを比較するステップをさらに備える、請求項１０に記載の方法。
12. ビデオゲームに前記抽出された画像のデジタル表示を組み込むステップをさらに備え、
    前記デジタル表示は、ユーザにより操作される、請求項１０に記載の方法。
13. 前記物理的対象物と前記対応する形状との適合性の評価を提供するステップをさらに備える、請求項１１に記載の方法。
14. 前記物理的対象物を生成するために、前記複数のブロックで前記表示された形状をユーザに組み立てさせる命令に従ってディスプレイユニット上に前記対応する形状を表示するステップをさらに備える、請求項１１に記載の方法。
15. 前記ユーザによる前記物理的対象物の組み立てが完成するのにかかる時間を測定するステップをさらに備える、請求項１４に記載の方法。
16. 前記対応する形状を選択するステップと、
    前記物理的対象物を生成するために、前記複数のブロックで前記形状をユーザに組み立てさせる命令を供給するステップとをさらに備える、請求項１１に記載の方法。
17. 斜視変換計算を実行して、前記物理的対象物の画像に実質的に位置合わせされた補正仮想グリッドを計算するステップをさらに備える、請求項１１に記載の方法。
18. 前記デジタル画像に色校正パレットを配置し、色校正パレットの画素の明度情報を抽出するステップをさらに備え、
    前記識別するステップは、前記色校正パレットと比較された複数のブロックの色の判定に部分的に基づく、請求項１１に記載の方法。
19. プロセッサにより実行される場合に前記プロセッサに以下の方法を実行させる命令が記憶されるコンピュータ読み取り可能媒体であって、
    該方法は、
    複数のブロックで組み立てられた物理的対象物の画像を抽出すること、
    領域を有する背景に配置される前記物理的対象物のデジタル画像を取得すること、
    端部検出演算子を用いて前記背景の境界および端部を検出するステップであって、約９０度に計算される端部の屈曲はコーナーを示す、前記境界および端部を検出すること、
    前記物理的対象物のデジタル画像の要素として複数のブロックを識別することであって、前記背景領域と比較された前記複数のブロックの色の判定に部分的に基づき、前記識別された複数のブロックは、前記抽出された画像を形成する、前記識別することを備える、コンピュータ読み取り可能媒体。
20. 実行される場合に、前記プロセッサに、前記抽出された画像と、データベースの対応する形状の記録とを比較させる命令をさらに備える、請求項１９に記載のコンピュータ読み取り可能媒体。
21. 実行される場合に、前記プロセッサに、ビデオゲームに前記抽出された画像のデジタル表示を組み込ませる命令をさらに備える、請求項１９に記載のコンピュータ読み取り可能媒体。
22. 実行された場合に、前記プロセッサに、前記物理的対象物と、前記対応する形状との適合性の評価を提供させる命令をさらに備える、請求項２０に記載のコンピュータ読み取り可能媒体。
23. 実行された場合に、前記物理的対象物を生成するために、前記複数のブロックで表示された形状をユーザに組み立てさせる命令に従って前記対応する形状をディスプレイユニット上に前記プロセッサに表示させる命令をさらに備える、請求項２０に記載のコンピュータ読み取り可能媒体。
24. 実行された場合に、前記ユーザによる前記物理的対象物の組み立てが完成するのにかかる時間を、前記プロセッサに測定させる命令をさらに備える、請求項２３に記載のコンピュータ読み取り可能媒体。
25. 実行される場合に、前記プロセッサに、
    前記物理的対象物を生成するために、前記対応する形状を選択させ、且つ前記複数のブロックで前記形状をユーザに組み立てさせる命令を供給させる命令をさらに備える、請求項２０に記載のコンピュータ読み取り可能媒体。
26. 実行された場合に、斜視変換計算を実行して、前記物理的対象物の画像に実質的に位置合わせされた補正仮想グリッドを、前記プロセッサに計算させる命令をさらに備える、請求項１９に記載のコンピュータ読み取り可能媒体。
27. 実行された場合に、前記プロセッサに、
    前記デジタル画像に色校正パレットを配置させ、且つ色校正パレットの画素の明度情報を抽出させる命令を備え、
    前記識別する命令は、前記色校正パレットと比較された複数のブロックの色の判定に部分的に基づく、請求項１９に記載のコンピュータ読み取り可能媒体。