JP2011243019A - 画像表示システム - Google Patents

Abstract

【課題】実空間の撮像画像に、実オブジェクトに対応する仮想オブジェクトの画像を重畳して表示する画像表示システムにおいて、画像処理の簡単化を図る。
【解決手段】ゲームシステム１は、プレーヤＰ１，Ｐ２によって選択された実オブジェクトとカラープレート１１，１２との対応関係が登録される登録部と、登録されたカラープレート１１，１２に対応する仮想オブジェクト１０１，１０２の画像を特定する仮想オブジェクト特定部と、カラープレート１１，１２の着色領域１１ａ，１２ａを認識することにより、カラープレート１１，１２の位置を検出する位置検出部と、実空間の撮像画像におけるカラープレート１１，１２の位置に仮想オブジェクト１０１，１０２の画像を重畳することにより、表示装置９に表示させる合成画像を生成する画像生成部と、を備える。
【選択図】図１

Description

本発明は、現実に存在するオブジェクト（以下、実オブジェクトという）を撮像した実空間の撮像画像に、実オブジェクトに対応付けられた仮想的なオブジェクト（以下、仮想オブジェクトという）の画像を重畳して表示させる画像表示システムに関する。

いわゆる拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の一種として、実オブジェクトを撮像した実空間の撮像画像に、実オブジェクトに対応付けられた３次元の仮想オブジェクトを重畳して表示する技術が知られている（例えば、特許文献１および２参照）。

特許文献１および２には、２次元バーコード等からなる識別コードが印刷されたカードをビデオカメラで撮像し、撮像画像のカード上に、識別コードに対応する仮想オブジェクトの画像を重畳表示するゲームシステムが記載されている。これらのゲームシステムでは、プレーヤが実空間にてカードを移動させると、表示装置に表示される画像において、仮想オブジェクトがカードに追従して移動する。これにより、実空間と仮想空間とを融合した視覚効果を表現することができる。

特開２００５−２３０１５６号公報 特開２００６−０７２６６７号公報

ところで、上記システムでは、個々のカードに対応した仮想オブジェクトをカードの動きに追従して表示させるために、カードに印刷された識別コードの認識とカードの位置の検出とを周期的に連続して行わなければならない。

ところが、カードの位置はプレーヤによって不規則に変更される。そのように位置が不規則に変更されるカードの識別コードを随時認識するためには、複雑な処理が必要となる。また、カードの位置の検出には画像マッチング技術等が用いられるが、その処理も複雑である。そのため、カードの位置を検出しつつ識別コードを認識するという処理を周期的に連続して行う上記システムでは、その処理を行うコンピュータの負荷が大きいという課題があった。

本発明はかかる点に鑑みてなされたものであり、その目的とするところは、実空間の撮像画像に、実オブジェクトに対応付けられた仮想オブジェクトの画像を重畳して表示する画像表示システムにおいて、画像処理の簡単化を図ることにある。

本発明に係る画像表示システムは、実空間を撮像した撮像画像に、複数の実オブジェクトの中からユーザが選択した実オブジェクトに対応する仮想オブジェクトの画像を重畳してなる合成画像を表示装置に表示させる画像表示システムであって、所定の色が付された着色領域を有する１又は２以上の着色部材と、前記着色部材を含んだ前記着色部材よりも大きな領域の実空間を撮像する撮像手段と、複数の実オブジェクトのそれぞれに対応する複数の仮想オブジェクトの画像の情報を記憶した記憶手段と、ユーザによって選択された実オブジェクトを特定する実オブジェクト特定手段と、ユーザによって選択された実オブジェクトと着色部材との対応関係が登録される登録手段と、前記登録手段に前記対応関係が登録されると、前記実オブジェクト特定手段によって特定された実オブジェクトと前記記憶手段に記憶されている情報とに基づいて、前記ユーザによって選択された実オブジェクトに対応する仮想オブジェクトの画像を、登録された着色部材に対応する仮想オブジェクトの画像として特定する仮想オブジェクト特定手段と、前記着色部材の着色領域の色および位置を認識することにより、前記着色部材の位置を検出する位置検出手段と、前記実空間の撮像画像における前記着色部材の位置に応じた位置に、前記仮想オブジェクト特定手段によって特定された仮想オブジェクトの画像を重畳することにより、前記表示装置に表示させる合成画像を生成する画像生成手段と、を備えたものである。

本発明によれば、実空間の撮像画像に、実オブジェクトに対応する仮想オブジェクトの画像を重畳して表示する画像表示システムにおいて、画像処理の簡単化を図ることができる。

ゲームシステムの斜視図である。 ゲームシステムの正面図である。 ゲームフィールドの撮像画像の図である。 撮像画像に仮想オブジェクトを重畳してなる表示画像の図である。 （ａ）は実オブジェクトの斜視図であり、（ｂ）は識別コードの模式図である。 ゲーム機本体のブロック図である。 ゲームシステムの機能ブロック図である。 ゲームシステムが行う処理のフローチャートである。 カラーキャリブレーション処理のフローチャートである。 カラープレートの撮像画像である。

図１および図２に示すように、本実施形態に係る画像表示システムは、拡張現実を利用したゲームシステム１である。ただし、ゲームシステム１は本発明の実施の形態の一例に過ぎず、本発明に係る画像表示システムは、他に種々の形態で実施することができる。

ゲームシステム１は、ゲーム機本体２と、液晶ディスプレイ等からなる表示装置９と、ゲームフィールド６を有する台４とを備えている。ゲームシステム１では、第１のプレーヤＰ１と第２のプレーヤＰ２とが、実在する複数のオブジェクト（実オブジェクト）から任意の実オブジェクトを選び、ゲームフィールド６上でそれぞれ手持ちのカラープレート１１，１２を移動させることによって、表示装置９に表示される仮想的なオブジェクト（仮想オブジェクト）を操作する。本実施形態では、仮想オブジェクトは、実オブジェクトを模擬した３次元の仮想オブジェクトである。ゲームシステム１では、ゲームの開始に先立って、プレーヤＰ１，Ｐ２が選択した実オブジェクトとカラープレート１１，１２との対応関係が予め登録される。ゲーム中は、ゲームフィールド６を撮像した撮像画像（図３参照）におけるカラープレート１１，１２の上に、仮想オブジェクト１０１，１０２の画像が重畳して表示される（図４参照）。

図５（ａ）に示すように、プレーヤＰ１，Ｐ２が選択する実オブジェクトは、３次元のマスコット９０である。ゲームシステム１では、形状、寸法、色彩等が異なる複数の種類のマスコット９０が利用可能である。各マスコット９０の所定箇所、例えば足９１の裏（図５（ｂ）参照）には、２次元バーコードからなる識別コード９５が印刷されている。識別コード９５は、各マスコット９０の種類を識別するためのものである。なお、識別コード９５は２次元バーコードに限らず、他の種類の識別コードであってもよい。また、識別コード９５の印刷箇所は特定の箇所に限定されない。識別コード９５は、マスコット９０の足９５以外の部分に印刷されていてもよい。

図１に示すように、ゲーム機本体２は、撮像手段としてのビデオカメラ３と、画像処理装置５０（図６参照）と、スピーカ７（図６参照）と、それら画像処理装置５０、ビデオカメラ３、およびスピーカ７を収容する筐体５とを備えている。ゲーム機本体２および表示装置９は、台４の上に載置されている。ゲームフィールド６は、プレーヤＰ１，Ｐ２がカラープレート１１，１２を配置するための領域である。本実施形態では、ゲームフィールド６には格子状の線が印刷されている。これにより、ゲームフィールド６は他の領域と明確に区別されている。ただし、ゲームフィールド６はカラープレート１１，１２を配置することができる領域であれば足り、格子状の線等は必ずしも必要ではない。本実施形態では、プレーヤＰ１，Ｐ２はゲームフィールド６上でカラープレート１１，１２をスライドさせることにより、カラープレート１１，１２を移動させる。ただし、ゲームフィールド６は、必ずしもカラープレート１１，１２がスライド可能になっていなくてもよい。例えば、ゲームフィールド６にカラープレート１１，１２を嵌め込むための複数の孔が形成され、プレーヤＰ１，Ｐ２がカラープレート１１，１２を嵌め込む孔を適宜変更することによって、カラープレート１１，１２を移動させるようになっていてもよい。

ゲームシステム１は、プレーヤＰ１，Ｐ２がカラープレート１１，１２をゲームフィールド６上で移動させながら、所定のゲームを行うものである。表示装置９には、ビデオカメラ３で撮像したゲームフィールド６の撮像画像に、カラープレート１１，１２に対応した仮想オブジェクト１０１，１０２の画像を重畳した合成画像が表示される。プレーヤＰ１，Ｐ２は、表示装置９に表示される合成画像を見ながら、カラープレート１１，１２を適宜移動させる。カラープレート１１，１２の位置や仮想オブジェクト１０１，１０２の種類等に応じて、ゲームが進行する。例えば、両プレーヤＰ１，Ｐ２の仮想オブジェクト１０１，１０２同士の距離が接近した場合、両仮想オブジェクト１０１，１０２の相性が良ければ（例えば、同種類の動物である場合等）、両仮想オブジェクト１０１，１０２は会話を行い、逆に、相性が悪ければ（例えば、一方が他方の天敵である場合等）、両仮想オブジェクト１０１，１０２は戦う等のアクションを行う。そのようにして、仮想オブジェクト１０１，１０２の位置や種類等に応じて、ゲームが進行していく。

本実施形態のビデオカメラ３は、ＣＭＯＳイメージセンサ３Ａ（図６参照）を備えている。ＣＭＯＳイメージセンサ３Ａは、実空間の映像を動画像として撮像し、２次元格子状に配列されたデジタルのピクセル（画素）データとして出力するものである。ただし、ビデオカメラ３の種類は特に限定されず、ＣＣＤセンサ等の他の撮像素子を備えたビデオカメラを用いることも可能である。ビデオカメラ３は、カラープレート１１，１２を含めたゲームフィールド６の全体を撮像するように配置されている。なお、本実施形態ではビデオカメラ３はゲームフィールド６の側方に配置されているが、ビデオカメラ３をゲームフィールド６の上方に配置してもよい。ビデオカメラ３の配置位置および姿勢は何ら限定されない。

図６に示すように、画像処理装置５０は、マルチメディアプロセッサ５１と、ＲＯＭ５２と、ＳＤＲＡＭ５３とを備えている。マルチメディアプロセッサ５１は、いわゆるＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）であり、ＣＰＵ５４、グラフィックプロセッサ５５、サウンドプロセッサ５６等を一つの半導体チップ上に集積したプロセッサである。言い換えると、マルチメディアプロセッサ５１は、映像および音声をコンピューティングにより生成、再生、または出力するために必要な機能を備えた単一の半導体チップである。

ＲＯＭ５２は、種々のプログラムおよびデータから構成されるソフトウェアを格納するための不揮発性半導体メモリである。ＲＯＭ５２には、ＣＰＵ５４が実行するプログラムコードおよび当該プログラムコードが使用するデータ、グラフィックプロセッサ５５が利用するグラフィックデータ、並びに、サウンドプロセッサ５６が利用するサウンドデータが格納されている。これらのプログラムコードおよびデータの一部または全部は、圧縮された状態でＲＯＭ５２に格納されている。ＲＯＭ５２の種類は特に限定されず、例えば、書き換え不能なマスクＲＯＭ、一度だけ書き込みが可能なＯＴＰ（Ｏｎｅ Ｔｉｍｅ Ｐｒｏｇｒａｍｍａｂｌｅ）ＲＯＭ、書き換え可能なＮＯＲ型フラッシュメモリ等を用いることができる。

ＳＤＲＡＭ５３は、ＶＲＡＭ兼用メインメモリであり、ＲＯＭ５２の上記プログラムコードおよびデータを展開し、一時保持するための半導体メモリである。マルチメディアプロセッサ５１では、ＵＭＡ（Ｕｎｉｆｉｅｄ Ｍｅｍｏｒｙ Ａｒｃｈｉｔｅｃｔｕｒｅ）を採用しており、マルチメディアプロセッサ５１内のメインシステムバスのバスマスタ（ＣＰＵ５４、グラフィックプロセッサ５５、サウンドプロセッサ５６等）がＳＤＲＡＭ５３を共用している。このＳＤＲＡＭ５３の一部の領域は、グラフィックプロセッサ５５が使用するＶＲＡＭとしても利用される。

次に、マルチメディアプロセッサ５１の各要素を説明する。メインシステムバス５７は、マルチメディアプロセッサ５１内のシステムバスであり、バスマスタがデータを高速に転送するためのものである。メインシステムバス５７には、バスマスタとして、ＣＰＵ５４、カメラインターフェース５８、グラフィックプロセッサ５５、ディスプレイコントローラ５９、およびサウンドプロセッサ５６が接続されている。また、メインシステムバス５７には、バススレーブとしてメモリコントローラ６０が接続されている。

サブシステムバス６１もマルチメディアプロセッサ５１内のシステムバスであるが、メインシステムバス５７と異なり、高速なデータ転送が必要でないデータを転送するためのものである。サブシステムバス６１には、バススレーブとして汎用デジタルＩ／Ｏ６２が接続されている。メインシステムバス５７とサブシステムバス６１とは、バスブリッジ６３を介して接続されている。

ＣＰＵ５４は、プログラムコードを実行するための中央演算処理プロセッサである。ＣＰＵ５４は、後述する識別コード９５の認識処理と、カラープレート１１，１２の色認識処理とを実行する。また、ＣＰＵ５４は、グラフィックプロセッサ５５およびサウンドプロセッサ５６等を制御し、映像や音声を生成、再生、または出力するための指揮を司る。

汎用デジタルＩ／Ｏ６２は、マルチメディアプロセッサ５１に接続される外部デバイスの制御、または外部デバイスとの通信を行うための汎用Ｉ／Ｏである。ここでは、ＣＰＵ５４がＣＭＯＳイメージセンサ３Ａの各種設定（解像度、露光時間、ホワイトバランス等の設定）を行うための通信ポートとして利用される。

カメラインターフェース５８は、ＣＭＯＳイメージセンサ３Ａからの映像信号（ピクセルデータ並びに同期信号等）を受信し、必要に応じてピクセルデータのフォーマット変換や色空間変換を行い、ＳＤＲＡＭ５３にピクセルデータを書き出す。

メモリコントローラ６０は、マルチメディアプロセッサ５１と接続される半導体メモリデバイス、すなわちＲＯＭ５２およびＳＤＲＡＭ５３の制御を行う。また、メモリコントローラ６０は、マルチメディアプロセッサ５１のバスマスタとＲＯＭ５２およびＳＤＲＡＭ５３との間のデータ転送を司る。

サウンドプロセッサ５６は、ＳＤＲＡＭ５３に格納されているＰＣＭデータまたはＡＤＰＣＭデータを音源として、ピッチ変換や振幅制御等の加工を施し、音楽、効果音、人声などの音声を生成または再生し、Ｄ級アンプ６４または外部のＤ／Ａコンバータ（図示せず）に出力する。

グラフィックプロセッサ５５は、３次元グラフィックデータの２次元空間への投影変換処理、２次元画像の加工処理（拡大、縮小、回転等）を行うとともに、これらの処理を通じて得られた２次元のピクセルデータをＳＤＲＡＭ５３（ＶＲＡＭ領域）に書き込む。グラフィックプロセッサ５５は、３次元および２次元の座標変換処理を行うジオメトリ処理部５５Ａと、ピクセルデータ列を生成し、ＶＲＡＭ領域に書き込むピクセル描画部５５Ｂとを有している。グラフィックプロセッサ５５は、カメラインターフェース５８から得られたピクセルデータと、コンピューティングによって生成されたコンピュータ・グラフィックスとを合成することも行う。ただし、この合成は、ディスプレイコントローラ５９で行うことも可能である。

ディスプレイコントローラ５９は、グラフィックプロセッサ５５によって書き込まれたピクセルデータをＶＲＡＭ領域から読み出し、そのピクセルデータを必要に応じて他のビデオプレーンデータ（カメラインターフェース５８から得られたピクセルデータを含む）と合成し、外部の表示装置９に出力するためのデジタル映像信号を生成または出力する。

ビデオエンコーダ６５は、ディスプレイコントローラ５９によって生成されたデジタル映像信号を、ＮＴＳＣ／ＰＡＬ規格のアナログビデオ信号に変換し、外部に出力するものである。出力されるビデオ信号は、映像信号と同期信号が複合されたコンポジットビデオ信号であり、表示装置９に出力される。

次に、ゲームフィールド６の撮像画像に仮想オブジェクト１０１，１０２の画像を重畳して表示する方法、すなわち合成画像の表示方法について説明する。

各プレーヤＰ１，Ｐ２がどのような仮想オブジェクトをどのように移動させたいのかを把握するためには、各プレーヤＰ１，Ｐ２が選択した実オブジェクトの種類と、実空間における各プレーヤＰ１，Ｐ２の操作とを認識する必要がある。ここで例えば、各プレーヤＰ１，Ｐ２がゲームフィールド６上で実オブジェクトを移動させることが考えられる。この場合、ゲームシステム１は、実オブジェクトに印刷された識別コード９５をビデオカメラ３を用いて認識するとともに、画像マッチング技術等を用いて実オブジェクトの位置を検出することになる。しかも、その識別コード９５の認識と実オブジェクトの位置検出とを、一定の周期（例えば、１／１５秒）ごとに行うことになる。しかし、短い周期で識別コード９５の認識および実オブジェクトの位置検出を行うことは、画像処理装置５０の処理の負荷を大きくし、誤認識を招く要因ともなる。そこで、本ゲームシステム１では、実オブジェクトをそのまま用いるのではなく、実オブジェクトの代わりに、着色されたカラープレート１１，１２を用いることとした。すなわち、プレーヤＰ１，Ｐ２が選択した実オブジェクトと各プレーヤＰ１，Ｐ２のカラープレート１１，１２とを対応付けておき、色認識技術を用いてカラープレート１１，１２の色および位置を周期的に検出することによって、プレーヤＰ１，Ｐ２の操作を認識することとした。

図７は、ゲームシステム１の機能ブロック図である。ゲームシステム１は、撮像部７１と、登録部７２と、記憶部７３と、実オブジェクト特定部７４と、仮想オブジェクト特定部７５と、位置検出部７６と、画像生成部７７とを備えている。

撮像部７１は撮像画像を生成する部分である。撮像部７１は、ビデオカメラ３、画像処理装置５０のＣＰＵ５４、およびグラフィックプロセッサ５５等により実現される。

前述したように、ゲームシステム１では、プレーヤＰ１，Ｐ２によって選択された実オブジェクトは、プレーヤＰ１，Ｐ２のカラープレート１１，１２と対応付けられる。登録部７２は、選択された実オブジェクトとカラープレート１１，１２との対応関係が登録される部分である。登録部７２は、例えば、上記対応関係の情報がＳＤＲＡＭ５３に書き込まれることによって実現される。記憶部７３は、実オブジェクトに対応する仮想オブジェクトの画像の情報を記憶している。本実施形態では、仮想オブジェクトの画像は、実オブジェクトの形状、色彩、および模様を模擬した画像である。記憶部７３は、例えば、上記情報のデータが書き込まれたＲＯＭ５２等によって実現される。

実オブジェクト特定部７４は、プレーヤＰ１，Ｐ２によって選択された実オブジェクトの種類を特定する。本実施形態に係る実オブジェクト特定部７４は、実オブジェクトに印刷された２次元バーコードに基づいて、実オブジェクトの種類を特定するように構成されている。実オブジェクト特定部７４は、例えば、２次元バーコードの認識処理を行うＣＰＵ５４等によって実現される。仮想オブジェクト特定部７５は、登録部７２に登録されたプレーヤＰ１，Ｐ２とカラープレート１１，１２との対応関係と、実オブジェクト特定部７４によって特定された各プレーヤＰ１，Ｐ２の実オブジェクトの種類と、記憶部７３に記憶されている情報（すなわち、実オブジェクトに対応する仮想オブジェクトの画像の情報）とに基づいて、各プレーヤＰ１，Ｐ２が使用するカラープレート１１，１２に対応する仮想オブジェクトを、各プレーヤＰ１，Ｐ２の仮想オブジェクト１０１，１０２として特定する。

位置検出部７６は、後述する色認識技術を用いて、カラープレート１１，１２の位置を検出する。画像生成部７７は、撮像部７１が生成したゲームフィールド６の撮像画像に仮想オブジェクト１０１，１０２の画像を重畳することにより、表示装置９に表示すべき合成画像を生成する。

次に、図８のフローチャートを参照しながら、ゲームシステム１が行う各種の処理を説明する。以下の説明では、第１のプレーヤＰ１が白色のマスコット９０（図５（ａ）参照）を選択するとともに第１のカラープレート１１を用い、第２のプレーヤＰ２が黒色のマスコット（図示せず）を選択するとともに第２のカラープレート１２を用いるものとする。

まず、ステップＳ１において、ＲＯＭ５２に格納されているブートローダにより、ゲームプログラムがＳＤＲＡＭ５３にロードされる。すると、ステップＳ２において初期設定が行われる。次に、ステップＳ３に進み、ＣＰＵ５４が後述するカラーキャリブレーション処理を実行する。

前述したように、カラープレート１１，１２の位置の検出には、色認識技術が用いられる。すなわち、ゲームシステム１は、カラープレート１１，１２に付された色に基づいて、カラープレート１１，１２の位置を検出する。なお、カラープレート１１，１２の位置を検出する際、画像処理装置５０のＣＰＵ５４は、本発明に係る位置検出手段として機能する。

図１に示すように、カラープレート１１は、所定の色が付された着色領域１１ａと、着色領域１１ａの周囲を囲む黒枠領域１１ｂとから構成されている。同様に、カラープレート１２も、着色領域１２ａと黒枠領域１２ｂとから構成されている。着色領域１１ａと着色領域１２ａとには、異なる色が付されている。本実施形態では、着色領域１１ａと着色領域１２ａとには、蛍光色が付されている。着色領域１１ａに付された色と着色領域１２ａに付された色とは、互いに色相が大きく異なっていることが好ましい。例えば、ＨＳＶ色空間において、着色領域１１ａの色と着色領域１２ａの色との色相差は９０度〜２７０度であることが好ましく、１３５度〜２２５度であることが更に好ましく、実質的に１８０度であることが特に好ましい。本実施形態では、カラープレート１１の着色領域１１ａには青緑の蛍光色が印刷され、カラープレート１２の着色領域１２ａには赤の蛍光色が印刷されている。なお、黒枠領域１１ｂ，１２ｂには、黒色が印刷されている。

カラープレート１１，１２の位置は、カラープレート１１，１２の着色領域１１ａ，１２ａの位置を検出することによって検出される。本実施形態では、色相、彩度および明度が所定の条件を満たす領域の面積が所定値以上か否かに基づいて、着色領域１１ａ，１２ａが検出される。具体的には、画像処理装置５０のＣＰＵ５４は、着色領域１１ａ，１２ａのそれぞれの色について、色相Ｈ、彩度Ｓ、明度Ｖがそれぞれ下記式（１）〜（２）を満たす領域の面積を演算し、その面積が所定値以上であれば、その領域に着色領域１１ａ，１２ａが存在すると見なす。
Ｈ_Ｎｍｉｎ≦Ｈ≦Ｈ_Ｎｍａｘ ・・・（１）
Ｓ＋Ｖ≧ＳＶ_Ｎｍｉｎ ・・・（２）
なお、Ｎはカラープレートの変数であり、ここではＮ＝１，２である。

ところで、ゲームシステム１の周囲の環境（例えば、周囲の明るさ等）によって、着色領域１１ａ，１２ａの実際の色と、ビデオカメラ３で検出される色との間には差が生じる。そのため、ゲームシステム１の周囲の環境に応じて、色相Ｈの下限値Ｈ_Ｎｍｉｎおよび上限値Ｈ_Ｎｍａｘや、彩度Ｓと明度Ｖとの和の下限値ＳＶ_Ｎｍｉｎを適宜設定することが好ましい。そこで、ゲームシステム１では、ステップＳ３のカラーキャリブレーション処理を行うように構成されている。

次に、図９を参照しながら、カラーキャリブレーション処理の具体的方法について説明する。以下では、カラープレート１１のカラーキャリブレーション処理を説明する。

まず、ステップＳ３１において、撮像画像の所定の点（例えば、ゲームフィールド６の中心位置）Ｐがカラープレート１１の着色領域１１ａ内に位置するように、ビデオカメラ３に対してカラープレート１１を位置付ける（図１０参照）。次にステップＳ３２において、ビデオカメラ３で撮像した撮像画像から点Ｐの色情報、すなわち色相Ｈ（Ｐ）、彩度Ｓ（Ｐ）、および明度Ｖ（Ｐ）を取得する。次にステップＳ３３に進み、ＣＰＵ５４は、色相Ｈ（ｘ）、彩度Ｓ（ｘ）、明度Ｖ（ｘ）が下記式（３）〜（５）を満たす点ｘを探査し、それらの点ｘの集合を、点Ｐを内包する第１の領域Ｓとして特定する。
Ｈ（Ｐ）−Ｈ１１≦Ｈ（ｘ）≦Ｈ（Ｐ）＋Ｈ２１ ・・・（３）
Ｓ（ｘ）≧Ｓ（Ｐ）−Ｓ１ ・・・（４）
Ｖ（ｘ）≧Ｖ（Ｐ）−Ｖ１ ・・・（５）
ここで色相、彩度、明度は、正規化された無次元数であり、０〜２５５の範囲の値をとり得る。なお、Ｈ１１、Ｈ２１、Ｓ１、Ｖ１は所定の正数である。本実施形態では、Ｈ１１＝Ｈ２１＝３０、Ｓ１＝１２０、Ｖ１＝１２０に設定されている。ＣＰＵ５４は上記第１の領域Ｓを特定する際、本発明に係る「第１領域特定手段」として機能する。

次に、ステップＳ３４に進み、ＣＰＵ５４が第１の領域Ｓの色相、彩度、明度の平均値Ｈ_０、Ｓ_０、Ｖ_０を演算する。この際、ＣＰＵ５４は「第１演算手段」として機能する。そして、ステップＳ３５において、ＣＰＵ５４は、色相Ｈ（ｘ）、彩度Ｓ（ｘ）、明度Ｖ（ｘ）が下記式（６）〜（８）を満たす点ｘを探査し、それらの点ｘの集合を、点Ｐを内包する第２の領域Ｓ′として特定する。
Ｈ_０−Ｈ１２≦Ｈ（ｘ）≦Ｈ_０＋Ｈ２２ ・・・（６）
Ｓ（ｘ）≧Ｓ_０−Ｓ２ ・・・（７）
Ｖ（ｘ）≧Ｖ_０−Ｖ２ ・・・（８）
第２の領域Ｓ′は第１の領域Ｓよりも厳しい条件で探査された着色領域である。言い換えると、第２の領域Ｓ′は第１の領域Ｓよりも高精度に探査された着色領域である。Ｈ１２はＨ１１未満の正数、Ｈ２２はＨ２１未満の正数、Ｓ２はＳ１未満の正数、Ｖ２はＶ１未満の正数である。ここでは、Ｈ１２＝３、Ｈ２２＝１２、Ｓ２＝４０、Ｖ２＝４０に設定されている。ＣＰＵ５４は上記第２の領域Ｓ′を特定する際、「第２領域特定手段」として機能する。

次に、ステップＳ３６に進み、ＣＰＵ５４が第２の領域Ｓ′の色相、彩度、明度の平均値Ｈ_０′、Ｓ_０′、Ｖ_０′を演算する。この際、ＣＰＵ５４は「第２演算手段」として機能する。そして、ステップＳ３７において、ＣＰＵ５４は、下記式（９）〜（１０）を色相Ｈ（ｘ）、彩度Ｓ（ｘ）、明度Ｖ（ｘ）の最終的な条件とする。
Ｈ_０′−Ｈ１３≦Ｈ（ｘ）≦Ｈ_０′＋Ｈ２３ ・・・（９）
Ｓ（ｘ）＋Ｖ（ｘ）≧ＳＶ_０ ・・・（１０）
ここで、Ｈ１３はＨ１２以下の正数、Ｈ２３はＨ２２以下の正数、ＳＶ_０はＳ_０′＋Ｖ_０′−ＳＶ１、ＳＶ２のうちの最小値である。ＳＶ１、ＳＶ２は、所定の正数である。本実施形態では、Ｈ１３＝３、Ｈ２３＝１２、ＳＶ１＝８０、ＳＶ２＝３２０に設定されている。なお、前述の式（１）〜（２）において、Ｈ_１ｍｉｎ＝Ｈ_０′−Ｈ１３、Ｈ_１ｍａｘ＝Ｈ_０′＋Ｈ２３、ＳＶ_１ｍｉｎ＝ＳＶ_０となる。

以上がステップＳ３におけるカラーキャリブレーション処理である。図８に示すように、ステップＳ３のカラーキャリブレーション処理が終了すると、ステップＳ４〜Ｓ１０において、カラープレートと実オブジェクトとの対応付けを行う。

まずステップＳ４において、ＣＰＵ５４がカラープレートの変数Ｎを初期化する。すなわち、変数Ｎ＝１とする。次に、ステップＳ５に進み、ＣＰＵ５４がグラフィックプロセッサ５５等を指揮して、プレーヤに実オブジェクトの識別コード９５をビデオカメラ３にかざすように指示する画像を、表示装置９に表示する。なお、表示装置９に画像を表示する代わりに、そのような指示を伝える音声をスピーカ７から出力するようにしてもよい。この識別コード９５は、Ｎ番目のカラープレートに対応付けられる。この画像を見たプレーヤは、識別コード９５がビデオカメラ３に撮像されるように、自分が選択した実オブジェクトをビデオカメラ３にかざす。本実施形態では、識別コード９５は、実オブジェクトであるマスコット９０の足９１の裏に印刷されている（図５参照）。そのため、ユーザは、マスコット９０の足９１の裏をビデオカメラ３にかざすことになる。

すると、ステップＳ６において、ＣＰＵ５４によって識別コード９５の認識処理が行われる。この認識処理は、識別コード９５である２次元バーコードを読み取り、その２次元バーコードの情報に基づいて、実オブジェクトの種類を特定する処理である。２次元バーコードの読み取り処理は周知の技術であるので、その詳細な説明は省略する。本実施形態では、各種の周知技術を利用することができる。なお、ステップＳ６の認識処理を実行する際、ＣＰＵ５４は実オブジェクト特定手段として機能する。

ステップＳ７では、ＣＰＵ５４によって、所定時間内に正当なコードが認識されたか否かが判定される。判定結果がＮＯの場合には、ステップＳ５に戻り、上述の処理をやり直す。判定結果がＹＥＳの場合には、ステップＳ８に進む。

ステップＳ８では、ステップＳ６で特定された実オブジェクトと、Ｎ番目のカラープレートとの対応関係が登録される。例えば、ＣＰＵ５４がＳＤＲＡＭ５３に上記対応関係のデータを保存する。この際、ＳＤＲＡＭ５３は登録手段として機能する。

次に、ステップＳ９に進み、変数Ｎの値が、使用するカラープレートの総数と等しいか否かが判定される。ここでは、変数Ｎ＝１であり、使用するカラープレートの枚数が２であるため、判定結果はＮＯとなる。ステップＳ９の判定結果がＮＯの場合には、ステップＳ１０に進み、変数Ｎの値をインクリメントする。すなわち、変数Ｎの値を１つ大きくする。ステップＳ１０の後は、ステップＳ５に戻り、再び上述の処理を繰り返す。言い換えると、次のカラープレートを対象として、ステップＳ５以降の処理が行われる。一方、ステップＳ９の判定結果がＹＥＳであれば、カラープレートと実オブジェクトとの対応付けを終了し、ゲームのメイン処理に進む。

本ゲームシステム１では、カラープレート１１，１２の撮像画像と仮想オブジェクト１０１，１０２の画像とを重畳させた合成画像を用いて、様々なゲームが可能である。プレーヤＰ１，Ｐ２は表示装置９に表示される合成画像を見ながら、ゲームフィールド６上で自分のカラープレート１１，１２を移動させる。これに応じて合成画像上では、仮想オブジェクト１０１，１０２がそれぞれのカラープレート１１，１２に追従して移動する。そして、両プレーヤＰ１，Ｐ２の仮想オブジェクト１０１，１０２同士が所定のアクション（例えば、会話を行う、戦う、等）を行うことによって、ゲームが進行する。ゲームのメイン処理では、ＣＰＵ５４により、カラープレート１１，１２の色および位置の検出処理と、仮想オブジェクト１０１，１０２をカラープレート１１，１２の上に重畳表示する処理とが、周期的に連続して行われる。

カラープレート１１，１２の位置は、カラープレート１１，１２の着色領域１１ａ，１２ａの位置を検出することによって検出される。詳しくは、ＣＰＵ５４は、撮像画像の全ピクセルの色情報、すなわち色相Ｈ、彩度Ｓ、および明度Ｖを取得し、それらがカラープレート１１，１２ごとに定められた所定の条件式を満たす領域を演算する。そして、ＣＰＵ５４はその領域を着色領域として検出する。例えば、ＣＰＵ５４は、カラープレート１１について、前述の条件式（９）〜（１０）を満たす点ｘの集合を着色領域１１ａとして検出し、その着色領域１１ａの位置をカラープレート１１の位置とする。なお、便宜上、着色領域１１ａ内の所定点（例えば中央の点）、カラープレート１１内の所定点（例えば中央の点）を、それぞれ着色領域１１ａ、カラープレート１１の位置としてもよい。ＣＰＵ５４は、他のカラープレート１２についても同様に、所定の条件式、すなわち下記の式（１１）〜（１２）を満たす点ｘの集合を着色領域１２ａとして検出し、その着色領域１２ａの位置をカラープレート１２の位置とする。
Ｈ_２ｍｉｎ≦Ｈ≦Ｈ_２ｍａｘ ・・・（１１）
Ｓ＋Ｖ≧ＳＶ_２ｍｉｎ ・・・（１２）

カラープレート１１，１２とプレーヤが選択した実オブジェクトとの対応関係は登録部７２に登録されており、また、実オブジェクトに対応する仮想オブジェクト１０１，１０２の情報は記憶部７３に記憶されている。そのため、カラープレート１１，１２の着色領域１１ａ，１２ａの色を検出することにより、そのカラープレート１１，１２上に表示させるべき仮想オブジェクト１０１，１０２を容易に認識することができる。したがって、ゲームのメイン処理において、プレーヤＰ１，Ｐ２によるカラープレート１１，１２の移動に応じて仮想オブジェクト１０１，１０２を所定の位置に表示させる処理は、迅速かつ容易に行われる。

なお、仮想オブジェクト１０１，１０２は、常にカラープレート１１，１２の上に表示させるようにしてもよいが、仮想オブジェクト１０１，１０２を所定時間前のカラープレート１１，１２の上に表示するようにしてもよい。これにより、仮想オブジェクト１０１，１０２があたかもカラープレート１１，１２を追いかけるような演出が可能となる。仮想オブジェクト１０１，１０２はカラープレート１１，１２の位置に応じた位置に表示すればよく、具体的な表示位置は特に限定される訳ではない。

以上のように、ゲームシステム１では、プレーヤＰ１，Ｐ２がゲームフィールド６上でカラープレート１１，１２を操作すると、表示装置９には、プレーヤＰ１，Ｐ２が選択した実オブジェクトに対応する仮想オブジェクト１０１，１０２の画像が、カラープレート１１，１２に重畳するように表示される。プレーヤＰ１，Ｐ２がゲームフィールド６上でカラープレート１１，１２を移動させると、表示装置９において、仮想オブジェクト１０１，１０２がカラープレート１１，１２に追従するように表示される。ゲームシステム１では、実オブジェクトに対応する仮想オブジェクトの画像の情報が予め記憶されており、また、ゲームを始める前にカラープレート１１，１２と実オブジェクトとの対応関係が登録される。そのため、ゲームシステム１によれば、カラープレート１１，１２の着色領域１１ａ，１２ａの色に基づいて、表示すべき仮想オブジェクト１０１，１０２を容易に特定することができる。また、カラープレート１１，１２の着色領域１１ａ，１２ａの位置を検出することにより、仮想オブジェクト１０１，１０２を表示すべき位置を容易に特定することができる。このように、ゲームシステム１によれば、プレーヤＰ１，Ｐ２がどのような仮想オブジェクトをどの位置に出現させたいかを、色認識技術を用いて特定することができる。したがって、画像処理の簡単化を図ることができる。本実施形態によれば、画像処理装置５０に大きな負荷をかけることなく、仮想オブジェクト１０１，１０２をカラープレート１１，１２に追従しかつ重畳するように表示することができる。

本実施形態のゲームシステム１によれば、識別コードが付された実オブジェクト（例えば、マスコットやカード等）自体をゲームフィールド６上で動かし、その識別コードを所定の周期で読み取るようなシステムと異なり、識別コードの読み取りは一回で済む。また、ゲーム中は、識別コードを読み取る代わりに、カラープレート１１，１２の着色領域１１ａ，１２ａの色を認識することにより、表示すべき仮想オブジェクト１０１，１０２を特定する。そのため、実オブジェクトに対応しない仮想オブジェクトを誤って表示してしまうおそれが少ない。このように、本実施形態のゲームシステム１によれば、画像処理の簡単化および精度の向上を図ることができる。

カラープレート１１，１２には、着色領域１１ａ，１２ａの周囲に黒枠領域１１ｂ，１２ｂが形成されている。着色領域１１ａ，１２ａと黒枠領域１１ｂ，１２ｂとでは、色情報すなわち色相、明度、および彩度が大きく異なる。そのため、着色領域１１ａ，１２ａと黒枠領域１１ｂ，１２ｂとの境界が明確となり、着色領域１１ａ，１２ａの領域を容易に検出することができる、したがって、着色領域１１ａ，１２ａの位置、ひいてはカラープレート１１，１２の位置を容易かつ正確に検出することができる。

本実施形態では、カラープレート１１，１２の着色領域１１ａ，１２ａには、蛍光色が付されている。そのため、カラープレート１１，１２の位置をより一層容易かつ正確に検出することができる。

カラープレート１１，１２の位置は、撮像画像において、色相が所定の条件を満たし、かつ、彩度と明度との和が所定の条件を満たす領域の面積が所定値以上か否かに基づいて検出される。これにより、画像マッチング技術を用いる場合等に比べて、カラープレート１１，１２の位置を簡単に検出することができる。また、彩度および明度のそれぞれに条件を課す場合に比べて、手や体等の影や、撮像範囲内の場所による照明の当たり具合のバラツキによる影響を受けにくくすることができる。したがって、カラープレート１１，１２の位置を簡単に高効率に検出することができる。

ゲームシステム１では、ゲームのメイン処理に先立って、前述したカラーキャリブレーション処理を実行する（図９参照）。そのため、カラープレート１１，１２の色および位置の検出の精度を高めることができる。したがって、仮想オブジェクト１０１，１０２の表示の精度を向上させることができる。

ゲームシステム１では、ビデオカメラ３で撮像された実オブジェクトの識別コードの撮像画像に基づいて、実オブジェクトの種類が特定される。すなわち、ゲームフィールド６を撮像するビデオカメラ３が、実オブジェクトの種類を特定する手段の一部として流用される。したがって、実オブジェクトの種類を特定する手段を別途設ける必要がなく、システム構成の簡素化を図ることができる。ただし、本発明において、ビデオカメラ３とは別に、実オブジェクトの種類を特定する手段を別途設けることも可能である。例えば、実オブジェクトにＩＣタグを設けておき、そのＩＣタグに格納された情報を読み取る無線の通信手段等を用いることも可能である。

なお、仮想オブジェクトは実オブジェクトを模擬した３次元のオブジェクトに限らず、実オブジェクトに類似しない２次元または３次元のオブジェクト等であってもよい。ただし、本実施形態のように、実オブジェクトを模擬した３次元のオブジェクトを仮想オブジェクトとすれば、プレーヤが選択した実オブジェクト（動かないマスコット）があたかも合成画像において現実に存在し、行動するかのように表示されるので、プレーヤの趣向性を高めることができる。

なお、前述の実施形態は本発明の実施の形態の一例に過ぎず、本発明は他に種々の形態で実施することができる。

本発明に係る画像表示システムは、ゲームシステム１の全体を構成していてもよく、ゲーム機本体２のみを構成していてもよい。すなわち、本発明に係る画像表示システムは、汎用的な表示装置９を利用することができ、必ずしも当該画像表示システムの構成要素の一つとして表示装置９を備えている必要はない。

前記実施形態では、ゲームシステム１は、ゲーム機本体２および表示装置９を置くための専用の台４を備えていた。また、台４にゲームフィールド６が設けられ、プレーヤＰ１，Ｐ２は台４の上でカラープレート１１，１２を移動させることとしていた。しかし、ゲームシステム１は、必ずしもゲーム機本体２および表示装置９を置くための専用の台４を備えている必要はない。例えば、専用の台４の代わりに、床や汎用的な台（例えば、プレーヤが家庭で所有するテーブル等）を流用してもよい。前記実施形態では、ゲームフィールド６に格子状の線が印刷されているが、この線は必ずしも必要ではない。床や汎用的な台の一部をゲームフィールド６として利用してもよい。

前記実施形態では、実オブジェクトはマスコット９０であった。しかし、実オブジェクトの種類は何ら限定されない。実オブジェクトとして、例えば、自動車等の乗り物や建築物等の模型を用いてもよく、円柱や立方体などの単純な３次元形状物を用いてもよい。

仮想オブジェクトは実オブジェクトを模擬したものでなくてもよい。すなわち、仮想オブジェクトは、実オブジェクトと同一または類似の形状でなくてもよい。仮想オブジェクトは、実オブジェクトと対応付けられたものであればよい。例えば前記実施形態において、実オブジェクトとしてマスコット９０の代わりに、マスコット９０を表す文字または絵が印刷されたカード等を用いてもよい。

前記実施形態では、実オブジェクトの識別に際して、２次元バーコードからなる識別コードを利用することとしていた。識別コードを用いることにより、実オブジェクトの種類を容易に検出することができる。しかし、実オブジェクトの識別に関して、識別コード以外の手段を用いることも可能である。例えば、画像認識技術を利用し、実オブジェクトの形状や色彩等から実オブジェクトの種類を検出することも可能である。また、入力装置を設けておき、プレーヤがその入力装置を用いて実オブジェクトの種類を入力することにより、実オブジェクトの種類を認識するようにしてもよい。入力装置には、ゲーム機本体２に設けられたボタン、ゲーム機本体２と別体のコントローラ、表示装置９に設けられたタッチパネル等を用いることができる。

前記実施形態では２枚のカラープレート１１，１２が用いられていたが、カラープレートの枚数は２枚に限らず、１枚であってもよく、３枚以上であってもよい。プレーヤの人数も２人に限られない。また、前記実施形態では、各プレーヤが１枚のカラープレートを用いていたが、各プレーヤが２枚以上のカラープレートを用いることも可能である。

本発明に係る着色部材はカラープレート１１，１２に限定されない。プレート状の部材を用いると、着色領域の色認識が容易となる。しかし、着色部材として、プレート状の部材以外の部材を用いることも勿論可能である。

着色領域の色は蛍光色に限らず、他の色であってもよい。なお、着色領域の色には、有彩色だけでなく、無彩色（例えば白色）も含まれる。

１ ゲームシステム
２ ゲーム機本体
３ ビデオカメラ（撮像手段）
４ 台
６ ゲームフィールド
９ 表示装置
１１，１２ カラープレート（着色部材）
１１ａ，１２ａ 着色領域
１１ｂ，１２ｂ 黒枠領域
Ｐ１，Ｐ２ プレーヤ（ユーザ）
９０ マスコット（実オブジェクト）
９５ 識別コード
１０１，１０２ 仮想オブジェクト

Claims (7)

1. 実空間を撮像した撮像画像に、複数の実オブジェクトの中からユーザが選択した実オブジェクトに対応する仮想オブジェクトの画像を重畳してなる合成画像を表示装置に表示させる画像表示システムであって、
   所定の色が付された着色領域を有する１又は２以上の着色部材と、
   前記着色部材を含んだ前記着色部材よりも大きな領域の実空間を撮像する撮像手段と、
   複数の実オブジェクトのそれぞれに対応する複数の仮想オブジェクトの画像の情報を記憶した記憶手段と、
   ユーザによって選択された実オブジェクトを特定する実オブジェクト特定手段と、
   ユーザによって選択された実オブジェクトと着色部材との対応関係が登録される登録手段と、
   前記登録手段に前記対応関係が登録されると、前記実オブジェクト特定手段によって特定された実オブジェクトと前記記憶手段に記憶されている情報とに基づいて、前記ユーザによって選択された実オブジェクトに対応する仮想オブジェクトの画像を、登録された着色部材に対応する仮想オブジェクトの画像として特定する仮想オブジェクト特定手段と、
   前記着色部材の着色領域の色および位置を認識することにより、前記着色部材の位置を検出する位置検出手段と、
   前記実空間の撮像画像における前記着色部材の位置に応じた位置に、前記仮想オブジェクト特定手段によって特定された仮想オブジェクトの画像を重畳することにより、前記表示装置に表示させる合成画像を生成する画像生成手段と、
   を備えた画像表示システム。
2. 前記着色部材は、前記着色領域の周囲を囲む黒枠領域を有している、請求項１に記載の画像表示システム。
3. 前記着色部材の着色領域には蛍光色が付されている、請求項１または２に記載の画像表示システム。
4. 前記位置検出手段は、色相が所定の条件を満たし、かつ、彩度と明度との和が所定の条件を満たす領域の面積が所定値以上か否かに基づいて、前記着色部材の位置を検出する、請求項１〜３のいずれか一つに記載の画像表示システム。
5. 前記位置検出手段は、
   前記着色領域内の所定点の色相、彩度、明度の値をそれぞれＨｐ、Ｓｐ、Ｖｐとしたときに、
   色相Ｈ、彩度Ｓ、明度Ｖが、前記所定点を含み、かつ、Ｈｐ−Ｈ１１≦Ｈ≦Ｈｐ＋Ｈ２１、Ｓ≧Ｓｐ−Ｓ１、Ｖ≧Ｖｐ−Ｖ１（ただし、Ｈ１１、Ｈ２１、Ｓ１、Ｖ１は所定の正数）を満たす第１領域を特定する第１領域特定手段と、
   前記第１領域の色相、彩度、明度のそれぞれの平均値Ｈ_０、Ｓ_０、Ｖ_０を演算する第１演算手段と、
   色相Ｈ、彩度Ｓ、明度Ｖが、前記所定点を含み、かつ、Ｈ_０−Ｈ１２≦Ｈ≦Ｈ_０＋Ｈ２２、Ｓ≧Ｓ_０−Ｓ２、Ｖ≧Ｖ_０−Ｖ２（ただし、Ｈ１２はＨ１１未満の正数、Ｈ２２はＨ２１未満の正数、Ｓ２はＳ１未満の正数、Ｖ２はＶ１未満の正数）を満たす第２領域を特定する第２領域特定手段と、
   前記第２領域の色相、彩度、明度のそれぞれの平均値Ｈ_０′、Ｓ_０′、Ｖ_０′を演算する第２演算手段と、を有し、
   Ｈ_０′−Ｈ１３≦Ｈ≦Ｈ_０′＋Ｈ２３、Ｓ＋Ｖ≧ＳＶ_０（ただし、Ｈ１３はＨ１２以下の正数、Ｈ２３はＨ２２以下の正数。ＳＶ_０は、Ｓ_０′＋Ｖ_０′−ＳＶ１、ＳＶ２のうちの最小値であって、ＳＶ１、ＳＶ２はそれぞれ所定の正数）を満たす領域の面積が所定値以上であるか否かに基づいて、前記着色部材の位置を検出する、請求項４に記載の画像表示システム。
6. 前記実オブジェクトには、当該実オブジェクトを識別するための識別コードが付され、
   前記実オブジェクト特定手段は、前記撮像手段によって撮像された前記実オブジェクトの識別コードの画像に基づいて、前記実オブジェクトを特定するように構成されている、請求項１〜５のいずれか一つに記載の画像表示システム。
7. 前記仮想オブジェクトは、前記実オブジェクトを模擬した３次元のオブジェクトである、請求項１〜６のいずれか一つに記載の画像表示システム。

Images