JP2005185617A - バーチャルリアリティスポーツシステム - Google Patents

Abstract

【構成】 ＶＲスポーツシステム１０では、スノーボードゲームのためにターン入力装置１６を用い、トレイニー２２がボード２０上に乗ってボード２０を回転させる。スクリーン１２の前方にターン入力装置１６を含む画像を撮影するＵＳＢカメラ２６を配置し、このＵＳＢカメラ２６からの画像を処理（マスク、色相変換、２値化、膨張、面積フィルタ）することによって重心座標を計測し、その重心座標とボード２０の回転半径からマーカ２４の回転角を計算する。その回転角に応じてスクリーン１２上の画像を変化させることによって、スノーボードゲームのための映像が表示される。
【効果】 ＵＳＢカメラからの画像処理によってボードの回転角を検出することができるので、大掛かりなターン入力装置は不要となり、さらにはターン入力装置１６をサッカー入力装置７４（図１７）に置換するだけで簡単に種目変更してサッカーを行なえるようになる。
【選択図】 図１

Description

この発明はバーチャルリアリティスポーツシステムに関し、特にたとえば、訓練者、被験者、患者等（以下、まとめて「トレイニー」と呼ぶ。）にスノーボードやサッカー等のバーチャルリアリティ（Virtual Reality：仮想現実。以下、「ＶＲ」とする。）スポーツを行わせて機能回復や身体強化を図る、リハビリテーションやトレーニングのためのＶＲスポーツシステムに関する。

たとえば、特許文献１−特許文献４（特許文献３は特許文献２の分割であり、特許文献４は特許文献３の分割である。）において、ターン操作入力を行なえる入力手段を有するゲーム装置が提案されている。これらの特許文献１−特許文献４の先行技術によれば、たとえばスキー、スノーボードまたはスケートボードを模したＶＲ滑走ゲームを実現することができる。
特開平８−２８０９３６号公報[A63F 9/22 A63FB 69/18] 特開平９−７４２号公報[A63F 9/22 A63B 69/00 69/18 G09B 9/00] 特開平１０−２０７３４１号公報[G09B 9/00 A63B 69/00 69/18 A63F 9/22] 特開平１０−３４００４０号公報[G09B 9/00 A63B 69/00 69/18 A63F 9/22] 山地、吉井、和田、田中、塚本「バーチャルテニスによるリハビリテーションの実現−テニスによって得られるリハビリテーションの効果」日本機械学会ロボティクス・メカトロニクス講演会ＣＤ−ＲＯＭ２００１年６月

従来のＶＲ滑走ゲームでは、特に特許文献２に詳しく説明されているような操作入力装置を用いる。この操作入力装置は、揺動装置とその揺動装置にスイング操作を行なえるように回動自在に固定された入力ボードとを有し、スイングセンサによって入力ボードのスイング角を検出するようになっている。

しかしながら、この従来技術のターン操作入力装置では入力ボードを揺動装置に片持ち梁の形態で保持しなければならず、ゲーム装置として安全な程度の機械的強度を得ようとすると、装置が大型化するとともに、非常に高価になってしまう。

他方、本件発明者等は、非特許文献１等において、ＶＲスポーツゲームをリハビリテーションのためのツールとして利用することによって、モチベーションの低下を防いでリハビリテーションの実効を挙げることを提案している。そこで、従来技術にあるようなＶＲ滑走ゲームをリハビリテーション用ＶＲスポーツシステムに組み込むことを考えている（特願２００３−３０２９９３）が、そのＶＲスポーツシステムそれ自体によって収益をあげるものではないリハビリテーション応用では、業務用ゲーム装置である従来技術のような高価で大型のターン操作入力装置を使用することは現実的ではない。

それゆえに、この発明の主たる目的は、より簡単かつ安価な入力装置を用いる、リハビリテーションに適したＶＲスポーツシステムを提供することである。

請求項１の発明は、トレイニーが操作する用具の状態に従って表示画面上でバーチャルリアリティ（ＶＲ）スポーツゲームを進行させる、ＶＲスポーツシステムであって、用具を撮影するカメラ、用具に設けられるマーカ、カメラからの画像信号を処理することによってマーカの移動相関要素を検出するための移動相関要素検出手段、および移動量相関要素に応じてＶＲスポーツゲームを進行させるゲーム進行手段を備える、ＶＲスポーツシステムである。

請求項１の発明では、ＶＲスポーツシステム（１０：実施例で相当する部分を示す参照符号。以下同様。）は、トレイニーが用具（１６，７４）を操作し、その用具の状態に従ってたとえばスクリーン（１２）の表示画面上にＶＲスポーツゲーム画像を表示する。カメラ（２６）は、たとえばスクリーンの前方に用具を撮影できるように設置される。このカメラは用具を含んで全体を撮影し、その画像信号をたとえばコンピュータからなる移動相関要素検出手段（３２，Ｓ３：Ｓ３１−Ｓ３８，Ｓ１５：Ｓ１５１−Ｓ１５７）が処理することによって、用具に設けられているマーカ（２４，８８）の移動相関要素、たとえば回転角、移動量などが検出され、たとえば同じコンピュータからなるゲーム進行手段（３２，Ｓ５−Ｓ９，Ｓ１７−Ｓ２３）が、検出された移動量相関要素に応じてＶＲスポーツゲームを進行させる。

請求項１の発明によれば、カメラからの画像信号の処理によってマーカの移動量相関要素を検出するようにしたので、用具として大掛かりなもの、たとえばターン入力装置などを用いる必要はない。

請求項２の発明は、マーカは特定の色を有し、さらに特定の色の色相値を設定する色相設定手段を備え、移動相関要素検出手段は、色相値に従って画像信号から特定の色の領域を抽出する色相獲得手段、および特定の色の領域を含む画像信号に面積フィルタ処理を施す面積フィルタ手段を含み、面積フィルタ処理で最大面積の部分をマーカと判定する、請求項１記載のバーチャルリアリティスポーツシステムである。

請求項２の発明では、マーカにはたとえば青色のような特定の色を付け、他方、色相設定手段（４１ｂ）に抽出または獲得したい色相値を予め設定しておき、色相獲得手段（Ｓ１３，Ｓ１５３）によってその色相値またはその近傍値の色部分だけを取り出し、面積フィルタ手段（Ｓ３６，Ｓ１５６）でその特定色部分に面積フィルタ処理を施すことによって、マーカを簡単に特定できる。したがって、画像処理によって移動量相関要素を検出するようにしても、比較的高速に検出できる。

請求項３の発明は、用具は、第１スポーツゲームのための第１用具と第２スポーツゲームのための第２用具とを含み、第１用具に第１マーカが設けられ、第２用具に第２マーカが設けられ、第１用具と第２用具とを交換することによって第１スポーツゲームまたは第２スボーツゲームをプレイできる、請求項１または２記載のＶＲスポーツシステムである。

請求項３の発明では、第１用具はたとえばスノーボードゲームのためのターン入力装置（１６）であり、第２用具はたとえばサッカーゲームのためのサッカー入力装置（７４）である。ターン入力装置のボード（２０）に第１マーカ（色球２４）が付着され、サッカー入力装置にはトレイニーが実際に蹴ることができる色球（８８）が第２マーカとして設けられる。移動量相関要素検出手段は、カメラからの画像信号を処理することによって、第１マーカ（すなわちボード）の回転角または第２マーカ（すなわち色球）の移動量を検出する。したがって、ゲーム進行手段が、検出された回転角に応じてスノーボードゲームを、または色球の移動量に応じてサッカーゲームをそれぞれ進行させることができる。

請求項３の発明によれば、第１用具と第２用具とを交換することによって第１スポーツゲームまたは第２スボーツゲームをプレイできる。

請求項４の発明は、用具は回転可能に支持されかつその上にトレイニーが乗れるボードを含み、マーカがボードに関連して設けられ、移動相関要素検出手段は移動相関要素としてボードの回転角を検出する、請求項1ないし３のいずれかに記載のバーチャルリアリティスポーツシステムである。

請求項４の発明では、用具はたとえばスノーボードゲームのためのターン入力装置（１６）であり、ターン入力装置のボード（２０）にマーカ（色球２４）が付着される。移動量相関要素検出手段は、カメラからの画像信号を処理することによって、ボードの回転角を検出する。

請求項５の発明は、用具はトレイニーが足で蹴れるボールを含み、マーカがボールに関連して設けられ、移動相関要素検出手段は移動相関要素としてボールの移動量を検出する、請求項1ないし４のいずれかに記載のバーチャルリアリティスポーツシステムである。

請求項５の発明では、用具はたとえばサッカーゲームのためのサッカー入力装置（７４）である。このサッカー入力装置にはトレイニーが実際に蹴ることができるボール（８８）が含まれ、このボールがマーカとしても機能する。移動量相関要素検出手段は、カメラからの画像信号を処理することによって、ボールの移動量を検出する。

請求項６の発明は、ボールがトレイニーに蹴られたとき自由に飛翔するのを防止する飛翔防止手段をさらに設けた、請求項５記載のバーチャルリアリティスポーツシステムである。

請求項６の発明では、ボール（８８）にネット（８６）を被せ、このネットにひも（８２）を装着し、そのひもをゴム（８０）につなぎ、ゴムをマット（７６）などで固定することによって、トレイニーが実際にボールを蹴っても、ボールが自由空間内を自由に飛翔することがない。したがって、ネットやゴムなどが飛翔防止手段として機能する。

この発明によれば、カメラからの画像信号の処理によってマーカの移動量相関要素を検出するようにしたので、大掛かりな用具を用いる必要はない。そのため、より簡単かつ安価な入力装置を用いることができ、リハビリテーションに適したＶＲスポーツシステムを提供することができる
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１に示すこの発明の実施例のＶＲスポーツシステム１０は、スクリーン１２を含み、このスクリーン１２上にプロジェクタ１４によってＶＲスポーツゲームのための映像を表示する。この実施例では、床面上の空きスペースを十分確保するために天吊り型のプロジェクタ１４を用いたが、床面据置型のプロジェクタが利用されてもよい。さらに、この実施例では、スクリーン１２とプロジェクタ１４との組み合わせからなる映像表示装置を用いるが、たとえば大画面テレビジョンなどの他の映像表示装置が利用されてもよい。

この実施例のＶＲスポーツシステム１０において実行可能なＶＲスポーツの種目は、後述のように、主として腰を中心とした全身運動のためのスノーボード、および主として下肢の運動のためのサッカーである。なお、スノーボードとは、実際には、スキーゲレンデで行うもので、１枚の板に横向きで乗り、斜面を滑走するスポーツである。

スノーボードの場合にはターン入力装置１６を用いる。このターン入力装置１６は、後に詳細に説明するが、ベース１８と、このベース１８上に回動可能に支持されたボード２０とを含み、トレイニー２２はスクリーン１２の前方の実空間でこの入力装置１６のボード２０上に乗って矢印方向にボードを回転または回動させる。ボード２０の前端にはたとえば青色のような一色に色付けされた色球２４が固着される。この色球２４を含む入力装置１６がスクリーン１２の前方に設けられたＵＳＢカメラ２６で撮影され、その映像信号を処理することによって、ボード２０の回動角を検出する。そして、その検出した回動角または回転角に応じて、スクリーン１２上の映像に変化を生ぜしめる。

なお、ＵＳＢカメラとは、コンピュータのＵＳＢ（Universal Serial Bus：共通のコネクタでさまざまな周辺機器を接続することができるインタフェース規格）端子に接続されて、たとえば水平角度が５０度、画素数が２５−４５万画素程度でＷｅｂカメラとも呼ばれる比較的安価なカメラである。ただし、もっと画素数の大きいカメラを用いてもよいが、発明者等の実験によれば、実施例のスノーボードゲームでもサッカーゲームでも、この程度の画素数で十分対応できた。画素数が少ない分、コンピュータ処理量が少なくて済み、全体として安価にシステムを構築できる。

この実施例では、入力装置１６のボード２０上にトレイニー２２が乗るので、危険防止のために、入力装置１６の近傍の、好ましくはトレイニー２２の横に手摺り２８を設置する。

また、スクリーン１２の左右側には効果音やゲーム音楽あるいは他の適宜のＢＧＭを出力するためのスピーカ３０Ｒおよび３０Ｌが設けられる。

このＶＲスポーツシステム１０の特徴の１つは、ＵＳＢカメラ２６のような撮影手段によってマーカ（スノーボードの場合には色球２４であり、後述のサッカーではサッカーボールすなわち色球８８（図１７））を撮影し、その映像信号からマーカの移動に相関する検出要素（移動相関要素）、たとえば回転角や移動量を検出することである。このようにカメラ２６からの映像信号を処理することによって移動相関要素を検出することによって操作入力を与えるようにすれば、入力装置を変更するだけで別種のＶＲスポーツゲームを行なうことができる。つまり、スポーツ種目を変更する場合でも、システムを大幅に変更する必要はなく、入力装置とゲームプログラムだけを変更すればよい。したがって、同じＶＲスポーツシステム１０で簡単にスポーツ種目を変更できる。

図１実施例のＶＲスポーツシステム１０のブロック図が図２に示される。ＶＲスポーツシステム１０はコンピュータ３２を含み、このコンピュータ３２は、画像入力ボード３４にＵＳＢカメラ２６からのカメラ信号を受ける。そして、グラフィックボード３６から映像信号をプロジェクタ１４に与え、サウンドボード３８からスピーカ３０Ｒおよび３０Ｌに音声信号を与える。

コンピュータ３２の内部メモリ４０には後述のフロー図で示すプログラムが記憶されているとともに、この内部メモリ４０はワーキングメモリやレジスタなどとしても利用される。特に、内部メモリ４０には、画像処理においてコンピュータ３２が抽出処理または獲得処理すべき色（マーカの色）を示す色相値を予め設定しておくための色相レジスタ４１ａと、ターン入力装置１６のボード２０の回転半径を予め登録しておくための半径レジスタ４１ｂが形成される。

コンピュータ３２にはメモリインタフェース４２を介して外部メモリ４４が結合される。この外部メモリ４４は、たとえばハードディスクまたはＣＤ−ＲＷ、ＤＶＤ−ＲＷなどのディスクあるいは半導体メモリなど任意の記録媒体または記憶媒体であり、ここではそれらを便宜上「メモリ」と呼ぶことにする。外部メモリ４４には、リハビリテーションに必要なトレイニーやそれらの症状などを含むマスタデータが記憶または記録されている。

図３を参照して、この実施例で用いられるターン入力装置１６は、たとえばプラスチックからなる円盤形状のベース１８を含み、このベース１８上に軸４６によってボード２０が回転自在に支持される。つまり、ボード２０には孔４５が形成され、その孔４５に軸４６が挿入される。このとき、孔４５の内径は軸４６の外径より大きくされていて、したがって、孔４５はいわゆる「ばか孔」である。このボード２０もプラスチックで形成され、平面がほぼ長方形である。ボード２０上には、適宜の間隔を隔てて、足保持具４８が形成される。この足保持具４８は図１に示すようにトレイニー２２の足（靴）をその中へ入れて保持するものである。ボード２０の先端には先に説明したように色球２４が固着される。そして、ベース１８の上面であってかつ所定の間隔でボード２０を挟む両側の位置にはストッパ５０がそれぞれ設けられる。このストッパ５０はボード２０の回転をその位置で阻止するためのものであり、ボード２０が必要以上に回転するのを防止し、図１に示す手摺り２８とともにトレイニーに対する安全を図っている。

図１実施例でＶＲスノーボードをプレイする場合には、コンピュータ３２（図２）はスクリーン１２上にたとえば図４に示す仮想ゲレンデ５２とその仮想ゲレンデ上を滑走するボードの先端部を表すボード図形５４とを表示する。実施例では、コース上の旗門（図示せず）を通過するスラローム競技を行なうようにボード図形５４が表示される。上で述べたターン入力装置１６のボード２０上に乗ってそのボードを回転させると、ボード図形５４がその回転または回動角度に応じた量だけ左右に方向を変えながら滑り降りることになる。通常、スラローム競技の場合には、よく知られているように、ボード図形５４が適宜設定された１対のフラグ（図示せず）の間（旗門）を通過するようにボード２０を操作するのであるが、図面の簡単化のために、この図４ではそれらのフラグの表示を省略していることに留意されたい。

図１実施例のＶＲスポーツシステム１０でスノーボードをプレイする場合には、図５の最初のステップＳ１でゲームの初期化を実行する。この初期化では、たとえばボード２０が正面を向いている状態で、ボード先端の色球２４がＵＳＢカメラ２６（図１）の中心軸上に重なるように、入力装置１６やカメラ２６を設置する。そして、カメラ２６からの画像信号をコンピュータ３２（図２）に取り込んで、色相変換を行い、画像の中心にあるマーカすなわち色球２４の色相の値を計測するとともに、その色相値をマーカ２４の検出条件としてコンピュータ３２内の色相レジスタ４１ａ（図２）に設定する（マーカ色相設定）。さらに、ボード２０を初期状態から９０度回転させてボード２０の回転半径（ｒ：図１３）を計測し、同じくコンピュータ３２の半径レジスタ４１ｂ（図２）に設定する。このようにして初期設定が終わると、それ以降は、ループを繰り返す。

ループの最初のステップＳ３では、ボード２０の回転角を計測または獲得する。このステップＳ３は実際には図６に示すサブルーチンとして実行される。詳しく言うと、最初のステップＳ３１において、コンピュータ３２は入力ボード３４を通してＵＳＢカメラ２６からの画像信号を取り込む。その画像信号で表される画像が図７に示される。この図７の画像にはターン入力装置１６の画像以外にそれが設置されている部屋の風景も含まれている。

次のステップＳ３２で、コンピュータ３２は、図８においてハッチングで示すように、図７の画像にマスクをかける。すなわち、ボード２０上のマーカ２４の可動領域以外にマスクをかけ、そのマスクした領域すなわちマーカ可動領域以外の領域の画像信号は処理の対象から除外してコンピュータの負担軽減を図る。

続くステップＳ３３では、コンピュータ３２は、マスクから露出した領域の画像のＲＧＢ信号から、色相レジスタ４１ａに設定されている色相値（０〜２５５のうちの適宜の値）によって示される特定の色の領域（部分）を抽出する。このステップＳ３３で獲得した色相の領域が図９に示される。

そして、ステップＳ３４において、ステップＳ３３で獲得した特定の色領域からマーカと思われる色の領域を検出するために、２値化処理を行なう（図１０）。

続くステップＳ３５では、コンピュータ３２は膨張処理（分割された領域や穴のあいた領域を埋めて一連の領域とする処理）を実行する。

そして、ステップＳ３６において、コンピュータ３２は面積フィルタ処理を行なう。つまり、このステップＳ３６では、コンピュータ３２は、ステップＳ３４によって２値化されかつステップＳ３５で膨張処理した後の、マーカ２４（図１）と同じまたは類似の色相の領域のうち、面積の小さい領域をノイズと判定して除去し、所定の閾値以上の面積を持つ領域を検出する。そして、その閾値以上の面積の領域のうち最大面積の領域をマーカと判定する。このステップＳ３６の面積フィルタ処理を施した後に図１１に示すように、マーカが検出できる。

ステップＳ３６でマーカ２４の位置が検出した後、ステップＳ３８で、重心座標を計測する。すなわち、コンピュータ３２は、図１２に示すように、画像上での重心Ｘ座標を計測するとともに、画像の中心を原点として設定する。画素値を密度とみなすとき、質量分布の中心を「重心」と呼ぶが、このステップＳ３６では、具体的には、画像中の座標（ｘ，ｙ）における画素値をｇ［ｘ］［ｙ］とし、その座標に検出領域が存在すればｇ［ｘ］［ｙ］は「１」、存在しなければ「０」とされる。たとえば、幅３２０、高さ２４０の画像の重心（Ｇｘ，Ｇｙ）は数１で与えられる。ただし、Ｗは全画素値の総和であって、数２で表される。

ステップＳ３７で重心座標を得ることで、次のステップＳ３８で回転角度を求めることができる。すなわちＵＳＢカメラ２６によりボード２０の正面から撮影した画像は、Ｘ-Ｙ座標系となり、また、図１３に示すようにボード真上から撮影した場合は，Ｘ-Ｚ座標系となる。ステップＳ３７での重心座標計測では，Ｇｘ，Ｇｙの２つの座標とも計測できるが、ボード角度算出のためにはＸ座標Ｇｘの値のみを使用して、数３に従って、ステップＳ３８のボード角度算出を行なう。

このようにしてボード２０の回転角を計算した後、コンピュータ３２は先の図５のステップＳ５にリターンする。

ステップＳ５では、コンピュータ３２は、ボード角度に合わせて視点を回転させ、トレイニーが実際にボードに乗っているような画像をスクリーン１２上に表示させる。つまり、先の図４においてボード図形５４が向く方向をボード角度に応じて変化させる。したがって、そのボード図形方向の変更および速度に合わせて、風景を変える。

その後、ステップＳ７において、コンピュータ３２は、ボード２０の回転角度、加速度および時間に基づいて、直前のフレームからの移動量を計算し、その移動量に応じた現フレームでのボード図形５４の位置を設定して画像を表示する。

そして、ステップＳ９では、ステップＳ７で計算したボード図形の位置で、そのボード図形と旗門などの障害物との接触を判定する。そして、接触があると判断した場合には、たとえばゲーム得点を減算し、接触がなく旗門通過と判断したときにはたとえば得点を加算する。ただし、実際にどのようなゲーム規則を適用するかは任意であり、たとえばトレイニーの症状（重度、中度、軽度）によって変化させるようにしてもよい。

なお、図３に示すターン入力装置１６は図１４、図１５、または図１６に示すように変形されてもよい。いずれの実施例でも、先に説明した図６のサブルーチンを実行することによって色球ないしマーカ２４の移動位置からボードの回転角度を計算する点は同じである。

図１４に示す実施例のターン入力装置１６は、図３の実施例ではボード２０がベース１８上で回転できるだけであったのに対し、ボード２０を幅方向へ傾斜させることができるようにした点で、図３実施例と異なる。図１４において、プラスチック円盤からなるベース１８上に、同様にプラスチックからなるスライドベース５６を、支点５８によって、回転可能に取り付ける。このスライドベース５６はボード２０とほぼ同じ幅であるが、ボード２０より短く、ベース１８の径とほぼ同じ長さにされている。そして、このスライドベース５６上に、長さ方向の前後２箇所、ボード２０の幅方向２箇所に、合計４つのコイルばね６０が設けられ、このコイルばね６０に支持される形で、ばね６０の上端にボード２０が取り付けられる。ただし、このボード２０の下面には幅方向において湾曲した円弧状の底面を有する揺動板６２が固着される。したがって、ボード２０上にトレイニーが乗ると、揺動板６２の底面がスライドボード５６に当接した状態となる。この状態でトレイニーが直立すればボード２０はベース１８と平行になるが、トレイニーがボード２０の幅方向に重心を移動させると、その重みでボード２０が揺動板６２の底面円弧に沿ってばね６０に抗して傾く。この傾きを検知できるセンサ（図示せず）を用いれば、図１４のターン入力装置１６を用いて、ボード２０の回転角だけでなく、それの傾き角もスノーボードゲームの要素として取り入れることができる。

なお、図１４において参照符号「６４」で示すものは、ボード２０の抜け止め部材である。

図１５の実施例は、スライドボード５６とベース１８との間にキャスタ６６を設けた点が図１４実施例と異なる。すなわち、図１５では、支点５８によってベース１８とは間隔を隔ててスライドボード５６を取り付け、スライドボード５６の下面にその「間隔」に収まるようなキャスタ６６を取り付ける。このキャスタ６６は、ばね６０と同様の位置に４つ設けられ、スライドボード５６すなわちボード２０のベース１８上での回転をスムーズにする。

図１６の実施例では、ターン入力装置１６は、ベース１８とその上方に設けたボード２０とを含む。ベース１８上に支点６８が固着され、この支点６８の上部に偏心ベアリング７０が設けられ、この偏心ベアリング７０とボード２０とがベアリングハウジング７２で連結される。この実施例では、偏心ベアリングの球面接触によって、図１４または図１５実施例と同様に、ボード２０は回転だけでなく傾斜も可能とされる。

上述の実施例では色マーカとしてボード２０の先端に色球２４を設け、それを検出するようにした。しかしながら、ボード２０の鈍角で上方向に折り曲げられた先端の裏面がＵＳＢカメラ２６から撮影できるので、この先端裏面に、特定色の色領域を形成し、その色領域をマーカとして検出するようにしてもよい。

図１実施例のＶＲスポーツシステム１０で、先に説明したＶＲスノーボードに代えてＶＲサッカーをしたいときには、図１７に示すように、図１のスクリーン１２の前方のターン入力装置１６を取り除き、サッカー入力装置７４を設置すればよい。ただし、コンピュータ３２（図２）のプログラムをサッカー用に変更することは当然必要である。

サッカー入力装置７４は、たとえばゴム製または繊維製のマット７６を含み、このマット７６がスクリーン１２の前方の床上に設置される。マット７６は人間がその上に載れる程度の大きさであり、マット７６には孔７８が形成され、マット７６の下に敷かれたゴム８０の先端がこの孔７８を通してマット７６上に引き出される。ゴム８０にはひも８２が結び付けられ、ゴム８０とひも８２との結び目には孔７８より大きな抜け止め８４が設けられる。したがって、ゴム８０がマット７６の下にひきこまれてしまうことはない。

ひも８２にはネット８６が接続されていて、このネット８６はたとえば青色のような一色の色球８８をその中に保持する。この色球８８は、好ましくはサッカーボールに色付けして作られ、先のターン入力装置１６の色球２４と同様に、マーカとして機能する。

図１７のサッカー入力装置７４を用いて システム１０でＶＲサッカーをプレイするときには、トレイニーは、マット７６の上に載り、色球８８を実際に蹴る。そうすると、ゴム８０が伸びて色球８８は蹴られた方向へ移動する。このとき、色球８８はネット８６で覆われているので、色球８８がそのまま飛んでいってしまうことはない。また、トレイニーがマット上７６上に載っているので、ゴム８０がマット７６の下から抜け出してしまうこともない。ただし、ゴム８０の他方端をどこかに固定すれば、ゴム８０の抜けが完全に防止できる。

このように、色球８８にネット８６を被せ、そこからたとえば５０ｃｍのひも８２を装着し、そのひも８２をゴム８０につなぎ、ゴム８０をマット７６などで固定することによって、トレイニーが実際に色球８８を蹴って、サッカーゲームを楽しむことができる。

この実施例においても、先の実施例と同様に、色球８８の移動をＵＳＢカメラ２６からのカメラ信号を処理することによって検出するので、図１実施例のＶＲスポーツシステム１０で、ＶＲサッカーをしたいときには、図１７に示すように、スクリーン１２にサッカー入力装置７４を設置するだけでよく、極めて簡単に種目変更が行なえる。

ＶＲサッカーをするときには、サッカー入力装置７４を用いるほかに、サッカー用プログラムに切り替えるが、このサッカー用プログラムでは、まず、図１８のステップＳ１１で示すように、初期設定を実行する。このステップＳ１１は、ターン入力装置１６がサッカー入力装置７４に代わったことに応じて多少の変更はあるものの、基本的には、先のステップＳ１と同様である。したがって、ここでは重複説明は省略する。

サッカーゲームをプレイする場合には、図１に示すスクリーン１２上には、図１９に示す映像が表示される。すなわち、正面にゴール図形９０が表示され、それの前にゴールキーパー図形９２が表示される。そして、トレイニーにボールをパスするパッサーのパッサー図形９４が併せて表示される。このパッサー９４からサッカーボール図形９６がトレイニーにパスされ、そのボールパスを受けたタイミングでトレイニー２２（図１）がサッカー入力装置７４のボール８８を蹴ったとき、ゴール方向へ移動するように、サッカーボール図形９６が表示される。

したがって、図１８のステップＳ１３では、コンピュータ３２（図２）は、パッサーからのボールパスが行なわれるように、スクリーン１２上に画像を表示する。

そして、続くステップＳ１５において、コンピュータ３２は、サッカー入力装置７４の色球８８を蹴ることによって行なわれるトレイニーのシュートのタイミングを判定する。このステップＳ１５は具体的には、図２０のサブルーチンになる。

図２０において、ステップＳ１５１、Ｓ１５２、Ｓ１５３、Ｓ１５４、Ｓ１５５、Ｓ１５６およびＳ１５７は、色球２４が色球８８に代わることによる変更はあるものの、基本的には先の図６のステップＳ３１、Ｓ３２、Ｓ３３、Ｓ３４、Ｓ３５、Ｓ３６およびＳ３７と同じであり、ここでは重複説明は省略する。

そして、ステップＳ１５７で、画像上で重心座標を計測し、その画像中心を原点として設定した後、次のステップＳ１５８で、コンピュータ３２は１回目のループかどうか判断する。ループが１回目であるということは、前フレームにおいてボール位置の登録が行なわれていないので、ステップＳ１５９でボール位置をメモリまたはレジスタへ登録するとともに、次のステップＳ１６０でシュートが行なわれなかった（シュート：ＮＧ）と判定して図１８のステップＳ１７にリターンする。

ステップＳ１５８で２回目以降のループであると判断した場合には、プロセスはステップＳ１６１に進み、このステップＳ１６１で、コンピュータ３２は、現在のフレームでの新たなボール位置を登録するとともに、前フレームでのボール位置と現フレームでのボール位置とに基づいて、ボール（ボール図形）の移動量を計算する。そして、移動量が所定の閾値より大きいかどうかをステップＳ１６２で判断し、“ＹＥＳ”のときには次のステップＳ１６３でシュートが行なわれたこと（シュート：ＯＫ）を判断して図１８のステップＳ１７にリターンする。“ＮＯ”のときには次のステップＳ１６４でシュートが行なわれなかったこと（シュート：ＮＧ）を判断して図１８のステップＳ１７にリターンする。

ステップＳ１７では、シュートが行なわれたかどうか判断するが、ステップＳ１６３（図２０）から「ＯＫ」の返り値があったときだけ“ＹＥＳ”となる。

ステップＳ１７でシュートがあったと判断したきには、次のステップＳ19で、その時のシュートのコースを判断する。

図２１に示すように、この実施例では、シュートのコースとして、ゴール図形９０の幅方向で「左」，「中央」，「右」に区分し、ゴール図形の高さ方向で「上」，「下」に区分している。したがって、ステップＳ１９では、具体的に、図２２のサブルーチンに従って、そのときトレイニーがマーカ８８を蹴ったことによるシュートがこの区分のどれに該当するかを判定する。

図２２の最初のステップＳ１９１では、Ｘ方向の移動量ｘ（図２０のタイミング判定サブルーチンで得られた移動量）が所定値Ｄｘ（左右方向を判定するための閾値）より大きいかどうか判断する。ステップＳ１９１で“ＹＥＳ”なら、ステップＳ１９２で、コンピュータ３２はシュートは「右」であったと判断する。ステップＳ１９１で“ＮＯ”なら、次のステップＳ１９３で、Ｘ方向の移動量ｘが所定値−Ｄｘより小さいかどうか判断する。ステップＳ１９３で“ＹＥＳ”なら、ステップＳ１９４で、コンピュータ３２はシュートは「左」であったと判断するし、“ＮＯ”であったら、ステップＳ１９５でシュートは「中央」であったと判断する。

同様にステップＳ１９６では、Ｙ方向の移動量ｙ（図２０のタイミング判定サブルーチンで得られた移動量）が所定値Ｄｙ（上下方向を判定するための閾値）より大きいかどうか判断する。ステップＳ１９６で“ＹＥＳ”なら、ステップＳ１９７で、コンピュータ３２はシュートは「上」であったと判断するし、“ＮＯ”であったら、ステップＳ１９８でシュートは「下」であったと判断する。

このようにしてシュートコースを判断した後、コンピュータ３２は、図１９に示すゴールキーパー図形を制御する。つまり、上で判定したシュートコースに応じてゴールキーパー図形を移動させるが、そのときのボールの速さや位置によって、ゴールキーパーがセーブできるかどうかが決まる。したがって、次のステップＳ２３では、ゴールが成功か失敗かを判定し、必要に応じて得点計算等を実行する。

上述の実施例は、ＶＲスノーボードとＶＲサッカーとを選択的に実行できるものとして説明した。つまり、第１用具としてターン入力装置１６を用い、それのボード２０に色球２４を付着し、またはボードの先端裏面に直接色領域を形成することによって第１マーカを設け、第２用具としてサッカー入力装置７４を用い、この入力装置７４のボール自体が第２マーカとして機能するようにした。しかしながら、このシステム１０で実行できるＶＲスポーツゲームはこれに限らないことはいうまでもない。ただし、いずれの場合でも、入力装置からは移動相関要素を入力するものであり、色マーカを撮影した映像信号を処理することによって入力される。

図１はこの発明の一実施例のＶＲスポーツシステムとこのシステムを用いてスノーボードゲームを実行する状態を示す図解図である。 図２は図１実施例のＶＲスポーツシステムの電気的構成を示すブロック図である。 図３はスノーボードゲームのためのターン入力装置の一例を示す図解図である。 図４は図１実施例においてスノーボードゲームを実行するときにスクリーン上に表示される映像の一例を示す図解図である。 図５は図１実施例におけるスノーボードゲームのための基本動作を示すフロー図である。 図６は図５のステップＳ３のサブルーチンを示すフロー図である。 図７は図１実施例のＵＳＢカメラで撮影した画像の一例を示す図解図である。 図８は図７のカメラ画像にマスク処理を行なった状態を示す図解図である。 図９は図８のマスク処理後に色相変換を行なった状態を示す図解図である。 図１０は図９の色相獲得処理後に２値化処理を行なった状態を示す図解図である。 図１１は図１０の２値化処理の後に膨張処理をした上で面積フィルタ処理を行なった状態を示す図解図である。 図１２は図１１の面積フィルタ処理の後に重心座標計測を行なった状態を示す図解図である。 図１３は回転角度の計算方法を示す図解図である。 図１４はスノーボードゲームのためのターン入力装置の変形例を示す図解図である。 図１５はターン入力装置の他の変形例を示す図解図である。 図１６はターン入力装置のさらに他の変形例を示す図解図である。 図１７は図１実施例のＲスポーツシステムを用いてサッカーゲームを実行する状態を示す図解図である。 図１８は図１実施例におけるサッカーゲームのための基本動作を示すフロー図である。 図１９は図１実施例においてサッカーゲームを実行するときにスクリーン上に表示される映像の一例を示す図解図である。 図２０は図１８のステップＳ１５のサブルーチンを示すフロー図である。 図２１はシュートコースを示す図解図である。 図２２は図１８のステップＳ１９のサブルーチンを示すフロー図である。

符号の説明

１０ …ＶＲスポーツシステム
１２ …スクリーン
１４ …プロジェクタ
１６ …ターン入力装置
２４，８８ …色球（マーカ）
２６ …ＵＳＢカメラ
３２ …コンピュータ
７４ …サッカー入力装置

Claims (6)

1. トレイニーが操作する用具の状態に従って表示画面上でバーチャルリアリティスポーツゲームを進行させる、バーチャルリアリティスポーツシステムであって、
   前記用具を撮影するカメラ、
   前記用具に設けられるマーカ、
   前記カメラからの画像信号を処理することによって前記マーカの移動相関要素を検出するための移動相関要素検出手段、および
   前記移動相関要素に応じて前記バーチャルリアリティスポーツゲームを進行させるゲーム進行手段を備える、バーチャルリアリティスポーツシステム。
2. 前記マーカは特定の色を有し、さらに
   前記特定の色の色相値を設定する色相設定手段を備え、
   前記移動相関要素検出手段は、前記色相値に従って前記画像信号から前記特定の色の領域を抽出する色相獲得手段、および前記特定の色の領域を含む画像信号に面積フィルタ処理を施す面積フィルタ手段を含み、前記面積フィルタ処理で最大面積の部分を前記マーカと判定する、請求項１記載のバーチャルリアリティスポーツシステム。
3. 前記用具は、第１スポーツゲームのための第１用具と第２スポーツゲームのための第２用具とを含み、
   前記第１用具に第１マーカが設けられ、前記第２用具に第２マーカが設けられ、
   前記第１用具と前記第２用具とを交換することによって前記第１スポーツゲームまたは前記第２スボーツゲームをプレイできる、請求項１または２記載のバーチャルリアリティスポーツシステム。
4. 前記用具は回転可能に支持されかつその上にトレイニーが乗れるボードを含み、前記マーカが前記ボードに関連して設けられ、
   前記移動相関要素検出手段は移動相関要素として前記ボードの回転角を検出する、請求項1ないし３のいずれかに記載のバーチャルリアリティスポーツシステム。
5. 前記用具はトレイニーが足で蹴れるボールを含み、前記マーカが前記ボールに関連して設けられ、
   前記移動相関要素検出手段は移動相関要素として前記ボールの移動量を検出する、請求項1ないし４のいずれかに記載のバーチャルリアリティスポーツシステム。
6. 前記ボールが前記トレイニーに蹴られたとき自由に飛翔するのを防止する飛翔防止手段をさらに設けた、請求項５記載のバーチャルリアリティスポーツシステム。

Images