JP6285980B2 - 処理装置および投影画像生成方法 - Google Patents
処理装置および投影画像生成方法 Download PDFInfo
- Publication number
- JP6285980B2 JP6285980B2 JP2016081239A JP2016081239A JP6285980B2 JP 6285980 B2 JP6285980 B2 JP 6285980B2 JP 2016081239 A JP2016081239 A JP 2016081239A JP 2016081239 A JP2016081239 A JP 2016081239A JP 6285980 B2 JP6285980 B2 JP 6285980B2
- Authority
- JP
- Japan
- Prior art keywords
- card
- projection
- image
- instruction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F1/00—Card games
- A63F1/06—Card games appurtenances
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Transforming Electric Information Into Light Information (AREA)
Description
本発明は、投影装置であるプロジェクタから画像を投影する技術に関する。
特許文献1は、マーカが付されたカードと、カードに対して画像を投影する投影装置と、カードに付されたマーカを検出するためのカード検出用センサと、処理装置とを備えた画像投影システムを開示する。処理装置は、カード検出用センサの検出結果を用いてカードが配置されている位置を取得し、投影装置は、カードに対応付けられている画像を投影する。
近年、トレーディングカードゲーム(Collectable Card Game)機が、ゲームセンターや玩具店、スーパーマーケットなどに設置されている。トレーディングカードゲームでは、ユーザがカードを収集し、対戦相手との間でカードを互いに出し合ってゲームを進行させる。それぞれのカードにはオリジナルモンスターやアニメーションのキャラクタなどの様々な絵柄や文字が描かれている。カードには、たとえばキャラクタの能力や属性などを表現する特性値が設定されており、ユーザが出したカードに応じてゲームの進行や勝敗が決定される。
特許文献1に示す画像投影システムのように、プロジェクタによる演出をカードゲームに付加する手法は、カードゲームの新たな楽しみ方を提供する。本発明者は、カメラおよびプロジェクタを備えたシステムにおいて、カードゲームを円滑に実施するための技術や、ゲーム操作を行うための新たなユーザインタフェースに関する技術を開発した。
本発明は、カードゲームを実施するための技術を提供することを目的とする。
上記課題を解決するために、本発明のある態様の処理装置は、プロジェクタにより投影された投影領域を含む領域を撮像した撮像画像を取得する撮像画像取得部と、撮像画像に含まれるカードの認識処理を実行する認識処理部と、認識処理部が認識したカードにもとづいて、プロジェクタにより投影する投影画像を生成する投影画像生成部と、カードに対する指示を検出する指示検出部とを備える。認識処理部は、撮像画像において、カードとは異なる物体を検出して、検出した物体の検出情報を指示検出部に提供し、指示検出部は、提供された物体の検出情報から、カードに対する指示を検出し、投影画像生成部は、カードに対する指示にもとづいて、投影画像を生成する。
本発明の別の態様は、プロジェクタにより投影する投影画像を生成する方法である。この方法は、プロジェクタにより投影された投影領域を含む領域を撮像した撮像画像を取得するステップと、撮像画像に含まれるカードの認識処理を実行するステップと、認識したカードにもとづいて、プロジェクタにより投影する投影画像を生成するステップと、カードに対する指示を検出するステップとを有する。認識処理を実行するステップは、撮像画像において、カードとは異なる物体を検出し、指示を検出するステップは、物体の検出情報から、カードに対する指示を検出し、投影画像を生成するステップは、カードに対する指示にもとづいて、投影画像を生成する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によると、カードゲームを実施するための技術を提供できる。
本発明は、プレイエリアに配置されたカードに応じて、投影装置であるプロジェクタから画像光を投影する技術を提供する。使用されるカードは平板状の所定の形状を有し、カードには、当該カードを特定するためのマークが付与されている。赤外線カメラがマークを撮像し、処理装置が、撮像画像に含まれるマークを検出すると、プロジェクタの照射光パターンを制御して、プロジェクタからゲーム演出を高めるための画像光を投影させる。マークは、コードや図柄などの1次元または2次元パターンとして構成されてよい。
図1は、本発明の実施例にかかる画像投影システム1の構成を示す。画像投影システム1は、ゲームに関する処理を実施する処理装置10と、処理装置10に対して撮像画像を供給し、また処理装置10から投影画像を供給される光学装置20を備える。処理装置10には、キーボードやマウス、ゲームコントローラなど、ユーザが入力を行うためのユーザインタフェース装置が接続されている。光学装置20は、プロジェクタ21と、赤外線カメラ22と、可視光カメラ23とを備える。なおプロジェクタ21および赤外線カメラ22は、光学装置20に一体に収容されることが好ましいが、可視光カメラ23は、光学装置20とは別の筐体に設けられてもよい。また光学装置20は、赤外線カメラ22とは別に第2の赤外線カメラを備えてもよい。
プロジェクタ21は、投影光を照射して投影領域4を形成する。投影面において投影領域4は略四角形となり、投影領域4は、ユーザがカード7を配置してゲームをプレイする領域(プレイエリア)を画定する。実施例では、プロジェクタ21がテーブル2上に投影領域4を形成しているが、投影面は、カード7を配置できる面であればよい。プロジェクタ21は、投影面において投影領域4が略長方形となるように、予め投影光を制御されていることが好ましい。なおユーザは、投影領域4を外れてカード7を配置してもよいが、投影領域4を外れた場所には、プロジェクタ21による演出画像は投影されない。
赤外線カメラ22は、撮像領域5を撮像する。撮像感度を高めるために、赤外線カメラ22は赤外線光源を有してもよい。実施例において撮像領域5は、プロジェクタ21による投影領域4を少なくとも含み、すなわち赤外線カメラ22は、投影領域4よりも広い範囲を撮像する。
赤外線カメラ22による撮像画像は、処理装置10に供給されて、実オブジェクトを検出するために利用される。実施例において検出対象となる実オブジェクトは、代表的には矩形のカード7であるが、カード7に対する指示を生成する物体、たとえばユーザの手指や、ゲーム用コインなどを含む。なおユーザの手指などの物体は、第2の赤外線カメラによる撮像画像によって検出されてもよい。
図1に示すように、ユーザは光学装置20と向かい合った位置でカードゲームをプレイするため、プレイエリアを形成する投影領域4は、赤外線カメラ22とユーザとの間に設定される。赤外線カメラ22は、投影領域4を斜めから撮像し、その結果、撮像領域5の手前側(赤外線カメラ22に近い側)を相対的に大きく、撮像領域5の奥側(赤外線カメラ22に遠い側)を相対的に小さく撮像する。赤外線カメラ22がテーブル2に対して垂直方向から投影領域4を撮像できないため、カード7は本来の矩形ではなく、赤外線カメラ22との距離によって歪んだ形状で撮像されることになる。
なお図1においては、ユーザと光学装置20との間にプレイエリアが設定されるが、光学装置20は、ユーザの横前方に配置されて横方向から投影光を照射して、ユーザの正面にプレイエリアを形成してもよい。この場合であっても、赤外線カメラ22は、撮像領域5の手前側(赤外線カメラ22に近い側)を相対的に大きく、撮像領域5の奥側(赤外線カメラ22に遠い側)を相対的に小さく撮像するため、カード7は歪んだ形状で撮像される。
赤外線カメラ22の撮像画像はリアルタイムで処理装置10に供給され、処理装置10は、撮像画像に含まれるカード7のマークを検出して、カード7を認識する。この認識処理は、検出したマークをデータベースに登録している複数のマークと比較して、一致するマークを探し出す処理であり、検出したマークが歪んでいると、認識処理に支障をきたすことがある。
そこで実施例の処理装置10は、カードゲームの開始前に、赤外線カメラ22により撮像されたカード7が本来の矩形となるように撮像画像を補正するキャリブレーション処理を行う。具体的にキャリブレーション処理は、赤外線カメラ22による斜めからの撮像画像を投影領域4の真上からの撮像画像に変換するための変換行列と、変換した撮像画像のアスペクト比を正しくするホモグラフィ行列を求める処理であり、ゲーム開始前に補正用のパラメータを求めておくことで、ゲーム開始後は、撮像画像を補正した補正画像をもとに、カード7の認識処理を実施する。補正画像は、理想的には、赤外線カメラ22を投影領域4の直上に配置したときに撮像される画像となる。ゲーム開始前、処理装置10は、赤外線カメラ22の撮像画像を表示装置3に表示させて、ユーザがキャリブレーションに関する作業を円滑に進められるようにする。
可視光カメラ23も、赤外線カメラ22と同様に、テーブル2上の撮像領域を撮像する。可視光カメラ23は、ユーザによるゲームプレイの様子をインターネットなどのネットワークに配信するために設けられる。配信画像が歪んでいては、配信を受けるユーザも見づらいため、処理装置10は、赤外線カメラ22と同様のキャリブレーション処理を実施して、補正した撮像画像を配信することが好ましい。
アクセスポイント(以下、「AP」とよぶ)6は、無線アクセスポイントおよびルータの機能を有し、処理装置10は、無線または有線経由でAP6に接続して、インターネットに接続する。ユーザは、インターネットに接続している他のユーザとゲーム対戦でき、処理装置10は、可視光カメラ23の撮像画像、正確には撮像画像を補正した画像を他のユーザに配信し、また他のユーザから、撮像画像を受信して表示装置3から表示させる。このように可視光カメラ23は、ゲームプレイを配信するために利用される。
ネットワーク対戦を実現するためには、相手側にも、画像投影システム1が用意されていればよい。処理装置10は、インターネット上の専用サーバに、戦績などを記録できるようにし、自身の戦績や他ユーザの戦績を閲覧できるようなネットワークシステムが構築されてもよい。
処理装置10は、赤外線カメラ22の撮像画像に含まれるカード7の認識処理を実行し、プロジェクタ21の画像投影を制御する。処理装置10は、カードゲームのアプリケーションプログラム(以下、「カードゲームプログラム」とも呼ぶ)を実行するゲーム専用機であってもよいが、当該プログラムを実行するパーソナルコンピュータであってもよい。処理装置10は、赤外線カメラ22から撮像画像を受け取り、プレイエリアに配置されたカード7に応じて、投影画像を生成する機能を有している。後述するが、処理装置10は、認識した1枚のカード7に対応する演出を実施するだけでなく、認識したカード7の状態、複数枚のカード7の組合せ、カード7に対するユーザからの指示の有無等に応じてゲームへのユーザの関心を高めるように動的に投影画像を生成して、プロジェクタ21の画像投影を制御する。
カード7は、識別用マークとして、たとえば特許文献1に開示されるように、ユーザが視認不能であって、赤外線センサなどの非可視光センサが検出可能なマーカを付加されていてよい。このマーカは、処理装置10がカード認識を行うためにカード7に付加される専用のマークであり、赤外線センサの検出精度を高めるために、非可視光反射材料または非可視光吸収材料で印刷されることが好ましい。
なお近年の画像認識技術の発達により、画像のパターンマッチング精度が向上している。そのためカード7に描かれているイラストなどの図柄そのものを、カード7を一意に識別するための識別用マークとして利用することも可能となっている。現在普及しているトレーディングカードゲームには、通常、何百種類ものカードが存在し、それぞれのカードにはオリジナルモンスターやキャラクタなどの様々な図柄が描かれている。ユーザはカードを図柄によって区別するが、実施例の処理装置10も同様に、赤外線カメラ22により撮像されたカードを図柄によって識別する。つまり実施例の画像投影システム1では、カードの図柄を識別用マークとして利用するため、現在流通しているトレーディングカードゲーム用のカードをそのまま使用してゲームプレイできる環境を提供する。
この環境を実現するために、処理装置10は、ゲームにおける全てのカード7の図柄ないしは図柄の特徴点を登録したデータベースを予め用意しておく。処理装置10は、撮像されたカード7の図柄と比較可能な態様で、全カード7の図柄に関する情報をデータベースに登録している。
図2は、処理装置10の機能ブロックを示す。処理装置10は、処理機能として撮像画像取得部100、位置受付部102、表示処理部104、画像変換部110、認識処理部120、投影画像生成部130および指示検出部140を備える。また処理装置10は、HDDなどの補助記憶装置において、マーク記憶部150、指示記憶部152および演出記憶部154を備える。マーク記憶部150は、撮像画像に含まれるマーク(図柄)をパターンマッチングで比較するための複数のマークを記憶したデータベースである。
本実施例における処理装置10の処理機能は、CPU、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。したがってこれらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。
<キャリブレーション処理>
上記したように、実施例の画像投影システム1において、赤外線カメラ22は、斜めから撮像領域5を撮像するため、撮像されたカード7は、赤外線カメラ22からの距離に応じて歪んだ形状を有している。そのためゲーム開始前に、処理装置10は、撮像されたカード7の歪みを解消するための補正用パラメータを予め求めておき、ゲーム開始後は、撮像画像を補正用パラメータを用いて補正した補正画像にもとづいてカード認識処理を実施する。カードゲームプログラムは、キャリブレーションモードとゲームモードとを有し、ゲームモードの実行前に必ずキャリブレーションモードを実行するようにして、プレイ環境に応じた適切な補正用パラメータを求める。なおキャリブレーション用のプログラムは、処理装置10のシステムソフトウェアに含まれ、ゲームプログラムの実行前に、システムソフトウェアが補正用パラメータを求めて、ゲームプログラムに対して、補正した撮像画像を供給するようにしてもよい。
上記したように、実施例の画像投影システム1において、赤外線カメラ22は、斜めから撮像領域5を撮像するため、撮像されたカード7は、赤外線カメラ22からの距離に応じて歪んだ形状を有している。そのためゲーム開始前に、処理装置10は、撮像されたカード7の歪みを解消するための補正用パラメータを予め求めておき、ゲーム開始後は、撮像画像を補正用パラメータを用いて補正した補正画像にもとづいてカード認識処理を実施する。カードゲームプログラムは、キャリブレーションモードとゲームモードとを有し、ゲームモードの実行前に必ずキャリブレーションモードを実行するようにして、プレイ環境に応じた適切な補正用パラメータを求める。なおキャリブレーション用のプログラムは、処理装置10のシステムソフトウェアに含まれ、ゲームプログラムの実行前に、システムソフトウェアが補正用パラメータを求めて、ゲームプログラムに対して、補正した撮像画像を供給するようにしてもよい。
撮像画像取得部100は、プロジェクタ21により投影された略四角形の投影領域4を少なくとも含む領域を撮像した撮像画像を取得する。キャリブレーションモードの実行中、表示処理部104は、赤外線カメラ22により撮像されている撮像画像を撮像画像取得部100から受け取り、撮像画像を表示装置3に表示する際に、ユーザが画面の下方に位置するように撮像画像を180度回転して表示させる。実施例の画像投影システム1において、赤外線カメラ22は、赤外線カメラ22とユーザとの間に位置する撮像領域5を撮像しているため、赤外線カメラ22の撮像画像は、ユーザが見ている状態と上下が逆になる。そこで表示処理部104が、撮像画像を180度回転して表示装置3に表示させることで、ユーザに違和感を与えない画像を表示装置3から出力する。
図3は、キャリブレーションモードにおける初期画面を示す。キャリブレーションモードにおいて、表示処理部104が、赤外線カメラ22の撮像画像の180度回転画像を表示装置3に表示する。図3に示す初期画面では、ユーザの手が画面下方から上に向かう方向に表示されているが、表示処理部104が回転処理を行わない場合、ユーザの手は、画面上方から下に向かう方向に表示されることになり、ユーザに違和感を与える。そこで表示処理部104は撮像画像の回転処理を行っている。
キャリブレーションモードにおいて、プロジェクタ21は、投影光をテーブル2に照射する。光学装置20の電源がオンされると、プロジェクタ21は、自動的に白色光をテーブル2に照射するが、投影画像生成部130が、プロジェクタ21に、白色光を投影させるように投影制御してもよい。なお投影光は白色光でなくてもよく、ユーザが投影領域4を視認可能な光であればよい。
図3において一点鎖線で示す投影領域4aは、テーブル2に照射された投影光の領域を仮想的に示している。投影領域4は、テーブル2上でユーザによって視認されるが、赤外線カメラ22は、投影された白色光の反射光を撮像しない。そのため表示装置3には投影領域4aは表示されず、ユーザは、表示装置3の画面から投影領域4aを確認できない。
図4は、表示装置3に表示される案内画面を示す。表示処理部104は、表示装置3に案内文30aを表示する。ここで付属のマーカとは、光学装置20に同梱されているキャリブレーション用のマーカであり、赤外線カメラ22により撮像可能な素材で作られている。ユーザは、この案内文30aにしたがって、マーカをテーブル2上の投影領域4の4隅に配置する。マーカは、たとえば中抜きの黒丸マーカであってよい。なお投影画像生成部130が、案内文30aを含めた投影画像を生成して、プロジェクタ21から投影させてもよい。ユーザは、投影領域4に表示された案内文30aをみて、実施するべき作業を認識する。
図5は、撮像された4つの黒丸マーカ32a〜32dを示す。このとき表示装置3には、案内文30aが表示され続けていてよい。ユーザは、テーブル2に投影された投影領域4の4隅に黒丸マーカを配置すると、ユーザインタフェース装置を操作して、黒丸マーカを配置したことを処理装置10に通知する。たとえばマウスをダブルクリックすることが、作業完了を処理装置10に知らせて次の作業に進むためのトリガとして設定されていてもよい。なお次の作業に進むためのトリガには様々なものがあってよく、たとえばユーザが所定の言葉を発声することで、処理装置10が音声解析して黒丸マーカが配置されたことを認識し、次の作業に進んでもよい。
図6は、表示装置3に表示される案内画面を示す。黒丸マーカが配置された後、表示処理部104は、案内文30bを表示する。ユーザは、案内文30bにしたがって、カード7を1枚、投影領域4の中央に配置する。このとき表示処理部104は、案内文30bとともに、カード7の配置場所を示す情報を表示してもよい。なお投影画像生成部130が、案内文30bを含めた投影画像を生成して、プロジェクタ21から投影させてもよい。
図7は、ユーザが投影領域4に配置したカード7を撮像した画像を示す。図7には、カード7が投影領域4の略中央に縦向きに配置されているが、赤外線カメラ22が斜め上方から投影領域4を撮像しているために、矩形のカード7は、撮像画像中では台形の形状で撮像されている。ユーザはカード7を配置すると、ユーザインタフェース装置を操作して、カード7を配置したことを処理装置10に通知する。
図8は、表示装置3に表示される案内画面を示す。カード7が配置された後、表示処理部104は、案内文30cを表示する。ユーザは、表示装置3の案内画面に表示される黒丸マーカ32a〜32dにマウスのポインタを当てて指定操作(クリック操作)を行う。
位置受付部102は、表示装置3に表示された撮像画像においてユーザからの位置指定を受け付ける。具体的に位置受付部102は、図8に示す案内画面において、ユーザによりマウスで指定された撮像画像上の位置座標を受け付ける。なお、この例ではユーザインタフェース装置としてマウスを利用する例を示しているが、ユーザは、表示装置3に表示されるポインタをゲームコントローラで動かして、位置指定してもよい。画像変換部110において、領域特定部114は、位置受付部102が受け付けた4つの指定位置から、四角形の領域を特定する。
なお領域特定部114は、黒丸マーカ32a〜32dを撮像した撮像画像から、4つの黒丸マーカを自動検出して、四角形の領域を特定してもよい。領域特定部114は、キャリブレーション用のマーカの形状を予め記憶していることで、撮像画像から黒丸マーカ32a〜32dを抽出し、その位置座標を特定できる。領域特定部114が黒丸マーカを自動検出する場合、ユーザによるマーカ指定操作が不要となるため、案内文30cを表示する必要はない。
このように領域特定部114は、赤外線カメラ22による撮像画像において、ユーザの指定操作により、またはマーカの自動検出により、四角形の領域を特定する。この四角形領域は、ユーザがカード7を配置するための領域を画定し、したがって撮像画像の補正領域を定めるものである。ゲームモードにおいて画像補正部116は、少なくとも領域特定部114により特定された四角形領域を画像補正する。なお実施例では、投影領域4の4隅に黒丸マーカを配置させる例を示したが、補正領域を定める四角形領域は、投影領域4の内側に設定されてもよく、また撮像領域5の範囲内で投影領域4の外側に設定されてもよい。四角形領域が投影領域4の内側に設定されれば、画像補正部116は、その内側の四角形領域を画像補正の対象領域とし、四角形領域が投影領域4の外側に設定されれば、画像補正部116は、その外側の四角形領域を画像補正の対象領域とする。
マーク記憶部150は、カードゲームにおいて用意されている全てのカード7のマークと、カード7の識別情報(以下、カードIDとよぶ)とを対応付けて記憶する。実施例においてマークは、カード7の表面に描かれたキャラクタなどの図柄であり、マーク記憶部150は、マークごとに予め抽出している複数の特徴点の位置関係を表現する特徴パターンと、カードIDとを対応付けて記憶していてよい。カード検出部112は、撮像画像からカード7のマークの特徴点を抽出し、マーク記憶部150に記憶されている複数のマークの特徴パターンを参照して、投影領域内に配置されたカード7のカードIDを特定する。なおマーク記憶部150は、特徴パターンにおけるカード7の中心位置を記憶しており、カード検出部112は、パターンマッチングにより一致するマークを検出した際には、撮像画像に含まれるマークの傾き(カード7の姿勢)と、カード7の中心位置とを特定できる。
なおキャリブレーション処理において、使用する物体はカード7に限るものではなく、赤外線カメラ22により撮像可能であって、カード検出部112が撮像画像から検出できるものであれば、何でもよい。なおカードゲームにおいては、各カード7のマークの特徴パターンがマーク記憶部150に登録されており、処理装置10はカード認識エンジンを実装しているため、カード7をキャリブレーション処理に利用することの利点は多い。
画像補正部116は、撮像されたカード形状を、カード7の既知形状と相似形状となるように撮像画像を補正する。まず画像補正部116は、投影領域4を斜めから撮像している赤外線カメラ22の位置を、擬似的に投影領域4の真上に配置するための処理を行う。この処理は、カード検出部112が検出したカード7の中心位置を原点とした3次元空間を設定し、設定した3次元空間におけるカード中心位置と赤外線カメラ22との傾きθを導出して、赤外線カメラ22からの距離に応じた撮像画像の歪みを解消するように撮像画像を変換するための変換行列を求める。投影領域4を斜めから撮像する赤外線カメラ22は、赤外線カメラ22の手前側を大きく、赤外線カメラ22の奥側を小さく撮像しているため、赤外線カメラ22を投影領域4の真上に擬似的に配置する処理を行うことで、撮像画像の1ピクセルあたりの長さを等しくする。
なお光学装置20が姿勢センサを有して、画像補正部116が、姿勢センサのセンサ情報にもとづいてテーブル2に対する赤外線カメラ22の傾きθを自律的に検出できる場合には、カード7を撮像させる処理は実施しなくてよい。画像補正部116は、傾きθを取得することで、領域特定部114で特定された四角形の領域を、台形状に撮像された状態から矩形状に変換するための変換行列を求める。
次に画像補正部116は、矩形状に変換した四角形の領域をホモグラフィ変換して、プロジェクタ21による投影領域4のアスペクト比に合わせる処理を行う。画像補正部116は、矩形状の四角形領域を、既知のアスペクト比の矩形領域に補正するホモグラフィ変換の技術を利用して、領域特定部114で特定された四角形領域を、既知の投影領域4の形状と相似形状となるように射影変換を行うホモグラフィ行列を求める。画像補正部116は、ホモグラフィ行列を求めると、求めたホモグラフィ行列を保持して、ゲームモードにおいて撮像画像を補正するために利用する。
なお画像補正部116は、領域特定部114で特定された四角形領域を、投影領域4の既知のアスペクト比に合わせてもよいが、たとえば撮像されたカード7の形状を、既知の矩形のアスペクト比となるように射影変換を行うホモグラフィ行列を求めてもよい。
図9は、画像補正部116により補正された画像を示す。画像補正部116は、赤外線カメラ22の傾きθおよびホモグラフィ行列を求めると、擬似的に赤外線カメラ22を真上に配置したように画像変換して、領域特定部114が特定した四角形の領域を変換行列を用いて矩形に直した後、矩形領域を既知のアスペクト比となるようにホモグラフィ行列を用いて補正する。これにより図9に示すように、補正後のカード画像は、所定のアスペクト比をもつ矩形状に表示されるようになる。カード7には、キャラクタなどの図柄が描かれており、認識処理部120は、カード7に描かれた図柄をもとにカード認識処理を実施するため、カード画像を所定のアスペクト比をもつ矩形となるように補正することで、認識処理部120におけるカード認識処理がより適切に実施されるようになる。なおキャリブレーション処理が終了すると、ユーザは、投影領域4の4隅から、黒丸マーカを取り除き、ゲームモードに移行する。
以上のように処理装置10はキャリブレーション処理を実施する。なお上記したようにキャリブレーションに使用する物体はカード7に限定されるものではなく、カード検出部112により中心位置を検出可能な他のオブジェクトであってよい。画像補正部116は、補正用パラメータ(つまり傾きθ(変換行列)およびホモグラフィ行列)を求めると、以後は、補正用パラメータを用いて補正した撮像画像を生成して、認識処理部120に供給する。このとき画像補正部116は、認識処理部120による処理負荷を増加させないために、領域特定部114で特定された画像領域を切り出して、切り出した領域を画像変換した補正画像を認識処理部120に供給することが好ましい。なおアプリケーションによるが、画像補正部116は、領域特定部114で特定される画像領域のうち、所定のエリアのみを切り出して、切り出したエリアの補正画像を認識処理部120に供給することで、認識処理部120の処理負荷をさらに軽減することも可能である。
赤外線カメラ22の傾斜角θを補正する変換行列およびホモグラフィ行列を含む補正用パラメータは、処理装置10のメイン電源がオフにされるまで画像変換部110に保持されて利用されるが、光学装置20のテーブル2に対する傾きが変更された場合には、あらためてキャリブレーション処理を実施して、補正用パラメータを求め直す必要がある。
<カード認識処理>
マーク記憶部150は、カードゲームにおいて用意されている全てのカード7のマークと、カード7のカードIDとを対応付けて記憶する。上記したように実施例においてマークは、カード7の表面に描かれたキャラクタなどの図柄であり、マーク記憶部150は、マークごとに予め抽出した複数の特徴点の位置関係を表現する特徴パターンと、カードIDとを対応付けて記憶している。なお一部カード(以下、レアカードとよぶ)には特殊な加工が施されて、角度によって見える図柄が異なるものが存在する。マーク記憶部150は、レアカードについては、各角度から見える全てのマークと、一つのカードIDとを対応付けて記憶し、どの角度からカード7の図柄が検出された場合であっても、一つのカードIDが特定されるようにする。
実施例では、説明の便宜上、カード7の表面に「A」や「B」などの図柄が印刷されたものを使用する。
マーク記憶部150は、カードゲームにおいて用意されている全てのカード7のマークと、カード7のカードIDとを対応付けて記憶する。上記したように実施例においてマークは、カード7の表面に描かれたキャラクタなどの図柄であり、マーク記憶部150は、マークごとに予め抽出した複数の特徴点の位置関係を表現する特徴パターンと、カードIDとを対応付けて記憶している。なお一部カード(以下、レアカードとよぶ)には特殊な加工が施されて、角度によって見える図柄が異なるものが存在する。マーク記憶部150は、レアカードについては、各角度から見える全てのマークと、一つのカードIDとを対応付けて記憶し、どの角度からカード7の図柄が検出された場合であっても、一つのカードIDが特定されるようにする。
実施例では、説明の便宜上、カード7の表面に「A」や「B」などの図柄が印刷されたものを使用する。
図10は、画像補正部116により補正された撮像画像の例を示す。この例では図柄である「A」を印刷されたカード7が投影領域4に配置されている。撮像画像取得部100は、プロジェクタ21により投影された略四角形の投影領域4を含む領域を赤外線カメラ22が撮像した撮像画像を取得する。画像補正部116は、周期的に撮像される赤外線反射画像を傾斜角θおよびホモグラフィ行列をもとに補正した補正画像を生成し、認識処理部120に提供する。たとえば撮像周期は1/60秒であり、画像補正部116は、撮像周期と同じ周期で投影領域4の撮像画像を補正してもよいが、処理負荷を軽減するために撮像周期よりも遅い周期で(すなわち撮像画像を間引いて)補正してもよい。
認識処理部120は、カード検出部122、カード情報生成部124およびオブジェクト検出部126を有して、撮像画像に含まれるカード7の認識処理を実行する。なお認識処理部120におけるカード検出部122と、画像変換部110におけるカード検出部112とは、図2において別の構成として示しているが、処理装置10において両者は同じカード認識エンジンにより構成されてよい。
カード検出部122は、撮像画像から、マーク記憶部150に記憶されている複数のマークの特徴パターンを探索する。カード検出部122は、マーク記憶部150に記憶されているマークの特徴パターンを、投影領域内から抽出されるマーク8aの特徴パターンと比較するパターンマッチング処理を実施する。カード検出部122は、撮像画像に含まれるマーク8aの特徴パターンを、マーク記憶部150に保持された特徴パターンと比較して、マーク8aに一致する特徴パターンを特定し、その特徴パターンに対応付けられたカードIDを特定する。この例では、マーク記憶部150に記憶されたマーク「A」に対応付けられたカードIDが特定される。
なお図10に示す例では、カード検出部122が、投影領域4の全体を撮像した画像からマークの検出処理を実施しているが、アプリケーションによっては、投影領域4がカード7を配置するための複数のエリアに分割されていてもよい。この場合、カード検出部122は、各エリア内でカード7の検出処理を実施すればよく、エリアを限定できるために、パターンマッチングの処理時間を短縮できる。
一般にカード7には天地が存在し、通常は短辺の一方が上辺、短辺の他方が下辺となる。マーク記憶部150は、マーク8の特徴パターンを、カード7の正しい天地となるように保持している。なお長辺の一方が上辺、長辺の他方が下辺となるようなカード7であってもよい。カード検出部122は、撮像画像からマーク8aを抽出してマーク記憶部150に記憶されたマーク8と比較して、一致するマーク8を検出すると、検出したマーク8の中心座標(カード7の中心座標)と、マーク8aの傾き(カード7の姿勢)を特定する。
カード検出部122は、マーク記憶部150に記憶されたマークの特徴パターンを何度回転させると、撮像画像に含まれるマーク8aの特徴パターンに一致するか特定する。この姿勢情報(角度情報)は、補正された撮像画像の2次元座標系におけるカード7の姿勢を示し、カード7の下辺から上辺に向かう左辺または右辺の傾きとして表現される。姿勢情報については、図13で説明する。
なお、カード7を利用した画像投影システム1においては、投影領域4における実世界座標系と、赤外線カメラ22におけるカメラ座標系と、プロジェクタ21におけるプロジェクタ座標系とがそれぞれ独立して存在する。処理装置10は、これらの座標系を自動調整する座標調整機能を備えており、これにより赤外線カメラ22で検出されたマーク8の位置座標が、投影領域4における位置座標に変換されて取り扱われ、また投影領域4における位置座標が、プロジェクタ21におけるプロジェクタ座標系の位置座標に変換されて取り扱われる。以下では、処理装置10が、この座標調整機能を有していることを前提とし、説明の便宜上、様々な位置座標を、投影領域4における2次元座標系の位置座標と同一視して説明する。
カード検出部122が、カード7のカードID、中心座標および姿勢情報を検出すると、カード情報生成部124が、アプリケーションで使用するカード情報を生成する。ここではカード情報生成部124が、カード7のカードID、姿勢情報と、カード7の4隅の頂点座標を、カード情報として生成し、カード情報を投影画像生成部130および指示検出部140に提供する。なおカード情報生成部124はカード7の大きさを認識しており、カード検出部122から提供される中心座標および姿勢情報から、カード7の4隅の頂点座標を求めることができる。
カード検出部122は、所定の周期でカード認識処理を実施し、検出したカード7のカードID、中心座標および姿勢情報を、カード情報生成部124に提供する。たとえばカード検出部122は、赤外線カメラ22の撮影周期に同期してカード認識処理を実施してもよい。なおカード検出部122は、認識済みのカード7に対しては、トラッキング処理を実施して、カード7のカードID、中心座標および姿勢情報を、カード情報生成部124に提供してもよい。
<ゲーム制御>
演出記憶部154は、カードIDに、演出内容を対応付けて記憶する。演出記憶部154は、カードIDと、静止画像または動画像である演出パターンとを対応付けて記憶してよい。なお演出記憶部154は、カードIDおよびゲームシーンに対応付けられている演出パターンを記憶してもよい。投影画像生成部130は、カード7の周辺で常時動いているような動画像、たとえばユーザの期待感やゲームの臨場感を高めるような動画像を生成することが好ましい。投影画像生成部130は、認識処理部120が認識したカード7にもとづいて、プロジェクタ21により投影する投影画像を生成する。投影画像生成部130の機能は、カードゲームプログラムによって実現され、ゲームの進行に応じて、カードIDに対応付けられた演出内容から投影画像を生成する。
演出記憶部154は、カードIDに、演出内容を対応付けて記憶する。演出記憶部154は、カードIDと、静止画像または動画像である演出パターンとを対応付けて記憶してよい。なお演出記憶部154は、カードIDおよびゲームシーンに対応付けられている演出パターンを記憶してもよい。投影画像生成部130は、カード7の周辺で常時動いているような動画像、たとえばユーザの期待感やゲームの臨場感を高めるような動画像を生成することが好ましい。投影画像生成部130は、認識処理部120が認識したカード7にもとづいて、プロジェクタ21により投影する投影画像を生成する。投影画像生成部130の機能は、カードゲームプログラムによって実現され、ゲームの進行に応じて、カードIDに対応付けられた演出内容から投影画像を生成する。
投影画像生成部130により生成された投影画像は、プロジェクタ21により投影領域4に投影される。カード認識処理において、赤外線カメラ22は、プロジェクタ21による投影光の影響を受けずにカード7を撮像できるため、認識処理部120は、赤外線カメラ22による撮像画像をもとに、カード7の特定処理を適切に実施できる。なお可視光カメラ23は、プロジェクタ21により投影される演出も撮像するため、カード認識の用途には適さない。
投影画像生成部130は、演出記憶部154に記憶された演出パターンにしたがって、プロジェクタ21の画像投影を制御する。具体的に投影画像生成部130は、認識処理部120から提供されるカードIDに対応付けられている演出画像を演出記憶部154から読み出し、または演出記憶部154から読み出された演出パターンにしたがって演出画像を生成して、カード7の位置情報をもとに、プロジェクタ21に演出画像を投影させる。たとえば投影画像生成部130は、カード7の近傍に、ゲームルールに関する説明や、カード7の操作方法など、進行に関するゲーム操作情報を投影させてもよい。このように投影画像生成部130は、ゲーム操作をアシストする情報をプロジェクタ21からカード7近傍に投影させることで、ユーザが円滑にゲームを進行できるようになる。
なお投影画像生成部130は、カード7上に白色光を投影させるようにプロジェクタ21を制御することが好ましい。実施例のカード7の表面には、図柄が描かれており、ユーザは、図柄によってカード7を特定する。そのためカード7上にプロジェクタ21からの演出画像が投影されると、演出効果は高まるものの、図柄の視認性は落ちることになる。そこで投影画像生成部130は、認識処理部120から供給されるカード7の4隅の頂点座標をもとに、カード7上に白色光を投影させるようにプロジェクタ21を投影制御することで、カード7の視認性を損なうことなく、ゲーム演出を行うことができる。
なお投影画像生成部130は、投影領域4の全体に投影する背景画像を、認識処理部120により特定されたカード7に応じて変更してよい。このとき複数のカード7が投影領域4に配置されていれば、その複数のカード7の組合せに応じて、投影画像生成部130が背景画像を決定してもよい。また背景用のカード7を予め設定しておき、背景用のカード7が特定されると、当該カード7の背景画像が投影されるようにしてもよい。
図11は、投影領域4に投影された投影画像の例を示す。カード7a〜7cは、投影領域4に配置されているカードである。投影画像生成部130は、カード7a〜7cに対して白色光を投影しつつ、さらにカード7a、7cの周囲を丸で囲い、カード7bにバツをつける演出画像を投影している。ここで丸で囲われたカード7a、7cは、操作可能なカードであることを示し、バツを付加されたカード7bは、操作不能なカードであることを示す。このように投影画像生成部130は、カード7の状態をユーザが認識できるような投影画像を生成することで、ユーザが円滑にゲームを進行できるようになる。
なお投影画像生成部130が、カード7に対応付けられた演出画像をプロジェクタ21から投影させることを説明したが、投影画像生成部130は、たとえばカード7の動きに応じて演出画像を投影させてもよい。投影画像生成部130は、カード7の位置座標の変化からカード7の速度および進行方向を導出して、導出した速度および進行方向に対応付けられている演出画像をプロジェクタ21から投影領域4に投影させてもよい。
<ゲーム操作>
上記したように、投影画像生成部130は、カード7の位置や動きなどのカード操作に基づいて投影画像を生成する。以下においては、それ以外の操作によって、ゲームを進行させるユーザインタフェースを提案する。
上記したように、投影画像生成部130は、カード7の位置や動きなどのカード操作に基づいて投影画像を生成する。以下においては、それ以外の操作によって、ゲームを進行させるユーザインタフェースを提案する。
カードゲームでは、カードの向きによって、カードの状態を表現することが一般に行われている。たとえば縦向きのカードは操作可能であるが、横向きのカードは、一時的に操作できない状態にあることを示す。また縦向きのカードはスタンバイ状態、横向きのカードは攻撃状態にあることを示してもよい。縦向きか横向きかで表現されるカードの状態はゲームにより適宜定められる。
投影画像生成部130は、認識処理部120から、カード7のカードID、姿勢情報および4隅の頂点座標(以下、位置情報ともよぶ)を、カード情報として提供される。投影画像生成部130は、提供された姿勢情報から、カード7の向きを特定し、カード7の向きに応じた投影画像を生成する。以下、提供される姿勢情報を、角度αとする。
図12(a)〜図12(d)は、投影画像生成部130が取り扱うカード7の向きの態様を示す。図12(a)に示すカード7は「上向き」、図12(b)に示すカード7は「左向き」、図12(c)に示すカード7は「下向き」、図12(d)に示すカード7は「右向き」として特定される。投影画像生成部130は、撮像画像に含まれるカード7の向きを、上下左右の4つの向きのいずれかに特定する。
図13(a)、(b)は、認識処理部120から提供される姿勢情報を説明するための図である。角度αは、カード7の下辺から上辺に向かう辺(たとえば左辺)の傾きとして表現される。角度αは、カード7の下辺の左頂点を仮想2次元座標系の原点に配置したときの、横軸であるx軸からの角度として特定される。
図14(a)は、カード向きを判定するための第1判定基準を示す。上向き判定領域40aは、角度αが45度以上、135度未満である領域を示す。左向き判定領域40bは、角度αが135度以上、225度未満である領域を示す。下向き判定領域40cは、角度αが225度以上、315度未満である領域を示す。右向き判定領域40dは、角度αが315度以上、360度未満、または0度以上、45度未満である領域を示す。
図14(a)に示す第1判定基準は、上下左右の各向きの範囲を示す判定領域を規定する。図14(b)に示す第2判定基準と比較すると明らかなように、第1判定基準では、各判定領域の境界が連続しており、したがって角度αが与えられれば、投影画像生成部130は、ただちにカード7の向きを特定できる。
認識処理部120が、最初にカード7を認識した時点でのカードID、位置情報および姿勢情報をカード情報として投影画像生成部130に提供すると、投影画像生成部130は、そのときの姿勢情報(角度α)から、図14(a)に示す第1判定基準を用いて、カード7の向きを判定し、カード7の向きに応じた投影画像を生成する。
認識処理部120は、カード7を検出し続けている間、カード7のカード情報を投影画像生成部130に提供する。投影画像生成部130は、姿勢情報にもとづいて、カード7の向きを特定するが、その際、カード7の左辺が第1判定基準の境界近傍の角度にあると、カード7の検出精度によっては、カード7が動かされていないにも関わらず、カード向きの判定結果が変化することがある。
図14(b)は、カード向きを判定するための第2判定基準を示す。図14(b)に示す第2判定基準は、投影画像生成部130がカード7の向きを図14(a)に示す第1判定基準を用いて決定した後に使用される。図14(b)に示す第2判定基準では、向き判定領域の間に、不感領域42が設けられ、向き判定領域の境界は連続しない。
投影画像生成部130は、角度αが、ある向き判定領域から不感領域42に含まれるようになっても、判定したカード向きを変更しない。投影画像生成部130は、角度αが、ある向き判定領域から不感領域42を超えて別の判定領域に含まれるようになった場合に、カード向きが切り替わったことを判定する。このような不感領域42を設けることで、向き判定の結果が頻繁に入れ替わることを防止できる。
このように投影画像生成部130は、第1判定基準をもとにカード7の向きを特定した後は、向き判定領域間に不感領域42を設けた第2判定基準にもとづいてカード7の向きを特定する。これにより認識処理部120の検出精度にかかわらず、カード7の向きを安定して特定できるようになる。
実施例の投影画像生成部130は、4方向のカード向きを区別して特定する。これによりカードゲームにおいては、カード7の4方向に対して、それぞれ異なるカード状態をもたせることができ、ゲーム操作の選択肢を増やすことができる。たとえば上向きのときは操作可能状態、左向きのときは操作不能状態、下向きのときはスタンバイ状態、右向きのときは攻撃状態にあることを指定し、投影画像生成部130は、カード7の向きに応じた投影画像を生成してよい。
実施例のカードゲームでは、ゲームコントローラを用いたゲーム操作も可能とするが、カード7を用いたゲーム操作がユーザ感覚に沿うため、カード7の向きによって4つの操作選択肢を作り出せることは、カードゲームにおいて革新的なユーザインタフェースを提供する。
次に、カード7とは別の実オブジェクトによりゲーム操作を行う例を示す。
指示検出部140は、カード7に対する指示またはゲームアプリケーションに対する指示を検出する。カード7やゲームに対する指示は、ユーザによりカード7とは異なる物体(実オブジェクト)によって生成される。投影画像生成部130は、指示検出部140が検出した指示にもとづいて、投影画像を生成する。
指示検出部140は、カード7に対する指示またはゲームアプリケーションに対する指示を検出する。カード7やゲームに対する指示は、ユーザによりカード7とは異なる物体(実オブジェクト)によって生成される。投影画像生成部130は、指示検出部140が検出した指示にもとづいて、投影画像を生成する。
認識処理部120において、オブジェクト検出部126は、カード7とは異なる物体(実オブジェクト)を検出する。実オブジェクトの一つの例は、ユーザの手指である。
図15は、画像補正部116により補正された撮像画像の例を示す。この例では図柄である「A」、「C」を印刷された2枚のカード7a、7dが投影領域4に配置されている。画像補正部116は、補正用パラメータを用いて撮像画像を補正して、認識処理部120に提供する。
認識処理部120において、カード情報生成部124が、カード7a、7dのカードID、姿勢情報および4隅の頂点座標を、カード情報として生成して、指示検出部140に提供する。ここで撮像画像にユーザの手指が入り込むと、オブジェクト検出部126は、撮像画像に含まれる物体の位置情報を検出する。オブジェクト検出部126は、検出したオブジェクトの位置情報を、指示検出部140に提供する。
オブジェクト検出部126は、撮像画像においてオブジェクトが所定以上の長さを有する場合に、当該オブジェクトが長尺オブジェクト50であることを検出する。図15に示す例では、長尺オブジェクト50は、ユーザの手指であるが、たとえばカードゲームの付属品として用意されたカード指定棒であってもよい。オブジェクト検出部126は、オブジェクトが所定以上の長さを有して撮像されている場合に、長尺オブジェクト50が撮像領域に進入したことを検出し、長尺オブジェクト50の先端の位置座標を、検出情報として指示検出部140に提供する。
指示記憶部152は、オブジェクトに関連づけられたゲーム指示を記憶する。指示記憶部152は、オブジェクトに関連づけて、ゲーム進行に応じたゲーム指示を記憶していてもよい。たとえば、あるゲームシーンにおいて、長尺オブジェクト50によるカードの指定は、攻撃カードを選択するための指示として記憶されており、また別のゲームシーンにおいて長尺オブジェクト50によるカードの指定は、攻撃を開始するための指示として記憶されていてよい。上記したように投影画像生成部130は、カード7近傍にゲーム操作のアシスト情報を投影するため、ユーザは、手指を使った直観的なゲーム操作を可能とする。
付加オブジェクト検出部142は、長尺オブジェクト50の先端の位置座標と、カード7の4隅の頂点座標から、長尺オブジェクト50がカード7上に進入したか否かを判定する。長尺オブジェクト50の位置座標が、カード7の4隅の頂点座標で囲まれる矩形領域内に含まれる場合に、付加オブジェクト検出部142は、長尺オブジェクト50がカード7上に進入したことを判定して、長尺オブジェクト50がカード7を指定したことを検出する。付加オブジェクト検出部142は、指示記憶部152を参照して、指定されたカード7に対するゲーム指示を読み出し、投影画像生成部130に、指定されたカード7のカードIDとゲーム指示とを提供する。これを受けて投影画像生成部130は、当該カード7に対して、ゲーム指示を反映した投影画像を生成する。
なお付加オブジェクト検出部142は、長尺オブジェクト50がカード7の矩形領域に進入したことを検出すると、検出してから所定時間(たとえば2秒)の間、長尺オブジェクト50が矩形領域に入り込み続けた場合に、長尺オブジェクト50がカード7上に進入したことを判定してもよい。たとえばユーザが意図せずカード7を触ってしまった場合や、カード7の位置を整えようとしている場合には、ユーザにカード選択の意思はない。そのため所定時間の間、矩形領域に進入している場合に、付加オブジェクト検出部142は、ユーザの長尺オブジェクト50によるカード指定操作として判定してもよい。
さらに付加オブジェクト検出部142は、カード指定操作として検出する際に、カード7が動かされていないことを条件としてもよい。カードゲームにおいては、カード7の配置を動かすゲーム操作があり、カード7の配置を動かす場合には、ユーザは手指でカード7を動かすことになる。そのため、このゲーム操作と区別するために、付加オブジェクト検出部142は、カード7が動かされないこと、つまりカード7の位置座標に変化がないことを条件として、長尺オブジェクト50によるカード指定操作を検出してもよい。
上記したように、長尺オブジェクト50の検出処理は、赤外線カメラ22の撮像画像にもとづいて実施されてよいが、光学装置20は、オブジェクト検出用の別の赤外線カメラをさらに備えてもよい。光学装置20は、投影領域4上に赤外レーザ光を照射する光源と、投影領域4を撮像する第2の赤外線カメラを備えてよい。オブジェクト検出部126は、第2の赤外線カメラの撮像画像から、投影領域4に進入したオブジェクトを検出してもよい。
図16は、投影領域4に投影された投影画像の例を示す。カード7a、7dは、投影領域4に配置されているカードである。投影画像生成部130は、カード7aに対しては白色光を投影しつつ、カード7aの周囲に、指定されたことを示す演出画像を投影させている。このように投影画像生成部130は、カード7aに対する指示が検出される前と、検出された後とで、カード7aに対して異なる投影画像を生成し、プロジェクタ21から投影させる。これによりユーザは、カード7aを適切に指定できたことを知ることができる。なおカード7dは選択されていないため、カード7dに対する投影画像に変更はない。
図17は、画像補正部116により補正された撮像画像の例を示す。この例では図柄である「A」、「C」を印刷された2枚のカード7a、7dが投影領域4に配置されている。画像補正部116は、補正用パラメータを用いて撮像画像を補正して、認識処理部120に提供する。認識処理部120において、カード検出部122が、カード7a、7dのカードID、中心座標および姿勢情報を検出し、カード情報生成部124が、カード7a、7dのカードID、4隅の頂点座標および姿勢情報を含むカード情報を生成して、指示検出部140に提供する。
図17では、カード7d上に、2つのアイテムオブジェクト52が配置された状態が撮像されている。このアイテムオブジェクト52は、カードゲームの付属品として用意されたゲーム用コインである。アイテムオブジェクト52は、その検出精度を高めるために、たとえば再帰性反射材によって作られてよい。
カードゲームでは、カード7にアイテムを載せて、カード7の状態を変化させる状態指定方法がある。アイテムオブジェクト52は、カード7の状態を変化させるために利用され、ユーザは、カード7の状態に応じた数のアイテムオブジェクト52をカード7に載せられる。オブジェクト検出部126は、撮像画像に含まれるアイテムオブジェクト52を検出し、検出したアイテムオブジェクト52の位置情報を指示検出部140に提供する。
付加オブジェクト検出部142は、オブジェクトの位置情報と、カード7の4隅の頂点座標から、オブジェクトがカード7上に進入したか否かを判定する。付加オブジェクト検出部142は、カード7の矩形領域に入り込むオブジェクトが矩形領域外にでていない場合、すなわち矩形領域内でのみ検出される場合に、当該オブジェクトがアイテムオブジェクト52であることを検出する。図17に示す例では、アイテムオブジェクト52は、ゲーム用コインであるが、小石などのオブジェクトであってもよい。アイテムオブジェクト52は、カード7のサイズよりも小さい物体である必要がある。付加オブジェクト検出部142は、カード7の矩形領域に進入したオブジェクトが矩形領域内からはみ出ない場合に、アイテムオブジェクト52が進入したことを検出し、アイテムオブジェクト52が進入した矩形領域から、カード7のカードIDを特定する。
指示記憶部152は、オブジェクトに関連づけられたゲーム指示を記憶する。指示記憶部152は、オブジェクトに関連づけて、ゲーム進行に応じたゲーム指示を記憶していてもよい。また指示記憶部152は、アイテムオブジェクト52の個数に応じたゲーム指示を記憶していてもよい。
付加オブジェクト検出部142は、アイテムオブジェクト52により指定されたカード7を特定すると、指示記憶部152を参照して、カード7に対するゲーム指示を読み出し、投影画像生成部130に、指定されたカード7のカードIDとゲーム指示とを提供する。これを受けて投影画像生成部130は、当該カード7に対して、ゲーム指示を反映した投影画像を生成する。
なおアイテムオブジェクト52を再帰性反射材で形成した場合、赤外線反射強度が高いため、カード検出時の赤外線カメラ22と同じカメラパラメータでアイテムオブジェクト52を撮像すると、反射強度が強すぎて、アイテムオブジェクト52の輪郭がぼやけ、実際のサイズよりも大きく撮像されてしまう。そのため赤外線カメラ22は、カード検出用のカメラパラメータと、再帰性反射材検出用のカメラパラメータとを調整して、背景は暗く、アイテムオブジェクト52のみが明るく画像に写り込むように撮像を実行することが好ましい。以下、カード検出用のカメラパラメータを第1パラメータ、再帰性反射材検出用のカメラパラメータを第2パラメータと呼ぶ。
1つの手法として第1パラメータのシャッタースピードと第2パラメータのシャッタースピードを比較すると、第1パラメータのシャッタースピードは相対的に遅く、第2パラメータのシャッタースピードは相対的に速く設定される。これにより再帰性反射材の輪郭を実際のサイズに等しく撮像できるようになる。
別の手法として、第2パラメータのカメラゲインを、第1パラメータのカメラゲインよりも下げてもよい。つまり再帰性反射材検出用のカメラパラメータでは、赤外線カメラ22の感度を下げることで、再帰性反射材の輪郭を実際のサイズに等しく撮像できるようになる。
これらの手法は単独で利用されてもよく、また組み合わせて利用されてもよい。赤外線カメラ22は、第1パラメータと第2パラメータとを時間的に交互に切り替えて撮像してもよい。また赤外線カメラ22は、水平ラインごとに第1パラメータと第2パラメータとを交互に切り替えて撮像してもよく、画素ごとに第1パラメータと第2パラメータとを交互に切り替えて撮像してもよい。赤外線カメラ22がステレオカメラである場合は、一方のカメラを第1パラメータで動作させ、他方のカメラを第2パラメータで動作させてもよい。このように再帰性反射材のアイテムオブジェクト52を利用する場合には、異なるカメラパラメータで、カード検出とアイテム検出とが実施されてよい。
次に、認識済みのカード7に、別のカード7を重ねることで、ゲーム操作を行う例を示す。
重畳検出部144は、認識済みのカード7の上に、新たなカード7が重ねられたことを検出する。重畳検出部144がカード7が重ねられたことを検出すると、投影画像生成部130は、カードが重ねられたことに応じた投影画像を生成する。
重畳検出部144は、認識済みのカード7の上に、新たなカード7が重ねられたことを検出する。重畳検出部144がカード7が重ねられたことを検出すると、投影画像生成部130は、カードが重ねられたことに応じた投影画像を生成する。
認識処理部120において、カード情報生成部124は、カード7のカードID、カード7の4つの頂点座標および姿勢情報を含むカード情報を、指示検出部140に提供する。あるカード7が配置されていた位置に、当該カード7が取り除かれることなく、別のカード7が配置されると、重畳検出部144は、異なる種類のカード7が重ねられたことを検出する。
図18は、画像補正部116により補正された撮像画像の例を示す。この例では図柄である「A」を印刷されたカード7aが投影領域4に配置されている。画像補正部116は、補正用パラメータを用いて撮像画像を補正して、認識処理部120に提供する。認識処理部120において、カード検出部122が、カード7aのカードID、中心座標および姿勢情報を検出して、カード情報生成部124が、カードID、カード7の4つの頂点座標および姿勢情報を含むカード情報を生成し、指示検出部140に提供する。
重畳検出部144は、カードIDおよび4つの頂点座標から、検出されたカード7aの位置を認識する。投影領域4においてカード7aが動かされなければ、重畳検出部144は、その間、カード7aが静止していることを認識する。ここでカード7a上にユーザが別のカード7dを重ねると、カード情報生成部124は、カード7dのカードID、4つの頂点座標および姿勢情報を含むカード情報を、指示検出部140に提供する。なおカード検出部122は、カード7aを検出できなくなるため、カード情報生成部124は、カード7aのカード情報を指示検出部140に提供しない。
図19は、カード7aにカード7dを重ねた状態を示す。重畳検出部144は、カード情報生成部124から提供されるカード7dのカード情報を受け取ると、カード7aが消失したことを認識するとともに、カード7aが配置されていた位置に、カード7dが配置されていることを認識する。そこで重畳検出部144は、カード7aに、新たなカード7dが重ねられたことを検出する。
重畳検出部144は、カード7aの位置情報とカード7dの位置情報とが重なる関係にあることを示す場合に、カード7a上にカード7dが重ねられたことを検出する。たとえば重畳検出部144は、カード7aの4点の頂点座標からカード7aの重心座標を求め、またカード7dの4点の頂点座標からカード7dの重心座標を求めて、2つの重心座標の距離が所定距離(たとえば短辺の半分)以下である場合に、カード7aにカード7dが重ねられたことを判定してもよい。なお重畳検出部144は、認識処理部120からカード7aのカードID等の情報の提供が途絶え、しばらくの時間が経過した後に、カード7aと同位置となるカード7dの情報の提供を受けた場合には、カードが重ねられたことを判定しない。この場合は、ユーザがカード7aをカード7dに交換したと判定されてよい。
重畳検出部144は、カード7aにカード7dが重ねられたことを検出すると、投影画像生成部130にその旨を通知する。投影画像生成部130は、カード7aにカード7dが重ねられたことに応じた投影画像を生成し、プロジェクタ21から投影させる。
図20は、投影画像の例を示す。図20(a)は、カード7aの攻撃力が5000であるとする投影画像を示す。図18に示すようにカード7aが検出されている場合、カード7aの近傍には、図20(a)に示す投影画像が投影されている。この状態から、図19に示すようにカード7aにカード7dが重ねられると、図20(b)に示すように、カード7aにカード7dを重ねた状態の攻撃力が10000であるとする投影画像が投影される。実施例のカードゲームでは、カード7を複数枚重ねたことによる特殊効果を生じさせることで、ゲームに新しい楽しみ方を提供できる。
以上は、別種類のカード7を重ねた場合の処理であるが、ユーザが同じ種類のカード7を複数枚有していることは多い。そこで以下では、同じ種類のカード7を重ねた場合の処理について説明する。
実施例のカード検出部122は、図柄によりカード7を特定するものであり、同種のカード7を区別できない。そこで実施例では、マークを不可視インクで印刷したカードスリーブを利用し、カードスリーブにカード7を入れることで、同種のカード7であっても区別できるようにする。
図21(a)は、カードスリーブ9を示す。このカードスリーブ9は、カード7を入れるための袋体の形状を有するフィルムケースであり、ユーザは、カードスリーブ9にカード7を入れて保護することができる。カードスリーブ9は、可視光を透過する透明シートにより形成される。
カードスリーブ9には、赤外線カメラ22で撮像可能なインクでスリーブ識別情報(スリーブID)9aが印刷されている。このインクは、不可視インクであって、スリーブID9aは、ユーザにより視認されないように印刷されていることが好ましい。ユーザは、複数のカードスリーブ9を有してよいが、各カードスリーブ9のスリーブID9aは、重複しないことが好ましい。
図21(b)は、カードスリーブ9にカード7を入れた状態を示す。ユーザは、同種のカード7を重ねる場合は、カードスリーブ9にカード7を入れた状態で使用する。カード検出部122は、カードIDを特定する際に、スリーブID9aを読み取る。カード情報生成部124は、カード7に関するカード情報として、カードID、4つの頂点座標および姿勢情報とともに、スリーブIDを重畳検出部144に提供する。
図18を参照して、認識処理部120において、カード検出部122が、カード7aのカードID、中心座標および姿勢情報を検出する。指示検出部140は、カード情報生成部124から、カード7aのカードID、4つの頂点座標および姿勢情報とともに、スリーブIDを提供される。
重畳検出部144は、カードIDおよび頂点座標から、検出されたカード7aの位置を認識する。投影領域4においてカード7aが動かされなければ、重畳検出部144は、その間、カード7aが静止していることを認識する。ここでカード7a上にユーザが同種の別のカード7aを重ねると、カード情報生成部124は、カード7aのカードID、4つの頂点座標および姿勢情報とともに、スリーブIDを指示検出部140に提供する。
図22は、カード7aに、カード7aを重ねた状態を示す。いずれのカード7aも、カードスリーブ9に挿入されている。なお各カードスリーブ9のスリープIDは異なっている。重畳検出部144は、カード情報生成部124から提供されるカード7aのカード情報を受け取ると、スリーブIDに変更があったことから、元のカード7aが配置されていた位置に、新たな別のカード7aが配置されていることを認識する。そこで重畳検出部144は、カード7aに、別のカード7aが重ねられたことを検出する。
重畳検出部144は、カード7aに同種のカード7aが重ねられたことを検出すると、投影画像生成部130にその旨を通知する。投影画像生成部130は、カード7aにカード7aが重ねられたことに応じた投影画像を生成し、プロジェクタ21から投影させる。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
実施例では、コインなどの実オブジェクトをカード7上に配置して、カード7の状態を変更したが、処理装置10は、バーチャルなアイテムをカード7に配置(投影)して、カード7の状態を変更してもよい。また投影画像生成部130は、サーバや処理装置10に記録しているセーブデータを読み込むことでカード7の状態を設定して、プロジェクタ21から状態を示す投影画像をカード7に投影させてもよい。
実施例では、同種のカード7をカードスリーブ9によって区別したが、同種のカード7を重ねたことは、ユーザにより指定されてもよい。たとえばカード7の近傍に、同種カード7を重ねたことを示すボタン画像が投影され、ユーザがボタン画像が投影された位置をタッチすると、同種のカード7を重ねたことが重畳検出部144により検出されてもよい。このときオブジェクト検出部126は、投影領域4におけるユーザの指位置を検出し、重畳検出部144は、指位置がボタン画像の投影位置に重なったときに、同種のカード7が重ねられたことを検出してもよい。なお音声認識部146が、ユーザからの「同じカードを重ねました」の発声を認識すると、重畳検出部144は、同種のカード7が重なったことを検出してもよい。
1・・・画像投影システム、3・・・表示装置、4・・・投影領域、5・・・撮像領域、7,7a,7b,7c,7d・・・カード、8,8a・・・マーク、9・・・カードスリーブ、10・・・処理装置、20・・・光学装置、21・・・プロジェクタ、22・・・赤外線カメラ、23・・・可視光カメラ、100・・・撮像画像取得部、102・・・位置受付部、104・・・表示処理部、110・・・画像変換部、112・・・カード検出部、114・・・領域特定部、116・・・画像補正部、120・・・認識処理部、122・・・カード検出部、124・・・カード情報生成部、126・・・オブジェクト検出部、130・・・投影画像生成部、140・・・指示検出部、142・・・付加オブジェクト検出部、144・・・重畳検出部、146・・・音声認識部、150・・・マーク記憶部、152・・・指示記憶部、154・・・演出記憶部。
Claims (5)
- プロジェクタにより投影された投影領域を含む領域を撮像した撮像画像を取得する撮像画像取得部と、
撮像画像に含まれるカードの認識処理を実行する認識処理部と、
前記認識処理部が認識したカードにもとづいて、プロジェクタにより投影する投影画像を生成する投影画像生成部と、
カードに対する指示を検出する指示検出部と、を備え、
前記認識処理部は、撮像画像において、カードとは異なる物体を検出して、検出した物体の位置情報を前記指示検出部に提供し、
前記指示検出部は、提供された物体の位置情報から物体がカード上に進入したことを検出すると、検出してから所定時間の間、当該物体がカード上に入り込み続けた場合に、カード指定操作がされたことを判定して、カードに対する指示を検出し、
前記投影画像生成部は、カードに対する指示にもとづいて、投影画像を生成する、
ことを特徴とする処理装置。 - 前記指示検出部は、カードが動かされていないことを条件として、カード指定操作がされたことを判定する、
ことを特徴とする請求項1に記載の処理装置。 - 前記投影画像生成部は、カードに対する指示が検出される前と、検出された後とで、カードに対して異なる投影画像を生成する、
ことを特徴とする請求項1または2に記載の処理装置。 - 処理装置において、プロジェクタにより投影する投影画像を生成する方法であって、
撮像画像取得手段が、プロジェクタにより投影された投影領域を含む領域を撮像した撮像画像を取得するステップと、
認識処理手段が、撮像画像に含まれるカードの認識処理を実行するステップと、
投影画像生成手段が、認識したカードにもとづいて、プロジェクタにより投影する投影画像を生成するステップと、
指示検出手段が、カードに対する指示を検出するステップと、を有し、
認識処理手段は、撮像画像において、カードとは異なる物体の位置情報を検出し、
指示検出手段は、物体の位置情報から、物体がカード上に進入したことを検出すると、検出してから所定時間の間、当該物体がカード上に入り込み続けた場合に、カード指定操作がされたことを判定して、カードに対する指示を検出し、
投影画像を生成するステップは、カードに対する指示にもとづいて、投影画像を生成する、
ことを特徴とする投影画像生成方法。 - コンピュータに、
プロジェクタにより投影された投影領域を含む領域を撮像した撮像画像を取得する機能と、
撮像画像に含まれるカードの認識処理を実行する機能と、
認識したカードにもとづいて、プロジェクタにより投影する投影画像を生成する機能と、
カードに対する指示を検出する機能と、を実現させるためのプログラムであって、
認識処理を実行する機能は、撮像画像において、カードとは異なる物体の位置情報を検出する機能を含み、
指示を検出する機能は、物体の位置情報から、物体がカード上に進入したことを検出すると、検出してから所定時間の間、当該物体がカード上に入り込み続けた場合に、カード指定操作がされたことを判定して、カードに対する指示を検出する機能を含み、
投影画像を生成する機能は、カードに対する指示にもとづいて、投影画像を生成する機能を含む、
ことを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016081239A JP6285980B2 (ja) | 2016-04-14 | 2016-04-14 | 処理装置および投影画像生成方法 |
PCT/JP2017/006669 WO2017179308A1 (ja) | 2016-04-14 | 2017-02-22 | 処理装置および投影画像生成方法 |
US16/088,257 US10994194B2 (en) | 2016-04-14 | 2017-02-22 | Processing apparatus and projection image generation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016081239A JP6285980B2 (ja) | 2016-04-14 | 2016-04-14 | 処理装置および投影画像生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017189445A JP2017189445A (ja) | 2017-10-19 |
JP6285980B2 true JP6285980B2 (ja) | 2018-02-28 |
Family
ID=60042646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016081239A Active JP6285980B2 (ja) | 2016-04-14 | 2016-04-14 | 処理装置および投影画像生成方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10994194B2 (ja) |
JP (1) | JP6285980B2 (ja) |
WO (1) | WO2017179308A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109754427A (zh) * | 2017-11-01 | 2019-05-14 | 虹软科技股份有限公司 | 一种用于标定的方法和装置 |
JP6488038B1 (ja) * | 2018-03-15 | 2019-03-20 | 株式会社コナミデジタルエンタテインメント | 遊戯媒体識別システム及びそのコンピュータプログラム |
JP7487648B2 (ja) | 2020-11-24 | 2024-05-21 | 株式会社セガ | ゲーム機 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002102529A (ja) * | 2000-10-03 | 2002-04-09 | Sega Corp | ゲーム装置 |
JP2002247602A (ja) * | 2001-02-15 | 2002-08-30 | Mixed Reality Systems Laboratory Inc | 画像生成装置及びその制御方法並びにそのコンピュータプログラム |
JP3819911B2 (ja) * | 2004-03-18 | 2006-09-13 | 株式会社ソニー・コンピュータエンタテインメント | エンタテインメント装置 |
WO2007107874A2 (en) * | 2006-03-22 | 2007-09-27 | Home Focus Development Ltd | Interactive playmat |
JP5304848B2 (ja) * | 2010-10-14 | 2013-10-02 | 株式会社ニコン | プロジェクタ |
US9569892B2 (en) * | 2013-09-26 | 2017-02-14 | Qualcomm Incorporated | Image capture input and projection output |
JP6257258B2 (ja) * | 2013-09-30 | 2018-01-10 | 株式会社ソニー・インタラクティブエンタテインメント | 画像投影システム |
JP5756215B1 (ja) * | 2014-09-16 | 2015-07-29 | グリッドマーク株式会社 | 情報処理装置 |
-
2016
- 2016-04-14 JP JP2016081239A patent/JP6285980B2/ja active Active
-
2017
- 2017-02-22 US US16/088,257 patent/US10994194B2/en active Active
- 2017-02-22 WO PCT/JP2017/006669 patent/WO2017179308A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20190351319A1 (en) | 2019-11-21 |
WO2017179308A1 (ja) | 2017-10-19 |
US10994194B2 (en) | 2021-05-04 |
JP2017189445A (ja) | 2017-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101481880B1 (ko) | 휴대용 실감형 상호작용을 위한 시스템 | |
US8226011B2 (en) | Method of executing an application in a mobile device | |
US8417384B2 (en) | Information processing system, robot apparatus, and control method therefor | |
JP5205187B2 (ja) | 入力システム及び入力方法 | |
JP5256269B2 (ja) | データ生成装置、データ生成装置の制御方法、及びプログラム | |
JP2017189446A (ja) | 処理装置および投影画像生成方法 | |
US20180047209A1 (en) | Image management device, image management method, image management program, and presentation system | |
JP5226961B2 (ja) | ゲーム装置、キャラクタ及び仮想カメラの制御方法、並びにプログラム及び記録媒体 | |
JP6285980B2 (ja) | 処理装置および投影画像生成方法 | |
JP2005143657A (ja) | 情報呈示システム、情報呈示装置、情報呈示装置のための媒体、情報呈示方法、及び情報提示プログラム | |
JP5612929B2 (ja) | 案内情報提供システム、制御装置、案内情報提供方法、及びプログラム | |
US20180005555A1 (en) | Display apparatus, display control method, and display system | |
JP6739847B2 (ja) | 画像表示制御装置および画像表示制御用プログラム | |
JP2012216073A (ja) | 画像処理装置、画像処理装置の制御方法、及びプログラム | |
JP6473711B2 (ja) | 処理装置および投影画像生成方法 | |
JP4341066B2 (ja) | 情報処理装置および画像生成プログラム | |
WO2017179307A1 (ja) | 処理装置およびキャリブレーション方法 | |
US20220244788A1 (en) | Head-mounted display | |
JP2009112638A (ja) | カードゲーム装置 | |
US10412353B2 (en) | Processing apparatus and image projecting method | |
JP5554010B2 (ja) | 射撃ゲーム装置 | |
JP2022022133A (ja) | 実オブジェクトの3dスキャンニングのための方法 | |
JP5068711B2 (ja) | 物体形状認識システム及び物体形状認識方法 | |
JP2006314634A (ja) | ゲームプログラムおよびゲーム装置 | |
KR20200060202A (ko) | 증강현실 기반의 동화 구현 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6285980 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |