JP5671349B2 - 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 - Google Patents
画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 Download PDFInfo
- Publication number
- JP5671349B2 JP5671349B2 JP2011001486A JP2011001486A JP5671349B2 JP 5671349 B2 JP5671349 B2 JP 5671349B2 JP 2011001486 A JP2011001486 A JP 2011001486A JP 2011001486 A JP2011001486 A JP 2011001486A JP 5671349 B2 JP5671349 B2 JP 5671349B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- virtual
- real space
- real
- virtual space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 97
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims description 149
- 239000003550 marker Substances 0.000 claims description 134
- 230000008569 process Effects 0.000 claims description 122
- 238000003384 imaging method Methods 0.000 claims description 90
- 238000001514 detection method Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 9
- 241000251468 Actinopterygii Species 0.000 description 87
- 230000010365 information processing Effects 0.000 description 55
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 54
- 239000011159 matrix material Substances 0.000 description 20
- 238000004891 communication Methods 0.000 description 18
- 238000013500 data storage Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 230000001133 acceleration Effects 0.000 description 16
- 239000003086 colorant Substances 0.000 description 12
- 239000004973 liquid crystal related substance Substances 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 230000004888 barrier function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000008034 disappearance Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000008033 biological extinction Effects 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241000276420 Lophius piscatorius Species 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
- A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
- H04N13/359—Switching between monoscopic and stereoscopic modes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
- A63F13/5252—Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/818—Fishing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/663—Methods for processing data by generating or executing the game program for rendering three dimensional images for simulating liquid objects, e.g. water, gas, fog, snow, clouds
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
- A63F2300/695—Imported photos, e.g. of the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8035—Virtual fishing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Description
以下、本発明の一例示的な実施形態に係るゲーム装置について説明する。図1および図2は、ゲーム装置10の外観を示す平面図である。ゲーム装置10は携帯型のゲーム装置であり、図1および図2に示すように折り畳み可能に構成されている。図1は、開いた状態(開状態)におけるゲーム装置10を示し、図2は、閉じた状態(閉状態)におけるゲーム装置10を示している。図1は、開状態におけるゲーム装置10の正面図である。ゲーム装置10は、撮像部によって画像を撮像し、撮像した画像を画面に表示したり、撮像した画像のデータを保存したりすることが可能である。また、ゲーム装置10は、着脱可能な記憶媒体(例えば、後述の外部メモリ44)に記憶された、または、サーバや他のゲーム装置から受信した、あるいは内蔵する記憶領域(例えば、後述のデータ保存用内部メモリ35)に記憶された、ゲームプログラムを実行可能であり、仮想空間に設定された仮想カメラで撮像した画像などのコンピュータグラフィックス処理により生成された画像を画面に表示したりすることができる。
まず、下側ハウジング11の構成について説明する。図1および図2に示すように、下側ハウジング11には、下側LCD(Liquid Crystal Display:液晶表示装置)12、タッチパネル13、各操作ボタン14A〜14L、アナログスティック15、LED16A〜16B、挿入口17、および、マイクロフォン用孔18が設けられる。以下、これらの詳細について説明する。
次に、上側ハウジング21の構成について説明する。図1および図2に示すように、上側ハウジング21には、上側LCD(Liquid Crystal Display:液晶表示装置)22、外側撮像部23(外側撮像部(左)23aおよび外側撮像部(右)23b)、内側撮像部24、3D調整スイッチ25、および、3Dインジケータ26が設けられる。以下、これらの詳細について説明する。
3D調整スイッチ25のスライダ25aは、所定方向(上下方向)の任意の位置にスライド可能であり、当該スライダ25aの位置に応じて上側LCD22の表示モードが設定される。また、スライダ25aの位置に応じて、立体画像の見え方が調整される。具体的には、スライダ25aの位置に応じて、右眼用画像および左眼用画像における横方向の位置のずれ量が調整される。
次に、図3を参照して、ゲーム装置10の内部の電気的構成について説明する。図3は、ゲーム装置10の内部構成を示すブロック図である。図3に示すように、ゲーム装置10は、上述した各部に加えて、情報処理部31、メインメモリ32、外部メモリインターフェイス(外部メモリI/F)33、データ保存用外部メモリI/F34、データ保存用内部メモリ35、無線通信モジュール36、ローカル通信モジュール37、リアルタイムクロック(RTC)38、加速度センサ39、電源回路40、およびインターフェイス回路(I/F回路)41等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング11(または上側ハウジング21でもよい)内に収納される。
以下、本実施形態におけるゲーム装置10の動作の概要について説明する。本実施形態では、ゲームプログラム70(図5のメモリマップ参照)に基づいて、外側撮像部23(外側撮像部(左)23a、外側撮像部(右)23b)によって現在撮像されている実空間の画像と、3次元の仮想空間に存在する仮想オブジェクトの画像とを合成した合成画像が、上側LCD22の画面に立体視可能に表示される。
まず、ゲームプログラムの実行中にメインメモリ32に記憶される主なデータについて説明する。図5は、ゲーム装置10のメインメモリ32のメモリマップを示す図である。図5に示されるように、メインメモリ32には、ゲームプログラム70、左実空間画像71L、右実空間画像71R、左ビュー行列72L、右ビュー行列72R、仮想オブジェクト情報73、各種変数74等が記憶される。この各種変数には、上述の画像処理プログラムの処理過程において現れる画像における色情報に係る処理に用いられるパラメータあるいは一時的な処理対象データが含まれる。本明細書において特に明示しなければ、いずれにパラメータも、ゲーム装置10の当該メインメモリ32において記憶され、また再利用されることが可能である。代替的に、これらのパラメータ等を示すデータは、ゲーム装置10の別の記憶領域に保存され、さらにそこから読み出されることで再利用されてもよい。
具体的には、図6Aは、現実世界における釣りの要素をゲームの進行に取り入れたゲームに係る例示的な処理を示している。以下、ゲーム処理の詳細について説明する。
まず、色相Hnは、次の3通りの場合分けに従い与えられ得る。
(最大値MAXが、Rnの値で与えられる場合)
Hn=60×(Gn−Bn)/(MAX−MIN);
(最大値MAXが、Gnの値で与えられる場合)
Hn=60×(Bn−Rn)/(MAX−MIN)+120;
(最大値MAXが、Bnの値で与えられる場合))
Hn=60×(Rn−Gn)/(MAX−MIN)+240;
なお、上記数式を用いた変換によってHnが負の値となった場合、さらにHnに360を加算して色相Hnとする。
次に、彩度Snおよび明度Vnは、以下のような数式で変換される。
Sn=(MAX−MIN)/MAX;および
Vn=MAX
上記変換式を用いて、色相Hn、彩度Sn、および明度Vnを算出した場合、色相Hnが0.0〜360.0の範囲の値として提供され、彩度Snが0.0〜1.0の範囲の値として提供され、そして、明度Vnが0.0〜1.0の範囲の値として提供される。
本発明の画像処理プログラム等は、現実空間を撮像した画像のうちマーカに対応する画像以外の部分から色情報を抽出して利用することで、ゲームとして表現にこれまでに以上の広がりを持たせて、興趣性を向上を提供し得る。
また、上記実施形態では、実空間画像に含まれるマーカ60の位置および姿勢を認識して、その認識結果に応じて実空間画像に仮想オブジェクトを合成しているが、他の実施形態では、マーカ60に限らず、任意の認識対象の位置および/または姿勢を認識して、その認識結果に応じて実空間画像に仮想オブジェクトを合成してもよい。認識対象の一例として、人物の顔が挙げられる。
11 下側ハウジング
12 下側LCD
13 タッチパネル
14 操作ボタン
15 アナログスティック
16 LED
21 上側ハウジング
22 上側LCD
23 外側撮像部
23a 外側撮像部(左)
23b 外側撮像部(右)
24 内側撮像部
25 3D調整スイッチ
26 3Dインジケータ
28 タッチペン
31 情報処理部
311 CPU
312 GPU
32 メインメモリ
60 マーカ
61 仮想オブジェクト(水面オブジェクト)
62 仮想オブジェクト(釣竿オブジェクト)
62a 釣竿オブジェクトの部分(釣竿本体)
62b 釣竿オブジェクトの部分(釣糸部分)
62c 釣竿オブジェクトの部分(釣針部分)
63 魚影
63a 魚影63に対応する魚オブジェクトの位置
64 魚影
64a 魚影64に対応する魚オブジェクトの位置
80L 左仮想カメラ
80R 右仮想カメラ
Claims (15)
- 画像処理プログラムであって、
現実空間を撮像するための実カメラと、当該現実空間を表示領域において視認可能とする表示装置とに接続される画像処理装置のコンピュータを、
前記実カメラによって前記現実空間が撮像されることにより得られた実空間画像を取得する実空間画像取得手段、
前記実空間画像から特定対象物を検出する特定対象物検出手段、
前記特定対象物検出手段による特定対象物の検出の結果に基づき、前記実カメラと前記特定対象物との間の相対的位置を算出することを少なくとも実行する算出手段、
前記相対的位置に基づき、仮想空間に仮想カメラを設定する設定手段、
前記実空間画像のうち前記特定対象物に対応する部分の画像以外の画像から、当該画像を構成する画素が有する色成分または当該色成分の組合わせに基づき規定される所定の色条件を満たす画素を識別する識別手段、
前記所定の色条件を満たす画素が識別された結果に応じて、当該色条件に応じた所定のイベントを、前記仮想空間に提供するイベント提供手段、
前記イベントが生じた前記仮想空間を前記仮想カメラで撮影することにより、仮想空間画像を生成する仮想空間画像生成手段、および
前記表示領域上の現実空間に重ね合わせて前記表示領域において視認されるように、前記仮想空間画像を前記表示装置に表示させる表示制御手段として機能させる、画像処理プログラム。 - 前記所定の色条件を満たす画素を識別するために前記識別手段が処理対象とする前記実空間画像の領域は、前記特定対象物に対応する部分に対する相対的な位置関係に基づいて規定された領域である、請求項1に記載の画像処理プログラム。
- 前記所定の色条件を満たす画素を識別するために前記識別手段が処理対象とする前記実空間画像の領域は、前記実空間において前記特定対象物の近傍領域に対応する部分である、請求項1または2に記載の画像処理プログラム。
- 前記所定の色条件を満たす画素を識別するために前記識別手段が処理対象とする前記実空間画像の領域は、複数の部分領域からなり、
前記識別手段が、前記部分領域ごとに、前記所定の色条件を満たす画素を識別する処理を行い、前記部分領域ごとに得られた前記識別する処理の結果の組合わせに応じて、前記イベント提供手段は、前記所定のイベントを仮想空間に提供する、請求項1から3のいずれかに記載の画像処理プログラム。 - 前記複数の部分領域のうち少なくとも2つの部分領域において、前記所定の色条件を満たす画素を識別する処理の結果が実質的に同一となった場合に、前記イベント提供手段は、前記所定のイベントを前記仮想空間に提供する、請求項4に記載の画像処理プログラム。
- 前記イベント提供手段は、前記複数の部分領域のそれぞれにおいて、前記所定の色条件を満たす画素を識別する処理の結果と、当該部分領域の位置情報とに応じた、前記所定のイベントを仮想空間に提供する、請求項4または5に記載の画像処理プログラム。
- 前記識別手段が所定の色条件を満たす画素を識別した状態が、所定の時間継続することを契機として、前記イベント提供手段は、前記所定イベントを前記仮想空間に提供する、請求項1から6までのいずれかに記載の画像処理プログラム。
- 前記イベント提供手段が前記所定イベントを仮想空間に提供した後において、
前記識別手段が所定の色条件を満たす画素を識別していない状態が、所定の時間継続することを契機として、当該所定イベントを前記仮想空間から消去する、請求項1から7までのいずれかに記載の画像処理プログラム。 - 前記識別手段は、前記特定対象物に対応する部分の画像以外の画像が有するRGBカラーモデルに基づく色情報をHSVカラーモデルに基づく色情報に変換して、所定の色条件を満たす画素を識別した結果を取得し、その後、当該結果と前記RGBカラーモデルに基づく色情報のみで識別した結果とが合致することをもって所定の色条件を満たしている状態として識別する、請求項1から8までのいずれかに記載の画像処理プログラム。
- 前記所定のイベントは、所定のオブジェクトを前記仮想空間に提供するイベントである、請求項1から9までのいずれかに記載の画像処理プログラム。
- 前記オブジェクトの提供において、前記仮想空間に提供されるオブジェクトが、複数のオブジェクトから、前記識別された画素が有する色成分またはその組合わせに応じて選択される、請求項10に記載の画像処理プログラム。
- 現実空間を撮像するための実カメラと、当該現実空間を表示領域において視認可能とする表示装置とに接続される画像処理装置であって、
前記実カメラによって前記現実空間が撮像されることにより得られた実空間画像を取得する実空間画像取得手段、
前記実空間画像から特定対象物を検出する特定対象物検出手段、
前記特定対象物検出手段による特定対象物の検出の結果に基づき、前記実カメラと前記特定対象物との間の相対的位置を算出することを少なくとも実行する算出手段、
前記相対的位置に基づき、仮想空間に仮想カメラを設定する設定手段、
前記実空間画像のうち前記特定対象物に対応する部分の画像以外の画像から、当該画像を構成する画素が有する色成分または当該色成分の組合わせに基づき規定される所定の色条件を満たす画素を識別する識別手段、
前記所定の色条件を満たす画素が識別された結果に応じて、当該色条件に応じた所定のイベントを、前記仮想空間に提供するイベント提供手段、
前記イベントが生じた前記仮想空間を前記仮想カメラで撮影することにより、仮想空間画像を生成する仮想空間画像生成手段、および
前記表示領域上の現実空間に重ね合わせて前記表示領域において視認されるように、前記仮想空間画像を前記表示装置に表示させる表示制御手段
を備える、画像処理装置。 - 現実空間を撮像するための実カメラと、当該現実空間を表示領域において視認可能とする表示装置とに接続される画像処理システムであって、
前記実カメラによって前記現実空間が撮像されることにより得られた実空間画像を取得する実空間画像取得手段、
前記実空間画像から特定対象物を検出する特定対象物検出手段、
前記特定対象物検出手段による特定対象物の検出の結果に基づき、前記実カメラと前記特定対象物との間の相対的位置を算出することを少なくとも実行する算出手段、
前記相対的位置に基づき、仮想空間に仮想カメラを設定する設定手段、
前記実空間画像のうち前記特定対象物に対応する部分の画像以外の画像から、当該画像を構成する画素が有する色成分または当該色成分の組合わせに基づき規定される所定の色条件を満たす画素を識別する識別手段、
前記所定の色条件を満たす画素が識別された結果に応じて、当該色条件に応じた所定のイベントを、前記仮想空間に提供するイベント提供手段、
前記イベントが生じた前記仮想空間を前記仮想カメラで撮影することにより、仮想空間画像を生成する仮想空間画像生成手段、および
前記表示領域上の現実空間に重ね合わせて前記表示領域において視認されるように、前記仮想空間画像を前記表示装置に表示させる表示制御手段
を備える、画像処理システム。 - 現実空間を撮像するための実カメラと、当該現実空間を表示領域において視認可能とする表示装置とに接続される画像処理装置において行われる画像処理方法であって、
前記実カメラによって前記現実空間が撮像されることにより得られた実空間画像を取得する実空間画像取得ステップ、
前記実空間画像から特定対象物を検出する特定対象物検出ステップ、
前記特定対象物検出ステップによる特定対象物の検出の結果に基づき、前記実カメラと前記特定対象物との間の相対的位置を算出することを少なくとも実行する算出ステップ、
前記相対的位置に基づき、仮想空間に仮想カメラを設定する設定ステップ、
前記実空間画像のうち前記特定対象物に対応する部分の画像以外の画像から、当該画像を構成する画素が有する色成分または当該色成分の組合わせに基づき規定される所定の色条件を満たす画素を識別する識別ステップ、
前記所定の色条件を満たす画素が識別された結果に応じて、当該色条件に応じた所定のイベントを、前記仮想空間に提供するイベント提供ステップ、
前記イベントが生じた前記仮想空間を前記仮想カメラで撮影することにより、仮想空間画像を生成する仮想空間画像生成ステップ、および
前記表示領域上の現実空間に重ね合わせて前記表示領域において視認されるように、前記仮想空間画像を前記表示装置に表示させる表示制御ステップ
を含む、方法。 - 現実空間を撮像するための実カメラと、当該現実空間を表示領域において視認可能とする表示装置とに接続される画像処理システムであって、
前記実カメラで撮像され得るマーカ、
前記実カメラによって前記現実空間が撮像されることにより得られた実空間画像を取得する実空間画像取得手段、
前記実空間画像から前記マーカを検出するマーカ検出手段、
前記マーカ検出手段によるマーカの検出の結果に基づき、前記実カメラと前記マーカとの間の相対的位置を算出することを少なくとも実行する算出手段、
前記相対的位置に基づき、仮想空間に仮想カメラを設定する設定手段、
前記実空間画像のうち前記マーカに対応する部分の画像以外の画像から、当該画像を構成する画素が有する色成分または当該色成分の組合わせに基づき規定される所定の色条件を満たす画素を識別する識別手段、
前記所定の色条件を満たす画素が識別された結果に応じて、当該色条件に応じた所定のイベントを、前記仮想空間に提供するイベント提供手段、
前記イベントが生じた前記仮想空間を前記仮想カメラで撮影することにより、仮想空間画像を生成する仮想空間画像生成手段、および
前記表示領域上の現実空間に重ね合わせて前記表示領域において視認されるように、前記仮想空間画像を前記表示装置に表示させる表示制御手段
を備える、画像処理システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011001486A JP5671349B2 (ja) | 2011-01-06 | 2011-01-06 | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
US13/159,767 US8797354B2 (en) | 2011-01-06 | 2011-06-14 | Computer-readable storage medium having image processing program stored therein, image processing apparatus, image processing system, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011001486A JP5671349B2 (ja) | 2011-01-06 | 2011-01-06 | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012145981A JP2012145981A (ja) | 2012-08-02 |
JP2012145981A5 JP2012145981A5 (ja) | 2014-01-16 |
JP5671349B2 true JP5671349B2 (ja) | 2015-02-18 |
Family
ID=46454920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011001486A Active JP5671349B2 (ja) | 2011-01-06 | 2011-01-06 | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8797354B2 (ja) |
JP (1) | JP5671349B2 (ja) |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010024584A2 (ko) * | 2008-08-27 | 2010-03-04 | 키위플주식회사 | 객체 인식시스템, 이를 갖는 무선 인터넷 시스템 및 이를 이용한 객체기반 무선통신 서비스 방법 |
JP4869430B1 (ja) * | 2010-09-24 | 2012-02-08 | 任天堂株式会社 | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 |
KR101803571B1 (ko) * | 2011-06-17 | 2017-11-30 | 엘지디스플레이 주식회사 | 입체영상표시장치와 이의 구동방법 |
DE102011112618A1 (de) * | 2011-09-08 | 2013-03-14 | Eads Deutschland Gmbh | Interaktion mit einem dreidimensionalen virtuellen Szenario |
US20140270477A1 (en) * | 2013-03-14 | 2014-09-18 | Jonathan Coon | Systems and methods for displaying a three-dimensional model from a photogrammetric scan |
JP2015041126A (ja) * | 2013-08-20 | 2015-03-02 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置および情報処理方法 |
TW201528052A (zh) * | 2014-01-13 | 2015-07-16 | Quanta Comp Inc | 互動系統和互動方法 |
JP6323040B2 (ja) * | 2014-02-12 | 2018-05-16 | 株式会社リコー | 画像処理装置、画像処理方法およびプログラム |
DE202015009620U1 (de) * | 2014-09-03 | 2018-08-30 | Electrolux Appliances Aktiebolag | Haushaltsgerät, insbesondere ein Backofen, mit einer Kamera |
US9897806B2 (en) * | 2015-02-10 | 2018-02-20 | Dreamworks Animation L.L.C. | Generation of three-dimensional imagery to supplement existing content |
US9721385B2 (en) | 2015-02-10 | 2017-08-01 | Dreamworks Animation Llc | Generation of three-dimensional imagery from a two-dimensional image using a depth map |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
JP6654019B2 (ja) * | 2015-11-09 | 2020-02-26 | 任天堂株式会社 | 情報処理システム情報処理装置、情報処理方法、情報処理プログラム、および、ハンドヘルド型情報処理装置 |
US11062383B2 (en) | 2016-05-10 | 2021-07-13 | Lowe's Companies, Inc. | Systems and methods for displaying a simulated room and portions thereof |
WO2018034171A1 (ja) * | 2016-08-19 | 2018-02-22 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP6603438B2 (ja) * | 2017-04-03 | 2019-11-06 | 株式会社Orso | 情報処理装置、プログラム及び方法 |
CN107959846B (zh) * | 2017-12-06 | 2019-12-03 | 苏州佳世达电通有限公司 | 影像显示设备及影像显示方法 |
US10192115B1 (en) | 2017-12-13 | 2019-01-29 | Lowe's Companies, Inc. | Virtualizing objects using object models and object position data |
JP7123554B2 (ja) * | 2017-12-25 | 2022-08-23 | グリー株式会社 | ゲーム装置、制御方法及び制御プログラム |
JP6791901B2 (ja) * | 2018-04-19 | 2020-11-25 | グリー株式会社 | ゲーム処理プログラム、ゲーム処理方法及びゲーム処理装置 |
JP6779939B2 (ja) * | 2018-04-19 | 2020-11-04 | グリー株式会社 | ゲーム装置、制御方法及び制御プログラム |
US10549186B2 (en) | 2018-06-26 | 2020-02-04 | Sony Interactive Entertainment Inc. | Multipoint SLAM capture |
US10535201B1 (en) | 2019-02-15 | 2020-01-14 | Capital One Services, Llc | Utilizing machine learning to generate augmented reality vehicle information for a scale model of a vehicle |
US10496911B1 (en) | 2019-03-18 | 2019-12-03 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet and infrared light |
US10509991B1 (en) | 2019-03-18 | 2019-12-17 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing infrared light |
US10496862B1 (en) | 2019-03-18 | 2019-12-03 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet light |
US10534948B1 (en) | 2019-03-18 | 2020-01-14 | Capital One Services, Llc | Optimizing detection of images in relation to targets based on colorspace transformation techniques |
US10523420B1 (en) | 2019-04-18 | 2019-12-31 | Capital One Services, Llc | Transmitting encoded data along transmission mediums based on colorspace schemes |
US10504013B1 (en) | 2019-04-24 | 2019-12-10 | Capital One Services, Llc | Colorspace encoding multimedia data on a physical page |
US10529300B1 (en) | 2019-06-20 | 2020-01-07 | Capital One Services, Llc | Adaptive image display based on colorspace conversions |
US10614635B1 (en) * | 2019-07-25 | 2020-04-07 | Capital One Services, Llc | Augmented reality system with color-based fiducial marker |
US10833852B1 (en) | 2019-10-03 | 2020-11-10 | Capital One Services, Llc | Encoded data along tape based on colorspace schemes |
US10715183B1 (en) | 2019-10-25 | 2020-07-14 | Capital One Services, Llc | Data encoding with error-correcting code pursuant to colorspace schemes |
US10867226B1 (en) | 2019-11-04 | 2020-12-15 | Capital One Services, Llc | Programmable logic array and colorspace conversions |
US10762371B1 (en) | 2019-11-14 | 2020-09-01 | Capital One Services, Llc | Object detection techniques using colorspace conversions |
US10878600B1 (en) | 2019-12-10 | 2020-12-29 | Capital One Services, Llc | Augmented reality system with color-based fiducial marker utilizing local adaptive technology |
US11302036B2 (en) | 2020-08-19 | 2022-04-12 | Capital One Services, Llc | Color conversion between color spaces using reduced dimension embeddings |
JP7257370B2 (ja) * | 2020-11-18 | 2023-04-13 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3558104B2 (ja) * | 1996-08-05 | 2004-08-25 | ソニー株式会社 | 3次元仮想物体表示装置および方法 |
US6266100B1 (en) * | 1998-09-04 | 2001-07-24 | Sportvision, Inc. | System for enhancing a video presentation of a live event |
US7035435B2 (en) * | 2002-05-07 | 2006-04-25 | Hewlett-Packard Development Company, L.P. | Scalable video summarization and navigation system and method |
JP2004329629A (ja) * | 2003-05-09 | 2004-11-25 | Nintendo Co Ltd | 撮像データに基づいてアイテムを入手するゲーム装置およびゲームプログラム |
US7391424B2 (en) * | 2003-08-15 | 2008-06-24 | Werner Gerhard Lonsing | Method and apparatus for producing composite images which contain virtual objects |
JP3899375B2 (ja) * | 2004-09-03 | 2007-03-28 | 国立大学法人北陸先端科学技術大学院大学 | 表示制御装置 |
US20060159370A1 (en) * | 2004-12-10 | 2006-07-20 | Matsushita Electric Industrial Co., Ltd. | Video retrieval system and video retrieval method |
JP4773170B2 (ja) * | 2005-09-14 | 2011-09-14 | 任天堂株式会社 | ゲームプログラムおよびゲームシステム |
JP5153119B2 (ja) | 2006-11-01 | 2013-02-27 | 富士フイルム株式会社 | ゲーム装置、ゲーム方法、及びゲームプログラム |
WO2008088325A1 (en) * | 2007-01-16 | 2008-07-24 | Utc Fire & Security Corporation | System and method for video based fire detection |
JP4956375B2 (ja) * | 2007-10-30 | 2012-06-20 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP2009205556A (ja) * | 2008-02-28 | 2009-09-10 | Panasonic Corp | ユーザインタフェース装置 |
JP4229980B1 (ja) * | 2008-07-31 | 2009-02-25 | 国立大学法人広島大学 | 画像分割装置および画像分割方法 |
JP5258548B2 (ja) * | 2008-12-26 | 2013-08-07 | 学校法人立命館 | 合成画像表示システム、合成画像表示方法、及び合成画像表示プログラム |
JP4834116B2 (ja) * | 2009-01-22 | 2011-12-14 | 株式会社コナミデジタルエンタテインメント | 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム |
-
2011
- 2011-01-06 JP JP2011001486A patent/JP5671349B2/ja active Active
- 2011-06-14 US US13/159,767 patent/US8797354B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8797354B2 (en) | 2014-08-05 |
US20120176409A1 (en) | 2012-07-12 |
JP2012145981A (ja) | 2012-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5671349B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法 | |
JP5627973B2 (ja) | ゲーム処理をするためのプログラム、装置、システムおよび方法 | |
US9495800B2 (en) | Storage medium having stored thereon image processing program, image processing apparatus, image processing system, and image processing method | |
JP5646263B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 | |
JP5739674B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 | |
JP4869430B1 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 | |
US8648924B2 (en) | Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for generating a combination image on a display of the capturing apparatus | |
US8860847B2 (en) | Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for creating an image | |
US9491430B2 (en) | Storage medium having stored therein display control program, display control apparatus, display control system, and display control method | |
JP5800484B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 | |
JP5572532B2 (ja) | 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム | |
JP5514637B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法 | |
US20120072857A1 (en) | Computer-readable storage medium, display control apparatus, display control method and display control system | |
CN109716397A (zh) | 模拟***、处理方法以及信息存储介质 | |
JP2012243147A (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 | |
JP5689637B2 (ja) | 立体視表示制御プログラム、立体視表示制御システム、立体視表示制御装置、および、立体視表示制御方法 | |
JP5725902B2 (ja) | 画像処理プログラム、画像処理装置、画像処理方法および画像処理システム | |
JP5602702B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法 | |
JP2016001476A (ja) | 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法 | |
JP5777332B2 (ja) | ゲーム装置、ゲームプログラム、ゲームシステム及びゲーム方法 | |
JP5685079B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法および画像処理システム | |
JP5816435B2 (ja) | 表示制御プログラム、表示制御装置、表示制御システム、表示制御方法 | |
JP2014135771A (ja) | 立体視表示制御プログラム、立体視表示制御システム、立体視表示制御装置、および、立体視表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131121 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140925 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5671349 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |