JP7209474B2 - 情報処理プログラム、情報処理方法及び情報処理システム - Google Patents
情報処理プログラム、情報処理方法及び情報処理システム Download PDFInfo
- Publication number
- JP7209474B2 JP7209474B2 JP2018068055A JP2018068055A JP7209474B2 JP 7209474 B2 JP7209474 B2 JP 7209474B2 JP 2018068055 A JP2018068055 A JP 2018068055A JP 2018068055 A JP2018068055 A JP 2018068055A JP 7209474 B2 JP7209474 B2 JP 7209474B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image data
- terminal device
- target object
- dimensional model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1は、本発明の一実施の形態における情報処理システム100の構成の例を示すブロック図である。図1に示すように、情報処理システム100は、サーバ装置10と、情報処理システムのユーザが使用する端末装置201~20n(nは任意の整数)とを含む。なお、情報処理システム100の構成はこれに限定されず、単一の端末装置を複数のユーザが使用する構成としてもよいし、複数のサーバ装置を備える構成としてもよい。
10 サーバ装置
11 端末位置情報取得部
12 撮影画像データ取得部
13 対象オブジェクト特定部
14 描画情報取得部
15 重畳情報出力部
16 記憶部
20、201~20n 端末装置
30 通信ネットワーク
Claims (5)
- 端末装置によって現実空間を撮影した撮影画像データにユーザによる描画情報を重畳した画像データを複数のユーザそれぞれの端末装置のディスプレイに対して表示させる機能をサーバ装置に実現させるためのビデオゲーム処理プログラムであって、
前記サーバ装置に、
前記端末装置の位置情報を取得する端末位置情報取得機能と、
前記端末装置で撮影された撮影画像データを取得する撮影画像データ取得機能と、
予め記憶手段に記憶された端末装置周辺の現実空間に関する3次元モデル情報と、前記位置情報とに基づいて、前記撮影画像データに含まれるオブジェクトであって前記3次元モデル情報と対応しているオブジェクトを対象オブジェクトとして特定する対象オブジェクト特定機能と、
ユーザによる前記対象オブジェクトに対する描画処理の内容を表した描画情報及び前記描画処理の入力位置の情報を取得し、前記撮影画像データと前記描画処理の入力位置との関係性から、前記描画処理が前記3次元モデル情報の何れの面の何れの位置に対する入力であるかを特定して前記描画情報に含ませて記憶させる描画情報取得機能と、
前記描画情報の付された対象オブジェクトを撮影する少なくとも1以上の端末装置に対して、撮影画像データに含まれる当該対象オブジェクトに前記描画情報を重畳させて表示するための重畳情報を出力する重畳情報出力機能と、
現実空間に対応した前記3次元モデル情報を記憶済みのAR空間のうちの所定範囲を、前記複数のユーザが描画可能な範囲としてのフィールドとして設定するフィールド設定機能とを
実現させるためのビデオゲーム処理プログラム。 - 前記サーバ装置に、
複数のユーザを複数のグループに分類するグループ分類機能と、
所定の終了条件が満たされた時点での前記グループ毎の描画面積を集計する集計機能とを
実現させるための請求項1記載のビデオゲーム処理プログラム。 - 前記描画情報取得機能は、前記描画処理の一手法として、前記AR空間に対する前記ユーザによるアイテムの配置、前記AR空間からの前記ユーザによる前記アイテムの取得を実行可能とすることで、前記複数のユーザ間での前記アイテムの共有を可能とする
請求項1記載のビデオゲーム処理プログラム。 - 端末装置によって現実空間を撮影した撮影画像データにユーザによる描画情報を重畳した画像データを複数のユーザそれぞれの端末装置のディスプレイに対して表示させる処理をサーバ装置に実現させるためのビデオゲーム処理方法であって、
前記端末装置の位置情報を取得する端末位置情報取得手順と、
前記端末装置で撮影された撮影画像データを取得する撮影画像データ取得手順と、
予め記憶手段に記憶された端末装置周辺の現実空間に関する3次元モデル情報と、前記位置情報とに基づいて、前記撮影画像データに含まれるオブジェクトであって前記3次元モデル情報と対応しているオブジェクトを対象オブジェクトとして特定する対象オブジェクト特定手順と、
ユーザによる前記対象オブジェクトに対する描画処理の内容を表した描画情報及び前記描画処理の入力位置の情報を取得し、前記撮影画像データと前記描画処理の入力位置との関係性から、前記描画処理が前記3次元モデル情報の何れの面の何れの位置に対する入力であるかを特定して前記描画情報に含ませる描画情報取得手順と、
前記描画情報の付された対象オブジェクトを撮影する少なくとも1以上の端末装置に対して、撮影画像データに含まれる当該対象オブジェクトに前記描画情報を重畳させて表示するための重畳情報を出力する重畳情報出力手順と、
現実空間に対応した前記3次元モデル情報を記憶済みのAR空間のうちの所定範囲を、前記複数のユーザが描画可能な範囲としてのフィールドとして設定するフィールド設定手順と
を含むビデオゲーム処理方法。 - 通信ネットワークと、サーバ装置と、少なくとも1以上の端末装置とを備え、端末装置によって現実空間を撮影した撮影画像データにユーザによる描画情報を重畳した画像データを複数のユーザそれぞれの端末装置のディスプレイに対して表示させる機能を制御するビデオゲーム処理システムであって、
前記端末装置の位置情報を取得する端末位置情報取得手段と、
前記端末装置で撮影された撮影画像データを取得する撮影画像データ取得手段と、
予め記憶手段に記憶された端末装置周辺の現実空間に関する3次元モデル情報と、前記位置情報とに基づいて、前記撮影画像データに含まれるオブジェクトであって前記3次元モデル情報と対応しているオブジェクトを対象オブジェクトとして特定する対象オブジェクト特定手段と、
ユーザによる前記対象オブジェクトに対する描画処理の内容を表した描画情報及び前記描画処理の入力位置の情報を取得し、前記撮影画像データと前記描画処理の入力位置との関係性から、前記描画処理が前記3次元モデル情報の何れの面の何れの位置に対する入力であるかを特定して前記描画情報に含ませて前記サーバ装置に記憶させる描画情報取得手段と、
前記描画情報の付された対象オブジェクトを撮影する少なくとも1以上の端末装置に対して、撮影画像データに含まれる当該対象オブジェクトに前記描画情報を重畳させて表示するための重畳情報を出力する重畳情報出力手段と、
現実空間に対応した前記3次元モデル情報を記憶済みのAR空間のうちの所定範囲を、前記複数のユーザが描画可能な範囲としてのフィールドとして設定するフィールド設定手段と
を含むビデオゲーム処理システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018068055A JP7209474B2 (ja) | 2018-03-30 | 2018-03-30 | 情報処理プログラム、情報処理方法及び情報処理システム |
US16/367,737 US10825252B2 (en) | 2018-03-30 | 2019-03-28 | Information processing program, method, and system for sharing virtual process for real object in real world using augmented reality |
EP19165855.8A EP3547083B1 (en) | 2018-03-30 | 2019-03-28 | Information processing program, information processing method, and information processing system |
US17/034,966 US11328490B2 (en) | 2018-03-30 | 2020-09-28 | Information processing program, method, and system for sharing virtual process for real object arranged in a real world using augmented reality |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018068055A JP7209474B2 (ja) | 2018-03-30 | 2018-03-30 | 情報処理プログラム、情報処理方法及び情報処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019179382A JP2019179382A (ja) | 2019-10-17 |
JP7209474B2 true JP7209474B2 (ja) | 2023-01-20 |
Family
ID=66248499
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018068055A Active JP7209474B2 (ja) | 2018-03-30 | 2018-03-30 | 情報処理プログラム、情報処理方法及び情報処理システム |
Country Status (3)
Country | Link |
---|---|
US (2) | US10825252B2 (ja) |
EP (1) | EP3547083B1 (ja) |
JP (1) | JP7209474B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11808941B2 (en) * | 2018-11-30 | 2023-11-07 | Google Llc | Augmented image generation using virtual content from wearable heads up display |
WO2021173390A1 (en) * | 2020-02-27 | 2021-09-02 | Qsinx Management Llc | Connecting spatially distinct settings |
CN112468696A (zh) * | 2020-11-17 | 2021-03-09 | 珠海大横琴科技发展有限公司 | 一种数据处理的方法和装置 |
CN112634773B (zh) * | 2020-12-25 | 2022-11-22 | 北京市商汤科技开发有限公司 | 增强现实的呈现方法、装置、展示设备及存储介质 |
JP7086242B1 (ja) | 2021-02-18 | 2022-06-17 | Kddi株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP7082698B1 (ja) | 2021-02-18 | 2022-06-08 | Kddi株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006091390A (ja) | 2004-09-24 | 2006-04-06 | Mitsubishi Electric Corp | 情報表示システム及び情報表示方法及び情報表示方法をコンピュータに実行させるためのプログラム及び情報表示端末装置 |
JP2011081557A (ja) | 2009-10-06 | 2011-04-21 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
JP2011159162A (ja) | 2010-02-02 | 2011-08-18 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP2011227644A (ja) | 2010-04-19 | 2011-11-10 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP2012168646A (ja) | 2011-02-10 | 2012-09-06 | Sony Corp | 情報処理装置、情報共有方法、プログラム及び端末装置 |
JP2012168798A (ja) | 2011-02-15 | 2012-09-06 | Sony Corp | 情報処理装置、オーサリング方法及びプログラム |
US20120263154A1 (en) | 2011-04-13 | 2012-10-18 | Autonomy Corporation Ltd | Methods and systems for generating and joining shared experience |
JP2013164696A (ja) | 2012-02-10 | 2013-08-22 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP2013538377A (ja) | 2010-06-17 | 2013-10-10 | クアルコム,インコーポレイテッド | 拡張現実環境のためのモバイルデバイスベースのコンテンツマッピング |
JP2016511850A (ja) | 2012-12-21 | 2016-04-21 | ヴィディノティ エスアーVidinoti Sa | プレノプティックライトフィールドに対しアノテーションを付加するための方法および装置 |
JP2017084100A (ja) | 2015-10-28 | 2017-05-18 | キヤノン株式会社 | 情報通信端末、共有管理装置、情報共有方法、コンピュータプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014203175A (ja) | 2013-04-02 | 2014-10-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム。 |
WO2014162852A1 (ja) * | 2013-04-04 | 2014-10-09 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP2015090553A (ja) * | 2013-11-05 | 2015-05-11 | 株式会社ソニー・コンピュータエンタテインメント | 端末装置、付加情報管理装置、および付加情報管理方法 |
KR101583286B1 (ko) * | 2014-05-16 | 2016-01-07 | 네이버 주식회사 | 공간 정보를 제공하기 위한 증강 현실 제공 방법과 시스템, 그리고 기록 매체 및 파일 배포 시스템 |
US9727977B2 (en) * | 2014-12-29 | 2017-08-08 | Daqri, Llc | Sample based color extraction for augmented reality |
US20160371885A1 (en) * | 2015-06-22 | 2016-12-22 | Anatolie Gavriliuc | Sharing of markup to image data |
WO2017069324A1 (ko) * | 2015-10-22 | 2017-04-27 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
JP6088094B1 (ja) * | 2016-06-20 | 2017-03-01 | 株式会社Cygames | 複合現実環境を作成するためのシステム等 |
US11610371B2 (en) * | 2017-05-19 | 2023-03-21 | Magic Leap, Inc. | Keyboards for virtual, augmented, and mixed reality display systems |
US10467809B2 (en) * | 2018-01-03 | 2019-11-05 | Verizon Patent And Licensing Inc. | Methods and systems for presenting a video stream within a persistent virtual reality world |
-
2018
- 2018-03-30 JP JP2018068055A patent/JP7209474B2/ja active Active
-
2019
- 2019-03-28 US US16/367,737 patent/US10825252B2/en active Active
- 2019-03-28 EP EP19165855.8A patent/EP3547083B1/en active Active
-
2020
- 2020-09-28 US US17/034,966 patent/US11328490B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006091390A (ja) | 2004-09-24 | 2006-04-06 | Mitsubishi Electric Corp | 情報表示システム及び情報表示方法及び情報表示方法をコンピュータに実行させるためのプログラム及び情報表示端末装置 |
JP2011081557A (ja) | 2009-10-06 | 2011-04-21 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
JP2011159162A (ja) | 2010-02-02 | 2011-08-18 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP2011227644A (ja) | 2010-04-19 | 2011-11-10 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP2013538377A (ja) | 2010-06-17 | 2013-10-10 | クアルコム,インコーポレイテッド | 拡張現実環境のためのモバイルデバイスベースのコンテンツマッピング |
JP2012168646A (ja) | 2011-02-10 | 2012-09-06 | Sony Corp | 情報処理装置、情報共有方法、プログラム及び端末装置 |
JP2012168798A (ja) | 2011-02-15 | 2012-09-06 | Sony Corp | 情報処理装置、オーサリング方法及びプログラム |
US20120263154A1 (en) | 2011-04-13 | 2012-10-18 | Autonomy Corporation Ltd | Methods and systems for generating and joining shared experience |
JP2013164696A (ja) | 2012-02-10 | 2013-08-22 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP2016511850A (ja) | 2012-12-21 | 2016-04-21 | ヴィディノティ エスアーVidinoti Sa | プレノプティックライトフィールドに対しアノテーションを付加するための方法および装置 |
JP2017084100A (ja) | 2015-10-28 | 2017-05-18 | キヤノン株式会社 | 情報通信端末、共有管理装置、情報共有方法、コンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
US10825252B2 (en) | 2020-11-03 |
US20210012573A1 (en) | 2021-01-14 |
US20190304196A1 (en) | 2019-10-03 |
US11328490B2 (en) | 2022-05-10 |
EP3547083B1 (en) | 2023-05-24 |
EP3547083A1 (en) | 2019-10-02 |
JP2019179382A (ja) | 2019-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7209474B2 (ja) | 情報処理プログラム、情報処理方法及び情報処理システム | |
KR102627363B1 (ko) | 혼합 현실 시스템들을 위한 로컬화 결정 | |
CN111556278B (zh) | 一种视频处理的方法、视频展示的方法、装置及存储介质 | |
EP3167446B1 (en) | Apparatus and method for supplying content aware photo filters | |
CN110716645A (zh) | 一种增强现实数据呈现方法、装置、电子设备及存储介质 | |
CN106920079A (zh) | 基于增强现实的虚拟对象分配方法及装置 | |
EP1814101A1 (en) | Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method | |
EP2418621A1 (en) | Apparatus and method for providing augmented reality information | |
KR101600038B1 (ko) | 소셜 증강현실 서비스 시스템 및 방법 | |
WO2013162235A1 (ko) | 포인터가 불필요한 3차원 가상 객체 정보 획득 장치 | |
CN110737414B (zh) | 交互显示方法、装置、终端设备及存储介质 | |
CN112163993A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111815783A (zh) | 虚拟场景的呈现方法及装置、电子设备及存储介质 | |
CN108171801A (zh) | 一种实现增强现实的方法、装置和终端设备 | |
CN111899349B (zh) | 一种模型呈现方法、装置、电子设备及计算机存储介质 | |
CN112675541A (zh) | Ar信息共享方法、装置、电子设备及存储介质 | |
CN112788443B (zh) | 基于光通信装置的交互方法和*** | |
CN111640190A (zh) | Ar效果的呈现方法、装置、电子设备及存储介质 | |
JP7225016B2 (ja) | Ar空間画像投影システム、ar空間画像投影方法及びユーザ端末 | |
JP2017108356A (ja) | 画像管理システム、画像管理方法、プログラム | |
CN109636922A (zh) | 一种用于呈现增强现实内容的方法与设备 | |
CN108092950B (zh) | 一种基于位置的ar或mr社交方法 | |
CN109842791A (zh) | 一种图像处理方法及装置 | |
CN111242107B (zh) | 用于设置空间中的虚拟对象的方法和电子设备 | |
JP2017168132A (ja) | 仮想オブジェクトの表示システム、表示システムプログラム及び表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210317 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20211013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7209474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |