JP2018124515A - コンピュータプログラム、端末および方法 - Google Patents
コンピュータプログラム、端末および方法 Download PDFInfo
- Publication number
- JP2018124515A JP2018124515A JP2017018885A JP2017018885A JP2018124515A JP 2018124515 A JP2018124515 A JP 2018124515A JP 2017018885 A JP2017018885 A JP 2017018885A JP 2017018885 A JP2017018885 A JP 2017018885A JP 2018124515 A JP2018124515 A JP 2018124515A
- Authority
- JP
- Japan
- Prior art keywords
- terminal
- display
- dimensional model
- function
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】現実空間の指定した場所にオブジェクトを配置してディスプレイに表示する。
【解決手段】コンピュータプログラムは、撮像手段とディスプレイとを備える端末に、実空間の三次元モデルにおける端末の位置を特定する機能と、特定された端末の位置に基づいて、三次元モデルと計測手段によって取得される現実の三次元空間情報との対応関係を取得する機能と、取得された対応関係と三次元モデルにおけるオブジェクトの位置とに基づいて、画像におけるオブジェクトの位置を決定する機能と、決定された位置にオブジェクトが重畳された画像をディスプレイに表示させる機能と、を実現させる。
【選択図】図1
Description
オブジェクト変更部210は、ユーザに通知される情報に応じてオブジェクトの表示態様または動作を変更する。
図3は、端末装置10における一連の処理の流れを示すフローチャートである。端末装置10は、三次元モデルにおける端末装置10の現在位置を特定する(S301)。端末装置10は、三次元モデルと撮像部103や深さセンサ106などの計測手段によって取得される現実の三次元空間情報との対応関係を取得する(S302)。端末装置10は、三次元モデルにおけるオブジェクトの位置を決定する(S303)。端末装置10は、オブジェクトの像を重畳することで重畳画像を生成する(S305)。端末装置10は、オブジェクトに関連付けて表示されるテキストメッセージやオブジェクトの口の動きに合わせて出力される音声メッセージなどの通知エフェクトを生成する(S306)。端末装置10は重畳画像をディスプレイ105に表示させる(S307)。端末装置10はオブジェクトを介した通知エフェクトを出力する(S308)。
なお、ステップS302について、端末装置10において、三次元モデルを取得した上で、ディスプレイ105に撮影画像を表示させて(例えば、テレビを表示させながら、テレビであることを示すアイコンを選択するによって)、三次元モデルの場所と物品種類を登録してもよい。これにより、アプリケーション次第で、物品の場所を認識した上で、オブジェクトの動作を変えることができる。
(1)三次元モデルにおけるオブジェクト501の移動前座標(xa,ya,za)、移動後座標(xb,yb,zb)を決定する。
(2)移動前座標(xa,ya,za)と移動後座標(xb,yb,zb)とを結ぶ移動経路を決定し、該移動経路をN等分(Nは2以上の自然数)することでN+1個の重畳対象座標(xn、yn、zn)を決定する。n=0、1、…、Nであり、(x0、y0、z0)=(xa,ya,za)、(xN、yN、zN)=(xb,yb,zb)である。
(3)オブジェクト501を移動前座標(xa,ya,za)に配置したときの重畳画像を生成し、ディスプレイ105に表示させる。
(4)オブジェクト501を移動前座標(xa,ya,za)の次の重畳対象座標(x1,y1,z1)に配置したときの重畳画像を生成し、ディスプレイ105に表示させる。
(5)nをインクリメントし、(4)と同じ処理を行う。インクリメントの結果、n=Nとなったら次に進む。
(6)オブジェクト501を移動後座標(xb,yb,zb)に配置したときの重畳画像を生成し、ディスプレイ105に表示させる。
これにより、三次元モデルにおけるオブジェクト501の位置を変化させ、ディスプレイ105に表示される画面においても対応するようにオブジェクト501を連続的に移動させることができる。例えば、オブジェクト501の位置が1m変わった場合、オブジェクト501を移動前の位置から移動後の位置へ瞬間的に移動させるのではなく、オブジェクト501の歩く速度で1m先まで移動させる。
なお、端末装置10の座標が特定の座標となるか、特定の距離に入った場合、更にはディスプレイ105の向き(高さ・方向)が特定の条件に合致した場合に、アニメーションを表示させてもよい。あるいはまた、特定の時間帯、特定の回数(1日単位で1回表示されると2回目は表示されない)に限りアニメーションを表示させてもよい。
なお、テレビ401に、通知する番組に関連する動画をサーバから取得し、オブジェクトとしてテレビ画面に重畳させて表示して通知する番組を案内してもよい。
なお、上記の例において、テキストメッセージの表示に加えてまたは代えて、対応する内容の音声をスピーカ101から出力してもよい。
なお、上記のオブジェクトの表示条件について、表示されたオブジェクトを選択することで、表示条件をユーザが編集可能とすることができる。
Claims (11)
- 撮像手段とディスプレイとを備える端末に、
実空間の三次元モデルにおける前記端末の位置を特定する機能と、
特定された前記端末の位置に基づいて、前記三次元モデルと計測手段によって取得される現実の三次元空間情報との対応関係を取得する機能と、
取得された対応関係と前記三次元モデルにおけるオブジェクトの位置とに基づいて、前記画像における前記オブジェクトの位置を決定する機能と、
決定された位置に前記オブジェクトが重畳された前記画像を前記ディスプレイに表示させる機能と、を実現させるためのコンピュータプログラム。 - 前記ディスプレイに表示された前記オブジェクトを介して、前記端末のユーザに情報を通知する機能をさらに前記端末に実現させる請求項1に記載のコンピュータプログラム。
- 前記情報は、前記端末にインストールされているアプリケーションプログラムから前記ユーザに通知すべき情報を含む請求項2に記載のコンピュータプログラム。
- 前記情報は、前記端末がネットワークを介してサーバから受信した情報を含む請求項2または3に記載のコンピュータプログラム。
- 前記通知する機能は、前記情報として前記オブジェクトの属性および前記ユーザの属性のうちの少なくともひとつに応じたテキストメッセージを前記オブジェクトに関連付けて前記ディスプレイに表示させる機能または前記情報として前記オブジェクトの属性および前記ユーザの属性のうちの少なくともひとつに応じた音声を出力する機能もしくはその両方を含む請求項2から4のいずれか一項に記載のコンピュータプログラム。
- 前記通知する機能において前記ユーザに通知される前記情報に応じて前記オブジェクトの表示態様または動作を変更する機能をさらに前記端末に実現させる請求項2から5のいずれか一項に記載のコンピュータプログラム。
- 前記三次元モデルにおける前記オブジェクトの前記位置の変化に応じて、前記ディスプレイに表示される前記画像において前記オブジェクトを移動させる機能をさらに前記端末に実現させる請求項1から6のいずれか一項に記載のコンピュータプログラム。
- 前記移動させる機能は、前記オブジェクトを前記ディスプレイの表示範囲の外から内へ移動させる機能を含む請求項7に記載のコンピュータプログラム。
- 前記撮像手段によって取得される画像から前記三次元モデルを生成する機能をさらに前記端末に実現させる請求項1から8のいずれか一項に記載のコンピュータプログラム。
- 撮像手段とディスプレイとを備える端末であって、
実空間の三次元モデルにおける前記端末の位置を特定する手段と、
特定された前記端末の位置に基づいて、前記三次元モデルと計測手段によって取得される現実の三次元空間情報との対応関係を取得する手段と、
取得された対応関係と前記三次元モデルにおけるオブジェクトの位置とに基づいて、前記画像における前記オブジェクトの位置を決定する手段と、
決定された位置に前記オブジェクトが重畳された前記画像を前記ディスプレイに表示させる手段と、を備える端末。 - 撮像手段とディスプレイとを備える端末で実行される方法であって、
実空間の三次元モデルにおける前記端末の位置を特定することと、
特定された前記端末の位置に基づいて、前記三次元モデルと計測手段によって取得される現実の三次元空間情報との対応関係を取得することと、
取得された対応関係と前記三次元モデルにおけるオブジェクトの位置とに基づいて、前記画像における前記オブジェクトの位置を決定することと、
決定された位置に前記オブジェクトが重畳された前記画像を前記ディスプレイに表示させることと、を含む方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017018885A JP6524124B2 (ja) | 2017-02-03 | 2017-02-03 | コンピュータプログラム、端末および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017018885A JP6524124B2 (ja) | 2017-02-03 | 2017-02-03 | コンピュータプログラム、端末および方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019085220A Division JP2019160332A (ja) | 2019-04-26 | 2019-04-26 | コンピュータプログラム、端末および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018124515A true JP2018124515A (ja) | 2018-08-09 |
JP6524124B2 JP6524124B2 (ja) | 2019-06-05 |
Family
ID=63109089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017018885A Active JP6524124B2 (ja) | 2017-02-03 | 2017-02-03 | コンピュータプログラム、端末および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6524124B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110335351A (zh) * | 2019-07-02 | 2019-10-15 | 北京百度网讯科技有限公司 | 多模态ar处理方法、装置、***、设备及可读存储介质 |
WO2020003900A1 (ja) | 2018-06-29 | 2020-01-02 | 株式会社神戸製鋼所 | 接合構造体及びその製造方法 |
JP2020160796A (ja) * | 2019-03-26 | 2020-10-01 | 株式会社ミクシィ | 情報処理装置及びプログラム |
WO2020218041A1 (ja) * | 2019-04-23 | 2020-10-29 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
WO2021084882A1 (ja) * | 2019-10-28 | 2021-05-06 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
JP7518791B2 (ja) | 2021-03-31 | 2024-07-18 | ミサワホーム株式会社 | 宅内表示システム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002041276A (ja) * | 2000-07-24 | 2002-02-08 | Sony Corp | 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体 |
JP2013069011A (ja) * | 2011-09-21 | 2013-04-18 | Casio Comput Co Ltd | 画像通信システム及び端末装置並びにプログラム |
JP2015064868A (ja) * | 2013-08-29 | 2015-04-09 | キヤノンマーケティングジャパン株式会社 | 情報処理システムとその処理方法及びプログラム |
US20150193986A1 (en) * | 2014-01-03 | 2015-07-09 | Intel Corporation | Dynamic augmentation of a physical scene |
JP2015228050A (ja) * | 2014-05-30 | 2015-12-17 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP2016021096A (ja) * | 2014-07-11 | 2016-02-04 | Kddi株式会社 | 画像処理装置、画像処理方法、およびプログラム |
-
2017
- 2017-02-03 JP JP2017018885A patent/JP6524124B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002041276A (ja) * | 2000-07-24 | 2002-02-08 | Sony Corp | 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体 |
JP2013069011A (ja) * | 2011-09-21 | 2013-04-18 | Casio Comput Co Ltd | 画像通信システム及び端末装置並びにプログラム |
JP2015064868A (ja) * | 2013-08-29 | 2015-04-09 | キヤノンマーケティングジャパン株式会社 | 情報処理システムとその処理方法及びプログラム |
US20150193986A1 (en) * | 2014-01-03 | 2015-07-09 | Intel Corporation | Dynamic augmentation of a physical scene |
JP2015228050A (ja) * | 2014-05-30 | 2015-12-17 | ソニー株式会社 | 情報処理装置および情報処理方法 |
JP2016021096A (ja) * | 2014-07-11 | 2016-02-04 | Kddi株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020003900A1 (ja) | 2018-06-29 | 2020-01-02 | 株式会社神戸製鋼所 | 接合構造体及びその製造方法 |
JP2020160796A (ja) * | 2019-03-26 | 2020-10-01 | 株式会社ミクシィ | 情報処理装置及びプログラム |
JP7260763B2 (ja) | 2019-03-26 | 2023-04-19 | 株式会社Mixi | 情報処理装置及びプログラム |
JP7469723B2 (ja) | 2019-03-26 | 2024-04-17 | 株式会社Mixi | 情報処理装置及びプログラム |
WO2020218041A1 (ja) * | 2019-04-23 | 2020-10-29 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN110335351A (zh) * | 2019-07-02 | 2019-10-15 | 北京百度网讯科技有限公司 | 多模态ar处理方法、装置、***、设备及可读存储介质 |
WO2021084882A1 (ja) * | 2019-10-28 | 2021-05-06 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
JP7518791B2 (ja) | 2021-03-31 | 2024-07-18 | ミサワホーム株式会社 | 宅内表示システム |
Also Published As
Publication number | Publication date |
---|---|
JP6524124B2 (ja) | 2019-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6524124B2 (ja) | コンピュータプログラム、端末および方法 | |
JP6657289B2 (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
JP6556776B2 (ja) | 拡張現実および仮想現実のためのシステムおよび方法 | |
JP6316387B2 (ja) | 広範囲同時遠隔ディジタル提示世界 | |
KR20190124766A (ko) | 혼합 현실 뷰어 시스템 및 방법 | |
JP6348741B2 (ja) | 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法 | |
US11375559B2 (en) | Communication connection method, terminal device and wireless communication system | |
JPWO2015122108A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6541701B2 (ja) | 端末装置およびその制御方法、並びにプログラム | |
JP2015001760A (ja) | 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法 | |
US9733896B2 (en) | System, apparatus, and method for displaying virtual objects based on data received from another apparatus | |
CN108377361B (zh) | 一种监控视频的显示控制方法及装置 | |
JP2020120336A (ja) | プログラム、方法、および情報処理装置 | |
JP2018163461A (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
US11778283B2 (en) | Video distribution system for live distributing video containing animation of character object generated based on motion of actors | |
JP2019160332A (ja) | コンピュータプログラム、端末および方法 | |
WO2020044949A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6982203B2 (ja) | キャラクタ画像生成装置、キャラクタ画像生成方法及びプログラム | |
WO2022176450A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2019169154A (ja) | 端末装置およびその制御方法、並びにプログラム | |
JP6843178B2 (ja) | キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム及び記録媒体 | |
JP2016131342A (ja) | 鉄道模型観賞用装置、方法、プログラム、専用表示モニタ、合成用情景画像データ | |
JP7510723B1 (ja) | キャラクター表示制御システム、キャラクター表示制御方法およびプログラム | |
JP7441289B1 (ja) | コンピュータプログラム、情報処理端末、及びその制御方法 | |
CN115004132A (zh) | 信息处理装置、信息处理***和信息处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190426 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6524124 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |