JP6792666B2 - Terminal device, terminal device control method, computer program - Google Patents

Terminal device, terminal device control method, computer program Download PDF

Info

Publication number
JP6792666B2
JP6792666B2 JP2019089361A JP2019089361A JP6792666B2 JP 6792666 B2 JP6792666 B2 JP 6792666B2 JP 2019089361 A JP2019089361 A JP 2019089361A JP 2019089361 A JP2019089361 A JP 2019089361A JP 6792666 B2 JP6792666 B2 JP 6792666B2
Authority
JP
Japan
Prior art keywords
display
terminal device
virtual space
character
imaging means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019089361A
Other languages
Japanese (ja)
Other versions
JP2019185791A (en
Inventor
健治 横田
健治 横田
修 水田
修 水田
義浩 伊藤
義浩 伊藤
祥一 大川
祥一 大川
和彦 増崎
和彦 増崎
あかり 山崎
あかり 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2019089361A priority Critical patent/JP6792666B2/en
Publication of JP2019185791A publication Critical patent/JP2019185791A/en
Application granted granted Critical
Publication of JP6792666B2 publication Critical patent/JP6792666B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、キャラクタの動作制御技術に関するものである。 The present invention relates to a character motion control technique.

３次元仮想空間内を移動するキャラクタの２次元画像を生成して表示する技術が従来から存在する（特許文献１）。 Conventionally, there is a technique for generating and displaying a two-dimensional image of a character moving in a three-dimensional virtual space (Patent Document 1).

特開2013-232205号公報Japanese Unexamined Patent Publication No. 2013-232205

Ｔａｎｇｏ、［ｏｎｌｉｎｅ］、［平成２９年１月１０日検索］、インターネット、＜ＵＲＬ：ｈｔｔｐｓ：／／ｇｅｔ．ｇｏｏｇｌｅ．ｃｏｍ／ｔａｎｇｏ／＞Tango, [online], [Searched on January 10, 2017], Internet, <URL: https: // get. ***. com / tango />

特許文献１に開示されている技術では、キャラクタの動作を、現実空間中の規定の位置に対応する仮想空間内の該キャラクタの位置に基づいて制御することはできなかった。本発明では、キャラクタの動作を、現実空間中の規定の位置に対応する仮想空間内の該キャラクタの位置に基づいて制御するための技術を提供する。 In the technique disclosed in Patent Document 1, the movement of a character cannot be controlled based on the position of the character in the virtual space corresponding to the predetermined position in the real space. The present invention provides a technique for controlling the movement of a character based on the position of the character in a virtual space corresponding to a predetermined position in the real space.

本発明は、撮像手段及びディスプレイを有する端末装置であって、
現実空間に対応する仮想空間内におけるキャラクタの位置が、該現実空間中の前記撮像手段の位置とは異なる規定の位置に対応する仮想空間内の位置から規定距離以内となった場合には、所定の表示動作を行わせる制御手段と、
前記表示動作の画像を前記撮像手段による撮像画像上に合成して前記ディスプレイに表示させる表示制御手段と、
前記規定距離と関連づけられている音声を出力する音声出力手段と
を備えることを特徴とする。 The present invention is a terminal device including an imaging means and a display.
When the position of the character in the virtual space corresponding to the real space is within a specified distance from the position in the virtual space corresponding to the specified position different from the position of the imaging means in the real space, it is predetermined. Control means to perform the display operation of
A display control means for synthesizing an image of the display operation on an image captured by the imaging means and displaying it on the display .
It is characterized by including an audio output means for outputting an audio associated with the specified distance .

本発明の構成によれば、キャラクタの動作を、現実空間中の規定の位置に対応する仮想空間内の該キャラクタの位置に基づいて制御することができる。 According to the configuration of the present invention, the movement of a character can be controlled based on the position of the character in the virtual space corresponding to the specified position in the real space.

実施形態による端末装置の概略的な構成図。The schematic block diagram of the terminal apparatus according to an embodiment. キャラクタの移動可能な領域、経路を説明するための図。The figure for demonstrating the movable area and the route of a character. 現実空間の撮像画像とキャラクタの２次元画像とを合成した合成画像を表示させるための処理のフローチャート。A flowchart of a process for displaying a composite image in which a captured image in the real space and a two-dimensional image of a character are combined.

以下、添付図面を参照して本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

図１は、本実施形態による端末装置１０の概略的な構成図である。端末装置１０は、例えば、スマートフォンといった携帯型の通信装置である。スピーカ１０１は、制御部１００から出力する音声信号を音声に変換する。マイク１０２は、音声を音声信号に変換して制御部１００に出力する。撮像部１０３は、レンズ及びＣＣＤセンサを有し、画像情報を取得して制御部１００に出力する。ＧＰＳ処理部１０４は、ＧＰＳ衛星からの信号を受信し、該受信した信号に基づき、緯度、経度、高度を含む位置情報を制御部１００に出力する。なお、ＧＰＳ衛星ではなく、準天頂衛星の様な、他の測位システムの衛星からの信号に基づき位置情報を出力する構成であっても良い。ディスプレイ１０５は、本実施形態では、タッチセンシティブディスプレイであり、ユーザへの情報の提示に加え、ユーザ操作の入力部としても機能する。なお、ディスプレイがタッチセンシティブディスプレイではない場合、別に、入力部を設ける。深さセンサ１０６は、オブジェクトまでの距離（深さ）を測定して測定結果を深さ情報として制御部１００に出力する。通信部１０７は、移動通信網や無線ＬＡＮ等を介した通信処理を行う。地磁気センサ１０８は、地磁気を検出して端末装置１０の基準方向の現在の方位を示す方位情報を制御部１００に出力する。加速度センサ１０９は、加速度を検出して加速度情報を制御部１００に出力する。ジャイロセンサ１１０は、角速度情報を検出して角速度情報を制御部１００に出力する。 FIG. 1 is a schematic configuration diagram of a terminal device 10 according to the present embodiment. The terminal device 10 is a portable communication device such as a smartphone. The speaker 101 converts the voice signal output from the control unit 100 into voice. The microphone 102 converts voice into a voice signal and outputs it to the control unit 100. The image pickup unit 103 has a lens and a CCD sensor, acquires image information, and outputs the image information to the control unit 100. The GPS processing unit 104 receives a signal from a GPS satellite, and outputs position information including latitude, longitude, and altitude to the control unit 100 based on the received signal. It should be noted that the configuration may be such that the position information is output based on the signal from the satellite of another positioning system such as the quasi-zenith satellite instead of the GPS satellite. In the present embodiment, the display 105 is a touch-sensitive display, and in addition to presenting information to the user, it also functions as an input unit for user operation. If the display is not a touch-sensitive display, an input unit is provided separately. The depth sensor 106 measures the distance (depth) to the object and outputs the measurement result to the control unit 100 as depth information. The communication unit 107 performs communication processing via a mobile communication network, a wireless LAN, or the like. The geomagnetic sensor 108 detects the geomagnetism and outputs directional information indicating the current azimuth of the terminal device 10 in the reference direction to the control unit 100. The acceleration sensor 109 detects the acceleration and outputs the acceleration information to the control unit 100. The gyro sensor 110 detects the angular velocity information and outputs the angular velocity information to the control unit 100.

制御部１００は、端末装置１０全体の制御部であり、１つ以上のプロセッサと、メモリ部と、を備えている。なお、メモリ部は、プロセッサが一時的なデータの保存用として使用するＲＡＭや、プロセッサが実行するオペレーティングシステム及びアプリケーションと電源断となっても保持すべきデータとが格納されるフラッシュメモリを有する。 The control unit 100 is a control unit for the entire terminal device 10, and includes one or more processors and a memory unit. The memory unit has a RAM used by the processor for temporarily storing data, and a flash memory in which the operating system and applications executed by the processor and the data to be retained even when the power is turned off are stored.

制御部１００は、例えば、非特許文献１に記載された技術に基づき場所記述情報を生成する。場所記述情報とは、撮像部１０３が撮像している画像から端末装置１０の３次元空間位置と撮像部１０３の撮像方向を判定するための情報である。まず、非特許文献１に記載された場所記述情報の生成について説明する。端末装置１０のユーザは、場所記述情報の取得を開始すると、撮像部１０３により画像を撮像しながら、その位置や、撮像方向を変化させる。制御部１００は、場所記述情報の取得の間、その開始時の位置を原点とし、加速度情報及び角速度情報に基づき端末装置１０の位置や撮像方向の向きを判定し続ける。また、制御部１００は、撮像部１０３が撮像している画像内の特徴点を求める。このとき、制御部１００は、３次元空間における端末装置１０の位置や撮像方向と、画像内の同じ特徴点の位置、つまり、スクリーン座標を判定する。これにより、制御部１００は、３次元空間内の各位置及び各撮像方向において、撮像部１０３が撮像している画像内のどの位置に各特徴点が見えるかを示す場所記述情報を生成する。よって、端末装置１０は、既に生成した場所記述情報と、撮像部１０３が撮像している画像の特徴点と、を比較することで、そのときの端末装置１０の３次元空間位置と撮像部１０３の撮像方向とを判定することができる。なお、３次元空間位置の原点は、場所記述情報を開始したときの位置であるものとする。また、制御部１００は、既に保存している場所記述情報と、撮像部１０３が撮像している画像の特徴点と、の比較により端末装置１０の３次元空間位置と撮像部１０３の撮像方向を判定すると同時に、撮像部１０３が撮像している画像の特徴点に基づき、当該既に保存している場所記述情報の更新も行う。 The control unit 100 generates location description information based on, for example, the technique described in Non-Patent Document 1. The location description information is information for determining the three-dimensional spatial position of the terminal device 10 and the imaging direction of the imaging unit 103 from the image captured by the imaging unit 103. First, the generation of the place description information described in Non-Patent Document 1 will be described. When the user of the terminal device 10 starts acquiring the location description information, the user of the terminal device 10 changes the position and the imaging direction while capturing an image by the imaging unit 103. While the location description information is acquired, the control unit 100 keeps determining the position of the terminal device 10 and the direction of the imaging direction based on the acceleration information and the angular velocity information, with the position at the start as the origin. Further, the control unit 100 obtains feature points in the image captured by the image pickup unit 103. At this time, the control unit 100 determines the position and imaging direction of the terminal device 10 in the three-dimensional space and the position of the same feature point in the image, that is, the screen coordinates. As a result, the control unit 100 generates location description information indicating at which position in the image captured by the imaging unit 103 each feature point can be seen at each position in the three-dimensional space and each imaging direction. Therefore, the terminal device 10 compares the already generated location description information with the feature points of the image captured by the imaging unit 103, and thereby, the three-dimensional spatial position of the terminal device 10 at that time and the imaging unit 103. It is possible to determine the imaging direction of. It is assumed that the origin of the three-dimensional space position is the position when the place description information is started. Further, the control unit 100 determines the three-dimensional spatial position of the terminal device 10 and the imaging direction of the imaging unit 103 by comparing the location description information already stored with the feature points of the image captured by the imaging unit 103. At the same time as the determination, the location description information already stored is updated based on the feature points of the image captured by the imaging unit 103.

上述した様に、場所記述情報は、端末装置１０の位置及び撮像方向と、撮像部１０３が撮像した画像内にある各オブジェクトの各特徴点のスクリーン座標における位置との関係を示す情報であるため、場所記述情報に基づき、各特徴点の３次元空間位置の座標を示す３次元空間情報を生成することができる。即ち、場所記述情報のうちの異なる位置及び撮像方向の組み合わせに対応する情報につき、同一の特徴点のスクリーン座標での移動を考慮することで奥行き方向の情報を得、該特徴点の３次元空間位置を導出することができる。 As described above, since the location description information is information indicating the relationship between the position and imaging direction of the terminal device 10 and the position of each feature point of each object in the image captured by the imaging unit 103 in the screen coordinates. , It is possible to generate three-dimensional space information indicating the coordinates of the three-dimensional space position of each feature point based on the place description information. That is, for the information corresponding to the combination of different positions and imaging directions in the place description information, the information in the depth direction is obtained by considering the movement of the same feature point in the screen coordinates, and the three-dimensional space of the feature point is obtained. The position can be derived.

このような場所記述情報は、制御部１００のメモリ部に格納される。また、制御部１００のメモリ部には、キャラクタのモデルデータ（キャラクタの３次元幾何形状を規定するデータ、テクスチャデータ、複数種類のモーションデータなど）、テキストデータ、音声データが格納されている。 Such location description information is stored in the memory unit of the control unit 100. Further, in the memory unit of the control unit 100, character model data (data defining a three-dimensional geometric shape of the character, texture data, a plurality of types of motion data, etc.), text data, and voice data are stored.

次に、端末装置１０のディスプレイ１０５に、撮像部１０３による現実空間の撮像画像と、端末装置１０が描画したキャラクタの２次元画像と、を合成した合成画像を表示させるための処理について、図３のフローチャートを用いて説明する。なお、図３のフローチャートに従った処理は、１フレーム分の合成画像を表示するための処理である。然るに、図３のフローチャートに従った処理を繰り返して行うことで、複数フレームの合成画像をディスプレイ１０５に表示させることができる。また、図３のフローチャートに従った処理を制御部１００に実行させるためのコンピュータプログラムやデータは、上記のアプリケーションに含まれているものとする。 Next, FIG. 3 describes a process for displaying a composite image obtained by combining the image captured in the real space by the imaging unit 103 and the two-dimensional image of the character drawn by the terminal device 10 on the display 105 of the terminal device 10. This will be described using the flowchart of. The process according to the flowchart of FIG. 3 is a process for displaying a composite image for one frame. However, by repeating the process according to the flowchart of FIG. 3, a composite image of a plurality of frames can be displayed on the display 105. Further, it is assumed that the computer program and data for causing the control unit 100 to execute the process according to the flowchart of FIG. 3 are included in the above application.

ステップＳ３０１では、制御部１００は、撮像部１０３により撮像された撮像画像を、メモリ部に格納する。 In step S301, the control unit 100 stores the captured image captured by the imaging unit 103 in the memory unit.

ステップＳ３０２では、制御部１００は、現実空間に対応する仮想空間内におけるキャラクタの現在位置が、「現実空間中の規定の位置に対応する仮想空間内の位置から規定距離Ｄ以内の領域Ｒ」内であるか否かを判断する。 In step S302, the control unit 100 determines that the current position of the character in the virtual space corresponding to the real space is within the "region R within the specified distance D from the position in the virtual space corresponding to the specified position in the real space". Judge whether or not.

制御部１００は、仮想空間内におけるキャラクタの位置を定期的若しくは不定期的に更新することで、該キャラクタを仮想空間内で移動させている。キャラクタを移動させる際には、対応するモーションデータに従って、キャラクタに歩く／走るモーションを行わせる。なお、仮想空間内には、図２（ａ）に示す如く、キャラクタ２００が移動可能な範囲２１０や、図２（ｂ）に示す如く、キャラクタ２００が移動可能な経路２２０が予め指定されているものとする。範囲２１０の座標位置（例えば範囲２１０の四隅の座標位置）や経路２２０の座標位置（例えば経路２２０上に等間隔に存在する点の座標位置）は、上記の場所記述情報を用いて求める「端末装置１０の３次元空間位置と撮像部１０３の撮像方向」が属する座標系におけるものである。 The control unit 100 moves the character in the virtual space by updating the position of the character in the virtual space periodically or irregularly. When moving the character, the character is made to perform a walking / running motion according to the corresponding motion data. In the virtual space, as shown in FIG. 2A, a range 210 in which the character 200 can move and a route 220 in which the character 200 can move are designated in advance as shown in FIG. 2B. It shall be. The coordinate positions of the range 210 (for example, the coordinate positions of the four corners of the range 210) and the coordinate positions of the route 220 (for example, the coordinate positions of points existing at equal intervals on the route 220) are obtained by using the above-mentioned location description information. This is in the coordinate system to which the "three-dimensional spatial position of the device 10 and the imaging direction of the imaging unit 103" belong.

移動可能な範囲の生成方法については様々な方法が考えられる。例えば、仮想空間内における移動可能な範囲（経路）の座標位置は、ユーザがマニュアルで指定しても良いし、２次元地図情報において移動可能な範囲に対応する座標位置を上記の座標系に変換して求めても良い。また、上記の３次元空間情報を生成すると共に深さセンサ１０６で床や壁を計測して現実空間の３次元幾何構造を表す３次元構造モデルを生成し、３次元構造モデルにおいて床の領域で壁の手前の部分を移動可能な範囲としても良い。 Various methods can be considered for generating the movable range. For example, the coordinate position of the movable range (path) in the virtual space may be manually specified by the user, or the coordinate position corresponding to the movable range in the two-dimensional map information is converted into the above coordinate system. You may ask for it. In addition, the above three-dimensional space information is generated, and the floor and walls are measured by the depth sensor 106 to generate a three-dimensional structure model representing the three-dimensional geometric structure in the real space. In the three-dimensional structure model, the wall is located in the floor area. The part in front of is may be a movable range.

また、現実空間中の規定の位置に対応する仮想空間内の位置とは、例えば、ユーザがディスプレイ１０５上をタップすることで位置を指定した場合は、該指定した位置に対応する現実空間中の位置に対応する仮想空間内の位置となる。ディスプレイ１０５上のタップ位置に対応する現実空間中の位置に対応する仮想空間内の位置は、例えば、タップ位置を「キャラクタの２次元画像を描画するために該キャラクタを投影面に投影する投影変換」の逆変換で変換した床面上の３次元位置である。また、タップ位置に対応する深さ情報を深さセンサ１０６を用いて取得し、タップ位置から該深さ情報が示す距離だけ奥側（撮像部１０３の撮像方向側）の位置を、現実空間中の規定の位置に対応する仮想空間内の位置としても良い。また、上記の距離Ｄは、「現実空間中の規定の位置に対応する仮想空間内の位置」ごとに異なる値であっても良いし、「現実空間中の規定の位置に対応する仮想空間内の位置」に関係なく固定値であっても良い。前者の場合、距離Ｄは、「現実空間中の規定の位置に対応する仮想空間内の位置」と関連づけてメモリ部に格納されている。なお、「現実空間中の規定の位置に対応する仮想空間内の位置」は、予めメモリ部に登録されていても良いし、サーバなどの外部装置からダウンロードするようにしても良い。 Further, the position in the virtual space corresponding to the specified position in the real space is, for example, when the user specifies the position by tapping on the display 105, the position in the real space corresponding to the specified position is used. It is a position in the virtual space corresponding to the position. The position in the virtual space corresponding to the position in the real space corresponding to the tap position on the display 105 is, for example, a projection transformation in which the tap position is "projected on the projection plane in order to draw a two-dimensional image of the character. It is a three-dimensional position on the floor surface converted by the inverse transformation of. Further, the depth information corresponding to the tap position is acquired by using the depth sensor 106, and the position on the back side (imaging direction side of the imaging unit 103) by the distance indicated by the depth information from the tap position is set in the real space. It may be a position in the virtual space corresponding to the specified position of. Further, the above-mentioned distance D may be a different value for each "position in the virtual space corresponding to the specified position in the real space", or may be a different value for each "position in the virtual space corresponding to the specified position in the real space". It may be a fixed value regardless of the "position of". In the former case, the distance D is stored in the memory unit in association with "a position in the virtual space corresponding to a predetermined position in the real space". The "position in the virtual space corresponding to the specified position in the real space" may be registered in the memory unit in advance, or may be downloaded from an external device such as a server.

現実空間に対応する仮想空間内におけるキャラクタの現在位置が領域Ｒ内であれば、処理はステップＳ３０３に進み、現実空間に対応する仮想空間内におけるキャラクタの現在位置が領域Ｒ外であれば、処理はステップＳ３０４に進む。 If the current position of the character in the virtual space corresponding to the real space is in the area R, the process proceeds to step S303, and if the current position of the character in the virtual space corresponding to the real space is outside the area R, the process proceeds. Proceeds to step S304.

ステップＳ３０３では、制御部１００は、キャラクタに規定の動作を行わせる。例えば、「現実空間中の規定の位置に対応する仮想空間内の位置」と関連づけられているモーションデータに基づいてキャラクタのモーション（手や足などの部位を動かして行うモーション）を制御しても良いし、「現実空間中の規定の位置に対応する仮想空間内の位置」と関連づけられている動作則に従ってジャンプしたり走り回ったり寝転がったりするなど、キャラクタの位置や姿勢を変更しても良い。 In step S303, the control unit 100 causes the character to perform a predetermined operation. For example, even if the motion of the character (motion performed by moving parts such as hands and feet) is controlled based on the motion data associated with "the position in the virtual space corresponding to the specified position in the real space". Alternatively, the position and posture of the character may be changed, such as jumping, running around, or lying down according to the operating rules associated with "the position in the virtual space corresponding to the specified position in the real space".

例えば、規定の動作は、端末装置１０のユーザの属性情報毎に切り替えても良い。例えば、ユーザの属性情報が「男性」を示す場合、女性のキャラクタを（女性のモーションで）表示したり、キャラクタの発声内容を女性の音声でスピーカ１０１から出力したり、女性の口調のテキストを吹き出しで表示したりしても良い。また、SNSでやり取りされる他のユーザからのコメントを吹き出しで表示しても良いし、該コメントを音声でキャラクタの発声内容としてスピーカ１０１から出力しても良い。 For example, the specified operation may be switched for each attribute information of the user of the terminal device 10. For example, when the user's attribute information indicates "male", a female character is displayed (in female motion), the character's utterance is output from the speaker 101 by female voice, or a female tone text is output. It may be displayed in a balloon. Further, comments from other users exchanged on SNS may be displayed in balloons, or the comments may be output from the speaker 101 as voice utterance contents of the character.

また更に、時間帯、キャラクタの表示回数、季節や時期のうち少なくとも１つによってキャラクタやテキストの表示内容や音声の内容を変化させても良い。例えば、制御部１００が計時している（若しくは外部から受信した）現在時刻が朝の時間帯（例えば６時から１２時）であれば、朝に関連する処理（例えば、「おはよう」と発言するモーションを再生すると共に、スピーカ１０１から「おはよう」という音声を出力させる）を行うようにしても良い。また例えば、はじめてキャラクタの画像を表示する場合には、例えば、「初めまして」と発言するモーションを再生すると共に、スピーカ１０１から「初めまして」という音声を出力させるようにしても良い。また例えば、現在日時がクリスマスの日であれば、サンタの服を着たキャラクタを表示しても良い。また、ユーザが端末装置１０に入力したメッセージを認識し、該認識したメッセージからキーワードを抽出し、該抽出したキーワードと関連づけられているモーションを再生したり、テキストを表示したり、音声を出力したりしても良い。ユーザがマイク１０２に向かって音声を発した場合には、音声認識技術により該音声をメッセージとして認識することができる。また、ユーザがディスプレイ１０５上でテキストを入力した場合には、文字認識技術により該テキストをメッセージとして認識することができる。 Furthermore, the display content of the character or text and the content of the voice may be changed depending on at least one of the time zone, the number of times the character is displayed, the season and the time. For example, if the current time measured (or received from the outside) by the control unit 100 is in the morning time zone (for example, from 6:00 to 12:00), a process related to the morning (for example, "Good morning" is said. Along with reproducing the motion, the speaker 101 may output a voice saying "Good morning"). Further, for example, when displaying the image of the character for the first time, for example, the motion of saying "Nice to meet you" may be reproduced and the voice of "Nice to meet you" may be output from the speaker 101. Also, for example, if the current date and time is Christmas day, a character wearing Santa's clothes may be displayed. In addition, it recognizes a message input by the user to the terminal device 10, extracts a keyword from the recognized message, reproduces a motion associated with the extracted keyword, displays a text, and outputs a voice. You may do it. When the user emits a voice into the microphone 102, the voice can be recognized as a message by the voice recognition technology. Further, when the user inputs a text on the display 105, the text can be recognized as a message by the character recognition technology.

また、マナーモードのように音声出力を停止している場合は、音声出力は行わずにテキストの表示を許可し、音声出力モードのように音声出力を許可している場合には、テキストの表示は禁止し、音声出力を許可するようにしても良い。 Also, when the audio output is stopped as in the manner mode, the text display is permitted without performing the audio output, and when the audio output is permitted as in the audio output mode, the text is displayed. May be prohibited and audio output may be permitted.

このように、様々な条件に応じたキャラクタの動作則やテキスト、音声の出力条件はデータベースファイルとしてサーバなどの外部装置において管理しても良く、その場合、このデータベースファイルは外部装置から定期的若しくは不定期的にダウンロードすることで、端末装置１０が保持するデータベースファイルを一部更新したり追加したり他のデータベースファイルに置換したりすることができる。また、端末装置１０から外部装置にアクセスしてデータベースファイル（キャラクタのモーション、テキスト内容、音声内容、モーションの再生条件、テキストや音声の出力条件など）を編集することもできる。また、「現実空間中の規定の位置に対応する仮想空間内の位置」と関連づけられているキャラクタの音声データに基づく音声をスピーカ１０１から出力するようにしても良い。 In this way, the character operation rules, text, and audio output conditions according to various conditions may be managed as a database file in an external device such as a server. In that case, this database file may be periodically or from the external device. By downloading irregularly, the database file held by the terminal device 10 can be partially updated or added, or replaced with another database file. It is also possible to access an external device from the terminal device 10 and edit a database file (character motion, text content, voice content, motion reproduction condition, text or voice output condition, etc.). Further, the speaker 101 may output a voice based on the voice data of the character associated with the "position in the virtual space corresponding to the predetermined position in the real space".

ステップＳ３０４では、上記の非特許文献１に記載の技術を用い、上記の場所記述情報と、ステップＳ３０１でメモリ部に格納した撮像画像上の特徴点と、を比較することで、そのときの端末装置１０の３次元空間位置と撮像部１０３の撮像方向（つまり、端末装置１０の位置及び姿勢）を認識する。そして制御部１００は、該認識した３次元位置及び撮像方向のそれぞれを仮想視点の位置、姿勢として設定する。そして制御部１００は、モデルデータに基づくキャラクタを仮想空間中の移動可能な領域内若しくは移動可能な経路上に配置し、該配置したキャラクタを仮想視点から見た２次元画像を描画する。 In step S304, the technique described in Non-Patent Document 1 is used, and the location description information is compared with the feature points on the captured image stored in the memory unit in step S301. It recognizes the three-dimensional spatial position of the device 10 and the imaging direction of the imaging unit 103 (that is, the position and orientation of the terminal device 10). Then, the control unit 100 sets each of the recognized three-dimensional position and the imaging direction as the position and the posture of the virtual viewpoint. Then, the control unit 100 arranges a character based on the model data in a movable area in the virtual space or on a movable path, and draws a two-dimensional image of the arranged character as viewed from a virtual viewpoint.

ステップＳ３０５では、制御部１００は、ステップＳ３０１でメモリ部に格納した撮像画像上に、ステップＳ３０４で描画したキャラクタの２次元画像を合成した合成画像をディスプレイ１０５に表示する。 In step S305, the control unit 100 displays on the display 105 a composite image obtained by synthesizing the two-dimensional image of the character drawn in step S304 on the captured image stored in the memory unit in step S301.

なお、美術館や博物館等の施設について予め作成した場所記述情報をサーバなどの外部装置に予めアップロードしておいても良い。この場合、端末装置１０はＧＰＳ処理部１０４による位置情報を外部装置に送信することで、外部装置から、該位置情報に対応する場所記述情報をダウンロードすることができる。ダウンロードは、例えば、端末装置１０のディスプレイ１０５に表示されているダウンロードアイコンをユーザがタッチすることで開始することができる。また、該位置情報に対応する場所記述情報が複数存在する場合には、端末装置１０は、複数の場所記述情報を候補としてダウンロードしてディスプレイ１０５に表示し、ユーザから１つを選択する指示を受け付けても良い。 The location description information created in advance for facilities such as museums may be uploaded to an external device such as a server in advance. In this case, the terminal device 10 can download the location description information corresponding to the position information from the external device by transmitting the position information by the GPS processing unit 104 to the external device. The download can be started, for example, by the user touching the download icon displayed on the display 105 of the terminal device 10. When there are a plurality of location description information corresponding to the location information, the terminal device 10 downloads the plurality of location description information as candidates, displays them on the display 105, and instructs the user to select one. You may accept it.

また、端末装置１０は撮像画像又は該撮像画像中の特徴点をサーバなどの外部装置に定期的にアップロードし、外部装置は、端末装置１０からアップロードされた撮像画像又は特徴点に基づいて、端末装置１０の位置が含まれる場所記述情報を端末装置１０に送信する、としても良い。 Further, the terminal device 10 periodically uploads the captured image or the feature points in the captured image to an external device such as a server, and the external device periodically uploads the captured image or the feature points in the captured image to the terminal based on the captured image or the feature points uploaded from the terminal device 10. The location description information including the position of the device 10 may be transmitted to the terminal device 10.

また、端末装置１０は、ＧＰＳ処理部１０４による位置情報が場所記述情報のエリアから離れた場合、場所記述情報の利用時間が規定時間以上となった場合、キャラクタの画像表示を規定時間以上行わなかった場合等の条件が満たされた場合には、メモリ部に保持している場所記述情報を消去しても良い。 Further, the terminal device 10 does not display the character image for the specified time or longer when the position information by the GPS processing unit 104 is separated from the area of the place description information, or when the usage time of the place description information exceeds the specified time. If the conditions such as the above are satisfied, the location description information stored in the memory unit may be deleted.

なお、場所記述情報以外のデータ（上記のモデルデータなど）もまた、外部の機器から通信部１０７を介して取得しても良い。また、キャラクタの２次元画像は、仮想視点の位置及び姿勢の両方に基づいて描画しても良いし、位置又は姿勢に基づいて描画しても良い。 Data other than the location description information (such as the model data described above) may also be acquired from an external device via the communication unit 107. Further, the two-dimensional image of the character may be drawn based on both the position and the posture of the virtual viewpoint, or may be drawn based on the position or the posture.

また、本実施形態では、端末装置１０は、撮像画像に含まれる特徴点に基づき場所記述情報を使用して、３次元空間における端末装置１０の位置及び方向を判定していた。しかしながら、例えば、所定エリア内の複数の位置に、それぞれの位置を示す信号を送信する送信機を設置する構成とすることができる。送信機は、例えば、人の可聴範囲外の音を出力するスピーカとすることができる。この場合、端末装置１０のマイク１０２は、スピーカの音を音声信号に変換し、端末装置１０は、この音声信号により、３次元空間におけるどの付近にいるかを判定する。これにより、端末装置１０が撮像画像の特徴点に基づき端末装置１０の位置及び方向を判定する際に、参酌すべき場所記述情報の範囲を絞り込むことができ、端末装置１０の位置及び方向の判定に要する時間を短縮することができる。また、端末装置１０は、一旦、端末装置１０の位置及び方向を判定すると、加速度情報及び角速度情報により端末装置１０の位置及び方向が変化しても、変化後の端末装置１０の位置及び方向を判定し続けることができる。これにより、例えば、端末装置１０の位置及び方向を判定した後、ユーザが端末装置１０をポケットやカバン等に入れたりして撮像画像が得られない状態が続いても、ユーザが撮像部１０３による撮像画像の取得を開始し場所記述情報に基づき端末装置１０の位置及び方向を判定する際に、加速度情報及び角速度情報により判定していた端末装置１０の位置及び方向に基づき、参酌すべき場所記述情報の範囲を絞り込むことができる。また、場所記述情報は、該場所記述情報に対応するエリアの経度緯度などの位置情報を含んでも良い。その場合、ＧＰＳ処理部１０４による位置情報等により、端末装置１０が、場所記述情報に対応するエリア内、またはそのエリアの近くにいると判定した場合には、端末装置１０がそのエリア内、あるいは近傍にいることを、ユーザに通知（画面上に通知・振動）するようにしてもよい。 Further, in the present embodiment, the terminal device 10 determines the position and direction of the terminal device 10 in the three-dimensional space by using the location description information based on the feature points included in the captured image. However, for example, transmitters that transmit signals indicating the respective positions may be installed at a plurality of positions in a predetermined area. The transmitter can be, for example, a speaker that outputs sound outside the human audible range. In this case, the microphone 102 of the terminal device 10 converts the sound of the speaker into an audio signal, and the terminal device 10 determines where in the three-dimensional space the sound signal is located. As a result, when the terminal device 10 determines the position and direction of the terminal device 10 based on the feature points of the captured image, the range of the place description information to be taken into consideration can be narrowed down, and the position and direction of the terminal device 10 can be determined. The time required for this can be shortened. Further, once the position and direction of the terminal device 10 are determined, the terminal device 10 determines the position and direction of the terminal device 10 after the change even if the position and direction of the terminal device 10 are changed by the acceleration information and the angular velocity information. You can continue to judge. As a result, for example, after determining the position and direction of the terminal device 10, even if the user puts the terminal device 10 in a pocket, a bag, or the like and the state in which the captured image cannot be obtained continues, the user can use the imaging unit 103. When the acquisition of the captured image is started and the position and direction of the terminal device 10 are determined based on the location description information, the location description to be taken into consideration is based on the position and direction of the terminal device 10 determined by the acceleration information and the angular velocity information. The range of information can be narrowed down. Further, the place description information may include position information such as the longitude and latitude of the area corresponding to the place description information. In that case, if it is determined by the position information or the like by the GPS processing unit 104 that the terminal device 10 is in or near the area corresponding to the location description information, the terminal device 10 is in or near the area. The user may be notified (notified / vibrated on the screen) that he / she is in the vicinity.

また、上記の説明では、キャラクタの２次元画像は端末装置１０が描画していたが、サーバなどの外部装置がキャラクタの２次元画像を描画する処理を行って、端末装置１０に該描画した２次元画像を送信するようにしても構わない。その場合、端末装置１０は、キャラクタの２次元画像を描画するために必要な情報（仮想視点の位置や姿勢、キャラクタの位置やモーション情報等）を外部装置に対して送信する。 Further, in the above description, the two-dimensional image of the character is drawn by the terminal device 10, but an external device such as a server performs a process of drawing the two-dimensional image of the character and draws the two-dimensional image on the terminal device 10. You may send a two-dimensional image. In that case, the terminal device 10 transmits information (position and orientation of the virtual viewpoint, character position, motion information, etc.) necessary for drawing a two-dimensional image of the character to the external device.

また、上記の距離Ｄは複数の距離値（Ｄ１，Ｄ２，…：Ｄ１＞Ｄ２＞…）をとるようにしても良い。そして、仮想空間内におけるキャラクタの現在位置が、現実空間中の規定の位置に対応する仮想空間内の位置から規定距離Ｄｉ（ｉ＝１，２，…）以内となった時点で、距離Ｄｉと関連づけられている動作をキャラクタに行わせるようにしても良い。例えば、キャラクタの現在位置が現実空間中の規定の位置に対応する仮想空間内の位置から規定距離Ｄ１以内となった時点で、距離Ｄ１と関連づけられているキャラクタの音声をスピーカ１０１から出力すると共にキャラクタの発声モーションを再生し、現実空間中の規定の位置に対応する仮想空間内の位置から規定距離Ｄ２以内となった時点で、距離Ｄ２と関連づけられているテキストをディスプレイ１０５に表示すると共にキャラクタの発声モーションを再生するようにしても良い。このように、距離Ｄの距離値毎に、キャラクタのモーションやテキスト、音声のデータをメモリ部や外部装置に格納するようにしても良い。 Further, the above-mentioned distance D may take a plurality of distance values (D1, D2, ...: D1> D2> ...). Then, when the current position of the character in the virtual space is within the specified distance Di (i = 1, 2, ...) From the position in the virtual space corresponding to the specified position in the real space, the distance Di You may want the character to perform the associated action. For example, when the current position of the character is within the specified distance D1 from the position in the virtual space corresponding to the specified position in the real space, the voice of the character associated with the distance D1 is output from the speaker 101. When the vocal motion of the character is reproduced and the distance is within the specified distance D2 from the position in the virtual space corresponding to the specified position in the real space, the text associated with the distance D2 is displayed on the display 105 and the character is displayed. You may try to reproduce the utterance motion of. In this way, the motion, text, and voice data of the character may be stored in the memory unit or the external device for each distance value of the distance D.

また、仮想空間におけるキャラクタの現在位置が、複数の領域Ｒに属しているような場合、それぞれの領域Ｒに対して予め設定された優先度のうち最も高い優先度の領域Ｒと関連づけられている処理（キャラクタのモーションの制御、テキストの表示、音声の出力）を行うようにしても良い。また、仮想空間におけるキャラクタの現在位置が、複数の領域Ｒに属しているような場合、仮想空間におけるキャラクタの現在位置に最も近い領域Ｒと関連づけられている処理（キャラクタのモーションの制御、テキストの表示、音声の出力）を行うようにしても良い。 Further, when the current position of the character in the virtual space belongs to a plurality of regions R, it is associated with the region R having the highest priority among the preset priorities for each region R. Processing (control of character motion, display of text, output of voice) may be performed. In addition, when the current position of the character in the virtual space belongs to a plurality of areas R, the process associated with the area R closest to the current position of the character in the virtual space (control of character motion, text). Display and audio output) may be performed.

また、上記の距離Ｄは、時間、日、曜日、月、季節のうち少なくとも１つに応じて変化させても良い。 Further, the above-mentioned distance D may be changed according to at least one of time, day, day of the week, month, and season.

また、「キャラクタの現在位置」は「キャラクタの周囲領域の位置」としても良い。その場合、キャラクタの周囲領域の一部若しくは全部が領域Ｒと重複する場合には、処理はステップＳ３０３に進み、キャラクタの周囲領域が領域Ｒと重複しない場合には、処理はステップＳ３０４に進む。 Further, the "current position of the character" may be the "position of the area around the character". In that case, if a part or all of the character's peripheral area overlaps with the area R, the process proceeds to step S303, and if the character's peripheral area does not overlap with the area R, the process proceeds to step S304.

Claims (11)

撮像手段及びディスプレイを有する端末装置であって、
現実空間に対応する仮想空間内におけるキャラクタの位置が、該現実空間中の前記撮像手段の位置とは異なる規定の位置に対応する仮想空間内の位置から規定距離以内となった場合には、所定の表示動作を行わせる制御手段と、
前記表示動作の画像を前記撮像手段による撮像画像上に合成して前記ディスプレイに表示させる表示制御手段と、
前記規定距離と関連づけられている音声を出力する音声出力手段と
を備えることを特徴とする端末装置。 A terminal device having an imaging means and a display.
When the position of the character in the virtual space corresponding to the real space is within a specified distance from the position in the virtual space corresponding to the specified position different from the position of the imaging means in the real space, it is predetermined. Control means to perform the display operation of
A display control means for synthesizing an image of the display operation on an image captured by the imaging means and displaying it on the display .
A terminal device including an audio output means for outputting audio associated with the specified distance . 撮像手段及びディスプレイを有する端末装置であって、
現実空間に対応する仮想空間内におけるキャラクタの位置が、該現実空間中の前記撮像手段の位置とは異なる規定の位置に対応する仮想空間内の位置から規定距離以内となった場合には、所定の表示動作を行わせる制御手段と、
前記表示動作の画像を前記撮像手段による撮像画像上に合成して前記ディスプレイに表示させる表示制御手段と、
前記仮想空間におけるキャラクタの位置が属する複数の領域のうち最も高い優先度の領域と関連づけられている音声を出力する音声出力手段と
を備えることを特徴とする端末装置。 A terminal device having an imaging means and a display.
When the position of the character in the virtual space corresponding to the real space is within a specified distance from the position in the virtual space corresponding to the specified position different from the position of the imaging means in the real space, it is predetermined. Control means to perform the display operation of
A display control means for synthesizing an image of the display operation on an image captured by the imaging means and displaying it on the display.
An audio output means for outputting audio associated with the region having the highest priority among the plurality of regions to which the character's position in the virtual space belongs.
Terminal device comprising: a. 撮像手段及びディスプレイを有する端末装置であって、
現実空間に対応する仮想空間内におけるキャラクタの位置が、該現実空間中の前記撮像手段の位置とは異なる規定の位置に対応する仮想空間内の位置から規定距離以内となった場合には、所定の表示動作を行わせる制御手段と、
前記表示動作の画像を前記撮像手段による撮像画像上に合成して前記ディスプレイに表示させる表示制御手段と、
前記仮想空間におけるキャラクタの位置が属する複数の領域のうち該位置に最も近い領域と関連づけられている音声を出力する音声出力手段と
を備えることを特徴とする端末装置。 A terminal device having an imaging means and a display.
When the position of the character in the virtual space corresponding to the real space is within a specified distance from the position in the virtual space corresponding to the specified position different from the position of the imaging means in the real space, it is predetermined. Control means to perform the display operation of
A display control means for synthesizing an image of the display operation on an image captured by the imaging means and displaying it on the display.
A voice output means for outputting voice associated with the region closest to the position among the plurality of regions to which the character's position in the virtual space belongs.
Terminal device comprising: a. 撮像手段及びディスプレイを有する端末装置であって、
現実空間に対応する仮想空間内におけるキャラクタの位置が、該現実空間中の前記撮像手段の位置とは異なる規定の位置に対応する仮想空間内の位置から規定距離以内となった場合には、所定の表示動作を行わせる制御手段と、
前記表示動作の画像を前記撮像手段による撮像画像上に合成して前記ディスプレイに表示させる表示制御手段と
を備え、
前記規定距離は、前記規定の位置に対応する前記仮想空間内の位置ごとに異なることを特徴とする端末装置。 A terminal device having an imaging means and a display.
When the position of the character in the virtual space corresponding to the real space is within a specified distance from the position in the virtual space corresponding to the specified position different from the position of the imaging means in the real space, it is predetermined. Control means to perform the display operation of
A display control means for synthesizing an image of the display operation on an image captured by the imaging means and displaying it on the display.
With
The terminal device, characterized in that the specified distance differs for each position in the virtual space corresponding to the specified position. 音声出力モードの場合、前記音声出力手段は音声の出力を行い、前記制御手段はテキストの表示を禁止し、
マナーモードの場合、前記音声出力手段は音声の出力は行わず、前記制御手段はテキストの表示を行う
ことを特徴とする請求項１乃至３の何れか１項に記載の端末装置。 In the voice output mode, the voice output means outputs voice, and the control means prohibits the display of text.
The terminal device according to any one of claims 1 to 3 , wherein in the manner mode, the voice output means does not output voice and the control means displays text . 前記音声出力手段は、出力する音声の内容を、時間帯、季節、時期のうち少なくとも１つに応じて変化させることを特徴とする請求項１乃至３の何れか１項に記載の端末装置。 The terminal device according to any one of claims 1 to 3 , wherein the audio output means changes the content of the audio to be output according to at least one of a time zone, a season, and a time period . 撮像手段及びディスプレイを有する端末装置の制御方法であって、
現実空間に対応する仮想空間内におけるキャラクタの位置が、該現実空間中の前記撮像手段の位置とは異なる規定の位置に対応する仮想空間内の位置から規定距離以内となった場合には、所定の表示動作を行わせる制御工程と、
前記表示動作の画像を前記撮像手段による撮像画像上に合成して前記ディスプレイに表示させる表示制御工程と、
前記規定距離と関連づけられている音声を出力する音声出力工程と
を備えることを特徴とする端末装置の制御方法。 A control method for a terminal device having an imaging means and a display.
When the position of the character in the virtual space corresponding to the real space is within a specified distance from the position in the virtual space corresponding to the specified position different from the position of the imaging means in the real space, it is predetermined. Control process to perform the display operation of
A display control step of synthesizing an image of the display operation on an image captured by the imaging means and displaying it on the display .
A method for controlling a terminal device, which comprises a voice output process for outputting voice associated with the specified distance . 撮像手段及びディスプレイを有する端末装置の制御方法であって、A control method for a terminal device having an imaging means and a display.
現実空間に対応する仮想空間内におけるキャラクタの位置が、該現実空間中の前記撮像手段の位置とは異なる規定の位置に対応する仮想空間内の位置から規定距離以内となった場合には、所定の表示動作を行わせる制御工程と、When the position of the character in the virtual space corresponding to the real space is within a specified distance from the position in the virtual space corresponding to the specified position different from the position of the imaging means in the real space, it is predetermined. Control process to perform the display operation of
前記表示動作の画像を前記撮像手段による撮像画像上に合成して前記ディスプレイに表示させる表示制御工程と、A display control step of synthesizing an image of the display operation on an image captured by the imaging means and displaying it on the display.
前記仮想空間におけるキャラクタの位置が属する複数の領域のうち最も高い優先度の領域と関連づけられている音声を出力する音声出力工程とA voice output process that outputs voice associated with a region having the highest priority among a plurality of regions to which the character's position in the virtual space belongs.
を備えることを特徴とする端末装置の制御方法。A method for controlling a terminal device, which comprises. 撮像手段及びディスプレイを有する端末装置の制御方法であって、A control method for a terminal device having an imaging means and a display.
現実空間に対応する仮想空間内におけるキャラクタの位置が、該現実空間中の前記撮像手段の位置とは異なる規定の位置に対応する仮想空間内の位置から規定距離以内となった場合には、所定の表示動作を行わせる制御工程と、When the position of the character in the virtual space corresponding to the real space is within a specified distance from the position in the virtual space corresponding to the specified position different from the position of the imaging means in the real space, it is predetermined. Control process to perform the display operation of
前記表示動作の画像を前記撮像手段による撮像画像上に合成して前記ディスプレイに表示させる表示制御工程と、A display control step of synthesizing an image of the display operation on an image captured by the imaging means and displaying it on the display.
前記仮想空間におけるキャラクタの位置が属する複数の領域のうち該位置に最も近い領域と関連づけられている音声を出力する音声出力工程とA voice output process that outputs voice associated with the region closest to the position among the plurality of regions to which the character's position in the virtual space belongs.
を備えることを特徴とする端末装置の制御方法。A method for controlling a terminal device, which comprises. 撮像手段及びディスプレイを有する端末装置の制御方法であって、A control method for a terminal device having an imaging means and a display.
現実空間に対応する仮想空間内におけるキャラクタの位置が、該現実空間中の前記撮像手段の位置とは異なる規定の位置に対応する仮想空間内の位置から規定距離以内となった場合には、所定の表示動作を行わせる制御工程と、When the position of the character in the virtual space corresponding to the real space is within a specified distance from the position in the virtual space corresponding to the specified position different from the position of the imaging means in the real space, it is predetermined. Control process to perform the display operation of
前記表示動作の画像を前記撮像手段による撮像画像上に合成して前記ディスプレイに表示させる表示制御工程とA display control step of synthesizing an image of the display operation on an image captured by the imaging means and displaying it on the display.
を備え、With
前記規定距離は、前記規定の位置に対応する前記仮想空間内の位置ごとに異なることを特徴とする端末装置の制御方法。A method for controlling a terminal device, wherein the specified distance differs for each position in the virtual space corresponding to the specified position. 端末装置のコンピュータを、請求項１乃至６の何れか１項に記載の端末装置の各手段として機能させるためのコンピュータプログラム。 A computer program for causing a computer of a terminal device to function as each means of the terminal device according to any one of claims 1 to 6 .
JP2019089361A 2019-05-09 2019-05-09 Terminal device, terminal device control method, computer program Active JP6792666B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019089361A JP6792666B2 (en) 2019-05-09 2019-05-09 Terminal device, terminal device control method, computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019089361A JP6792666B2 (en) 2019-05-09 2019-05-09 Terminal device, terminal device control method, computer program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017018887A Division JP6527182B2 (en) 2017-02-03 2017-02-03 Terminal device, control method of terminal device, computer program

Publications (2)

Publication Number Publication Date
JP2019185791A JP2019185791A (en) 2019-10-24
JP6792666B2 true JP6792666B2 (en) 2020-11-25

Family

ID=68341033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019089361A Active JP6792666B2 (en) 2019-05-09 2019-05-09 Terminal device, terminal device control method, computer program

Country Status (1)

Country Link
JP (1) JP6792666B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7280223B2 (en) * 2020-06-17 2023-05-23 Kddi株式会社 Information terminal device, remote communication support method and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004145657A (en) * 2002-10-24 2004-05-20 Space Tag Inc Virtual museum system
JP2012212225A (en) * 2011-03-30 2012-11-01 Nifty Corp Information processing device, method, and program
JP5474899B2 (en) * 2011-09-14 2014-04-16 株式会社バンダイナムコゲームス PROGRAM, INFORMATION STORAGE MEDIUM, AND GAME DEVICE
JP2017018887A (en) * 2015-07-10 2017-01-26 三光株式会社 Cleaning device of insect screen

Also Published As

Publication number Publication date
JP2019185791A (en) 2019-10-24

Similar Documents

Publication Publication Date Title
US10880670B2 (en) Systems and methods for determining estimated head orientation and position with ear pieces
US9805515B2 (en) System and method for augmented reality
JP6594646B2 (en) Robot, robot control method, and robot system
JP2019533372A (en) Panorama image display control method, apparatus, and storage medium
KR101923929B1 (en) Mobile communication terminal device for providing augmented reality service and method for changing to display for augmented reality service
JP6527182B2 (en) Terminal device, control method of terminal device, computer program
US9733896B2 (en) System, apparatus, and method for displaying virtual objects based on data received from another apparatus
WO2021184952A1 (en) Augmented reality processing method and apparatus, storage medium, and electronic device
WO2020048441A1 (en) Communication connection method, terminal device and wireless communication system
JP2018124515A (en) Computer program, terminal, and method
KR20220019683A (en) Information processing system, information processing method and recording medium
JP6792666B2 (en) Terminal device, terminal device control method, computer program
CN110070617B (en) Data synchronization method, device and hardware device
EP4252195A1 (en) Real world beacons indicating virtual locations
JPWO2019026919A1 (en) Image processing system, image processing method, and program
US20120281102A1 (en) Portable terminal, activity history depiction method, and activity history depiction system
JP2019075126A (en) Information processing device and program
JP2019160332A (en) Computer program, terminal, and method
JP2021168461A (en) Photographer terminal, information processing unit, information processing method, and computer program
JP6523353B2 (en) Terminal device and program
KR20200004135A (en) Method for providing model house virtual image based on augmented reality
JP7144588B2 (en) Terminal device, method in the terminal device, server device and program
JP6975489B1 (en) Information processing system, information processing method and information processing program
EP4236380A1 (en) Mobile terminal and display device for searching for location of remote control device by using bluetooth pairing
KR20230164491A (en) A system for providing virtual reality services based on sound and a method for providing virtual reality services using the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201009

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201106

R150 Certificate of patent or registration of utility model

Ref document number: 6792666

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150