JP2023133885A - Program, information processing device and method - Google Patents
Program, information processing device and method Download PDFInfo
- Publication number
- JP2023133885A JP2023133885A JP2022039127A JP2022039127A JP2023133885A JP 2023133885 A JP2023133885 A JP 2023133885A JP 2022039127 A JP2022039127 A JP 2022039127A JP 2022039127 A JP2022039127 A JP 2022039127A JP 2023133885 A JP2023133885 A JP 2023133885A
- Authority
- JP
- Japan
- Prior art keywords
- hand
- image
- person
- screen
- icon
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000010365 information processing Effects 0.000 title claims description 5
- 230000033001 locomotion Effects 0.000 claims abstract description 67
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 36
- 230000009471 action Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 description 47
- 238000004891 communication Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、プログラム、情報処理装置及び方法に関する。 The present disclosure relates to a program, an information processing device, and a method.
昨今、スマートフォン等の携帯端末が備えるカメラを利用して人物を撮影し、仮想空間において撮影された人物に関連付けられたキャラクタであるアバターを表示し、仮想空間上で各種サービスを提供することが行われている。このようなサービスは、実際の人物の外観を表示させずに各種サービスを提供するため、当該人物の外観を不特定のユーザに晒すことなく各種サービスの提供を受けることが可能であるため、一定のユーザにより利用されている。 Recently, it has become possible to take a picture of a person using a camera equipped with a mobile terminal such as a smartphone, display an avatar, which is a character associated with the photographed person, in a virtual space, and provide various services in the virtual space. It is being said. Such services provide various services without displaying the appearance of the actual person, so it is possible to receive various services without exposing the appearance of the person to unspecified users, so it is possible to receive various services without displaying the appearance of the person. of users.
特許文献1には、ユーザーアカウントに関連したアバター情報および骨格情報に基づいて人物オブジェクトがアバターに代替された合成画像を生成する技術が開示されている。 Patent Document 1 discloses a technique for generating a composite image in which a human object is replaced with an avatar based on avatar information and skeleton information related to a user account.
ところで、仮想空間において、携帯端末で撮影された人物のアバターをリアルタイムで表示し、仮想空間上で各種サービスの提供を受ける場合、他の者により携帯端末を操作して当該各種サービスの提供を開始する、終了する等の操作をするか、当該人物が自身で操作する必要があった。そのため、このようなサービスの提供を受けるために煩わしい操作が必要となっていた。 By the way, when an avatar of a person photographed with a mobile terminal is displayed in real time in a virtual space and various services are provided in the virtual space, another person may operate the mobile terminal to start providing the various services. The person in question had to perform the operations themselves, such as starting or ending the program. Therefore, in order to receive such services, troublesome operations are required.
そこで、本開示では、仮想空間上で各種サービスの提供を受けるための操作を容易にする技術について説明する。 Therefore, in the present disclosure, a technology that facilitates operations for receiving various services in a virtual space will be described.
本開示の一実施形態によると、プロセッサと、メモリとを備えるコンピュータに実行させ、画面上に表示させる画像を生成するためのプログラムが提供される。プログラムは、プロセッサに、動いている人物をカメラで撮影した撮影画像を取得するステップと、取得した撮影画像を解析し、解析結果に基づき人物の骨格情報を特定するステップと、特定した骨格情報から人物の手の骨格情報を抽出するステップと、画面上に、手を模した手画像を表示させるステップと、抽出した人物の手の骨格情報に基づき、人物の手の動作に合わせて手画像を動かすように制御するステップと、手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させるステップと、を実行させる。 According to one embodiment of the present disclosure, a program is provided that causes a computer including a processor and a memory to execute and generate an image to be displayed on a screen. The program causes the processor to acquire an image of a moving person taken with a camera, analyze the acquired image, identify the person's skeletal information based on the analysis result, and use the identified skeletal information. A step of extracting skeletal information of a person's hand, a step of displaying a hand image imitating the hand on the screen, and a step of displaying a hand image that matches the movement of the person's hand based on the extracted skeletal information of the person's hand. A step of controlling the hand image to move, and a step of detecting a predetermined motion of the hand image and executing a function associated with the predetermined motion are executed.
本開示によれば、撮影した人物の手の動作に合わせて手画像を動かすように制御し、手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させる。これにより、仮想空間上で各種サービスの提供を受けるための操作を容易にすることが可能になる。 According to the present disclosure, a hand image is controlled to be moved in accordance with the hand motion of the photographed person, a predetermined motion of the hand image is detected, and a function associated with the predetermined motion is executed. This makes it possible to facilitate operations for receiving various services in the virtual space.
以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称及び機能も同じである。従って、それらについての詳細な説明は繰り返さない。 Embodiments of the present disclosure will be described below with reference to the drawings. In the following description, the same parts are given the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
<概要>
以下、本開示に係るアバターサービス提供システムについて説明する。このアバターサービス提供システムは、スマートフォン等の携帯端末が備えるカメラを利用して人物を撮影し、仮想空間において撮影された人物に関連付けられたキャラクタであるアバターを表示し、仮想空間上で各種サービスを提供するするためのシステムである。仮想空間上で提供される各種サービスとは、例えば、アバターをユーザの動きにより操作して行うゲームのようなエンターテインメント、複数のアバターをそれぞれのユーザの動きにより表示させて行うオンラインフィットネスサービス、複数のアバターによるコミュニケーションサービス等が挙げられる。本開示に係るアバターサービス提供システムは、このようなユーザを投影したアバターを介して行う各種サービスを、例えばWebサービスとして提供するシステムであり、クラウドサーバ等によりWebサービスとして、いわゆるSaaS(Software as a Service)によって提供されるシステムである。または、アバターサービス提供システムは、このようなユーザを投影したアバターを介して行う各種サービスを、例えばスマートフォン等の携帯端末によって(Webサーバを介してもよく、介さなくてもよい)提供されるシステムである。
<Summary>
The avatar service providing system according to the present disclosure will be described below. This avatar service provision system takes a picture of a person using a camera equipped with a mobile terminal such as a smartphone, displays an avatar, which is a character associated with the photographed person, in a virtual space, and provides various services in the virtual space. It is a system for providing. Various services provided in virtual space include, for example, entertainment such as games in which avatars are manipulated by the user's movements, online fitness services in which multiple avatars are displayed according to the movements of each user, and multiple services. Examples include communication services using avatars. The avatar service providing system according to the present disclosure is a system that provides various services performed through an avatar that is a projection of such a user, for example, as a web service, and provides so-called SaaS (Software as a Service) as a web service using a cloud server or the like. This is a system provided by Alternatively, an avatar service providing system is a system in which various services are provided via an avatar that is a projection of such a user, for example, by a mobile terminal such as a smartphone (which may or may not be via a web server). It is.
図1は、本開示に係るアバターサービス提供システムの概略を示す構成図である。図1に示すように、アバターサービス提供システムは、スマートフォン等の端末装置10と、表示画面30とを含む。端末装置10は、スマートフォン、タブレット等の携帯端末である。表示画面30は、ディスプレイ、テレビジョン、プロジェクタ等の画像表示装置であり、一定の離れた位置で見ることが可能な大きさに構成されている。端末装置10は、有線または無線の通信手段を介して表示画面30と通信可能に接続される。このときの通信手段の例は、例えば、USB(Universal Serial Bus)、HDMI(登録商標)(High Definition Multimedia Interface)等の規格による通信ケーブル、Miracast(登録商標)、WiDi、AirPlay(登録商標)等の規格による無線通信が挙げられるが、これらに限定されない。端末装置10のディスプレイ132には仮想空間が表示されており、端末装置10で人物Hを撮影すると、端末装置10のディスプレイ132に表示されている仮想空間上に、人物Hに関連付けられたキャラクタであるアバターAが表示される。このとき、例えば、端末装置10を横向きに撮影し、表示画面30のアスペクト比(縦横比)に近似するようにしてもよい。また、表示画面30にも、仮想空間とアバターAが表示される。アバターAは、人物Hの身体の動きに対応して動くように構成されており、アバターAの動きにより各種サービスが提供される。さらに、アバターAの情報はWebサーバ等により共有されてもよく、共有されている複数のアバターAが表示画面30に表示されて各種サービスが提供されてもよい。 FIG. 1 is a configuration diagram showing an outline of an avatar service providing system according to the present disclosure. As shown in FIG. 1, the avatar service providing system includes a terminal device 10 such as a smartphone, and a display screen 30. The terminal device 10 is a mobile terminal such as a smartphone or a tablet. The display screen 30 is an image display device such as a display, a television, or a projector, and is configured to have a size that can be viewed from a certain distance. The terminal device 10 is communicably connected to the display screen 30 via wired or wireless communication means. Examples of communication means at this time include communication cables based on standards such as USB (Universal Serial Bus) and HDMI (registered trademark) (High Definition Multimedia Interface), Miracast (registered trademark), WiDi, AirPlay (registered trademark), etc. Examples include, but are not limited to, wireless communication based on the standards of . A virtual space is displayed on the display 132 of the terminal device 10, and when a person H is photographed with the terminal device 10, a character associated with the person H is displayed on the virtual space displayed on the display 132 of the terminal device 10. A certain avatar A is displayed. At this time, for example, the terminal device 10 may be photographed in landscape orientation so that the aspect ratio (length-to-width ratio) of the display screen 30 is approximated. The virtual space and avatar A are also displayed on the display screen 30. Avatar A is configured to move in response to the body movements of person H, and various services are provided based on the movements of avatar A. Furthermore, the information on the avatars A may be shared by a web server or the like, and a plurality of shared avatars A may be displayed on the display screen 30 to provide various services.
ここで、端末装置10で人物Hの身体の動きを撮影しようとすると、人物Hから一定の離隔した距離で撮影する必要がある。その状態で、各種サービスの提供を開始するためには端末装置10を操作する必要があり、人物Hが1人で行っている場合、人物Hが端末装置10の位置まで移動して端末装置10を操作し、各種サービスの提供を開始させ、さらに端末装置10から離隔した位置に戻る必要があり、人物Hにとって煩わしい操作が必要となっていた。 Here, when trying to photograph the body movements of the person H using the terminal device 10, it is necessary to photograph the body at a certain distance from the person H. In this state, it is necessary to operate the terminal device 10 in order to start providing various services, and if the person H is doing it alone, the person H must move to the location of the terminal device 10 and operate the terminal device 10. , to start providing various services, and then to return to a position distant from the terminal device 10, which is a cumbersome operation for the person H.
そのため、本開示に係るアバターサービス提供システムでは、各種サービスの提供開始前の状態で、手を模した手画像を表示させて人物Hの手の動作に合わせて手画像を動かすように制御し、手画像の動作により各種サービスの提供を開始できるようにしている。例えば、表示画面30に各種サービスの提供を開始させるためのアイコンを表示させ、手画像の動作によりアイコンを選択し、実行させることが可能になるように構成している。そのため、人物Hは端末装置10の位置まで戻って操作する必要がなくなり、煩わしい操作を不要にしている。これにより、アバターサービス提供システムによる各種サービスの提供がスムーズに行われることを可能にしている。 Therefore, in the avatar service providing system according to the present disclosure, before the provision of various services is started, a hand image imitating a hand is displayed and the hand image is controlled to move in accordance with the hand movements of the person H. It is possible to start providing various services by moving the hand image. For example, icons for starting the provision of various services are displayed on the display screen 30, and the icon can be selected and executed by moving the hand image. Therefore, the person H does not need to return to the terminal device 10 and operate it, thereby eliminating the need for troublesome operations. This allows the avatar service providing system to smoothly provide various services.
また、本開示に係るアバターサービス提供システムでは、手画像の動作により各種サービスを提供するためのメニュー画面を操作できるようにしている。具体的には、表示画面30に各種サービスの提供を開始するためのアイコンが複数表示され、1画面では表示しきれないような場合に2画面以上で表示させる場合があり、そのような場合に複数画面間でスクロールさせることを可能にしている。これにより、煩わしい操作を不要にし、アバターサービス提供システムによる各種サービスの提供がスムーズに行われることを可能にしている。 Further, in the avatar service providing system according to the present disclosure, a menu screen for providing various services can be operated by the movement of a hand image. Specifically, multiple icons for starting the provision of various services are displayed on the display screen 30, and if they cannot be displayed on one screen, they may be displayed on two or more screens. It allows you to scroll between multiple screens. This eliminates the need for troublesome operations and allows the avatar service providing system to smoothly provide various services.
<第1の実施の形態>
以下、アバターサービス提供システム1について説明する。以下の説明では、例えば、端末装置10がサーバ20へアクセスすることにより、サーバ20が、端末装置10で画面を生成するための情報を応答する。端末装置10は、サーバ20から受信した情報に基づいて画面を生成し表示する。
<First embodiment>
The avatar service providing system 1 will be explained below. In the following description, for example, when the terminal device 10 accesses the server 20, the server 20 responds with information for generating a screen on the terminal device 10. The terminal device 10 generates and displays a screen based on the information received from the server 20.
<1 アバターサービス提供システム1の全体構成>
図2は、アバターサービス提供システム1の全体の構成を示す構成図である。図2に示すように、アバターサービス提供システム1は、複数の端末装置(図2では、端末装置10A及び端末装置10Bを示している。以下、総称して「端末装置10」ということもある)と、サーバ20とを含む。端末装置10とサーバ20とは、ネットワーク80を介して相互に通信可能に接続されている。ネットワーク80は、有線または無線ネットワークにより構成される。また、端末装置10は、図1に示すように表示画面30と通信可能に接続されるが、図2では図示を省略する。
<1 Overall configuration of avatar service provision system 1>
FIG. 2 is a configuration diagram showing the overall configuration of the avatar service providing system 1. As shown in FIG. As shown in FIG. 2, the avatar service providing system 1 includes a plurality of terminal devices (in FIG. 2, a terminal device 10A and a terminal device 10B are shown. Hereinafter, they may be collectively referred to as "terminal devices 10"). and a server 20. The terminal device 10 and the server 20 are connected via a network 80 so that they can communicate with each other. The network 80 is configured by a wired or wireless network. Further, the terminal device 10 is communicably connected to the display screen 30 as shown in FIG. 1, but is not shown in FIG. 2.
端末装置10は、各ユーザが操作する装置である。端末装置10は、移動体通信システムに対応したスマートフォン、タブレット等の携帯端末等により実現される。この他、端末装置10は、例えば持ち運び可能なノートPC(Personal Computer)、ラップトップPC、デスクトップPC、スマートTVであるとしてもよい。端末装置10を操作するユーザとは、アバターサービス提供システム1において仮想空間上にアバターを表示させて各種サービスの提供を受ける者であり、例えば、アバターサービス提供システム1に会員登録している者である。 The terminal device 10 is a device operated by each user. The terminal device 10 is realized by a mobile terminal such as a smartphone or a tablet that is compatible with a mobile communication system. In addition, the terminal device 10 may be, for example, a portable notebook PC (Personal Computer), a laptop PC, a desktop PC, or a smart TV. The user who operates the terminal device 10 is a person who displays an avatar in a virtual space in the avatar service providing system 1 and receives various services, and is, for example, a person who is registered as a member of the avatar service providing system 1. be.
端末装置10は、ネットワーク80を介してサーバ20と通信可能に接続される。端末装置10は、4G、5G、LTE(Long Term Evolution)等の通信規格に対応した無線基地局81、IEEE(Institute of Electrical and Electronics Engineers)802.11等の無線LAN(Local Area Network)規格に対応した無線LANルータ82等の通信機器と通信することにより、ネットワーク80に接続される。図2に端末装置10Bとして示すように、端末装置10は、通信IF(Interface)12と、入力装置13と、出力装置14と、メモリ15と、記憶部16と、プロセッサ19とを備える。 The terminal device 10 is communicably connected to the server 20 via the network 80. The terminal device 10 is a wireless base station 81 compatible with communication standards such as 4G, 5G, and LTE (Long Term Evolution), and a wireless LAN (Local Area Network) standard such as IEEE (Institute of Electrical and Electronics Engineers) 802.11. It is connected to the network 80 by communicating with a corresponding communication device such as a wireless LAN router 82. As shown as a terminal device 10B in FIG. 2, the terminal device 10 includes a communication IF (Interface) 12, an input device 13, an output device 14, a memory 15, a storage section 16, and a processor 19.
通信IF12は、端末装置10が外部の装置と通信するため、信号を入出力するためのインタフェースである。入力装置13は、ユーザからの入力操作を受け付けるための入力装置(例えば、タッチパネルや、タッチパッド、キーボード、マウス等のポインティングデバイス等)である。出力装置14は、ユーザに対し情報を提示するための出力装置(ディスプレイ、スピーカ等)である。メモリ15は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。記憶部16は、データを保存するための記憶装置であり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。プロセッサ19は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。 The communication IF 12 is an interface for inputting and outputting signals so that the terminal device 10 communicates with an external device. The input device 13 is an input device (for example, a touch panel, a touch pad, a keyboard, a pointing device such as a mouse, etc.) for receiving input operations from a user. The output device 14 is an output device (display, speaker, etc.) for presenting information to the user. The memory 15 is for temporarily storing programs and data processed by the programs, and is a volatile memory such as DRAM (Dynamic Random Access Memory). The storage unit 16 is a storage device for storing data, and is, for example, a flash memory or an HDD (Hard Disc Drive). The processor 19 is hardware for executing a set of instructions written in a program, and is composed of an arithmetic unit, registers, peripheral circuits, and the like.
サーバ20は、ユーザから各種サービスの提供を受けるための入力を受け付け、仮想空間上にアバターを表示して仮想空間上で各種サービスを提供するサービスをWebサービスとして配信して提供する装置である。なお、アバターサービス提供システム1は、端末装置10のみで各種サービスを提供してもよく、この場合、サーバ20は必須の構成ではない。 The server 20 is a device that receives input from a user for providing various services, displays an avatar in a virtual space, and distributes and provides various services in the virtual space as a web service. Note that the avatar service providing system 1 may provide various services only with the terminal device 10, and in this case, the server 20 is not an essential configuration.
サーバ20は、ネットワーク80に接続されたコンピュータである。サーバ20は、通信IF22と、入出力IF23と、メモリ25と、ストレージ26と、プロセッサ29とを備える。 Server 20 is a computer connected to network 80. The server 20 includes a communication IF 22 , an input/output IF 23 , a memory 25 , a storage 26 , and a processor 29 .
通信IF22は、サーバ20が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力IF23は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ25は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばDRAM(Dynamic Random Access Memory)等の揮発性のメモリである。ストレージ26は、データを保存するための記憶装置であり、例えばフラッシュメモリ、HDD(Hard Disc Drive)である。プロセッサ29は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。 The communication IF 22 is an interface for inputting and outputting signals so that the server 20 communicates with external devices. The input/output IF 23 functions as an interface with an input device for receiving input operations from a user and an output device for presenting information to the user. The memory 25 is for temporarily storing programs and data processed by the programs, and is a volatile memory such as DRAM (Dynamic Random Access Memory). The storage 26 is a storage device for storing data, and is, for example, a flash memory or an HDD (Hard Disc Drive). The processor 29 is hardware for executing a set of instructions written in a program, and is composed of an arithmetic unit, registers, peripheral circuits, and the like.
<1.1 端末装置10の構成>
図3は、実施の形態1のアバターサービス提供システム1を構成する端末装置10の機能的な構成を示すブロック図である。図3に示すように、端末装置10は、複数のアンテナ(アンテナ111、アンテナ112)と、各アンテナに対応する無線通信部(第1無線通信部121、第2無線通信部122)と、操作受付部130(タッチ・センシティブ・デバイス131及びディスプレイ132を含む)と、音声処理部140と、マイク141と、スピーカ142と、位置情報センサ150と、カメラ160と、記憶部170と、制御部180とを含む。端末装置10は、図3では特に図示していない機能及び構成(例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路等)も有している。図3に示すように、端末装置10に含まれる各ブロックは、バス等により電気的に接続される。
<1.1 Configuration of terminal device 10>
FIG. 3 is a block diagram showing the functional configuration of the terminal device 10 that constitutes the avatar service providing system 1 of the first embodiment. As shown in FIG. 3, the terminal device 10 includes a plurality of antennas (an antenna 111, an antenna 112), a wireless communication section (a first wireless communication section 121, a second wireless communication section 122) corresponding to each antenna, and an operation Reception unit 130 (including touch sensitive device 131 and display 132), audio processing unit 140, microphone 141, speaker 142, position information sensor 150, camera 160, storage unit 170, and control unit 180 including. The terminal device 10 also has functions and configurations that are not particularly illustrated in FIG. 3 (for example, a battery for holding power, a power supply circuit that controls the supply of power from the battery to each circuit, etc.). As shown in FIG. 3, each block included in the terminal device 10 is electrically connected by a bus or the like.
アンテナ111は、端末装置10が発する信号を電波として放射する。また、アンテナ111は、空間から電波を受信して受信信号を第1無線通信部121へ与える。 The antenna 111 radiates a signal emitted by the terminal device 10 as a radio wave. Further, the antenna 111 receives radio waves from space and provides a received signal to the first wireless communication unit 121.
アンテナ112は、端末装置10が発する信号を電波として放射する。また、アンテナ112は、空間から電波を受信して受信信号を第2無線通信部122へ与える。 The antenna 112 radiates a signal emitted by the terminal device 10 as a radio wave. Further, the antenna 112 receives radio waves from space and provides a received signal to the second wireless communication unit 122.
第1無線通信部121は、端末装置10が他の無線機器と通信するため、アンテナ111を介して信号を送受信するための変復調処理等を行う。第2無線通信部122は、端末装置10が他の無線機器と通信するため、アンテナ112を介して信号を送受信するための変復調処理等を行う。第1無線通信部121と第2無線通信部122とは、チューナー、RSSI(Received Signal Strength Indicator)算出回路、CRC(Cyclic Redundancy Check)算出回路、高周波回路等を含む通信モジュールである。第1無線通信部121と第2無線通信部122とは、端末装置10が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部180へ与える。 The first wireless communication unit 121 performs modulation and demodulation processing for transmitting and receiving signals via the antenna 111 so that the terminal device 10 communicates with other wireless devices. The second wireless communication unit 122 performs modulation and demodulation processing for transmitting and receiving signals via the antenna 112 so that the terminal device 10 communicates with other wireless devices. The first wireless communication unit 121 and the second wireless communication unit 122 are communication modules including a tuner, an RSSI (Received Signal Strength Indicator) calculation circuit, a CRC (Cyclic Redundancy Check) calculation circuit, a high frequency circuit, and the like. The first wireless communication unit 121 and the second wireless communication unit 122 perform modulation/demodulation and frequency conversion of wireless signals transmitted and received by the terminal device 10 and provide received signals to the control unit 180.
操作受付部130は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部130は、タッチスクリーンとして構成され、タッチ・センシティブ・デバイス131と、ディスプレイ132とを含む。なお、操作受付部130は、例えばキーボードやマウス等により構成してもよい。 The operation reception unit 130 has a mechanism for accepting user input operations. Specifically, the operation reception unit 130 is configured as a touch screen and includes a touch sensitive device 131 and a display 132. Note that the operation reception unit 130 may be configured by, for example, a keyboard, a mouse, or the like.
タッチ・センシティブ・デバイス131は、端末装置10のユーザの入力操作を受け付ける。タッチ・センシティブ・デバイス131は、例えば静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する。タッチ・センシティブ・デバイス131は、タッチパネルにより検出したユーザの接触位置を示す信号を入力操作として制御部180へ出力する。 Touch sensitive device 131 receives input operations from the user of terminal device 10 . The touch sensitive device 131 uses, for example, a capacitive touch panel to detect the position of the user's touch on the touch panel. The touch sensitive device 131 outputs a signal indicating the user's touch position detected by the touch panel to the control unit 180 as an input operation.
ディスプレイ132は、制御部180の制御に応じて、画像、動画、テキストなどのデータを表示する。ディスプレイ132は、例えばLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイによって実現される。 The display 132 displays data such as images, videos, and text under the control of the control unit 180. The display 132 is realized by, for example, an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display.
音声処理部140は、音声信号の変復調を行う。音声処理部140は、マイク141から与えられる信号を変調して、変調後の信号を制御部180へ与える。また、音声処理部140は、音声信号をスピーカ142へ与える。音声処理部140は、例えば音声処理用のプロセッサによって実現される。マイク141は、音声入力を受け付けて、当該音声入力に対応する音声信号を音声処理部140へ与える。スピーカ142は、音声処理部140から与えられる音声信号を音声に変換して当該音声を端末装置10の外部へ出力する。 The audio processing unit 140 modulates and demodulates the audio signal. The audio processing unit 140 modulates the signal provided from the microphone 141 and provides the modulated signal to the control unit 180. The audio processing unit 140 also provides an audio signal to the speaker 142. The audio processing unit 140 is realized, for example, by a processor for audio processing. The microphone 141 receives a voice input and provides a voice signal corresponding to the voice input to the voice processing unit 140 . The speaker 142 converts the audio signal provided from the audio processing unit 140 into audio and outputs the audio to the outside of the terminal device 10 .
位置情報センサ150は、端末装置10の位置を検出するセンサであり、例えばGPS(Global Positioning System)モジュールである。GPSモジュールは、衛星測位システムで用いられる受信装置である。衛星測位システムでは、少なくとも3個または4個の衛星からの信号を受信し、受信した信号に基づいて、GPSモジュールが搭載される端末装置10の現在位置を検出する。 The position information sensor 150 is a sensor that detects the position of the terminal device 10, and is, for example, a GPS (Global Positioning System) module. A GPS module is a receiving device used in a satellite positioning system. The satellite positioning system receives signals from at least three or four satellites, and detects the current position of the terminal device 10 equipped with a GPS module based on the received signals.
カメラ160は、受光素子により光を受光して、撮影画像として出力するためのデバイスである。カメラ160は、例えば、カメラ160から撮影対象までの距離を検出できるデバイスである。 The camera 160 is a device that receives light with a light receiving element and outputs it as a photographed image. The camera 160 is, for example, a device that can detect the distance from the camera 160 to the object to be photographed.
記憶部170は、例えばフラッシュメモリ等により構成され、端末装置10が使用するデータ及びプログラムを記憶する。ある局面において、記憶部170は、ユーザ情報171を記憶する。 The storage unit 170 is configured of, for example, a flash memory, and stores data and programs used by the terminal device 10. In one aspect, storage unit 170 stores user information 171.
ユーザ情報171は、端末装置10を使用してアバターサービス提供システム1の機能である、仮想空間上にアバターを表示させて各種サービスの提供を受けるユーザの情報である。ユーザの情報としては、ユーザを識別する情報(ユーザID)やパスワード、ユーザの氏名や名称、仮称等の情報、アバターの画像情報等が含まれる。 The user information 171 is information about a user who uses the terminal device 10 to display an avatar in a virtual space and receive various services, which is a function of the avatar service providing system 1 . The user information includes information for identifying the user (user ID), password, information such as the user's name, pseudonym, and avatar image information.
制御部180は、記憶部170に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置10の動作を制御する。制御部180は、例えば予め端末装置10にインストールされているアプリケーションである。制御部180は、プログラムに従って動作することにより、入力操作受付部181と、送受信部182と、通知制御部183と、データ処理部184としての機能を発揮する。 The control unit 180 controls the operation of the terminal device 10 by reading a program stored in the storage unit 170 and executing instructions included in the program. The control unit 180 is, for example, an application installed in the terminal device 10 in advance. The control unit 180 functions as an input operation reception unit 181, a transmission/reception unit 182, a notification control unit 183, and a data processing unit 184 by operating according to a program.
入力操作受付部181は、タッチ・センシティブ・デバイス131等の入力装置に対するユーザの入力操作を受け付ける処理を行う。入力操作受付部181は、タッチ・センシティブ・デバイス131に対してユーザが自己の指等を接触させた座標の情報に基づき、ユーザの操作がフリック操作であるか、タップ操作であるか、ドラッグ(スワイプ)操作であるか等の操作の種別を判定する。また、入力操作受付部181は、マイク141からのユーザの音声を受け付ける処理を行う。 The input operation reception unit 181 performs a process of accepting a user's input operation on an input device such as the touch sensitive device 131. The input operation reception unit 181 determines whether the user's operation is a flick operation, a tap operation, or a drag ( Determine the type of operation, such as whether it is a swipe operation. In addition, the input operation receiving unit 181 performs a process of receiving the user's voice from the microphone 141.
送受信部182は、端末装置10が、サーバ20等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。 The transmitting/receiving unit 182 performs processing for the terminal device 10 to transmit and receive data with an external device such as the server 20 according to a communication protocol.
通知制御部183は、ユーザに対し情報を提示する処理を行う。通知制御部183は、表示画像をディスプレイ132に表示させる処理、音声をスピーカ142に出力させる処理等を行う。 The notification control unit 183 performs a process of presenting information to the user. The notification control unit 183 performs processes such as displaying a display image on the display 132 and outputting audio to the speaker 142.
データ処理部184は、端末装置10が入力を受け付けたデータに対し、プログラムに従って演算を行い、演算結果をメモリ等に出力する処理を行う。 The data processing unit 184 performs calculations according to a program on the data input by the terminal device 10, and outputs the calculation results to a memory or the like.
また、データ処理部184は、端末装置10のプロセッサ19がプログラムに従って処理を行うことにより、各種モジュールとして、動いている人物をカメラで撮影した撮影画像を取得し、取得した撮影画像を解析して解析結果に基づき人物の骨格情報を特定し、特定した骨格情報から人物の手の骨格情報を抽出し、画面上に手を模した手画像を表示させ、抽出した人物の手の骨格情報に基づき人物の手の動作に合わせて手画像を動かすように制御し、手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させる機能を発揮する。さらに、データ処理部184は、所定のアイコンを表示させ、手画像のアイコンに対する所定の動作を検出すると、アイコンを選択状態にし、またはアイコンに関連付けられた機能を発揮するように構成してもよい。 In addition, the data processing unit 184 acquires a captured image of a moving person captured by a camera as various modules by the processor 19 of the terminal device 10 performing processing according to a program, analyzes the captured captured image, and analyzes the captured image. The person's skeletal information is identified based on the analysis results, the person's hand skeletal information is extracted from the identified skeletal information, a hand image imitating a hand is displayed on the screen, and based on the extracted person's hand skeletal information, The hand image is controlled to move in accordance with the movement of a person's hand, a predetermined movement of the hand image is detected, and a function associated with the predetermined movement is executed. Furthermore, the data processing unit 184 may be configured to display a predetermined icon, and when a predetermined action on the hand image icon is detected, to select the icon or to perform a function associated with the icon. .
<1.2 サーバ20の機能的な構成>
図4は、実施の形態1のアバターサービス提供システム1を構成するサーバ20の機能的な構成を示すブロック図である。図4に示すように、サーバ20は、通信部201と、記憶部202と、制御部203としての機能を発揮する。
<1.2 Functional configuration of server 20>
FIG. 4 is a block diagram showing the functional configuration of the server 20 that constitutes the avatar service providing system 1 of the first embodiment. As shown in FIG. 4, the server 20 functions as a communication section 201, a storage section 202, and a control section 203.
通信部201は、サーバ20が外部の装置と通信するための処理を行う。 The communication unit 201 performs processing for the server 20 to communicate with external devices.
記憶部202は、サーバ20が使用するデータ及びプログラムを記憶する。記憶部202は、ユーザデータベース2021等を記憶する。 The storage unit 202 stores data and programs used by the server 20. The storage unit 202 stores a user database 2021 and the like.
ユーザデータベース2021は、アバターサービス提供システム1において、仮想空間上にアバターを表示させて各種サービスの提供を受けるユーザに関する情報を保持するためのデータベースである。ユーザに関する情報としては、ユーザを識別する情報(ユーザID)やパスワード、ユーザの氏名や名称、仮称等の情報、アバターの画像情報等が含まれる。 The user database 2021 is a database for holding information regarding users who display avatars in a virtual space and receive various services in the avatar service providing system 1. The information regarding the user includes information for identifying the user (user ID), password, information such as the user's name, name, and pseudonym, avatar image information, and the like.
制御部203は、サーバ20のプロセッサがプログラムに従って処理を行うことにより、各種モジュールとして受信制御モジュール2031、送信制御モジュール2032、ユーザ認証モジュール2033に示す機能を発揮する。 The control unit 203 performs functions shown in a reception control module 2031, a transmission control module 2032, and a user authentication module 2033 as various modules by the processor of the server 20 performing processing according to a program.
受信制御モジュール2031は、サーバ20が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。 The reception control module 2031 controls the process by which the server 20 receives signals from an external device according to a communication protocol.
送信制御モジュール2032は、サーバ20が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。 The transmission control module 2032 controls the process by which the server 20 transmits a signal to an external device according to a communication protocol.
ユーザ認証モジュール2033は、サーバ20にアクセスするユーザが正当なユーザであることを認証する処理を制御する。ユーザ認証モジュール2033によるユーザの認証は、例えば、ユーザIDが登録されていること、当該ユーザIDのパスワードとして登録されているパスワードと同一のパスワードが入力されたこと、等により行われる。 The user authentication module 2033 controls the process of authenticating that the user accessing the server 20 is a valid user. User authentication by the user authentication module 2033 is performed based on, for example, that the user ID is registered, that the same password as the password registered for the user ID is input, and so on.
<2 動作>
以下、図5ないし図7を参照しながら、第1の実施の形態におけるアバターサービス提供システム1によるユーザ認証処理、手画像移動処理、及びアイコン制御処理について説明する。
<2 Operation>
Hereinafter, the user authentication process, hand image movement process, and icon control process by the avatar service providing system 1 in the first embodiment will be described with reference to FIGS. 5 to 7.
図5は、実施の形態1のアバターサービス提供システム1によるユーザ認証処理を行う流れの一例を示すフローチャートである。なお、アバターサービス提供システム1は、端末装置10のみで各種サービスを提供してもよく、この場合、図5に示すユーザ認証処理は行わなくてもよい。 FIG. 5 is a flowchart showing an example of the flow of user authentication processing performed by the avatar service providing system 1 of the first embodiment. Note that the avatar service providing system 1 may provide various services only using the terminal device 10, and in this case, the user authentication process shown in FIG. 5 does not need to be performed.
ステップS111において、端末装置10の入力操作受付部181は、ユーザの操作によりアバターサービス提供システム1の専用アプリケーションを起動する。送受信部182は、ユーザID、パスワード等のユーザの情報を、サーバ20へ送信する。送受信部182は、サーバ20から送信された、仮想空間上にアバターを表示させて各種サービスの提供を受けるための各種情報を受け付ける。通知制御部183は、受け付けた各種情報を、ディスプレイ132に表示させる。 In step S111, the input operation reception unit 181 of the terminal device 10 starts the dedicated application of the avatar service providing system 1 according to the user's operation. The transmitter/receiver 182 transmits user information such as a user ID and password to the server 20 . The transmitting/receiving unit 182 receives various information transmitted from the server 20 for displaying an avatar in a virtual space and receiving various services. The notification control unit 183 causes the display 132 to display the received various information.
ステップS121において、サーバ20のユーザ認証モジュール2033は、端末装置10から送信されたユーザの情報を、通信部201を介して受け付ける。サーバ20のユーザ認証モジュール2033は、受け付けたユーザの情報が正当なユーザからのものであることを認証する。サーバ20は、受け付けたユーザの情報が正当なものであると判定した場合、仮想空間上にアバターを表示させて各種サービスを提供するための各種情報を当該ユーザの端末装置10のディスプレイ132に表示させるため、端末装置10へ通信部201を介して送信する。 In step S121, the user authentication module 2033 of the server 20 receives user information transmitted from the terminal device 10 via the communication unit 201. The user authentication module 2033 of the server 20 authenticates that the received user information is from a valid user. If the server 20 determines that the received user information is valid, it displays various information on the display 132 of the user's terminal device 10 to display an avatar in the virtual space and provide various services. In order to do so, the information is transmitted to the terminal device 10 via the communication unit 201.
図6は、実施の形態1のアバターサービス提供システム1による手画像移動処理を行う流れの一例を示すフローチャートである。 FIG. 6 is a flowchart illustrating an example of the flow of hand image movement processing performed by the avatar service providing system 1 of the first embodiment.
ステップS211において、端末装置10のデータ処理部184は、ユーザの操作により動いている人物をカメラ160で撮影した撮影画像を取得する。例えば、データ処理部184は、図1に示すように、端末装置10がカメラ160のレンズ部分が人物Hの方向に向けられた状態で固定され、アバターサービス提供システム1の専用アプリケーションにより人物Hを撮影した撮影画像、例えば動画を取得する。なお、このとき、人物Hを撮影する装置は端末装置10のカメラ160に限られず、外部装置としてのカメラであってもよく、例えば、LIDAR(Light Detection and Ranging)カメラ(センサ)、光学式または機械式(Inertial Measurement Unit)のモーションキャプチャシステム等であってもよい。端末装置10のデータ処理部184は、撮影画像を画像データとして記憶部170に記憶させる。 In step S211, the data processing unit 184 of the terminal device 10 acquires an image captured by the camera 160 of a person who is moving according to the user's operation. For example, as shown in FIG. Acquire a photographed image, for example a video. Note that at this time, the device for photographing the person H is not limited to the camera 160 of the terminal device 10, but may be a camera as an external device, for example, a LIDAR (Light Detection and Ranging) camera (sensor), an optical or A mechanical (Inertial Measurement Unit) motion capture system or the like may be used. The data processing unit 184 of the terminal device 10 stores the captured image in the storage unit 170 as image data.
ステップS212において、端末装置10のデータ処理部184は、ステップS211で取得した撮影画像に基づく画像データを解析し、解析結果に基づき、撮影された人物の骨格情報を特定する。例えば、データ処理部184は、画像データの解析により、撮影画像の人物を、既知の画像認識技術を用いて身体の部位を特定し、それぞれの身体の部位を示す点の間を直線で結び、点と線で得られた情報を骨格情報とする。データ処理部184は、撮影画像における点の位置を撮影画像における座標の情報とする。この点は、例えば身体の関節部分に配置され、身体の動きに合わせて直線部分との角度を変更するように構成される。このような構成により、身体の動きを点と直線とで表現することを可能にしている。端末装置10のデータ処理部184は、特定した骨格情報を記憶部170に記憶させる。 In step S212, the data processing unit 184 of the terminal device 10 analyzes the image data based on the photographed image acquired in step S211, and identifies skeletal information of the photographed person based on the analysis result. For example, by analyzing the image data, the data processing unit 184 identifies the body parts of the person in the photographed image using known image recognition technology, and connects the points indicating the respective body parts with straight lines. Information obtained from points and lines is assumed to be skeleton information. The data processing unit 184 uses the position of a point in the photographed image as coordinate information in the photographed image. This point is arranged, for example, at a joint part of the body, and is configured to change the angle with the straight part according to the movement of the body. This configuration makes it possible to express body movements using points and straight lines. The data processing unit 184 of the terminal device 10 causes the storage unit 170 to store the identified skeleton information.
ステップS213において、端末装置10のデータ処理部184は、ステップS212で特定した骨格情報から、撮影された人物の手の骨格情報を抽出する。例えば、データ処理部184は、画像データの解析により、撮影画像の人物の手の部分を特定し、手の部分に配置された点の情報、例えば点の座標の情報を抽出する。 In step S213, the data processing unit 184 of the terminal device 10 extracts skeletal information of the photographed person's hand from the skeletal information identified in step S212. For example, the data processing unit 184 identifies the hand of the person in the photographed image by analyzing the image data, and extracts information about points placed on the hand, for example, information about the coordinates of the points.
ステップS214において、端末装置10のデータ処理部184は、画面上に手を模した手画像を表示させる。手画像は、例えば人間の手の形状を模した画像であるが、画面上のどこを指し示しているかを認識できるような形状であればよく、矢印のような形状であってもよい。また、手画像の画像データは、記憶部170に記憶されたものである。端末装置10のデータ処理部184は、手画像を、ディスプレイ132に表示させると共に、図1に示すような表示画面30に表示させる。表示させる手画像は、両手のものでもよく、左右どちらか一方の片手のものでもよい。 In step S214, the data processing unit 184 of the terminal device 10 displays a hand image imitating a hand on the screen. The hand image is, for example, an image imitating the shape of a human hand, but may have any shape as long as it is possible to recognize where on the screen the hand is pointing, and may be in the shape of an arrow. Further, the image data of the hand image is stored in the storage unit 170. The data processing unit 184 of the terminal device 10 causes the hand image to be displayed on the display 132 and on the display screen 30 as shown in FIG. The hand images to be displayed may be those of both hands, or may be those of one hand, either the left or the right.
ステップS215において、端末装置10のデータ処理部184は、抽出した人物の手の骨格情報に基づき、人物の手の動作に合わせて、ステップS214で表示させた手画像を動かすように制御する。 In step S215, the data processing unit 184 of the terminal device 10 controls the hand image displayed in step S214 to move in accordance with the movement of the person's hand, based on the extracted person's hand skeleton information.
以上のように、アバターサービス提供システム1では、画面上に手を模した手画像を表示させ、人物の手の動作に合わせて手画像を動かすように制御する。 As described above, in the avatar service providing system 1, a hand image imitating a hand is displayed on the screen, and the hand image is controlled to move in accordance with the movement of a person's hand.
図7は、実施の形態1のアバターサービス提供システム1によるアイコン制御処理を行う流れの例を示すフローチャートである。 FIG. 7 is a flowchart illustrating an example of the flow of icon control processing by the avatar service providing system 1 of the first embodiment.
ステップS311において、端末装置10のデータ処理部184は、画面上に所定のアイコンを表示させる。このアイコンは、画面上でアバターサービス提供システム1が提供する各種サービスの提供を開始するためのアイコンであり、手画像により選択され、アイコンに関連付けられた機能(各種サービス)を実行させるものである。 In step S311, the data processing unit 184 of the terminal device 10 displays a predetermined icon on the screen. This icon is an icon for starting the provision of various services provided by the avatar service providing system 1 on the screen, and is selected by the hand image to execute the function (various services) associated with the icon. .
ステップS312において、端末装置10のデータ処理部184は、画面上における手画像の位置と、アイコンの位置とを検出する。例えば、データ処理部184は、画面上における手画像の位置を、画面上における座標位置の情報として、人物の手の動きに合わせて随時検出する。また、データ処理部184は、画面上におけるアイコンの位置を、画面上における座標位置の情報として検出する。 In step S312, the data processing unit 184 of the terminal device 10 detects the position of the hand image and the position of the icon on the screen. For example, the data processing unit 184 detects the position of the hand image on the screen as information on the coordinate position on the screen at any time in accordance with the movement of the person's hand. Furthermore, the data processing unit 184 detects the position of the icon on the screen as information on the coordinate position on the screen.
ステップS313において、端末装置10のデータ処理部184は、手画像のアイコンに対する所定の動作、例えば画面上における手画像の位置とアイコンの位置とが一致したことを検出すると、アイコンを選択状態にし、またはアイコンに関連付けられた機能を実行する。例えば、データ処理部184は、画面上における両手の手画像のうち、片手の手画像の位置がアイコンの位置と一致したことを検出すると、アイコンを選択状態(選択だけされた状態であり、機能は実行されない状態)にする。また、データ処理部184は、画面上における両手の手画像の両方の手画像の位置がアイコンの位置と一致したことを検出すると、アイコンを実行状態(アイコンに関連付けられた機能を実行させる状態)にする。 In step S313, when the data processing unit 184 of the terminal device 10 performs a predetermined operation on the hand image icon, for example, when detecting that the position of the hand image and the icon position on the screen match, the data processing unit 184 of the terminal device 10 puts the icon in a selected state, or perform the function associated with the icon. For example, when the data processing unit 184 detects that the position of the hand image of one hand among the hand images of both hands on the screen matches the position of the icon, the data processing unit 184 puts the icon in the selected state (the selected state, and the function is is not executed). Further, when the data processing unit 184 detects that the positions of both hand images on the screen match the positions of the icons, the data processing unit 184 places the icons in an execution state (a state in which a function associated with the icons is executed). Make it.
以上のように、アバターサービス提供システム1では、各種サービスの提供を開始させるためのアイコンを表示させ、手画像の動作によりアイコンを選択し、実行させることが可能になるように構成する。これにより、ユーザは端末装置10の位置まで戻って操作する必要がなくなり、煩わしい操作を不要にしている。 As described above, the avatar service providing system 1 is configured to display icons for starting the provision of various services, and to select and execute the icons by moving the hand image. This eliminates the need for the user to return to the terminal device 10 and operate it, thereby eliminating the need for troublesome operations.
なお、手画像による操作の他の例として、手画像を上下左右方向に移動する動作を検出すると、画面上に表示されている画像をスクロールさせるように構成してもよい。これにより、ユーザは端末装置10の位置まで戻って操作する必要がなくなり、煩わしい操作を不要にしている。 As another example of the operation using the hand image, the image displayed on the screen may be scrolled when an action of moving the hand image in the up, down, left and right directions is detected. This eliminates the need for the user to return to the terminal device 10 and operate it, thereby eliminating the need for troublesome operations.
<3 画面例>
以下、図8ないし図11を参照しながら、アバターサービス提供システム1における手画像による操作の画面例について説明する。
<3 Screen example>
Hereinafter, examples of screens for operations using hand images in the avatar service providing system 1 will be described with reference to FIGS. 8 to 11.
図8は、表示画面30に手画像31L,31Rが表示された画面例を示す図である。図8の画面例は、図1に示す表示画面30に、人物Hの手の動作に合わせて移動させる手画像が表示された画面例を示す。図6のステップS214に相当する。 FIG. 8 is a diagram showing an example of a screen in which hand images 31L and 31R are displayed on the display screen 30. The screen example in FIG. 8 shows a screen example in which a hand image that is moved in accordance with the hand movements of the person H is displayed on the display screen 30 shown in FIG. This corresponds to step S214 in FIG.
図8に示すように、端末装置10のディスプレイ132には、人物Hに関連付けられ、人物Hの手の動作に合わせて移動させる手画像132L,132Rが表示されている。また、表示画面30にも、人物Hの手の動作に合わせて移動させる手画像31L,31Rが表示されている。手画像31L,31Rは、それぞれ人物Hの左手の動作に合わせて移動させるもの、右手の動作に合わせて移動させるものである。なお、このとき、端末装置10のディスプレイ132及び表示画面30の背景には仮想空間が表示されていてもよいが、図示を省略する。 As shown in FIG. 8, the display 132 of the terminal device 10 displays hand images 132L and 132R that are associated with the person H and are moved in accordance with the movements of the person H's hands. Also displayed on the display screen 30 are hand images 31L and 31R that are moved in accordance with the hand movements of the person H. The hand images 31L and 31R are moved in accordance with the movements of the left hand and the right hand of the person H, respectively. Note that at this time, a virtual space may be displayed in the background of the display 132 and display screen 30 of the terminal device 10, but illustration thereof is omitted.
人物Hが右手を動かすと、その動きに合わせて手画像31Rが表示画面30上で上下左右に移動する。同様に、人物Hが左手を動かすと、その動きに合わせて手画像31Lが表示画面30上で上下左右に移動する。これにより、人物Hの手の動きに合わせて手画像を動かすことが可能である。 When the person H moves his right hand, the hand image 31R moves vertically and horizontally on the display screen 30 in accordance with the movement. Similarly, when the person H moves his left hand, the hand image 31L moves vertically and horizontally on the display screen 30 in accordance with the movement. Thereby, it is possible to move the hand image in accordance with the movement of the person H's hand.
図9は、表示画面30に表示されたアイコン32が選択された画面例を示す図である。また、図10は、表示画面30に表示されたアイコン32が実行された画面例を示す図である。図9及び図10の画面例は、図1に示す表示画面30に、人物Hの手の動作に合わせて移動させる手画像が表示され、各種サービスの提供を開始するためのアイコンが表示された画面例を示す。図7のステップS311に相当する。 FIG. 9 is a diagram showing an example of a screen in which the icon 32 displayed on the display screen 30 is selected. Further, FIG. 10 is a diagram showing an example of a screen in which the icon 32 displayed on the display screen 30 is executed. In the screen examples shown in FIGS. 9 and 10, a hand image is displayed on the display screen 30 shown in FIG. 1 to be moved in accordance with the hand movements of person H, and icons for starting the provision of various services are displayed. An example screen is shown. This corresponds to step S311 in FIG.
図9及び図10に示すように、表示画面30には、人物Hの手の動作に合わせて移動させる手画像31L,31Rが表示されている。また、表示画面30には、アイコン32が表示されている。 As shown in FIGS. 9 and 10, the display screen 30 displays hand images 31L and 31R that are moved in accordance with the hand movements of the person H. Further, an icon 32 is displayed on the display screen 30.
人物Hの手の動きに合わせて手画像31L,31Rが動き、その画面上の位置が検出される。そして、図9に示す状態では、画面上における手画像31L,31Rのうちいずれか1つの位置と、アイコン32の位置とが一致したことを検出する。このとき、アイコン32は、選択状態になる。また、図10に示す状態では、画面上における手画像31L,31Rの両方の位置と、アイコン32の位置とが一致したことを検出する。このとき、アイコン32は、実行状態になる。これにより、ユーザは端末装置10の位置まで戻ることなく、アイコン32を選択し、アイコン32による機能を実行させることが可能である。 Hand images 31L and 31R move in accordance with the movement of the hand of person H, and their positions on the screen are detected. In the state shown in FIG. 9, it is detected that the position of one of the hand images 31L, 31R on the screen matches the position of the icon 32. At this time, the icon 32 is in a selected state. Furthermore, in the state shown in FIG. 10, it is detected that the positions of both hand images 31L and 31R on the screen match the position of the icon 32. At this time, the icon 32 is in the execution state. This allows the user to select the icon 32 and execute the function of the icon 32 without returning to the terminal device 10.
なお、アイコン32を選択し、アイコン32による機能を実行させる操作は、図9及び図10に示す連とは限られない。例えば、手画像31L,31Rのいずれか一方の位置が一定時間以上アイコン32の位置と一致した場合、アイコン32を選択状態にし、手画像31L,31Rのいずれか一方の位置が一定時間以内に2回アイコン32の位置と一致した場合(いわゆるダブルクリック)、アイコン32による機能を実行させるように構成してもよい。 Note that the operation of selecting the icon 32 and executing the function of the icon 32 is not limited to the sequence shown in FIGS. 9 and 10. For example, if the position of one of the hand images 31L, 31R matches the position of the icon 32 for a certain period of time or more, the icon 32 is brought into a selected state, and the position of one of the hand images 31L, 31R matches the position of the icon 32 for a certain period of time. If the position of the icon 32 coincides with the position of the icon 32 (so-called double click), the function of the icon 32 may be executed.
図11は、表示画面30に表示された手画像31L,31Rによる画面スクロールの画面例を示す図である。図11の画面例は、図1に示す表示画面30に、人物Hの手の動作に合わせて移動させる手画像が表示された画面例を示す。図7のステップS311に相当する。 FIG. 11 is a diagram showing a screen example of screen scrolling using hand images 31L and 31R displayed on the display screen 30. The screen example in FIG. 11 shows a screen example in which a hand image that is moved in accordance with the hand movements of the person H is displayed on the display screen 30 shown in FIG. This corresponds to step S311 in FIG.
図11に示すように、表示画面30には、人物Hの手の動作に合わせて移動させる手画像31L,31Rが表示されている。 As shown in FIG. 11, the display screen 30 displays hand images 31L and 31R that are moved in accordance with the hand movements of the person H.
人物Hの手の動きに合わせて手画像31L,31Rが動き、その画面上の位置が検出される。そして、図11に示す状態では、手画像31L,31Rが矢印X方向にスライドするように移動したことを検出する。このとき、表示画面30に表示されている画像を矢印X方向にスクロールさせる。これにより、ユーザは端末装置10の位置まで戻ることなく、画面をスクロールさせる操作を実行させることが可能である。 Hand images 31L and 31R move in accordance with the movement of the hand of person H, and their positions on the screen are detected. In the state shown in FIG. 11, it is detected that hand images 31L and 31R have slid in the direction of arrow X. At this time, the image displayed on the display screen 30 is scrolled in the direction of arrow X. This allows the user to perform an operation to scroll the screen without returning to the terminal device 10.
<小括>
以上のように、本実施形態によると、手画像を表示させてユーザの手の動作に合わせて手画像を動かすように制御する。手画像の動作により、手画像が各種サービスの提供を開始させるためのアイコンを選択し、実行させることが可能になるように構成している。そのため、ユーザは端末装置の位置まで戻って操作する必要がなくなり、煩わしい操作を不要にしている。これにより、アバターサービス提供システムによる各種サービスの提供がスムーズに行われることを可能にしている。
<Summary>
As described above, according to the present embodiment, a hand image is displayed and controlled to be moved in accordance with the user's hand movements. The configuration is such that, by the movement of the hand image, the hand image can select and execute an icon for starting provision of various services. Therefore, the user does not have to return to the terminal device and operate it, thereby eliminating the need for troublesome operations. This allows the avatar service providing system to smoothly provide various services.
また、手画像の動作により各種サービスの提供を開始させ、画像をスクロールさせることを可能にしているが、スマートフォン等の携帯端末による入力や、音声認識技術による音声入力も受け付ける構成(マルチモーダル)にしてもよい。このような構成にすることにより、誤作動を防止し、状況に応じて操作を簡便にする手段を選択可能とする効果が得られる。 In addition, although it is possible to start providing various services and scroll images by the movement of hand images, it is also configured to accept input from mobile terminals such as smartphones and voice input using voice recognition technology (multimodal). It's okay. By adopting such a configuration, it is possible to prevent malfunctions and to select a means for simplifying operation depending on the situation.
なお、本開示に係るアバターサービス提供システムは、手画像の動作により、画像をスクロールさせることが可能になるように構成している。そのため、ユーザは端末装置の位置まで戻って操作する必要がなくなり、煩わしい操作を不要にしている。これにより、アバターサービス提供システムによる各種サービスの提供がスムーズに行われることを可能にしている。 Note that the avatar service providing system according to the present disclosure is configured so that the image can be scrolled by the movement of the hand image. Therefore, the user does not have to return to the terminal device and operate it, thereby eliminating the need for troublesome operations. This allows the avatar service providing system to smoothly provide various services.
以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換及び変更を行なって実施することができる。これらの実施形態及び変形例ならびに省略、置換及び変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。 Although the disclosed embodiments have been described above, they can be implemented in various other forms, and can be implemented with various omissions, substitutions, and changes. These embodiments and modifications, as well as omissions, substitutions, and changes, are included within the technical scope of the claims and their equivalents.
<付記>
以上の各実施形態で説明した事項を、以下に付記する。
<Additional notes>
The matters described in each of the above embodiments are additionally described below.
(付記1)プロセッサ29と、メモリ25とを備えるコンピュータに実行させ、画面上に表示させる画像を生成するためのプログラムであって、プログラムは、プロセッサ29に、動いている人物をカメラで撮影した撮影画像を取得するステップ(S211)と、取得した撮影画像を解析し、解析結果に基づき人物の骨格情報を特定するステップ(S212)と、特定した骨格情報から人物の手の骨格情報を抽出するステップ(S213)と、画面上に、手を模した手画像を表示させるステップ(S214)と、抽出した人物の手の骨格情報に基づき、人物の手の動作に合わせて手画像を動かすように制御するステップ(S215)と、手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させるステップ(S313)と、を実行させる、プログラム。 (Additional Note 1) A program for generating an image to be executed by a computer equipped with a processor 29 and a memory 25 and displayed on a screen, the program having the processor 29 take a picture of a moving person with a camera. A step of acquiring a photographed image (S211), a step of analyzing the acquired photographic image and identifying skeletal information of the person based on the analysis result (S212), and extracting skeletal information of the person's hand from the identified skeletal information. a step (S213), a step (S214) of displaying a hand image imitating a hand on the screen, and a step (S214) of displaying a hand image imitating the hand on the screen, and moving the hand image in accordance with the movement of the person's hand based on the extracted person's hand skeleton information. A program that executes a step of controlling (S215) and a step of detecting a predetermined motion of a hand image and executing a function associated with the predetermined motion (S313).
(付記2)プログラムは、さらに、画面上に、所定のアイコンを表示させるステップ(S311)を実行させ、機能を実行させるステップにおいて、手画像の前記アイコンに対する所定の動作を検出すると、アイコンを選択状態にし、またはアイコンに関連付けられた機能を実行させる、(付記1)に記載のプログラム。 (Additional Note 2) The program further causes a step of displaying a predetermined icon on the screen (S311), and in the step of executing a function, when a predetermined motion of the hand image with respect to the icon is detected, the program selects the icon. The program according to (Appendix 1), which causes the program to enter a state or execute a function associated with an icon.
(付記3)手画像を表示させるステップにおいて、片手または両手を模した手画像を表示させ、機能を実行させるステップにおいて、片手の手画像の所定の動作と、両手の手画像の所定の動作とで異なる機能を実行させる、(付記2)に記載のプログラム。 (Additional note 3) In the step of displaying a hand image, in the step of displaying a hand image imitating one or both hands and executing a function, a predetermined action of the hand image of one hand and a predetermined action of the hand image of both hands are performed. The program described in (Appendix 2) that causes the program to perform different functions.
(付記4)片手の手画像がアイコンに接触する動作を検出すると、アイコンを選択状態にし、両手の手画像がアイコンに接触する動作を検出すると、アイコンに関連付けられた機能を実行させる、(付記3)に記載のプログラム。 (Additional note 4) When the action of one hand image touching an icon is detected, the icon is set to a selected state, and when the action of both hand images touching the icon is detected, the function associated with the icon is executed. The program described in 3).
(付記5)機能を実行させるステップにおいて、手画像が上下左右方向に移動する動作を検出すると、画面上に表示されている画像をスクロールさせる、(付記1)から(付記4)のいずれかに記載のプログラム。 (Additional note 5) In the step of executing the function, if a movement of the hand image in the up, down, left and right directions is detected, the image displayed on the screen is scrolled. Programs listed.
(付記6)制御部180と、記憶部170とを備え、画面上に表示させる画像を生成する情報処理装置であって、制御部180は、動いている人物をカメラで撮影した撮影画像を取得するステップ(S211)と、取得した撮影画像を解析し、解析結果に基づき人物の骨格情報を特定するステップ(S212)と、特定した骨格情報から人物の手の骨格情報を抽出するステップ(S213)と、画面上に、手を模した手画像を表示させるステップ(S214)と、抽出した人物の手の骨格情報に基づき、人物の手の動作に合わせて手画像を動かすように制御するステップ(S215)と、手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させるステップ(S313)と、を実行する、情報処理装置。 (Additional Note 6) An information processing device that includes a control unit 180 and a storage unit 170 and generates an image to be displayed on a screen, wherein the control unit 180 acquires a captured image of a moving person captured by a camera. (S211), a step of analyzing the acquired photographed image and identifying the skeletal information of the person based on the analysis result (S212), and a step of extracting the skeletal information of the person's hand from the identified skeletal information (S213). , a step of displaying a hand image imitating a hand on the screen (S214), and a step of controlling the hand image to move in accordance with the movement of the person's hand based on the extracted person's hand skeleton information (S214). S215); and a step (S313) of detecting a predetermined motion of a hand image and executing a function associated with the predetermined motion.
(付記7)プロセッサ29と、メモリ25とを備えるコンピュータにより実行され、画面上に表示させる画像を生成するための方法であって、方法は、プロセッサ29が、動いている人物をカメラで撮影した撮影画像を取得するステップ(S211)と、取得した撮影画像を解析し、解析結果に基づき人物の骨格情報を特定するステップ(S212)と、特定した骨格情報から人物の手の骨格情報を抽出するステップ(S213)と、画面上に、手を模した手画像を表示させるステップ(S214)と、抽出した人物の手の骨格情報に基づき、人物の手の動作に合わせて手画像を動かすように制御するステップ(S215)と、手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させるステップ(S313)と、を実行する、方法。 (Additional Note 7) A method for generating an image to be displayed on a screen, which is executed by a computer including a processor 29 and a memory 25, and includes a method in which the processor 29 photographs a moving person with a camera. A step of acquiring a photographed image (S211), a step of analyzing the acquired photographic image and identifying skeletal information of the person based on the analysis result (S212), and extracting skeletal information of the person's hand from the identified skeletal information. a step (S213), a step (S214) of displaying a hand image imitating a hand on the screen, and a step (S214) of displaying a hand image imitating the hand on the screen, and moving the hand image in accordance with the movement of the person's hand based on the extracted person's hand skeleton information. A method comprising: controlling (S215); and detecting a predetermined motion of a hand image and causing a function associated with the predetermined motion to be executed (S313).
1 :アバターサービス提供システム
10 :端末装置
10A :端末装置
10B :端末装置
13 :入力装置
14 :出力装置
15 :メモリ
16 :記憶部
19 :プロセッサ
20 :サーバ
25 :メモリ
26 :ストレージ
29 :プロセッサ
30 :表示画面
31L :手画像
31R :手画像
32 :アイコン
80 :ネットワーク
81 :無線基地局
82 :無線LANルータ
111 :アンテナ
112 :アンテナ
121 :第1無線通信部
122 :第2無線通信部
130 :操作受付部
131 :デバイス
132 :ディスプレイ
140 :音声処理部
141 :マイク
142 :スピーカ
150 :位置情報センサ
160 :カメラ
170 :記憶部
171 :ユーザ情報
180 :制御部
181 :入力操作受付部
182 :送受信部
183 :通知制御部
184 :データ処理部
201 :通信部
202 :記憶部
203 :制御部
2021 :ユーザデータベース
2031 :受信制御モジュール
2032 :送信制御モジュール
2033 :ユーザ認証モジュール
1: Avatar service providing system 10: Terminal device 10A: Terminal device 10B: Terminal device 13: Input device 14: Output device 15: Memory 16: Storage unit 19: Processor 20: Server 25: Memory 26: Storage 29: Processor 30: Display screen 31L: Hand image 31R: Hand image 32: Icon 80: Network 81: Wireless base station 82: Wireless LAN router 111: Antenna 112: Antenna 121: First wireless communication unit 122: Second wireless communication unit 130: Operation reception Section 131: Device 132: Display 140: Audio processing section 141: Microphone 142: Speaker 150: Position information sensor 160: Camera 170: Storage section 171: User information 180: Control section 181: Input operation reception section 182: Transmission/reception section 183: Notification control unit 184: Data processing unit 201: Communication unit 202: Storage unit 203: Control unit 2021: User database 2031: Reception control module 2032: Transmission control module 2033: User authentication module
Claims (7)
前記プログラムは、前記プロセッサに、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から前記人物の手の骨格情報を抽出するステップと、
前記画面上に、手を模した手画像を表示させるステップと、
抽出した前記人物の手の骨格情報に基づき、前記人物の手の動作に合わせて前記手画像を動かすように制御するステップと、
前記手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させるステップと、を実行させる、プログラム。 A program for generating an image to be executed by a computer including a processor and a memory and displayed on a screen, the program comprising:
The program causes the processor to:
obtaining an image of a moving person taken with a camera;
analyzing the acquired photographed image and identifying skeletal information of the person based on the analysis result;
extracting hand skeletal information of the person from the identified skeletal information;
displaying a hand image imitating a hand on the screen;
controlling the hand image to move in accordance with the hand movements of the person based on the extracted hand skeleton information of the person;
A program that causes the program to execute the steps of detecting a predetermined motion of the hand image and executing a function associated with the predetermined motion.
前記画面上に、所定のアイコンを表示させるステップを実行させ、
前記機能を実行させるステップにおいて、前記手画像の前記アイコンに対する所定の動作を検出すると、前記アイコンを選択状態にし、または前記アイコンに関連付けられた機能を実行させる、請求項1に記載のプログラム。 The program further includes:
executing a step of displaying a predetermined icon on the screen;
2. The program according to claim 1, wherein in the step of executing the function, when a predetermined motion of the hand image with respect to the icon is detected, the program selects the icon or causes the function associated with the icon to be executed.
前記機能を実行させるステップにおいて、片手の前記手画像の所定の動作と、両手の前記手画像の所定の動作とで異なる前記機能を実行させる、請求項2に記載のプログラム。 In the step of displaying the hand image, displaying the hand image imitating one or both hands,
3. The program according to claim 2, wherein in the step of executing the function, the predetermined action of the hand image of one hand and the predetermined action of the hand images of both hands are made to perform different functions.
前記制御部は、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から前記人物の手の骨格情報を抽出するステップと、
前記画面上に、手を模した手画像を表示させるステップと、
抽出した前記人物の手の骨格情報に基づき、前記人物の手の動作に合わせて前記手画像を動かすように制御するステップと、
前記手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させるステップと、を実行する、情報処理装置。 An information processing device that includes a control unit and a storage unit and generates an image to be displayed on a screen,
The control unit includes:
obtaining an image of a moving person taken with a camera;
analyzing the acquired photographed image and identifying skeletal information of the person based on the analysis result;
extracting hand skeletal information of the person from the identified skeletal information;
displaying a hand image imitating a hand on the screen;
controlling the hand image to move in accordance with the hand movements of the person based on the extracted hand skeleton information of the person;
An information processing apparatus configured to detect a predetermined motion of the hand image and execute a function associated with the predetermined motion.
前記方法は、前記プロセッサが、
動いている人物をカメラで撮影した撮影画像を取得するステップと、
取得した前記撮影画像を解析し、解析結果に基づき前記人物の骨格情報を特定するステップと、
特定した前記骨格情報から前記人物の手の骨格情報を抽出するステップと、
前記画面上に、手を模した手画像を表示させるステップと、
抽出した前記人物の手の骨格情報に基づき、前記人物の手の動作に合わせて前記手画像を動かすように制御するステップと、
前記手画像の所定の動作を検出して当該所定の動作に関連付けられた機能を実行させるステップと、を実行する、方法。
A method for generating an image to be displayed on a screen executed by a computer comprising a processor and a memory, the method comprising:
The method includes the processor:
obtaining an image of a moving person taken with a camera;
analyzing the acquired photographed image and identifying skeletal information of the person based on the analysis result;
extracting hand skeletal information of the person from the identified skeletal information;
displaying a hand image imitating a hand on the screen;
controlling the hand image to move in accordance with the hand movements of the person based on the extracted hand skeleton information of the person;
Detecting a predetermined motion of the hand image and performing a function associated with the predetermined motion.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022039127A JP7182324B1 (en) | 2022-03-14 | 2022-03-14 | Program, information processing device and method |
JP2022181625A JP2023134340A (en) | 2022-03-14 | 2022-11-14 | Program, information processing device and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022039127A JP7182324B1 (en) | 2022-03-14 | 2022-03-14 | Program, information processing device and method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022181625A Division JP2023134340A (en) | 2022-03-14 | 2022-11-14 | Program, information processing device and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7182324B1 JP7182324B1 (en) | 2022-12-02 |
JP2023133885A true JP2023133885A (en) | 2023-09-27 |
Family
ID=84283981
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022039127A Active JP7182324B1 (en) | 2022-03-14 | 2022-03-14 | Program, information processing device and method |
JP2022181625A Pending JP2023134340A (en) | 2022-03-14 | 2022-11-14 | Program, information processing device and method |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022181625A Pending JP2023134340A (en) | 2022-03-14 | 2022-11-14 | Program, information processing device and method |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7182324B1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011003136A (en) * | 2009-06-22 | 2011-01-06 | Sony Corp | Operation control device and method |
JP2013257830A (en) * | 2012-06-14 | 2013-12-26 | Sharp Corp | Information processor |
JP2016503915A (en) * | 2012-12-14 | 2016-02-08 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Aim and press natural user input |
WO2016103769A1 (en) * | 2014-12-26 | 2016-06-30 | 株式会社ネクステッジテクノロジー | Manipulation input device, manipulation input method, and program |
JP2017211960A (en) * | 2016-05-27 | 2017-11-30 | 株式会社エクスビジョン | User interface device and user interface program |
WO2021225044A1 (en) * | 2020-05-08 | 2021-11-11 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, information processing method based on user input operation, and computer program for executing said method |
-
2022
- 2022-03-14 JP JP2022039127A patent/JP7182324B1/en active Active
- 2022-11-14 JP JP2022181625A patent/JP2023134340A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011003136A (en) * | 2009-06-22 | 2011-01-06 | Sony Corp | Operation control device and method |
JP2013257830A (en) * | 2012-06-14 | 2013-12-26 | Sharp Corp | Information processor |
JP2016503915A (en) * | 2012-12-14 | 2016-02-08 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Aim and press natural user input |
WO2016103769A1 (en) * | 2014-12-26 | 2016-06-30 | 株式会社ネクステッジテクノロジー | Manipulation input device, manipulation input method, and program |
JP2017211960A (en) * | 2016-05-27 | 2017-11-30 | 株式会社エクスビジョン | User interface device and user interface program |
WO2021225044A1 (en) * | 2020-05-08 | 2021-11-11 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, information processing method based on user input operation, and computer program for executing said method |
Also Published As
Publication number | Publication date |
---|---|
JP7182324B1 (en) | 2022-12-02 |
JP2023134340A (en) | 2023-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111417028B (en) | Information processing method, information processing device, storage medium and electronic equipment | |
US11954200B2 (en) | Control information processing method and apparatus, electronic device, and storage medium | |
US10304352B2 (en) | Electronic device and method for sharing image | |
CN111177013B (en) | Log data acquisition method, device, computer equipment and storage medium | |
CN109327608B (en) | Song sharing method, terminal, server and system | |
CN110971925B (en) | Display method, device and system of live broadcast interface | |
US20140282204A1 (en) | Key input method and apparatus using random number in virtual keyboard | |
CN107071035B (en) | Mobile terminal remote control method and device and corresponding mobile terminal | |
CN111125601B (en) | File transmission method, device, terminal, server and storage medium | |
KR102004986B1 (en) | Method and system for executing application, device and computer readable recording medium thereof | |
US20220358662A1 (en) | Image generation method and device | |
CN110213205B (en) | Verification method, device and equipment | |
CN108055461B (en) | Self-photographing angle recommendation method and device, terminal equipment and storage medium | |
CN111128115B (en) | Information verification method and device, electronic equipment and storage medium | |
US20190212834A1 (en) | Software gyroscope apparatus | |
JP7182324B1 (en) | Program, information processing device and method | |
JP7386583B1 (en) | Program, information processing device and method | |
CN114546188B (en) | Interaction method, device and equipment based on interaction interface and readable storage medium | |
CN111367492B (en) | Webpage display method and device and storage medium | |
CN114100121A (en) | Operation control method, device, equipment, storage medium and computer program product | |
JP7372717B1 (en) | Program, information processing device and method | |
CN114826799A (en) | Information acquisition method, device, terminal and storage medium | |
US20240078071A1 (en) | Interaction method between display device and terminal device, storage medium and electronic device | |
CN114448928B (en) | Command display method, device, computer equipment and medium | |
KR20180031238A (en) | Mobile terminal and method for controlling the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220404 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220404 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220815 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7182324 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |