CN113617023A - 程序、信息处理方法、信息处理装置以及信息处理*** - Google Patents

程序、信息处理方法、信息处理装置以及信息处理*** Download PDF

Info

Publication number
CN113617023A
CN113617023A CN202110497110.3A CN202110497110A CN113617023A CN 113617023 A CN113617023 A CN 113617023A CN 202110497110 A CN202110497110 A CN 202110497110A CN 113617023 A CN113617023 A CN 113617023A
Authority
CN
China
Prior art keywords
character
movement
information processing
motion
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110497110.3A
Other languages
English (en)
Inventor
渡辺宽纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingzi Holding Co
Jins Holdings Inc
Original Assignee
Jingzi Holding Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingzi Holding Co filed Critical Jingzi Holding Co
Publication of CN113617023A publication Critical patent/CN113617023A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/297—Bioelectric electrodes therefor specially adapted for particular uses for electrooculography [EOG]: for electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0209—Special features of electrodes classified in A61B5/24, A61B5/25, A61B5/283, A61B5/291, A61B5/296, A61B5/053
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Psychology (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明能够提高对角色进行交互控制时的可用性。本发明中的程序使信息处理装置执行以下处理：从用户的头部所佩戴的其他装置处至少获取眼电位信号，基于眼电位信号来至少检测用户的眼睛的移动，将角色叠加至画面中正在显示的图像上并进行显示控制，并基于眼睛的移动的检测结果来控制角色的动作。

Description

程序、信息处理方法、信息处理装置以及信息处理***
技术领域
本发明涉及一种程序、信息处理方法、信息处理装置以及信息处理***。
背景技术
以往，已知存在一种技术，其基于由用户的头部所佩戴的头戴式显示器(HMD)检测到的用户的头的移动等，来对作为增强现实(augmented reality)被叠加的化身(avatar)进行控制(例如，参见专利文献1、2)。
专利文献1：日本专利第6470859号公报
专利文献2：日本特开2018-069069号公报
发明内容
然而，在现有技术中，利用HMD检测到的头部的移动来对化身(角色)进行控制，并且在利用脸的部位的移动的情况下通过照相机来进行摄影，因而无法简便地将化身叠加至图像上，对于交互式的角色控制而言未必会提高可用性。
因此，本发明的目的在于提高对角色进行交互控制时的可用性。
本发明的一个实施方式中的程序在信息处理装置中执行以下处理：至少从佩戴于用户的头部的其他装置获取眼电位信号，至少基于上述眼电位信号来检测用户的眼睛的移动，将角色叠加至画面中正在显示的图像上并对其进行显示控制，并且基于上述眼睛的移动的检测结果来对上述角色的动作进行控制。
根据本发明，能够提高对角色进行交互控制时的可用性。
附图说明
图1为表示实施例中的信息处理***的一个例子的图。
图2为表示实施例中的信息处理装置的硬件机构的概略结构图。
图3为表示实施例中的处理装置的结构的一个例子的方框图。
图4为表示实施例中的信息处理装置的结构的一个例子的图。
图5为表示实施例中的应用A的显示画面的例1的图。
图6为表示实施例中的应用A的显示画面的例2的图。
图7为表示实施例中的应用A的显示画面的例3的图。
图8为表示实施例中的应用A的显示画面的例4的图。
图9为表示实施例中的应用A的显示画面的例5的图。
图10为表示实施例中的应用A的显示画面的例6的图。
图11为表示关于实施例中的应用A的处理的一个例子的时序图。
具体实施方式
下面，参照附图对本发明的实施方式进行说明。但下文中说明的实施方式只是示例，并不意图排除下文中未明示的各种变形和技术的应用。即，本发明在不脱离其主旨的范围内，可以进行多种多样的变形。此外，在下面的附图的记载中，对相同或相似的部分标注相同或相似的符号来表示。附图是示意图，不一定与实际的尺寸、比例等一致。即使是在各个附图之间也存在包含彼此的尺寸关系与比例不同的部分的情况。
[实施例]
在实施例中，虽然作为搭载加速度传感器以及角速度传感器、生物电极的可穿戴终端的对象，列举了眼部佩戴用具(eyewear)的例子，但不局限于此。图1为表示实施例中的信息处理***1的一个例子的图。图1所示的信息处理***1包含信息处理装置10以及眼部佩戴用具30，信息处理装置10以及眼部佩戴用具30通过网络连接，从而能够进行数据通信。
眼部佩戴用具30例如在中梁(bridge)部分搭载有处理装置20。处理装置20包含一对鼻托和中梁部，它们各自具有生物电极32、34、36。处理装置20也可以包含三轴加速度传感器以及三轴角速度传感器(也可以是六轴传感器)。
处理装置20检测传感器信号、眼电位信号等，并将其发送至信息处理装置10。处理装置20的设置位置不一定为中梁部分，将其位置设于当佩戴眼部佩戴用具30时能够获取眼电位信号的位置即可。此外，处理装置20也可以设置为可从中梁部分上卸下。
信息处理装置10为具有通信功能的信息处理装置。例如，信息处理装置10优选为用户持有的智能手机等移动终端，除此之外，可以为个人电脑、平板型(tablet)终端等。信息处理装置10基于从处理装置20接收到的眼电位信号或传感器信号等，来检测用户的眼睛的移动、头的移动，并基于检测结果，对叠加至在画面中正显示的图像上的角色(例如，化身)进行控制。
<信息处理装置10的硬件结构>
图2为表示实施例中的信息处理装置10的硬件结构的概略结构图。信息处理装置10的一个典型的例子是智能手机等移动终端，但除此以外，能够与网络无线或者有线连接的移动终端、或者如平板型终端般搭载有触控面板的电子设备等、以及能够在使用网络进行通信的同时一边处理数据一边显示画面的通用设备等也属于实施方式中的信息处理装置10。
实施方式中的信息处理装置10例如具备未图示的长方形薄型壳体，在该壳体的一侧的面上形成有触摸屏102。在信息处理装置10中，各个结构单元与主控制部150连接。主控制部150例如为一个或多个处理器。
在主控制部150上连接有移动体通信用天线112、移动体通信部114、无线LAN(Local Area Network，局域网)通信用天线116、无线LAN通信部118、存储部120、扬声器104、麦克风106、硬按钮108、硬键110以及六轴传感器111。此外，在主控制部150上进一步连接有触摸屏102、照相机130、以及外部接口140。外部接口140包含声音输出端子142。
触摸屏102具备显示装置以及输入装置两者的功能，并由承担显示功能的显示器(显示画面)102A以及承担输入功能的触摸传感器102B构成。显示器102A由例如液晶显示器或者有机EL(electro luminescence，电致发光)显示器等普通的显示装置构成。触摸传感器102B构成为具备配置于显示器102A的上表面的用于检测接触操作的元件、以及层叠在其上的透明的操作面。作为触摸传感器102B的接触检测方式，可以采用静电电容式、电阻膜式(压敏式)、电磁感应式等已知的方式中的任意方式。
作为显示装置的触摸屏102显示应用(application)的图像，该应用的图像通过基于主控制部150的程序122的执行而生成。作为输入装置的触摸屏102通过检测接触操作面的接触物(包含使用者的手指或触笔等，在下文中以“手指”的情况作为代表例进行说明)的动作，来接收操作输入，并将该接触位置的信息提供给主控制部150。检测手指的动作作为表示接触点的位置或区域的坐标信息，坐标信息例如表示为触摸屏102的短边方向以及长边方向的两个轴上的坐标值。
存储部120存储实行与叠加至正在显示的图像上的角色相关的处理的程序122。该存储部120也可与信息处理装置10分开设置，例如，也可为能够被电脑读取的SD卡(SecureDigital Memory Card,安全数码卡)或CD-ROM(CD-Random Access Memory,CD随机存储器)等存储介质、或者非暂时性存储介质。
信息处理装置10通过移动体通信用天线112或无线LAN通信用天线116与网络N连接，在信息处理装置10与处理装置20之间能够进行数据通信。
<处理装置20的结构>
图3为表示实施例中的处理装置20的结构的一个例子的方框图。如图3所示，处理装置20具有处理部202、发送部204、六轴传感器206、电源部208以及各生物电极32、34、36。此外，各个生物电极32、34、36例如通过增幅部并使用电线与处理部202连接。
六轴传感器206为三轴加速度传感器以及三轴角速度传感器。此外，这些传感器也可以分开设置。六轴传感器206将检测到的传感器信号向处理部202输出。
处理部202根据需要对从六轴传感器206获得的传感器信号或从各个生物电极32、34、36获得的眼电位信号进行处理，例如，将传感器信号、眼电位信号数据包化，并向发送部204输出该数据包。此外，处理部202包含处理器，例如处理部202可以使用眼电位信号，计算出关于眨眼的第1生物信息、关于视线移动的第2生物信息。
此外，处理部202也可以使用来自六轴传感器206的传感器信号，计算出关于头部的移动的第3生物信息。关于头部的移动的信息例如为关于头部向前后左右移动的信息。此外，处理部202也可以仅对从六轴传感器获取的传感器信号进行增幅等。下面，将处理部202作为实行对眼电位信号、传感器信号进行数据包化的处理的结构来对其进行说明。
发送部204向信息处理装置10发送经过处理部202数据包化的眼电位信号和/或传感器信号。例如，发送部204通过Bluetooth(注册商标)以及无线LAN等无线通信或有线通信向信息处理装置10发送眼电位信号、传感器信号。电源部208向处理部202、发送部204以及六轴传感器206等供给电力。
<信息处理装置10的结构>
接下来，对信息处理装置10的结构进行说明。图4为表示实施例中的信息处理装置10的结构的一个例子的图。信息处理装置10具有存储部302、通信部304以及控制部306。
存储部302可以通过例如图2所示的存储部120等来实现。作为一个例子，存储部302存储关于应用(以下，也称为应用A)的数据等，该应用执行用于生成利用AR(AugmentedReality)技术叠加了角色的图像的处理。关于应用A的数据例如为从处理装置20接收到的数据、关于角色的显示及控制的信息、叠加角色的图像数据以及显示至画面上的画面信息等。角色包含例如化身，图像包含静止图像或动态图像。
通信部304可以通过例如移动体通信部114或无线LAN通信部118等来实现。通信部304例如从处理装置20接收数据。此外，通信部304也可以向服务器发送在信息处理装置10中被处理的数据。即，通信部304具有作为发送部和接收部的功能。
控制部306可以通过例如主控制部150等来实现。控制部306执行应用A。实施例中的应用A获取眼电位信号和/或传感器信号，并基于各个信号来检测用户的眼睛的移动、头部的移动，再基于该检测结果来控制角色的动作。此外，控制部306将被控制的角色叠加至图像上，生成含有该角色的图像并保存。为了实现上述功能，控制部306具有获取部312、检出部314、显示控制部316、角色控制部318、以及操作检测部320。
获取部312获取通信部304接收到的信号。例如，获取部312从用户的头部所佩戴的其他装置(例如，眼部佩戴用具30)至少获取眼电位信号。
检出部314基于获取部312获取的眼电位信号，至少检测用户的眼睛的移动。例如，检出部314通过公知的技术，基于眼电位信号来检测包含眨眼或视线移动等的眼睛的移动。
显示控制部316将角色叠加至信息处理装置10的画面(显示器102A)中正在显示的图像上并对其进行显示控制。图像可以是用户选择的图像，也可以是照相机130正在拍摄的图像。
角色控制部318基于检出部314所检测到的眼睛的移动的检测结果和/或后述指令来控制角色的动作。例如，角色控制部318使叠加至图像上的角色的眨眼、视线移动与被检测到的眨眼、视线移动同步来对其进行控制。角色例如可以为预先设定的化身，也可以为用户所选择的化身。
角色控制部318具有对角色的移动进行控制的多个动作参数，可以使用户的眨眼、视线移动、头部的移动分别与角色的各个动作参数相关联。该关联也可以根据用户操作来进行。多个动作参数包括例如关于角色的眼睛的眨眼的参数、关于视线移动的参数、关于头部的移动的参数、关于肢体的移动的参数、关于角色的缩小、放大的参数、以及关于角色的手的移动的参数等。
操作检测部320检测用户对显示于画面上的UI(User Interface,用户界面)元件的操作，并根据该用户操作将各种命令输出至对应的部分。例如，操作检测部320如果检测到角色选择按钮、角色的基本动作按钮或角色的表情按钮等的操作，则将对应于检测到的操作的指令输出至角色控制部318。
根据上述内容，在不使用照相机拍摄脸部的情况下，基于从指示角色的控制的用户处获取的眼电位信号就能够提高对角色进行交互控制时的可用性。例如，通过基于眼电位信号，能够进行多种控制，此外，能够对角色的眼睛的移动等进行更精细的控制。
另外，获取部312也可以包括对搭载于其他装置(例如眼部佩戴用具30)的加速度传感器和/或角速度传感器所感测到的传感器信号的获取。在这种情况下，检出部314也可以包括基于传感器信号的对用户的头的移动的检测。此外，角色控制部318也可以基于用户的眼睛的移动以及头的移动的检测结果来控制角色的动作。
关于角色的动作，包括例如对角色的眨眼、视线移动进行控制以使得与用户的眨眼、视线移动同步，或对角色的头部的移动进行控制以使得与用户的头部的移动同步。此外，关于角色的动作，也可以包括例如基于用户的眨眼、视线移动来决定控制角色的指定动作A的各个动作参数，或基于用户的头部的移动来决定控制角色的指定动作B的动作参数。
由此，也可基于指示角色的控制的用户的头部的移动，提高对角色进行交互控制时的可用性。例如，通过基于眼电位信号以及头部的移动，能够增加控制对象的变化。
显示控制部316也可以将可对与角色的肢体有关的基本动作进行选择的UI组件显示于信息处理装置10的画面上并进行控制。在这种情况下，角色控制部318也可以包括基于与角色的肢体有关的基本动作和与角色的头部有关的动作来控制角色的动作，其中上述与角色的肢体有关的基本动作是由用户使用UI组件选择的，而上述与角色的头部有关的动作是基于检测结果的。
例如，显示控制部316进行控制，以将选择按钮显示于画面中，该选择按钮用于让用户选择预先设定的与角色的肢体有关的基本动作。此外，角色控制部318进行控制，以使得基于与通过操作检测部320选择的按钮相对应的指令的基本动作反映于正在显示的角色的肢体的基本动作中。
由此，关于角色的动作，将其分为头部的动作和肢体的动作，可以在根据用户的眼睛的移动以及头部的移动来控制头部的动作的同时，通过画面上的UI组件而容易地控制肢体的动作。因此，能够提高交互控制角色时的可用性。
如上所述，通过使用具备生物信息测量***的眼部佩戴用具30，能够对化身的头部操作和与肢体有关的操作的功能进行分离。因此，通过在画面上显示角色的身体操作界面，即使是复杂且复合的操作，也无需与高价的外部可穿戴终端协作，能够直观地进行角色的操作。
此外，显示控制部316也可以将角色叠加至摄影装置(例如，照相机130)正在拍摄的图像上并进行显示控制。例如，由用户启动照相机130，显示控制部316可以使用AR技术将角色叠加至正在拍摄的图像上，角色控制部318可以控制上述被叠加的角色的动作，控制部306可以保存包含被叠加的角色的图像。
由此，无需使用照相机130来拍摄用户的眼睛的移动等，因此，照相机130能够拍摄叠加角色的图像，并且能够容易地实现实时的图像拍摄、角色的叠加与控制。例如，能够使用移动终端的后置摄像头来拍摄动画，同时交互地执行正在叠加的角色的控制。
此外，检出部314也可以包括对基于眼电位信号的眨眼或视线移动的检测。眨眼或视线移动的检测方法使用公知的方法即可。在这种情况下，角色控制部318可以包括基于与眨眼相关联的第1动作参数、或与视线移动相关联的第2动作参数而进行的对角色的动作的控制。例如，角色控制部318可以进行控制以使得用户的眨眼或视线移动被实时地反映于角色的眨眼(第1动作参数)或视线移动(第2动作参数)中。此外，角色控制部318也可以使用户的眨眼或视线移动与另外两个角色的动作参数相对应而进行控制，例如，也可以与关于角色的肢体的动作的第1动作参数或第2动作参数相对应而进行控制。
由此，能够使用从眨眼、视线移动等眼电位信号获取的检测结果，来提高对角色进行交互控制时的可用性。此外，能够增加控制对象的变化。
另外，检出部314也可以包括对基于眼电位信号的眨眼的强度或视线移动的速度进行的检测。例如，检出部314可以基于眼电位信号，对信号强度设置多个阈值，并将眨眼分为多个水平来检测强度，对于视线移动的速度，可以对水平方向的移动速度设置多个阈值，并将视线移动分为多个水平来检测速度。
在这种情况下，角色控制部318也可以基于与眨眼的强度相关联的第3动作参数、或与视线移动的速度相关联的第4动作参数来控制角色的动作。对于使眨眼的强度、视线移动的速度与哪个动作参数相关联，可以由用户事先设定。角色控制部318例如可以根据眨眼的强度来改变角色的动作的大小，作为一个例子，可以为眨眼的强度越强，则角色挥手的幅度越大。此外，角色控制部318例如可以根据视线移动的速度来改变角色的动作的速度，作为一个例子，可以为视线移动越快，则角色的晃动周期越快。
由此，能够使用眨眼的强度、视线移动的速度等眼电位信号特有的参数来提高对角色进行交互控制时的可用性。此外，能够增加控制对象的变化。
另外，角色控制部318也可以包括根据检测结果中包含的头部的移动来改变相对于画面的深度方向的角色的位置。例如，角色控制部318可以进行如下控制：在信息处理装置10的画面前方(观看画面的用户侧)的指定位置设置虚拟照相机，如果用户的头部向前方倾斜，则使角色靠近虚拟照相机，画面上的角色的尺寸变大，如果用户的头部向后方倾斜，则使角色远离虚拟照相机，画面上的角色的尺寸变小。
应予说明，被控制的角色的部位为所显示的角色整体、肢体以上的部分或头部，可以预先决定控制其中的任一者，也可以根据用户的头部的倾斜程度来增加被控制的角色的部位。例如，可以随着用户的头部的倾斜程度增大，使被控制的角色的部位以头部、肢体以上的部分、所显示的角色整体的顺序增加。
由此，能够利用用户的头部的移动来控制角色的远近、尺寸，从而能够提高交互控制角色时的可用性。
此外，角色的动作可以包括主动动作和被动动作，上述主动动作为在接收指定的指示或命令后，在指定期间反复执行指定的动作这样的由角色自动地进行的动作，上述被动动作为每次接收到指示则进行的动作。主动动作包括例如如果用户设定主动动作，则重复进行像左右摇晃这样的固定移动的动作。此外，被动动作包括例如在接收指定的指示或命令后，执行问候、惊讶的举止等指定的动作，并且在接收到下一次指示或命令之前不进行动作的动作。
在这种情况下，角色控制部318也可以包括基于检测结果来决定与主动动作有关的参数的值。例如，在主动动作为摇摆移动的动作的情况下，角色控制部318可以基于指定期间内的眨眼的次数等来决定与摇摆移动的周期有关的参数。
由此，即使在角色自动进行动作的情况下，也可以利用用户的眼睛的移动或头部的移动，将用户的无意识的动作反映至角色中，从而提高对角色进行交互控制时的可用性。
此外，检出部314也可以包括基于根据眼电位信号检测出的眨眼，使用公知的技术对用户的集中程度或平静程度进行检测。公知的技术为例如同申请人的日本特开2017-70602中记载的技术，在该文献中，记载了利用眨眼、视线移动来检测集中程度(focus)、平静程度(calm)。
此外，角色控制部318也可以基于检测结果中包含的集中程度或平静程度来控制角色的动作。例如，作为角色的动作控制的一个例子，角色控制部318可以在判定用户集中的情况下，使角色的表情变为集中的表情，并在判定用户平静的情况下，使角色的表情变为放松的表情，并根据用户的集中或平静来使角色的脸色、包含角色的画面的亮度和色彩饱和度发生变化。
由此，能够利用用户没有特别意识到的心理状态(集中、平静等)，将用户的心理状态反映至角色中，从而能够提高对角色进行交互控制时的角色的动作的流畅性。
此外，信息处理装置10可以为作为移动式处理终端的一个例子的智能手机等移动终端，其他装置可以为作为可穿戴终端的一个例子的眼部佩戴用具30。
由此，由于用户一般都拥有移动终端，因此将提高便携性和通用性，并且在感测眼电位信号等的同时也能够进行移动等，从而能够增加叠加角色的动态图像的变化。例如，能够使用移动终端的外置摄像头来拍摄动画，同时交互地执行正在叠加的角色的控制。
此外，角色控制部318也可以利用视线移动来将角色变更为其他的角色。例如，角色控制部318对视线移动的移动量设置阈值，并且在达到阈值以上的移动量的情况下，变更画面中正在显示的角色。应予说明，在事先由用户按下角色变更按钮的情况下，角色控制部318也可以开始进行通过视线移动来变更角色的处理。如此，角色控制部318也可以使用户的眼睛的移动与关于角色的各种操作相关联。
由此，通过将用户的眼睛的移动与关于角色的各种操作相关联，能够提高对角色进行控制时的可用性。
<画面例>
接着，使用图5～10对实施例中的应用A的画面例进行说明。图5为表示实施例中的应用A的显示画面的例1的图。在图5所示的画面D10中，例如，左侧显示有面部行为(例如5种)的选择按钮B10、右侧显示有身体行为(例如27种)的选择滚轮(revolver)B12。操作检测部320检测该画面中的操作，由此角色控制部318决定角色C10的面部的基本表情(基本动作)，并决定关于角色C10的肢体的基本动作。
图6为表示实施例中的应用A的显示画面的例2的图。图6所示的画面D20展示了通过擦除(wipe)按钮在左上部擦去角色C20的画面例。此时，即使在擦去后，也可以通过角色控制部318来执行面部以及身体的行为。
图7为表示实施例中的应用A的显示画面的例3的图。图7所示的画面D30展示了显示有右上部的按钮区域，且并从该按钮区域点击齿轮按钮B30时的画面例。如果点击齿轮按钮B30，则能够选择叠加角色的图像。
例如，用户在希望导入静止图像的情况下，点击“导入照片(Import photo)”，在希望导入动态图像的情况下，点击“导入视频(Import video)”。此外，用户在希望使用后置摄像头来获取动态图像等的情况下，点击“使用照相机(Use camera)”。应予说明，白色背景可以包含于选择对象的初始设定。此外，导入的图片、动态图像将自动增加至画面D30，因此用户可以通过点击的操作来选择希望使用的图像。
图8为表示实施例中的应用A的显示画面的例4的图。图8所示的画面D40展示了显示有右上部的按钮区域，且从该按钮区域点击人形按钮B40时的画面例。在这个例子中，如果点击人形按钮B40，则能够选择关于角色的肢体的基本动作。关于肢体(身体)的基本动作可以准备例如，一共27种。例如，如果用户从27种中选择12种，则以能够被选择的方式将12种基本动作增加至图5所示的选择滚轮B12中。
应予说明，如上所述，基本动作(行为)可以包含“主动动作”以及“被动动作”这两种动作。“主动动作”包含“摇晃”、“行进”、“跑步”、“指定坐姿”、“玩游戏”、“空气椅子”、“进食”、“起立”等。“被动动作”基本包含“主动动作”之外的动作。
图9为表示实施例中的应用A的显示画面的例5的图。图9所示的画面D50展示了显示有右上部的按钮区域，且从该按钮区域点击模型按钮B50时的画面例。在这个例子中，如果点击模型按钮B50，则能够选择角色的模型。
角色的模型包括在该应用A中预先设定的默认的模型、以及通过用于3D化身的VRM文件制作的模型等。用户可以事先将指定VRM文件导入至该应用A。在导入VRM文件的情况下，用户可以点击“导入VRM(Import VRM)”并使用。
图10为表示实施例中的应用A的显示画面的例6的图。图10所示的画面D60展示了显示有右上部的按钮区域，且从该按钮区域点击文件按钮B60时的画面例。在这个例子中，如果点击文件按钮B60，则用户能够选择叠加有制作好的角色图像数据并进行浏览。所拍摄的动态图像、图片(静止图像)等图像可以同时保存于信息处理装置10的图片应用内。应予说明，叠加有角色的图像文件以MP4文件格式输出，因此在导出、分享至SNS(SocialNetworking Services,社交网络服务)以及进行加工这些方面较容易。
<动作>
接着，对实施例中的信息处理***1的各个处理进行说明。图11为表示关于实施例中的应用A的处理的一个例子的时序图。
在图11所示的步骤S102中，控制部306根据用户的操作而启动应用A。
在步骤S104中，控制部306建立与眼部佩戴用具30的通信。通信为例如Bluetooth(注册商标)、Wifi(注册商标)等。
在步骤S106中，眼部佩戴用具30的处理装置20使用生物电极32、34、36来进行用户的眼电位的测量。此外，在处理装置20中包含加速度传感器/角速度传感器的情况下，也进行基于这些传感器的测量。
在步骤S108中，眼部佩戴用具30的处理装置20将所获取的眼电位信号和/或传感器信号发送至信息处理装置10。
在步骤S110中，信息处理装置10的获取部312获取从用户的头部所佩戴的眼部佩戴用具30发送的眼电位信号。此外，获取部312也可以获取表示用户的头部的移动的传感器信号。
在步骤S112中，信息处理装置10的检出部314基于所获取的眼电位信号来检测用户的眼睛的移动。此外，检出部314也可以检测眨眼、视线移动来作为眼睛的移动，在获取了传感器信号的情况下，也可以检测头部的移动(面部的前后方向，面部的横向、面部的上下方向等)并将其包含于检测结果中。
在步骤S114中，显示控制部316将角色叠加至画面中正在显示的图像上并对其进行显示控制。应予说明，所显示的图像也可以由用户选择。
在步骤S116中，角色控制部318基于用户的眼睛的移动的检测结果来对叠加至图像上并显示的角色的动作进行控制。此外，在检测结果中包含用户的头部的移动的情况下，角色控制部318也可以根据该头部的移动来控制角色的动作。
在步骤S118中，控制部306将包含所叠加的角色的动作的图像数据存储于信息处理装置10的存储部120。例如，图像数据不限于以MP4格式保存，以对应于目标的文件格式保存即可。
在步骤S120中，为了上传至SNS或附加至邮件中，控制部306将已保存并含有所叠加的角色的图像数据输出至外部装置等。
应予说明，对于包含于在图11中进行说明的处理的流程的各个处理步骤，能够在处理内容中不产生矛盾的范围内，任意地对顺序进行变更或并行执行，同时，也可以在各个处理步骤之间增加另外的步骤。此外，为了方便而作为一个步骤记载的步骤可以分为多个步骤来执行，另一方面，为了方便而分为多个步骤记载的，可以作为一个步骤来把握。
以上，根据实施例，能够提高对角色进行交互控制时的可用性。此外，在控制3D模型的情况下，根据实施例，通过在仿真人(humanoid)上输入记录的VRM数据模型，能够将用户期望的角色(例如，化身)叠加至图像上。
此外，用户通过移动眼和头，能够控制叠加至图像上的角色。另外，根据实施例，用户能够以游戏控制器(game controller)的感觉来对角色的面部和身体的行为进行操作(例如，参见图5-10)。
此外，关于所叠加的图像，能够进行使用移动终端等的后置摄像头的、AR合成动态图像的拍摄以及静止图像的拍摄。另外，能够将已经拍摄好的动态图像或静止图像作为背景，AR合成角色(例如，化身)并对角色进行操作。
此外，根据上述角色控制，通过将控制的一部分移交至具备生物信息测量***的眼部佩戴用具30，能够进行不使用照相机的直观的操作，能够实现感测以及拍摄图像的装置的便携式移动。
此外，通过使用具备生物信息测量***的眼部佩戴用具30，作为信息处理装置10的应用A，为了AR合成并不需要编辑能力，可以使用容易编辑的UI来进行AR合成。
此外，如上所述，具有如下可能性：能够使用信息处理装置10的外置摄像头来拍摄图像，能够在进行AR合成时，拍摄图像，同时能够对可直观地控制的角色进行控制。
此外，能够实现使用AR的第三人称视角、且交互式拍摄用角色控制应用，而不是如以往存在的使用AR的观赏用角色拍摄应用。
应予说明，在实施例中，对眼部佩戴用具30为眼镜的情况进行了说明。然而，眼部佩戴用具不限于此。眼部佩戴用具为与眼相关联的器具即可，可以为眼镜、墨镜、护目镜和头戴式显示器以及这些用具的支架等的脸部用具或头部用具。
应予说明，在实施例中，使用来自搭载于眼部佩戴用具30的六轴传感器的传感器信号来进行说明，但即使使用来自搭载于信息处理装置10的六轴传感器111的传感器信号，也能够执行实施例中所说明的应用。即，六轴传感器不仅可佩戴于头部，还可以佩戴于人体的任意部位。
以上，虽然使用实施例对本发明进行了说明，但是本发明的技术范围不限于上述实施例中记载的范围。本领域技术人员清楚得知，能够在上述实施例中加入各种变更或改良。该加入了各种变更或改良的方式也能够包含于本发明的技术范围内，这是从权利要求书的记载中能够清楚得知的。
符号说明
10 信息处理装置
20 处理装置
30 眼部佩戴用具
302 存储部
304 通信部
306 控制部
312 获取部
314 检出部
316 显示控制部
318 角色控制部
320 操作检测部。

Claims (13)

1.一种信息处理方法，其中，由信息处理装置执行以下步骤：
获取步骤，所述获取步骤为从用户的头部所佩戴的其他装置处至少获取眼电位信号；
检测步骤，所述检测步骤为基于所述眼电位信号来至少检测用户的眼睛的移动；
显示控制步骤，所述显示控制步骤为将角色叠加至画面中正在显示的图像上并进行显示控制；以及
动作控制步骤，所述动作控制步骤为基于所述眼睛的移动的检测结果来控制所述角色的动作。
2.如权利要求1所述的信息处理方法，其中，
所述获取步骤包括获取搭载于所述其他装置的加速度传感器和/或角速度传感器所感测到的传感器信号，
所述检测步骤包括基于所述传感器信号来检测所述用户的头的移动，
所述动作控制步骤包括基于所述眼睛的移动以及所述头的移动的检测结果来控制所述角色的动作。
3.如权利要求1所述的信息处理方法，其中，
所述显示控制步骤包括使能够对与所述角色的肢体有关的基本动作进行选择的UI组件显示于所述画面中并进行控制，
所述动作控制步骤包括基于利用所述UI组件选择的与所述角色的肢体有关的基本动作、以及基于所述检测结果的与所述角色的头部有关的动作来控制所述角色的动作。
4.如权利要求1所述的信息处理方法，其中，
所述显示控制步骤包括在摄影装置正在拍摄的图像上叠加所述角色并进行显示控制。
5.如权利要求1所述的信息处理方法，其中，
所述检测步骤包括对基于所述眼电位信号的眨眼、或视线移动进行检测，
所述动作控制步骤包括基于与所述眨眼相关联的第1动作参数、或与所述视线移动相关联的第2动作参数来控制所述角色的动作。
6.如权利要求1所述的信息处理方法，其中，
所述检测步骤包括对基于所述眼电位信号的眨眼的强度、或视线移动的速度进行检测，
所述动作控制步骤包括基于与所述眨眼的强度相关联的第3动作参数、或与所述视线移动的速度相关联的第4动作参数来控制所述角色的动作。
7.如权利要求2所述的信息处理方法，其中，
所述动作控制步骤包括根据所述检测结果中包含的所述头的移动来改变相对于所述画面的深度方向的所述角色的位置。
8.如权利要求1所述的信息处理方法，其中，
所述角色的动作包括自动地进行动作的主动动作，
所述动作控制步骤包括基于所述检测结果来决定与所述主动动作有关的参数的值。
9.如权利要求1所述的信息处理方法，其中，
所述检测步骤包括利用基于所述眼电位信号而检测出的眨眼来检测用户的集中程度或平静程度，
所述动作控制步骤包括基于所述检测结果中包含的所述集中程度或所述平静程度来控制所述角色的动作。
10.如权利要求1所述的信息处理方法，其中，
所述信息处理装置为移动终端，所述其他装置为眼部佩戴用具。
11.一种计算机可读取的存储介质，其中，所述存储介质中存储有使计算机执行以下步骤的程序：
获取步骤，所述获取步骤为从用户的头部所佩戴的其他装置处至少获取眼电位信号；
检测步骤，所述检测步骤为基于所述眼电位信号来至少检测用户的眼睛的移动；
显示控制步骤，所述显示控制步骤为将角色叠加至画面中正在显示的图像上并进行显示控制；以及
动作控制步骤，所述动作控制步骤为基于所述眼睛的移动的检测结果来控制所述角色的动作。
12.一种信息处理装置，所述信息处理装置包含一个或多个处理器，其中，所述一个或多个处理器执行以下步骤：
获取步骤，所述获取步骤为从用户的头部所佩戴的其他装置处至少获取眼电位信号；
检测步骤，所述检测步骤为基于所述眼电位信号来至少检测用户的眼睛的移动；
显示控制步骤，所述显示控制步骤为将角色叠加至画面中正在显示的图像上并进行显示控制；以及
动作控制步骤，所述动作控制步骤为基于所述眼睛的移动的检测结果来控制所述角色的动作。
13.一种信息处理***，所述信息处理***包含能够进行数据通信地连接的眼部佩戴用具与信息处理装置，其中，
所述眼部佩戴用具具备：
多个生物电极；以及
发送部，所述发送部将从所述多个生物电极获取的眼电位信号发送至所述信息处理装置，
所述信息处理装置具备：
通信部，所述通信部从所述眼部佩戴用具至少接收所述眼电位信号；以及
控制部，所述控制部基于所述眼电位信号来至少检测用户的眼睛的移动，将角色叠加至画面中正在显示的图像上并进行显示控制，并基于所述眼睛的移动的检测结果来控制所述角色的动作。
CN202110497110.3A 2020-05-07 2021-05-07 程序、信息处理方法、信息处理装置以及信息处理*** Pending CN113617023A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-081843 2020-05-07
JP2020081843A JP2021177277A (ja) 2020-05-07 2020-05-07 プログラム、情報処理方法、情報処理装置、及び情報処理システム

Publications (1)

Publication Number Publication Date
CN113617023A true CN113617023A (zh) 2021-11-09

Family

ID=78377968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110497110.3A Pending CN113617023A (zh) 2020-05-07 2021-05-07 程序、信息处理方法、信息处理装置以及信息处理***

Country Status (4)

Country Link
US (1) US20210349533A1 (zh)
JP (1) JP2021177277A (zh)
CN (1) CN113617023A (zh)
TW (1) TW202142296A (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8856691B2 (en) * 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
KR20210110068A (ko) * 2020-02-28 2021-09-07 삼성전자주식회사 제스처 인식 기반의 영상 편집 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
TW202142296A (zh) 2021-11-16
US20210349533A1 (en) 2021-11-11
JP2021177277A (ja) 2021-11-11

Similar Documents

Publication Publication Date Title
US10620699B2 (en) Head mounted display, mobile information terminal, image processing apparatus, display control program, display control method, and display system
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
US10416835B2 (en) Three-dimensional user interface for head-mountable display
EP3341818B1 (en) Method and apparatus for displaying content
CN110456907A (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
CN107646098A (zh) 用于在虚拟现实中跟踪手持式设备的***
JP6240345B2 (ja) ヘッド・マウント・ディスプレイ上の情報表示
CN111630477A (zh) 提供增强现实服务的设备及其操作方法
US20160171780A1 (en) Computer device in form of wearable glasses and user interface thereof
KR20120023247A (ko) 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
US20160189411A1 (en) Image display system, image display apparatus, image display method, and non-transitory storage medium encoded with computer readable program
AU2024200190A1 (en) Presenting avatars in three-dimensional environments
CN114080800A (zh) 利用双摄像头进行连续摄像头捕捉
US20240077937A1 (en) Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments
WO2020080107A1 (ja) 情報処理装置、情報処理方法、及びプログラム
EP3109734A1 (en) Three-dimensional user interface for head-mountable display
JP7078568B2 (ja) 表示装置、表示制御方法、及び表示システム
US11328187B2 (en) Information processing apparatus and information processing method
CN113617023A (zh) 程序、信息处理方法、信息处理装置以及信息处理***
KR20160071013A (ko) 글래스 타입의 이동 단말기 및 그 제어방법
US20240103636A1 (en) Methods for manipulating a virtual object
US20240104859A1 (en) User interfaces for managing live communication sessions
US20240104819A1 (en) Representations of participants in real-time communication sessions
US20240103684A1 (en) Methods for displaying objects relative to virtual surfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination