CN116893764A - 终端装置、终端装置的动作方法及非暂时性计算机可读取介质 - Google Patents

终端装置、终端装置的动作方法及非暂时性计算机可读取介质 Download PDF

Info

Publication number
CN116893764A
CN116893764A CN202310318726.9A CN202310318726A CN116893764A CN 116893764 A CN116893764 A CN 116893764A CN 202310318726 A CN202310318726 A CN 202310318726A CN 116893764 A CN116893764 A CN 116893764A
Authority
CN
China
Prior art keywords
user
terminal device
virtual
control unit
illustration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310318726.9A
Other languages
English (en)
Inventor
菊地大辅
加来航
泽渡爱子
舩造美奈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN116893764A publication Critical patent/CN116893764A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开涉及终端装置、终端装置的动作方法及非暂时性计算机可读取介质。提供将字符适当地显示给用户的技术。终端装置(20)具备控制部(28)。控制部(28)使在虚拟空间(30)内的虚拟屏幕(33)上描绘的第1用户(3A)的插图所包含的字符以从虚拟摄像机(31)看是可读取的方式反转。

Description

终端装置、终端装置的动作方法及非暂时性计算机可读取 介质
技术领域
本公开涉及终端装置、终端装置的动作方法及程序。
背景技术
以往,已知有用于多个用户利用虚拟空间进行交流的技术。例如,专利文献1记载有定义包含与第1用户相关联的第1化身和与第2用户相关联的第2化身的虚拟空间。
现有技术文献
专利文献
专利文献1:日本特开2021-64399号公报
发明内容
发明要解决的课题
在游戏或创作活动等场合下,为了提高用户间的交流,有时想在用户间共享描画的插图等。在插图包含字符的情况下,要求将字符适当地显示给用户。
鉴于这点而完成的本公开的目的在于,提供将字符适当地显示给用户的技术。
用于解决课题的手段
本公开的一实施方式的终端装置具备:
控制部,该控制部使在虚拟空间内的虚拟屏幕上描绘的第1用户的插图所包含的字符以从虚拟摄像机看是可读取的方式反转。
本公开的一实施方式的终端装置的动作方法包含:
使在虚拟空间内的虚拟屏幕上描绘的第1用户的插图所包含的字符以从虚拟摄像机看是可读取的方式反转。
本公开的一实施方式的程序
使计算机执行包含以下的动作:
使在虚拟空间内的虚拟屏幕上描绘的第1用户的插图所包含的字符以从虚拟摄像机看是可读取的方式反转。
发明效果
根据本公开的一实施方式,能够提供将字符适当地显示给用户的技术。
附图说明
图1是示出本公开的一实施方式的提供***的概要结构的图。
图2是图1示出的提供***的框图。
图3是示出图1所示的提供***的动作步骤的时序图。
图4是示出图2所示的终端装置的动作步骤的流程图。
图5是示出图2所示的终端装置的动作步骤的流程图。
图6是用于说明虚拟空间的图。
(附图标记说明)
1:提供***;2:网络;10:服务器装置;11:通信部;12:存储部;13:控制部;20、20A、20B:终端装置;21:通信部;22:输入部;23:输出部;24:显示器;25:摄像机;26:测距传感器;27:存储部;28:控制部;30:虚拟空间;31:虚拟摄像机;32:化身;33:虚拟屏幕;33A、33B:面;34:虚拟对象;3A:第1用户;3B:第2用户。
具体实施方式
以下,参照附图说明本公开的实施方式。
如图1所示,提供***1包含至少一个服务器装置10、终端装置20A和终端装置20B。
以下,在不特别地区别终端装置20A和终端装置20B的情况下,这些也记载为“终端装置20”。提供***1包含2个终端装置20。然而,提供***1也可以包含3个以上的终端装置20。
服务器装置10和终端装置20可经由网络2通信。网络2可以是包含移动通信网及因特网等的任意网络。
提供***1是用于提供虚拟事件的***。虚拟事件利用虚拟空间来被提供。用户能够使用终端装置20作为参加者参加虚拟事件。在本实施方式的虚拟事件中,用户能够共享插图。本实施方式的虚拟事件可以在游戏或创作活动等场合下实施。
服务器装置10例如属于云计算***或其他计算***,是作为实现各种功能的服务器发挥功能的服务器计算机。服务器装置10也可以通过可通信地连接并协作动作的2个以上的服务器计算机构成。
服务器装置10执行提供虚拟事件所需的处理。例如,服务器装置10经由网络2向终端装置20发送提供虚拟事件所需的信息。另外,服务器装置10在虚拟事件的实施中对终端装置20A和终端装置20B之间的信息的收发进行中介。
终端装置20例如是台式PC(Personal Computer,个人计算机)、平板PC、笔记本PC或智能电话等终端装置。
终端装置20具备作为显示装置的显示器24。然而,终端装置20也可以具备显示器24以外的显示装置。例如,终端装置20也可以具备投影仪作为显示装置。
显示器24例如是LCD(Liquid Crystal Display,液晶显示器)或有机EL(ElectroLuminescence,场致发光)显示器等。显示器24例如与后述的输入部22的触摸屏一起构成为触摸面板显示器或触摸屏显示器。
终端装置20A由第1用户3A使用。第1用户3A使用终端装置20A参加虚拟事件。
终端装置20B由第2用户3B使用。第2用户3B使用终端装置20B参加虚拟事件。
第1用户3A和第2用户3B能够通过在虚拟事件中共享插图等进行交流。
例如,第1用户3A通过用手指或手写笔等触摸显示器24,在显示器24上描画插图。终端装置20A将第1用户3A的插图数据经由网络2及服务器装置10发送给终端装置20B。终端装置20B从终端装置20A接收第1用户3A的插图的数据,使显示器24显示第1用户3A的插图。第2用户3B能够通过在终端装置20B的显示器24上显示第1用户3A的插图而看到第1用户3A的插图。这里,第1用户3A的插图包含字符“hellо”(“你好”)。终端装置20B将第1用户3A的插图的数据包含的字符“hellо”(“你好”)以从第2用户3B看是可读取的方式反转。通过这样的结构,能够对第2用户3B适当地显示字符。
(服务器装置的结构)
如图2所示,服务器装置10具备通信部11、存储部12和控制部13。
通信部11构成为包含可连接到网络2的至少一个通信模块。通信模块例如是与有线LAN(Local Area Network,局域网)或无线LAN等的标准对应的通信模块。然而,通信模块不限定于此。通信模块可以对应于任意的通信标准。通信部11通过通信模块经由有线LAN或无线LAN连接到网络2。
存储部12构成为包含至少一个半导体存储器、至少一个磁性存储器、至少一个光存储器或这些之中的至少2种的组合。半导体存储器例如是RAM(Random Access Memory,随机存取存储器)或ROM(Read Only Memory,只读存储器)等。RAM例如是SRAM(Static RandomAccess Memory,静态随机存取存储器)或DRAM(Dynamic Random Access Memory,动态随机存取存储器)等。ROM例如是EEPROM(Electrically Erasable Programmable Read OnlyMemory,电可擦除可编程只读存储器)等。存储部12可以作为主存储装置、辅助存储装置或高速缓冲存储器发挥功能。存储部12存储用于服务器装置10的动作的数据和由服务器装置10的动作得到的数据。
控制部13构成为包含至少一个处理器、至少一个专用电路或这些的组合。处理器例如是CPU(Central Processing Unit,中央处理单元)或GPU(Graphics ProcessingUnit,图形处理单元)等通用处理器或专用于特定处理的专用处理器。专用电路例如是FPGA(Field-Programmable Gate Array,现场可编程门阵列)或ASIC(Application SpecificIntegrated Circuit,专用集成电路)等。控制部13一边控制服务器装置10的各部分,一边执行与服务器装置10的动作有关的处理。
服务器装置10的功能通过用与控制部13相当的处理器执行本实施方式的处理程序来被实现。也就是说,服务器装置10的功能由软件实现。处理程序通过使计算机执行服务器装置10的动作,使计算机作为服务器装置10发挥功能。也就是说,计算机通过依照处理程序执行服务器装置10的动作而作为服务器装置10发挥功能。
服务器装置10的一部分或全部的功能也可以由与控制部13相当的专用电路实现。也就是说,服务器装置10的一部分或全部的功能也可以由硬件实现。
(终端装置的结构)
如图2所示,终端装置20具备通信部21、输入部22、输出部23、摄像机25、测距传感器26、存储部27和控制部28。终端装置20可以具备多个摄像机25。
通信部21构成为包含可连接到网络2的至少一个通信模块。通信模块例如是与有线LAN或无线LAN等的标准对应的通信模块或者是与LTE(Long Term Evolution,长期演进)、4G(4th Generation,第4代)或5G(5th Generation,第5代)等移动通信标准对应的通信模块。然而,通信模块不限定于此。通信模块可以对应于任意的通信标准。
输入部22可接受来自用户的输入。输入部22构成为包含可接受来自用户的输入的至少一个输入用接口。输入用接口包含与显示器24一体设置的触摸屏。进一步地,输入用接口也可以包含物理键、静电电容键、指示设备或麦克风等。然而,输入用接口不限定于此。
输出部23可输出数据。输出部23构成为包含可输出数据的至少一个输出用接口。输出用接口包含显示器24及扬声器等。输出用接口例如可以包含设置在显示器24的周围的多个扬声器。然而,输出用接口不限定于此。
摄像机25可拍摄被摄体并生成拍摄图像。摄像机25例如是可见光摄像机。摄像机25例如以15~30[fps]的帧速率连续地拍摄被摄体。
摄像机25配置在可将与显示器24相向的用户作为被摄体进行拍摄的位置。摄像机25可以配置在可拍摄用户的全身的位置。在图1中,作为例示,示出终端装置20A具备的多个摄像机25的位置。例如,终端装置20具备的多个摄像机25之中的一部分摄像机嵌入到显示器24的正面。由嵌入到显示器24的正面的摄像机25,能够拍摄用户的正面图像。另外,终端装置20具备的多个摄像机25之中的另一部分可从多个方向拍摄用户地配置在用户的周围。然而,摄像机25的配置不限定于此。作为其他例子,摄像机25也可以配置在可从斜上方拍摄用户的位置。
测距传感器26可测量到被摄体的距离。测距传感器26配置在能够测量从显示器24到被摄体的距离的位置。测距传感器26配置在可测量直至作为被摄体的用户为止的距离的位置。测距传感器26生成距离图像。距离图像是各像素的像素值与距离对应的图像。测距传感器26例如构成为包含ToF(Time Of Flight,飞行时间)摄像机、LiDAR(Light DetectionAnd Ranging,光探测和测距)或立体摄像机。
存储部27构成为包含至少一个半导体存储器、至少一个磁性存储器、至少一个光存储器或这些之中的至少2种的组合。半导体存储器例如是RAM或ROM等。RAM例如是SRAM或DRAM等。ROM例如是EEPROM等。存储部27可以作为主存储装置、辅助存储装置或高速缓冲存储器发挥功能。存储部27存储用于终端装置20的动作的数据和通过终端装置20的动作得到的数据。
控制部28构成为包含至少一个处理器、至少一个专用电路或这些的组合。处理器例如是CPU或GPU等通用处理器或专用于特定处理的专用处理器。专用电路例如是FPGA或ASIC等。控制部28一边控制终端装置20的各部分,一边执行与终端装置20的动作有关的处理。
终端装置20的功能通过用与控制部28相当的处理器执行本实施方式的终端程序而被实现。也就是说,终端装置20的功能由软件实现。终端程序通过使计算机执行终端装置20的动作,使计算机作为终端装置20发挥功能。也就是说,计算机通过依照终端程序执行终端装置20的动作而作为终端装置20发挥功能。
终端装置20的一部分或全部的功能也可以由与控制部28相当的专用电路实现。也就是说,终端装置20的一部分或全部的功能也可以由硬件实现。
(提供***的动作)
图3是示出图1所示的提供***1的动作步骤的时序图。以下,设为第1用户3A作为虚拟事件的管理者设定虚拟事件。另外,设为第1用户3A和第2用户3B作为参加者参加虚拟事件。
在步骤S1的处理中,在终端装置20A中,控制部28通过输入部22从第1用户3A接受设定信息的输入。设定信息是用于设定虚拟事件的信息。设定信息例如包含虚拟事件的时间表和参加者列表等。参加者列表包含参加者的姓名和该参加者的电子邮件地址。这里,参加者列表包含作为参加者的第2用户3B的姓名和第2用户3B的电子邮件地址。例如,控制部28经由通信部21访问用于设定由服务器装置10提供的虚拟事件的站点,取得用于输入设定信息的输入画面的数据。控制部28使该输入画面显示在显示器24,并提示给第1用户3A。第1用户3A看到输入画面,从输入部22输入设定信息。
在步骤S2的处理中,在终端装置20A中,控制部28通过通信部21经由网络2将通过输入部22接受的设定信息发送给服务器装置10。
在步骤S3的处理中,在服务器装置10中,控制部13通过通信部11经由网络2从终端装置20A接收设定信息。
在步骤S4的处理中,在服务器装置10中,控制部13基于在步骤S3的处理中接收的设定信息来设定虚拟事件。例如,控制部13生成认证信息。认证信息是用于对使用终端装置20B参加虚拟事件的第2用户3B进行认证的信息。认证信息包含参加者ID和密码等。参加者ID是在第2用户3B作为参加者参加虚拟事件时使用的识别信息。
在步骤S5的处理中,在服务器装置10中,控制部13通过通信部11经由网络2将生成的认证信息发送给终端装置20B。控制部13例如将认证信息添加到电子邮件并发送给终端装置20B。
在步骤S6的处理中,在终端装置20B中,控制部28通过通信部21经由网络2从服务器装置10接收认证信息。控制部28接收在电子邮件中添加的认证信息。
在步骤S7的处理中,在终端装置20B中,控制部28通过输入部22从第2用户3B接受认证信息和参加的申请信息的输入。例如,控制部28通过通信部21访问用于设定由服务器装置10提供的虚拟事件的站点,取得用于输入认证信息和参加的申请信息的输入画面的数据。控制部28使该输入画面显示在显示器24,并提示给第2用户3B。第2用户3B看到输入画面,从输入部22输入在电子邮件中添加的认证信息和参加的申请信息。
在步骤S8的处理中,在终端装置20B中,控制部28通过通信部21经由网络2向服务器装置10发送通过输入部22接受的认证信息和参加的申请信息。
在步骤S9的处理中,在服务器装置10中,控制部13通过通信部11经由网络2从终端装置20B接收认证信息和参加的申请信息。控制部13通过接收认证信息和参加的申请信息,完成对第2用户3B的参加的接受(步骤S10)。
在步骤S11的处理中,在服务器装置10中,控制部13通过通信部11经由网络2向终端装置20A、20B分别发送事件的开始通知。
在步骤S12的处理中,在终端装置20A中,控制部28通过通信部21经由网络2从服务器装置10接收事件的开始通知。控制部28如果接收事件的开始通知,则开始第1用户3A的拍摄等。
在步骤S13的处理中,在终端装置20B中,控制部28通过通信部21经由网络2从服务器装置10接收事件的开始通知。控制部28如果接收事件的开始通知,则开始第2用户3B的拍摄等。
在步骤S14的处理中,终端装置20A和终端装置20B经由服务器装置10实施虚拟事件。
(终端装置的动作)
图4是示出图2所示的终端装置20的动作步骤的流程图。图4示出的动作步骤是对终端装置20A、20B共通的动作步骤。图4示出的动作步骤是本实施方式的终端装置20的动作方法的一例。图4示出的动作步骤在图3所示的步骤S14的处理中执行。以下,说明终端装置20A执行图4所示的动作步骤。
在步骤S21的处理中,控制部28取得第1用户3A的运动数据。在本实施方式中,控制部28通过测距传感器26取得第1用户3A的距离图像的数据,作为第1用户3A的运动数据。如果第1用户3A活动,则从显示器24至第1用户3A的距离发生变化。因此,能够将第1用户3A的距离图像的数据用作第1用户3A的运动数据。
在步骤S21的处理中,控制部28通过摄像机25取得第1用户3A的拍摄图像的数据。
在步骤S21的处理中,控制部28根据对于输入部22的触摸屏的触摸操作,取得由第1用户3A在显示器24描画的插图的数据。
在步骤S21的处理中,控制部28通过输入部22的麦克风对第1用户3A发出的话音等声音进行收音,取得声音数据。
这里,在步骤S21的处理中,控制部28在相同的时机取得第1用户3A的运动数据、第1用户3A的拍摄图像的数据、第1用户3A的插图的数据和第1用户3A的声音数据。也就是说,第1用户3A的拍摄图像的数据、第1用户3A的插图的数据和第1用户3A的声音数据与第1用户3A的运动数据同步。
在步骤S22的处理中,控制部28通过对在步骤S21的处理中取得的数据进行编码,生成编码数据。控制部28在编码中可以对拍摄图像的数据等执行任意的加工处理(例如,分辨率变更和修整等)。
在步骤S23的处理中,控制部28将编码数据作为数据包,通过通信部21经由网络2发送给服务器装置10。该编码数据经由服务器装置10发送给终端装置20B。
在步骤S24的处理中,控制部28判定是否通过输入部22接受了中断拍摄等的输入或从虚拟事件退出的输入。控制部28在判定为接受了中断拍摄等的输入或从虚拟事件退出的输入的情况(步骤S24:是)下,结束如图4所示的动作步骤。控制部28在未判定为接受了中断拍摄等的输入或从虚拟事件退出的输入的情况(步骤S24:否)下,返回到步骤S21的处理。
图5是示出图2所示的终端装置20的动作步骤的流程图。图5示出的动作步骤是对终端装置20A、20B共通的动作步骤。图5示出的动作步骤是本实施方式的终端装置20的动作方法的一例。图5示出的动作步骤在图3所示的步骤S14的处理中执行。以下,说明终端装置20B执行图5示出的动作步骤。
在步骤S31的处理中,控制部28通过通信部21经由网络2及服务器装置10从终端装置20A接收编码数据。
在步骤S32的处理中,控制部28对接收到的编码数据进行解码。控制部28通过对编码数据进行解码,取得第1用户3A的运动数据、第1用户3A的拍摄图像的数据、第1用户3A的插图的数据和第1用户3A的声音数据。第1用户3A的拍摄图像的数据、第1用户3A的插图的数据和第1用户3A的声音数据是通过上述的步骤S21的处理而与第1用户3A的运动数据同步的数据。
在步骤S33的处理中,控制部28使用在步骤S32的处理中取得的数据,生成如图6所示的第1用户3A的化身32。例如,控制部28使用第1用户3A的运动数据即距离图像的数据生成多边形模型。进一步地,控制部28通过对多边形模型施加使用了第1用户3A的拍摄图像的数据的纹理映射,从第1用户3A的拍摄图像的数据生成化身32的外观。然而,控制部28可以采用任意的手法来生成第1用户3A的化身32。
这里,在步骤S33的处理中,控制部28可以根据在步骤S32的处理中取得的第1用户3A的拍摄图像的数据所包含的第1用户3A的正面的拍摄图像的数据,生成化身32的外观正面。第1用户3A的正面的拍摄图像例如由在终端装置20A的显示器24的正面嵌入的摄像机25拍摄。控制部28在步骤S32的处理中取得的拍摄图像的数据不包含第1用户3A的正面的拍摄图像的数据的情况下,可以根据第1用户3A的其他拍摄图像的数据,生成化身32的外观正面。例如,控制部28通过对在步骤S32的处理中取得的拍摄图像的数据所包含的从多个方向拍摄第1用户3A所生成的拍摄图像的数据进行插值或校正等,生成化身32的外观正面。或者,控制部28也可以复制过去拍摄的第1用户3A的正面的拍摄图像的数据,而生成化身32的外观正面。
在步骤S34的处理中,如图6所示,控制部28在虚拟空间30内配置虚拟摄像机31、化身32和虚拟屏幕33。控制部28在虚拟摄像机31和化身32之间配置虚拟屏幕33。虚拟屏幕33包含化身32侧的面33A和虚拟摄像机31侧的面33B。面33A对应于终端装置20A的显示器24的画面。面33B对应于终端装置20B的显示器24的画面。
在步骤S34的处理中,控制部28可以如同化身32正在虚拟屏幕33上描画插图的那样将化身32配置在虚拟空间30内。例如,在第1用户3A用手指或手写笔触摸显示器24并描画插图的情况下,如同化身32的手指或手写笔触摸到虚拟屏幕33的面33A那样将化身32配置在虚拟空间30内。
在步骤S34的处理中,控制部28可以基于如图1所示的与终端装置20B的显示器24相向的第2用户3B的视线,决定或调整虚拟摄像机31的位置、朝向及视野。例如,控制部28基于第2用户3B的视线的高度,决定虚拟摄像机31的位置。另外,控制部28基于第2用户3B的视线的方向,决定虚拟摄像机31的朝向。控制部28可以通过解析由终端装置20B的摄像机25拍摄到的第2用户3B的拍摄图像的数据,检测出第2用户3B的视线的数据。然而,控制部28也可以基于从输入部22接受的第2用户2B的操作输入,决定或调整虚拟摄像机31的位置、朝向及视野。
在步骤S35的处理中,如图6所示,控制部28基于在步骤S32的处理中取得的第1用户3A的插图的数据,在虚拟屏幕33上描绘第1用户3A的插图。例如,控制部28在虚拟屏幕33的面33A上描绘插图。
在步骤S36的处理中,控制部28例如通过机器学习等任意的方法,判定在虚拟屏幕33上描绘的插图中是否包含字符。控制部28在判定为在虚拟屏幕33上描绘的插图中包含字符的情况(步骤S36:是)下,前进到步骤S37的处理。在图6所示的结构中,控制部28判定为插图中包含字符“hellо”(“你好”)。另一方面,控制部28在判定为在虚拟屏幕33上描绘的插图中不包含字符的情况(步骤S36:否)下,前进到步骤S38的处理。
在步骤S37的处理中,控制部28将虚拟屏幕33上的字符以从虚拟摄像机31看是可读取的方式反转。作为一例,控制部28可以通过机器学习等任意的方法,确定读取从化身32看到的虚拟屏幕33上的字符的方向。进一步地,控制部28可以反转虚拟屏幕33上的字符,以便在确定的读取字符的方向上从虚拟摄像机31看能够读取虚拟屏幕33上的字符。在图6所示的结构中,控制部28确定为读取虚拟屏幕33上的字符“hellо”(“你好”)的方向是从化身32看从左侧朝向右侧的方向。控制部28反转虚拟屏幕33上的字符“hellо”(“你好”),以便从虚拟摄像机31看能够在从左侧朝向右侧的方向上读取字符“hellо”(“你好”)。作为另外的例子,控制部28能够确定为读取从化身32看到的虚拟屏幕33上的字符的方向是从上侧朝向下侧的方向。在该情况下,控制部28将虚拟屏幕33上的字符左右反转,以使得从虚拟摄像机31看是可读取的。控制部28可以将要反转的字符的中心设定为轴,并以设定的轴为中心来反转字符。
在步骤S37的处理中,控制部28可以按单词为单位或按语句为单位将在虚拟屏幕33上描绘的插图所包含的字符以从虚拟摄像机31看是可读取的方式反转。例如,控制部28在判定为在虚拟屏幕33上描绘的插图所包含的字符构成单词而未构成语句的情况下,将该字符按单词为单位以从虚拟摄像机31看是可读取的方式反转。另外,控制部28在判定为在虚拟屏幕33上描绘的插图所包含的字符构成语句的情况下,将该字符按语句为单位以从虚拟摄像机31看是可读取的方式反转。另外,控制部28在判定为在虚拟屏幕33上描绘的插图所包含的字符不构成单词和语句的情况下,可以将该字符以从虚拟摄像机31看是可读取的方式反转。控制部28可以通过机器学习等任意的方法,判定虚拟屏幕33上的字符是构成单词还是构成语句等。通过按单词为单位或按语句为单位自动地反转虚拟屏幕33上的字符,第2用户3B变得易于读取字符。因此,能够提高第2用户3B的便利性。
在步骤S38的处理中,控制部28通过渲染生成如图6所示的从虚拟摄像机31看被投影到虚拟屏幕33的虚拟空间30的二维图像。
在步骤S39的处理中,控制部28使显示器24显示在步骤38的处理中生成的二维图像。另外,控制部28使输出部23的扬声器输出在步骤S32的处理中取得的声音。控制部28可以从输出部23的多个扬声器之中,适当选择输出声音的扬声器。例如,在显示器24显示的二维图像中描绘化身32。控制部28从设置在显示器24的周围的多个扬声器之中,将所描绘的化身32附近的扬声器选择为输出声音的扬声器,以便从所描绘的化身32附近输出声音。
在执行了步骤S39的处理之后,控制部28返回到步骤S31的处理。控制部28反复执行步骤S31~S39的处理,例如直至不再从终端装置20A发送编码数据或者虚拟事件结束为止。
在第2次以后的步骤S34、S35的处理中,控制部28基于第1用户3A的运动数据和与该运动数据同步的第1用户3A的插图的数据,移动如图6所示的化身32。控制部28如同化身32在虚拟屏幕33上描画第1用户3A的插图那样在移动化身32同时在虚拟屏幕33上描绘插图。控制部28可以如同化身32在虚拟屏幕33上描画第1用户3A的插图那样实时地在移动化身32同时,在虚拟屏幕33上描绘插图。通过实时地移动化身32等,第1用户3A和第2用户3B能够实时地取得交流。
这样,通过步骤S39的处理,如图6所示的虚拟空间30的二维图像显示在终端装置20B的显示器24。通过这样的结构,对于第2用户3B,经由终端装置20B的显示器24,看上去如同第1用户3A正以面对第2用户3B的状态在终端装置20B的显示器24描画插图。因此,第2用户3B能够感觉如同正隔着玻璃看第1用户3A描画插图的姿势及该插图。因此,第1用户3A和第2用户3B能够共享插图及描画插图的姿势。
另外,在步骤S33的处理中,化身32的外观根据第1用户3A的拍摄图像的数据生成,由此第2用户3B能够感觉如同第1用户3A自身正在描画插图。通过这样的结构,能够提高用户间的交流。
另外,通过步骤S37的处理,将在虚拟屏幕33上描绘的插图所包含的字符以从虚拟摄像机31看是可读取的方式反转。通过这样的结构,在终端装置20B的显示器24显示虚拟空间30的二维图像时,从第2用户3B看,字符可读取。因此,能够提高第2用户3B的便利性。因此,能够提供将字符适当地显示给用户的技术。
以下,说明本实施方式的变形例。
在上述的步骤S33的处理中,控制部28也可以根据角色的图像的数据生成化身32的外观。在该情况下,控制部28通过对多边形模型施加使用了角色的图像的数据的纹理映射,根据角色的图像的数据生成化身32的外观。通过根据角色的图像的数据生成化身32的外观,能够提高游戏性。因此,能够提高用户间的交流。
在上述的步骤S34的处理中,控制部28也可以在虚拟空间30配置如图6所示的虚拟对象34,代替化身32。在该情况下,控制部28在虚拟摄像机31和虚拟对象34之间配置虚拟屏幕33。控制部28也可以通过映入到第1用户3A的拍摄图像的对象,生成虚拟对象34。或者,控制部28也可以将预定的对象用作虚拟对象34。即使代替化身32而使用虚拟对象34,第2用户3B也能够对在终端装置20B的显示器24显示的虚拟空间30的二维图像感觉到深度。第2用户3B通过对在显示器24显示的二维图像感觉到深度,能够感觉如同正隔着玻璃看在显示器24显示的第1用户3A的插图。
在上述的步骤S37的处理中,控制部28也可以基于通过输入部22接受的第2用户3B的操作输入,将在虚拟屏幕33上描绘的插图所包含的字符以从虚拟摄像机31看是可读取的方式反转。作为一例,控制部28可以通过与显示器24一体设置的输入部22的触摸屏,接受第2用户3B对于显示器24的字符部分的触摸操作。控制部28如果接受该触摸操作,则可以将在虚拟屏幕33上描绘的插图所包含的字符以从虚拟摄像机31看是可读取的方式反转。通过这样的结构,第2用户3B能够在期望的时机反转显示器24显示的字符。
虽然已经基于诸附图及实施例说明了本公开,但是应当注意,如果是本领域技术人员,则可以基于本公开进行各种各样的变形及改变。因此,应留意,这些变形及改变包含在本公开的范围内。例如,各构成部分或各步骤等所包含的功能等能够以逻辑上不矛盾的方式重新配置,能够将多个构成部分或步骤等组合成1个或者进行分割。
例如,在上述的实施方式中,说明了显示装置为显示器。然而,显示装置不限定于显示器。作为其他例子,显示装置也可以是投影仪。在显示装置是投影仪的情况下,控制部28可以通过测距传感器26取得第1用户3A的运动数据及插图的数据这两者。第1用户3A在描画插图时移动,由此能够根据第1用户3A的运动数据,推测并取得第1用户3A的插图的数据。
例如,终端装置20的控制部28也可以不执行图5所示的步骤S36、S37的处理。在该情况下,例如在反复执行的步骤S34、S35的处理中,终端装置20B的控制部28可以基于第1用户3A的运动数据来移动化身32。控制部28可以如同化身32在虚拟屏幕33上描画第1用户3A的插图那样,在移动化身32同时在虚拟屏幕33上描绘第1用户3A的插图。通过这样的结构,如上所述,第2用户3B能够感觉如同正隔着玻璃看第1用户3A描画插图的姿势及该插图。因此,第1用户3A和第2用户3B能够共享插图及描画插图的姿势。
例如,在上述的实施方式中,说明了终端装置20A和终端装置20B经由服务器装置10实施虚拟事件。然而,终端装置20A和终端装置20B也可以不经由服务器装置10实施虚拟事件。作为一例,终端装置20A和终端装置20B也可以在用P2P(Peer to Peer,点对点)型的架构连接的状态下实施虚拟事件。
例如,也能够是将通用的计算机作为上述实施方式的终端装置20发挥功能的实施方式。具体地,将记述了实现上述实施方式的终端装置20的各功能的处理内容的程序保存在通用的计算机的存储器中,由处理器读出该程序并执行。因此,本公开也实现为处理器能够执行的程序或者存储该程序的非暂时性计算机可读介质。

Claims (13)

1.一种终端装置,具备:控制部,该控制部使在虚拟空间内的虚拟屏幕上描绘的第1用户的插图所包含的字符以从虚拟摄像机看是可读取的方式反转。
2.根据权利要求1所述的终端装置,
所述控制部使所述插图所包含的字符按单词为单位或按语句为单位以从所述虚拟摄像机看是可读取的方式反转。
3.根据权利要求1或2所述的终端装置,还具备输入部,
所述控制部基于通过所述输入部接受的第2用户的操作输入,使所述插图所包含的字符以从所述虚拟摄像机看是可读的方式反转。
4.根据权利要求1至3中的任一项所述的终端装置,还具备通信部,
所述控制部
通过所述通信部接收所述第1用户的运动数据和与所述运动数据同步的所述插图的数据,
如同所述第1用户的化身在所述虚拟屏幕上描画所述第1用户的插图那样,基于接收的所述运动数据移动所述化身的同时,在所述虚拟屏幕上描绘所述插图。
5.根据权利要求4所述的终端装置,
所述控制部在所述虚拟空间内在所述虚拟摄像机和所述化身或虚拟对象之间配置所述虚拟屏幕。
6.根据权利要求4或5所述的终端装置,
所述控制部通过所述通信部接收所述第1用户的拍摄图像的数据,
所述控制部根据所述第1用户的拍摄图像的数据生成所述化身的外观。
7.根据权利要求4或5所述的终端装置,
所述控制部根据角色的图像的数据生成所述化身的外观。
8.根据权利要求4至7中的任一项所述的终端装置,
所述控制部实时地如同所述化身在所述虚拟屏幕上描画所述插图那样,移动所述化身的同时,在所述虚拟屏幕上描绘所述插图。
9.根据权利要求1至8中的任一项所述的终端装置,
所述控制部生成从所述虚拟摄像机看被投影到所述虚拟屏幕的所述虚拟空间的二维图像,使生成的所述二维图像显示在显示装置。
10.根据权利要求9所述的终端装置,
所述显示装置是显示器,
所述第1用户的运动数据通过测距传感器取得,
所述第1用户的插图的数据根据对于其他显示器的触摸屏的触摸操作而取得。
11.根据权利要求9或10所述的终端装置,
所述控制部基于与所述显示装置相向的第2用户的视线,决定所述虚拟摄像机的朝向。
12.一种终端装置的动作方法,包含:
使在虚拟空间内的虚拟屏幕上描绘的第1用户的插图所包含的字符以从虚拟摄像机看是可读取的方式反转。
13.一种非暂时性计算机可读取介质,存储程序,
所述程序使计算机执行包含以下的动作:
使在虚拟空间内的虚拟屏幕上描绘的第1用户的插图所包含的字符以从虚拟摄像机看是可读取的方式反转。
CN202310318726.9A 2022-03-29 2023-03-29 终端装置、终端装置的动作方法及非暂时性计算机可读取介质 Pending CN116893764A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-054397 2022-03-29
JP2022054397A JP2023146940A (ja) 2022-03-29 2022-03-29 端末装置、端末装置の動作方法及びプログラム

Publications (1)

Publication Number Publication Date
CN116893764A true CN116893764A (zh) 2023-10-17

Family

ID=88193154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310318726.9A Pending CN116893764A (zh) 2022-03-29 2023-03-29 终端装置、终端装置的动作方法及非暂时性计算机可读取介质

Country Status (3)

Country Link
US (1) US20230316612A1 (zh)
JP (1) JP2023146940A (zh)
CN (1) CN116893764A (zh)

Also Published As

Publication number Publication date
JP2023146940A (ja) 2023-10-12
US20230316612A1 (en) 2023-10-05

Similar Documents

Publication Publication Date Title
US11423509B2 (en) Method and apparatus for displaying face of virtual role, computer device, and readable storage medium
US20240214513A1 (en) Method and apparatus for controlling a plurality of virtual characters, device, and storage medium
WO2015188614A1 (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
JP6684952B1 (ja) コンテンツ配信装置、コンテンツ配信プログラム、コンテンツ配信方法、コンテンツ表示装置、コンテンツ表示プログラムおよびコンテンツ表示方法
WO2022021631A1 (zh) 交互控制方法、终端设备及存储介质
WO2019082366A1 (ja) 会議システム
JP2023100616A (ja) コンテンツ配信装置、コンテンツ配信プログラム、コンテンツ配信方法、コンテンツ表示装置、コンテンツ表示プログラムおよびコンテンツ表示方法
CN116893764A (zh) 终端装置、终端装置的动作方法及非暂时性计算机可读取介质
US20230247383A1 (en) Information processing apparatus, operating method of information processing apparatus, and non-transitory computer readable medium
US20230196680A1 (en) Terminal apparatus, medium, and method of operating terminal apparatus
US20240129439A1 (en) Terminal apparatus
US20240121359A1 (en) Terminal apparatus
US20230386096A1 (en) Server apparatus, system, and operating method of system
US20240127769A1 (en) Terminal apparatus
CN117857771A (zh) 终端装置
US20230186581A1 (en) Terminal apparatus, method of operating terminal apparatus, and system
US20230196703A1 (en) Terminal apparatus, method of operating terminal apparatus, and system
JP2024095387A (ja) 端末装置及び端末装置の動作方法
JP2024044908A (ja) 方法、プログラム、及び端末装置
JP2024059030A (ja) 端末装置、画像表示方法、及びプログラム
CN115605835A (zh) 显示设备与终端设备的交互方法、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination