CN111047710B - 虚拟现实***及交互设备显示方法和计算机可读存储介质 - Google Patents
虚拟现实***及交互设备显示方法和计算机可读存储介质 Download PDFInfo
- Publication number
- CN111047710B CN111047710B CN201911237521.8A CN201911237521A CN111047710B CN 111047710 B CN111047710 B CN 111047710B CN 201911237521 A CN201911237521 A CN 201911237521A CN 111047710 B CN111047710 B CN 111047710B
- Authority
- CN
- China
- Prior art keywords
- point
- interactive
- virtual reality
- reality system
- observation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 150
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000003993 interaction Effects 0.000 claims abstract description 109
- 239000003550 marker Substances 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明公开了一种基于虚拟现实***的交互设备显示方法，基于虚拟现实***的交互设备显示方法包括以下步骤：接收多个交互设备发射的第一信号以及观测设备发射的第二信号；根据各个第一信号确定每个交互设备中各个标记点所在的第一位置，且根据第二信号确定观测设备上的观测点所在的第二位置，其中，各个标记点以及观测点均设有信号发射装置；根据第二位置以及各个第一位置确定每个交互设备的各个标记点在显示屏上的投影点，并根据各个第一信号确定每个交互设备的空间模型；根据每个交互设备对应的空间模型以及各个投影点，将各个交互设备立体显示在显示屏上。本发明还公开一种虚拟现实***和计算机可读存储介质。本发明虚拟现实***适用范围较大。
Description
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种虚拟现实***及交互设备和计算机可读存储介质。
背景技术
随着计算机仿真技术的发展，虚拟现实技术(VR，Virtual Reality)的沉浸效果也在逐步提升。虚拟现实技术主要依赖于三维实时图形显示、三维定位跟踪、触觉及嗅觉传感技术、人工智能技术、高速计算与并行计算技术以及人的行为学研究等多项关键技术的发展。随着虚拟现实技术的发展，真正地实现虚拟现实，将引起整个人类生活与发展的很大变革。
目前的虚拟现实技术的应用场景仅限于单个交互设备与虚拟现实设备进行交互，导致虚拟现实设备的适用范围小。
发明内容
本发明的主要目的在于提供一种虚拟现实***及交互设备和计算机可读存储介质，旨在解决虚拟现实设备的适用范围小的问题。
为实现上述目的，本发明提供一种基于虚拟现实***的交互设备显示方法，虚拟现实***包括显示屏，所述显示屏包括信号接收装置，所述基于虚拟现实***的交互设备显示方法包括以下步骤：
接收多个交互设备发射的第一信号以及观测设备发射的第二信号，不同的交互设备发射的第一信号不同；
根据各个所述第一信号确定每个所述交互设备中各个标记点所在的第一位置，且根据所述第二信号确定所述观测设备上的观测点所在的第二位置，其中，各个所述标记点以及所述观测点均设有信号发射装置；
根据所述第二位置以及各个所述第一位置确定每个所述交互设备的各个标记点在所述显示屏上的投影点，并根据各个所述第一信号确定每个所述交互设备的空间模型；
根据每个所述交互设备对应的空间模型以及各个所述投影点，将各个所述交互设备立体显示在所述显示屏上。
在一实施例中，各个所述信号发射装置发射光信号，所述根据各个所述第一信号确定每个所述交互设备中各个标记点所在的第一位置，且根据所述第二信号确定所述观测设备上的观测点所在的第二位置的步骤包括：
根据各个所述第一信号对每个所述交互设备进行图像采集以得到每个所述交互设备对应的第一图像，且根据所述第二信号对所述观测设备进行图像采集以得到所述观测设备对应的第二图像；
确定各个所述第一图像以及所述第二图像中的反光点所在的位置；
将所述第一图像中各个反光点的位置作为所述第一图像对应的交互设备中各个标记点的第一位置，且将所述第二图像中的反光点的位置作为所述观测设备上的观测点的第二位置。
在一实施例中，所述依次各个根据所述第一信号确定每个所述交互设备中各个标记点所在的第一位置，且根据所述第二信号确定所述观测设备上的观测点所在的第二位置的步骤包括：
确定各个所述第一信号的第一参数以及所述第二信号的第二参数，所述第一参数以及所述第二参数包括信号强度；
根据各个所述第一参数确定每个所述交互设备中各个标记点所在的第一位置，且根据所述第二参数确定所述观测设备上的观测点的第二位置。
在一实施例中，所述根据各个所述第一信号确定每个所述交互设备的空间模型的步骤包括：
获取各个所述第一信号的第三参数，所述第三参数包括第一信号的类型、第一信号的波长以及第一信号的发射频率中的至少一种；
将所述第三参数对应的空间模型作为所述第三参数对应的交互设备的空间模型。
在一实施例中，所述根据各个所述第一信号确定每个所述交互设备的空间模型的步骤包括：
根据各个所述第一信号对每个所述交互设备进行图像采集以得到第三图像；
对每个所述第三图像进行识别，以确定每个所述第三图像对应的交互设备的空间模型。
在一实施例中，所述根据所述第二位置以及各个所述第一位置确定每个所述交互设备的各个标记点在所述显示屏上的投影点的步骤包括：
将所述第二位置所在的点与每个所述交互设备对应的各个第一位置所在的点依次连接以得到多条连接线；
将各条所述连接线向所述显示屏延伸，以得到延伸的各条所述连接线与所述显示屏的交点；
将所述交互设备对应的各个交点，确定为所述交互设备中各个标记点在所述显示屏的投影点。
在一实施例中，所述交互设备包括交互笔以及力反馈手套。
为实现上述目的，本发明还提供一种虚拟现实***，所述虚拟现实***包括显示屏、存储器、处理器以及存储在所述存储器并可在所述处理器上运行的交互设备显示程序，所述显示屏包括信号接收装置，所述信号接收装置以及所述显示屏与所述处理器连接，所述交互设备显示程序被所述处理器执行时实现如上所述的基于虚拟现实***的交互设备显示方法的各个步骤。
在一实施例中，所述虚拟现实***还包括观测设备和多个交互设备，所述交互设备设有多个标记点，且各个所述标记点设有信号发射装置，所述观测设备设有观测点，且所述观测点设有信号发射装置。
为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括交互设备显示程序，所述交互设备显示程序被处理器执行时实现如上所述的基于虚拟现实***的交互设备显示方法的各个步骤。
本发明提供的虚拟现实***及交互设备和计算机可读存储介质，虚拟现实***接收多个交互设备发射的不同的第一信号以及观测设备发射的第二信号，并根据各个第一信号确定每个交互设备中各个标记点所在的第一位置且根据第二信号确定观测设备上的观测点的第二位置，再根据第二位置以及各个第一位置确定每个交互设备中各个标记点在显示屏上的投影点且根据各个第一信号确定每一个交互设备的空间模型，最后通过每个交互设备对应的空间模型以及各个投影点将各个交互设备显示在显示屏上。由于虚拟现实***可以根据信号的不同区分出不同的交互设备，使得多个交互设备显示在显示屏上，也即虚拟现实***支持多个交互设备的交互，从而使得虚拟现实***支持双手操作以及多人操作等交互场景，虚拟现实***适用范围较大。
附图说明
图1为本发明实施例涉及的虚拟现实***的硬件结构示意图；
图2为本发明基于虚拟现实***的交互设备显示方法第一实施例的流程示意图；
图3为本发明交互设备在虚拟现实***中显示屏上显示的立体图像的示意图；
图4为本发明基于虚拟现实***的交互设备显示方法第二实施例的流程示意图；
图5为本发明基于虚拟现实***的交互设备显示方法第三实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种解决方案：接收多个交互设备发射的第一信号以及观测设备发射的第二信号，不同的交互设备发射的第一信号不同；根据各个所述第一信号确定每个所述交互设备中各个标记点所在的第一位置，且根据所述第二信号确定所述观测设备上的观测点所在的第二位置，其中，各个所述标记点以及所述观测点均设有信号发射装置；根据所述第二位置以及各个所述第一位置确定每个所述交互设备的各个标记点在所述显示屏上的投影点，并根据各个所述第一信号确定每个所述交互设备的空间模型；根据每个所述交互设备对应的空间模型以及各个所述投影点，将各个所述交互设备立体显示在所述显示屏上。
由于虚拟现实***可以根据信号的不同区分出不同的交互设备，使得多个交互设备显示在显示屏上，也即虚拟现实***支持多个交互设备的交互，从而使得虚拟现实***支持双手操作以及多人操作等交互场景，虚拟现实***适用范围较大。
如图1所示，图1是本发明实施例方案涉及的虚拟现实***的硬件结构示意图。
如图1所示，虚拟现实***可以包括：处理器1001，例如中央处理器(CPU)，通信总线1002、用户接口1003，存储器1005，显示屏1006，显示屏1006上设有信号接收装置。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)，可选用户接口1003还可以包括标准的有线接口以及无线接口，而用户接口1003的有线接口在本发明中可为通用串行总线(Universal Serial Bus，USB)接口。存储器1005可以是高速随机存取存储器(RAM)；也可以是稳定的存储器，比如，非易失存储器，具体可为，磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
进一步的，虚拟现实***还包括多个交互设备以及观测设备，交互设备上设有多个标记点，且观测设备设有观测点，标记点以及观测点设有对应的信号发射装置。
本领域技术人员可以理解，图1中示出的结构并不构成对虚拟现实***的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括：操作***、网络通信模块、用户接口模块、以及交互设备显示程序。在图1中，网络通信模块主要用于与连接客户端，与客户端进行数据通信，而处理器1001可以用于调用存储器1005中存储的交互设备显示程序，并执行以下操作：
接收多个交互设备发射的第一信号以及观测设备发射的第二信号，不同的交互设备发射的第一信号不同；
根据各个所述第一信号确定每个所述交互设备中各个标记点所在的第一位置，且根据所述第二信号确定所述观测设备上的观测点所在的第二位置，其中，各个所述标记点以及所述观测点均设有信号发射装置；
根据所述第二位置以及各个所述第一位置确定每个所述交互设备的各个标记点在所述显示屏上的投影点，并根据各个所述第一信号确定每个所述交互设备的空间模型；
根据每个所述交互设备对应的空间模型以及各个所述投影点，将各个所述交互设备立体显示在所述显示屏上。
在一实施例中，处理器1001可以用于调用存储器1005中存储的交互设备显示程序，并执行以下操作：
根据各个所述第一信号对每个所述交互设备进行图像采集以得到每个所述交互设备对应的第一图像，且根据所述第二信号对所述观测设备进行图像采集以得到所述观测设备对应的第二图像；
确定各个所述第一图像以及所述第二图像中的反光点所在的位置；
将所述第一图像中各个反光点的位置作为所述第一图像对应的交互设备中各个标记点的第一位置，且将所述第二图像中的反光点的位置作为所述观测设备上观测点的第二位置。
在一实施例中，处理器1001可以用于调用存储器1005中存储的交互设备显示程序，并执行以下操作：
确定各个所述第一信号的第一参数以及所述第二信号的第二参数，所述第一参数以及所述第二参数包括信号强度；
根据各个所述第一参数确定每个所述交互设备中各个标记点所在的第一位置，且根据所述第二参数确定所述观测设备上的观测点的第二位置。
在一实施例中，处理器1001可以用于调用存储器1005中存储的交互设备显示程序，并执行以下操作：
将所述第二位置所在的点与每个所述交互设备对应的各个第一位置所在的点依次连接以得到多条连接线；
将各条所述连接线向所述显示屏延伸，以得到延伸的各条所述连接线与所述显示屏的交点；
将所述交互设备对应的各个交点，确定为所述交互设备中各个标记点在所述显示屏的投影点。
在一实施例中，处理器1001可以用于调用存储器1005中存储的交互设备显示程序，并执行以下操作：
获取各个所述第一信号的第三参数，所述第三参数包括第一信号的类型、第一信号的波长以及第一信号的发射频率中的至少一种；
将所述第三参数对应的空间模型作为所述第三参数对应的交互设备的空间模型。
在一实施例中，处理器1001可以用于调用存储器1005中存储的交互设备显示程序，并执行以下操作：
根据各个所述第一信号对每个所述交互设备进行图像采集以得到第三图像；
对每个所述第三图像进行识别，以确定每个所述第三图像对应的交互设备的空间模型。
在一实施例中，处理器1001可以用于调用存储器1005中存储的交互设备显示程序，并执行以下操作：
所述交互设备包括交互笔以及力反馈手套。
本实施例根据上述方案，虚拟现实***接收多个交互设备发射的不同的第一信号以及观测设备发射的第二信号，并根据各个第一信号确定每个交互设备中各个标记点所在的第一位置且根据第二信号确定观测设备上的观测点的第二位置，再根据第二位置以及各个第一位置确定每个交互设备中各个标记点在显示屏上的投影点且根据各个第一信号确定每一个交互设备的空间模型，最后通过每个交互设备对应的空间模型以及各个投影点将各个交互设备显示在显示屏上。由于虚拟现实***可以根据信号的不同区分出不同的交互设备，使得多个交互设备显示在显示屏上，也即虚拟现实***支持多个交互设备的交互，从而使得虚拟现实***支持双手操作以及多人操作等交互场景，虚拟现实***适用范围较大。
基于上述虚拟现实***的硬件构架，提出本发明基于虚拟现实***的交互设备显示方法的各个实施例。
参照图2，图2为本发明基于虚拟现实***的交互设备显示方法的第一实施例，所述基于虚拟现实***的交互设备显示方法包括以下步骤：
步骤S10，接收多个交互设备发射的第一信号以及观测设备发射的第二信号，不同的交互设备发射的第一信号不同；
在本实施例中，虚拟现实***包括显示屏，显示屏上设有信号接收装置。信号接收装置用于接收交互设备以及观测设备发射的信号。交互设备包括但不限于交互笔以及力反馈手套。观测设备为带有3D眼镜的可穿戴设备。用户在佩戴观测设备后，可手持两个交互笔与显示屏上显示的器官图像进行医学解剖；也可一只手穿戴力反馈手套，另一只手持有交互笔与显示屏显示的图像进行交互。
交互设备上设有多个标记点，每一个标记点设有对应的信号发射装置。观测设备上的观测点也设有信号发射装置。虚拟现实***通过信号接收装置接收交互设备发射的第一信号以及观测设备发射的第二信号。
需要说明的是，不同的交互设备所发射的第一信号不同，不同的第一信号可以是信号的类型不同，例如，交互笔A发射的信号为光信号、交互笔B发射的是数字信号；此外，不同的第一信号可以是信号的波长或者频率不同，例如，交互笔A发射的信号的波长为850nm，交互笔A发射的信号的波长为950nm。交互设备上有多个信号发射装置，每个信号发射装置发射的第一信号相同。故虚拟现实***可以根据接收的第一信号的不同，确定不同的交互设备。例如，虚拟现实***接收到三种第一信号，即可确定有三个交互设备。
可以理解的是，不同的交互设备以及观测设备所发射的信号不同，使得虚拟现实***可以确定多个交互设备以及观测设备。例如，虚拟现实***接收到波长为850nm的信号、波长为950nm为信号以及波长为750nm的信号，即可根据波长为850nm的信号确定交互笔A、根据波长为950nm的信号确定交互笔B以及根据波长为750nm的信号确定观测设备。
步骤S20，根据各个所述第一信号确定每个所述交互设备中各个标记点所在的第一位置，且根据所述第二信号确定所述观测设备上的观测点所在的第二位置，其中，各个所述标记点以及所述观测点均设有信号发射装置；
虚拟现实***可以根据各个第一信号确定交互设备上各个标记点所在的位置，且可根据第二信号确定观测点所在的位置。具体的，虚拟现实***确定每一个第一信号的第一参数以及第二信号的第二参数，第一参数以及第二参数包括信号强度。虚拟现实***可以根据信号强度确定各个信号发射装置所在的位置，也即虚拟现实***根据各个第一参数以及第二参数确定每一个交互设备中各个标记点所在的第一位置以及观测点所在的第二位置。分属同一交互设备的第一信号的类型、波长或者频率相同，故，虚拟现实***将相同类型、波长或频率的第一信号确定为一个交互设备上的各个标记点发射的信号。由此，虚拟现实***可确定每一个交互设备中各个标记点所在的第一位置以及观测设备上观测点所在的第二位置。
需要说明的是，第一位置以及第二位置可以以空间坐标进行表征，且第一位置以及第二位置对应的空间坐标位于同一空间坐标系中。
步骤S30，根据所述第二位置以及各个所述第一位置确定每个所述交互设备的各个标记点在所述显示屏上的投影点，并根据各个所述第一信号确定每个所述交互设备的空间模型；
虚拟现实***在确定第二位置以及各个第一位置后，确定每一个交互设备上的标记点在显示屏上的投影点。具体的，虚拟现实***将第二位置所在的点以及每个交互设备对应的各个第一位置所在的点依次连接，得到多条连接线；虚拟现实***再将每一条连接线向显示屏延伸，使得延伸的连接线与显示屏交叉，得到每一条延伸的连接线与显示屏的交点，交点即为标记点在显示屏上的投影点。
此外，虚拟现实***可以根据第一信号的参数确定每个交互设备的空间模型，该参数为第三参数，第三参数包括第一信号的波长以及第一信号的发射频率中的至少一种。例如，第一信号的波长为850nm，则交互设备为交互笔，空间模型即为笔；在第一信号为波长900nm，则交互设备为力反馈手套，空间模型为手。
步骤S40，根据每个所述交互设备对应的空间模型以及各个所述投影点，将各个所述交互设备立体显示在所述显示屏上。
交互设备的空间模型表征交互设备的类型，虚拟现实***可以根据交互设备的类型与该交互设备的各个标记点得到交互设备的实际立体图像。不同类型的交互设备的投影点的连接方式不同，例如，空间模型为交互笔的立体模型，虚拟现实***则获取该交互设备对应的投影点，对各个投影点按照直线连接的方式将各个投影点进行连接，从而构建交互笔的实际立体图像；而在当空间模型为手时，虚拟现实***先确定各个手指以及手掌所对应的投影点，在按照投影点表征的手指的位置对手指对应的各个投影点进行连接，从而构建出穿戴力反馈手套的手的立体图像。
虚拟现实***在得到各个交互设备对应的实际立体图像时，将实际立体图像进行渲染，以显示在显示屏上，从而使得佩戴观测设备的用户能够观看到交互设备在显示屏上显示的立体图像。
参照图3，图3为本实施例中交互设备在显示屏上显示的立体图像，图3中交互设备为第一交互笔以及第二交互笔。
在本实施例提供的技术方案中，虚拟现实***接收多个交互设备发射的不同的第一信号以及观测设备发射的第二信号，并根据各个第一信号确定每个交互设备中各个标记点所在的第一位置且根据第二信号确定观测设备上的观测点的第二位置，再根据第二位置以及各个第一位置确定每个交互设备中各个标记点在显示屏上的投影点且根据各个第一信号确定每一个交互设备的空间模型，最后通过每个交互设备对应的空间模型以及各个投影点将各个交互设备显示在显示屏上。由于虚拟现实***可以根据信号的不同区分出不同的交互设备，使得多个交互设备显示在显示屏上，也即虚拟现实***支持多个交互设备的交互，从而使得虚拟现实***支持双手操作以及多人操作等交互场景，虚拟现实***适用范围较大。
参照图4，图4为本发明基于虚拟现实***的交互设备显示方法的第二实施例，基于第一实施例，所述步骤S20包括：
步骤S21，根据各个所述第一信号对每个所述交互设备进行图像采集以得到每个所述交互设备对应的第一图像，且根据所述第二信号对所述观测设备进行图像采集以得到所述观测设备对应的第二图像；
步骤S22，确定各个所述第一图像以及所述第二图像中的反光点所在的位置；
步骤S23，将所述第一图像中各个反光点的位置作为所述第一图像对应的交互设备中各个标记点的第一位置，且将所述第二图像中的反光点的位置作为所述观测设备上观测点的第二位置。
在本实施例中，虚拟现实***包括图像采集模块，图像采集模块可设置在显示屏上，图像采集模块可为相机。此外，各个信号发射装置发射的信号为光信号，信号发射装置可为发光二极管。
各个交互设备可以分时发射第一信号，也即不同的交互设备发射的第一信号的时间点不同，故而图像采集装置可以分开对第一信号对应的交互设备进行图像的采集，从而得到不同交互设备对应的第一图像以及观测设备对应的第二图像。因交互设备上的各个标记点设有发光二极管，因此，采集的交互设备第一图像中有多个反光点，一个反光点代表一个标记点。第一图像以及第二图像上的各个点具有对应的空间坐标，虚拟现实***可以确定第一图像中各个反光点的空间坐标，空间坐标表示一个位置，虚拟现实***即可将第一图像中的各个反光点的位置确定为第一图像对应的交互设备中各个标记点对应的第一位置，且可将第二图像中的反光点的位置确定为观测点的第二位置。
进一步的，反光点可视为一个光源。故，虚拟现实***可通过不同位置的图像采集模块采集交互设备的第一图像，通过交互设备的不同第一图像确定反光点。具体的，确定交互设备得每一个第一图像的各个反光点，虚拟现实***再从各个第一图像中确定相同空间坐标的反光点，相同空间坐标的反光点即可确定为光源，也即为交互设备真实的标记点，避免因环境光线的影响造成标记点的确定出现误差。
在本实施例提供的技术方案中，交互设备上的标记点以及观测点设有发光二极管，虚拟现实***通过获取交互设备以及观测设备的图像，确定图像中的各个反光点，即可确定交互设备各个标记点所在的位置以及观测设备的观测点所在的位置，从而使得虚拟现实***能够准确显示交互设备的立体图像。
参照图5，图5为本发明基于虚拟现实***的交互设备显示方法的第三实施例，基于第一或第二实施例，所述步骤S30包括：
步骤S31，根据所述第二位置以及各个所述第一位置确定每个所述交互设备的各个标记点在所述显示屏上的投影点；
步骤S32，根据各个所述第一信号对每个所述交互设备进行图像采集以得到第三图像；
步骤S33，对每个所述第三图像进行识别，以确定每个所述第三图像对应的交互设备的空间模型。
在本实施例中，虚拟现实***先确定各个标记点在显示屏上的投影点，确定的流程可参照上述描述，在此不再进行赘述；虚拟现实***再根据各个第一信号确定每个交互设备的空间模型。
具体的，显示屏上设有图像采集模块，虚拟现实***通过第一信号即可确定第一信号对应的交互设备相对显示屏的方位。虚拟现实***控制该方位对应的图像采集模块对该交互设备进行图像采集得到第三图像，或者虚拟现实***控制图像采集模块的采集角度与该方位一致，从而采集交互设备的图像。虚拟现实***能够对第三图像中的交互设备进行识别，交互设备的具体识别可同通过识别模型进行识别，识别模型由交互设备的图像训练得到。或者虚拟现实***中存储有各种交互设备的图像，将第三图像与各种存储的图像进行比对，从而确定第三图像中交互设备。虚拟现实***在识别出交互设备后，即可确定交互设备所对应的空间模型。
在本实施例提供的技术方案中，虚拟现实***通过图像采集模块对第一信号对应的交互设备进行图像采集得到第三图像，再对第三图像进行识别，从而确定第三图像对应的交互设备的空间模型，使得虚拟现实***能够根据空间模型对空间模型对应的交互设备进行精准的显示。
本发明还提供一种虚拟现实***，所述虚拟现实***包括显示屏、存储器、处理器以及存储在所述存储器并可在所述处理器上运行的交互设备显示程序，所述显示屏包括信号接收装置，所述信号接收装置以及所述显示屏与所述处理器连接，所述交互设备显示程序被所述处理器执行时实现如上实施例所述的基于虚拟现实***的交互设备显示方法的各个步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质包括交互设备显示程序，所述交互设备显示程序被处理器执行时实现如上实施例所述的基于虚拟现实***的交互设备显示方法的各个步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于虚拟现实***的交互设备显示方法，其特征在于，虚拟现实***包括显示屏，所述显示屏包括信号接收装置，所述基于虚拟现实***的交互设备显示方法包括以下步骤：
接收多个交互设备发射的第一信号以及观测设备发射的第二信号，不同的交互设备发射的第一信号不同；
根据各个所述第一信号确定每个所述交互设备中各个标记点所在的第一位置，且根据所述第二信号确定所述观测设备上的观测点所在的第二位置，其中，各个所述标记点以及所述观测点均设有信号发射装置；
根据所述第二位置以及各个所述第一位置确定每个所述交互设备的各个标记点在所述显示屏上的投影点，并根据各个所述第一信号确定每个所述交互设备的空间模型；
根据每个所述交互设备对应的空间模型以及各个所述投影点，将各个所述交互设备立体显示在所述显示屏上，其中，各个所述投影点的连接方式包括直线连接和按照投影点表征的位置连接。
2.如权利要求1所述的基于虚拟现实***的交互设备显示方法，其特征在于，各个所述信号发射装置发射光信号，所述根据各个所述第一信号确定每个所述交互设备中各个标记点所在的第一位置，且根据所述第二信号确定所述观测设备上的观测点所在的第二位置的步骤包括：
根据各个所述第一信号对每个所述交互设备进行图像采集以得到每个所述交互设备对应的第一图像，且根据所述第二信号对所述观测设备进行图像采集以得到所述观测设备对应的第二图像；
确定各个所述第一图像以及所述第二图像中的反光点所在的位置；
将所述第一图像中各个反光点的位置作为所述第一图像对应的交互设备中各个标记点的第一位置，且将所述第二图像中的反光点的位置作为所述观测设备上的观测点的第二位置。
3.如权利要求1所述的基于虚拟现实***的交互设备显示方法，其特征在于，所述根据各个所述第一信号确定每个所述交互设备中各个标记点所在的第一位置，且根据所述第二信号确定所述观测设备上的观测点所在的第二位置的步骤包括：
确定各个所述第一信号的第一参数以及所述第二信号的第二参数，所述第一参数以及所述第二参数包括信号强度；
根据各个所述第一参数确定每个所述交互设备中各个标记点所在的第一位置，且根据所述第二参数确定所述观测设备上的观测点的第二位置。
4.如权利要求1所述的基于虚拟现实***的交互设备显示方法，其特征在于，所述根据各个所述第一信号确定每个所述交互设备的空间模型的步骤包括：
获取各个所述第一信号的第三参数，所述第三参数包括第一信号的类型、第一信号的波长以及第一信号的发射频率中的至少一种；
将所述第三参数对应的空间模型作为所述第三参数对应的交互设备的空间模型。
5.如权利要求1所述的基于虚拟现实***的交互设备显示方法，其特征在于，所述根据各个所述第一信号确定每个所述交互设备的空间模型的步骤包括：
根据各个所述第一信号对每个所述交互设备进行图像采集以得到第三图像；
对每个所述第三图像进行识别，以确定每个所述第三图像对应的交互设备的空间模型。
6.如权利要求1所述的基于虚拟现实***的交互设备显示方法，其特征在于，所述根据所述第二位置以及各个所述第一位置确定每个所述交互设备的各个标记点在所述显示屏上的投影点的步骤包括：
将所述第二位置所在的点与每个所述交互设备对应的各个第一位置所在的点依次连接以得到多条连接线；
将各条所述连接线向所述显示屏延伸，以得到延伸的各条所述连接线与所述显示屏的交点；
将所述交互设备对应的各个交点，确定为所述交互设备中各个标记点在所述显示屏的投影点。
7.如权利要求1-6任一项所述的基于虚拟现实***的交互设备显示方法，其特征在于，所述交互设备包括交互笔以及力反馈手套。
8.一种虚拟现实***，其特征在于，所述虚拟现实***包括显示屏、存储器、处理器以及存储在所述存储器并可在所述处理器上运行的交互设备显示程序，所述显示屏包括信号接收装置，所述信号接收装置以及所述显示屏与所述处理器连接，所述交互设备显示程序被所述处理器执行时实现如权利要求1-7任一项所述的基于虚拟现实***的交互设备显示方法的各个步骤。
9.如权利要求8所述的虚拟现实***，其特征在于，所述虚拟现实***还包括观测设备和多个交互设备，所述交互设备设有多个标记点，且各个所述标记点设有信号发射装置，所述观测设备设有观测点，且所述观测点设有信号发射装置。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括交互设备显示程序，所述交互设备显示程序被处理器执行时实现如权利要求1-7任一项所述的基于虚拟现实***的交互设备显示方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911237521.8A CN111047710B (zh) | 2019-12-03 | 2019-12-03 | 虚拟现实***及交互设备显示方法和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911237521.8A CN111047710B (zh) | 2019-12-03 | 2019-12-03 | 虚拟现实***及交互设备显示方法和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111047710A CN111047710A (zh) | 2020-04-21 |
| CN111047710B true CN111047710B (zh) | 2023-12-26 |
Family
ID=70234744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911237521.8A Active CN111047710B (zh) | 2019-12-03 | 2019-12-03 | 虚拟现实***及交互设备显示方法和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111047710B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111736689B (zh) * | 2020-05-25 | 2024-05-28 | 苏州端云创新科技有限公司 | 虚拟现实装置、数据处理方法与计算机可读存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105117111A (zh) * | 2015-09-23 | 2015-12-02 | 小米科技有限责任公司 | 虚拟现实交互画面的渲染方法和装置 |
| CN106980368A (zh) * | 2017-02-28 | 2017-07-25 | 深圳市未来感知科技有限公司 | 一种基于视觉计算及惯性测量单元的虚拟现实交互设备 |
| CN107024995A (zh) * | 2017-06-05 | 2017-08-08 | 河北玛雅影视有限公司 | 多人虚拟现实交互***及其控制方法 |
| CN107479699A (zh) * | 2017-07-28 | 2017-12-15 | 深圳市瑞立视多媒体科技有限公司 | 虚拟现实交互方法、装置及*** |
| CN206961066U (zh) * | 2017-02-28 | 2018-02-02 | 深圳市未来感知科技有限公司 | 一种虚拟现实交互设备 |
| CN108255294A (zh) * | 2017-12-12 | 2018-07-06 | 北京克科技有限公司 | 一种虚拟现实环境中的用户接触反馈***、方法及设备 |
| WO2019019248A1 (zh) * | 2017-07-28 | 2019-01-31 | 深圳市瑞立视多媒体科技有限公司 | 一种虚拟现实交互方法、装置及*** |
| CN109313484A (zh) * | 2017-08-25 | 2019-02-05 | 深圳市瑞立视多媒体科技有限公司 | 虚拟现实交互***、方法及计算机存储介质 |
| CN109671118A (zh) * | 2018-11-02 | 2019-04-23 | 北京盈迪曼德科技有限公司 | 一种虚拟现实多人交互方法、装置及*** |
| CN109710056A (zh) * | 2018-11-13 | 2019-05-03 | 宁波视睿迪光电有限公司 | 虚拟现实交互装置的显示方法及装置 |
| CN109840946A (zh) * | 2017-09-19 | 2019-06-04 | 腾讯科技（深圳）有限公司 | 虚拟对象显示方法及装置 |
-
2019
- 2019-12-03 CN CN201911237521.8A patent/CN111047710B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105117111A (zh) * | 2015-09-23 | 2015-12-02 | 小米科技有限责任公司 | 虚拟现实交互画面的渲染方法和装置 |
| CN106980368A (zh) * | 2017-02-28 | 2017-07-25 | 深圳市未来感知科技有限公司 | 一种基于视觉计算及惯性测量单元的虚拟现实交互设备 |
| CN206961066U (zh) * | 2017-02-28 | 2018-02-02 | 深圳市未来感知科技有限公司 | 一种虚拟现实交互设备 |
| CN107024995A (zh) * | 2017-06-05 | 2017-08-08 | 河北玛雅影视有限公司 | 多人虚拟现实交互***及其控制方法 |
| CN107479699A (zh) * | 2017-07-28 | 2017-12-15 | 深圳市瑞立视多媒体科技有限公司 | 虚拟现实交互方法、装置及*** |
| WO2019019248A1 (zh) * | 2017-07-28 | 2019-01-31 | 深圳市瑞立视多媒体科技有限公司 | 一种虚拟现实交互方法、装置及*** |
| CN109313484A (zh) * | 2017-08-25 | 2019-02-05 | 深圳市瑞立视多媒体科技有限公司 | 虚拟现实交互***、方法及计算机存储介质 |
| CN109840946A (zh) * | 2017-09-19 | 2019-06-04 | 腾讯科技（深圳）有限公司 | 虚拟对象显示方法及装置 |
| CN108255294A (zh) * | 2017-12-12 | 2018-07-06 | 北京克科技有限公司 | 一种虚拟现实环境中的用户接触反馈***、方法及设备 |
| CN109671118A (zh) * | 2018-11-02 | 2019-04-23 | 北京盈迪曼德科技有限公司 | 一种虚拟现实多人交互方法、装置及*** |
| CN109710056A (zh) * | 2018-11-13 | 2019-05-03 | 宁波视睿迪光电有限公司 | 虚拟现实交互装置的显示方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111047710A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107820593B (zh) | 一种虚拟现实交互方法、装置及*** | |
| JP6171079B1 (ja) | 不整合検出システム、複合現実システム、プログラム及び不整合検出方法 | |
| KR101876419B1 (ko) | 프로젝션 기반 증강현실 제공장치 및 그 방법 | |
| US9195302B2 (en) | Image processing system, image processing apparatus, image processing method, and program | |
| KR102114496B1 (ko) | 혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버 | |
| CN105190703A (zh) | 使用光度立体来进行3d环境建模 | |
| CN110738737A (zh) | 一种ar场景图像处理方法、装置、电子设备及存储介质 | |
| CN110520899A (zh) | 标识在环境中的标记的位置 | |
| CN108700939A (zh) | 用于增强现实的***和方法 | |
| CN106062862A (zh) | 用于沉浸式和交互式多媒体生成的***和方法 | |
| CN109117684A (zh) | 用于在双目增强现实设备上选择性扫描的***和方法 | |
| US10444932B2 (en) | Virtual space positioning method and apparatus | |
| CN112652016A (zh) | 点云预测模型的生成方法、位姿估计方法及其装置 | |
| CN111344663B (zh) | 渲染装置及渲染方法 | |
| WO2016166902A1 (en) | Gesture interface | |
| JP2018106661A (ja) | 不整合検出システム、複合現実システム、プログラム及び不整合検出方法 | |
| US11156830B2 (en) | Co-located pose estimation in a shared artificial reality environment | |
| JP2018142090A (ja) | キャラクタ画像生成装置、キャラクタ画像生成方法、プログラム、記録媒体及びキャラクタ画像生成システム | |
| CN105403235A (zh) | 二维空间定位***及方法 | |
| CN111047710B (zh) | 虚拟现实***及交互设备显示方法和计算机可读存储介质 | |
| CN112788443B (zh) | 基于光通信装置的交互方法和*** | |
| CN116091701A (zh) | 三维重建方法、装置、计算机设备及存储介质 | |
| CN116301321A (zh) | 一种智能穿戴设备的控制方法及相关设备 | |
| JP6982203B2 (ja) | キャラクタ画像生成装置、キャラクタ画像生成方法及びプログラム | |
| CN111176445B (zh) | 交互装置的识别方法、终端设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |