CN114415828A - 一种基于增强现实的远程查看车辆的方法和装置 - Google Patents
一种基于增强现实的远程查看车辆的方法和装置 Download PDFInfo
- Publication number
- CN114415828A CN114415828A CN202111620206.0A CN202111620206A CN114415828A CN 114415828 A CN114415828 A CN 114415828A CN 202111620206 A CN202111620206 A CN 202111620206A CN 114415828 A CN114415828 A CN 114415828A
- Authority
- CN
- China
- Prior art keywords
- data stream
- augmented reality
- action
- vehicle
- reality data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 203
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000000875 corresponding effect Effects 0.000 claims abstract description 115
- 230000009471 action Effects 0.000 claims description 165
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 abstract description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007306 functionalization reaction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例提供了一种基于增强现实的远程查看车辆的方法和装置，涉及互联网领域，该方法包括：现场设备采集世界环境数据流，并基于所述世界环境数据流生成第一增强现实数据流，并向所述远程设备发送所述第一增强现实数据流，以使得所述远程设备基于所述第一增强现实数据流生成用户协作数据流；接收所述用户协作数据流，然后基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流，并向所述远程设备发送所述第二增强现实数据流。这样，用户不仅可以远程查看真实的车辆，而不是虚拟的车辆模型，又可以对车辆进行真实的操作，提高了用户体验，而且，整个过程不需要人工参与，大大节省了运营成本。
Description
技术领域
本发明涉及互联网技术领域，特别是涉及一种基于增强现实的远程查看车辆的方法和一种基于增强现实的远程查看车辆的装置。
背景技术
车辆的产品离不开展示，平均而言，消费者在签下购车合同前三个月就已经开始了他们的购车之旅，结合当代车辆消费者的消费习惯，线上数字化消费场景贯穿整个车辆消费客户旅程。
现有的远距离看车方式，其中一种是AR(Augmented Reality，增强现实)看车。具体为，打开AR相机，在真实世界找一个平面，防止预先设计好的车辆3D模型，如图1所示。附加的，针对3D模型添加一些事件交互，比如点击AR车辆模型车门，就打开车门，点击后备箱，就打开模型的车辆后备箱，如图2所示。
但是，这种方案的本质仅仅是展示一个3D模型，用户体验不高。
另外一种远程看车方式是直播看车，远程和现场建立视频连接，远程用户可以通过实时视频看到现场的真实车辆。
但是，这种方案需要主播主导，通过主播设计的路线移动视频摄像头，来给远程用户展示现场的车辆。这种方式人工成本高，依赖主播的现场操作，难以满足不同用户个性化的看车需求，比如按照远程用户的需求来动态改变摄像头。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于增强现实的远程查看车辆的方法和相应的一种基于增强现实的远程查看车辆的装置。
为了解决上述问题，本发明实施例公开了一种基于增强现实的远程查看车辆的方法，所述方法包括：
采集世界环境数据流，并基于所述世界环境数据流生成第一增强现实数据流；
向所述远程设备发送所述第一增强现实数据流，以使得所述远程设备基于所述第一增强现实数据流生成用户协作数据流；
接收所述用户协作数据流；
基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流；
向所述远程设备发送所述第二增强现实数据流。
在一个或多个实施例中，所述基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流，包括：
识别所述用户协作数据流中的动作参数；
若所述动作参数为打开/关闭车门，则根据所述用户协作数据流中的动作参数值中的车门标识打开/关闭对应的车门；
采集所述打开/关闭对应的车门时的增强现实数据流。
在一个或多个实施例中，所述基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流，包括：
识别所述用户协作数据流中的动作参数；
若所述动作参数为打开/关闭后备箱，则打开/关闭所述后备箱；所述用户协作数据流中的动作参数对应的动作参数值为空；
采集所述打开/关闭所述后备箱时的增强现实数据流。
在一个或多个实施例中，所述基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流，包括：
识别所述用户协作数据流中的动作参数；
若所述动作参数为移动镜头，则根据所述用户协作数据流中的动作参数值中的移动方向值和移动距离值来移动镜头；
采集所述移动镜头时的增强现实数据流。
在一个或多个实施例中，在所述采集世界环境数据流之前，还包括：
将所述远程设备中的增强现实终端设备为多用户操作模式。
在一个或多个实施例中，所述向所述远程设备发送所述第一增强现实数据流，包括：
采用预设帧率向所述远程设备发送所述第一增强现实数据流；
所述向所述远程设备发送所述第二增强现实数据流，包括：
采用预设帧率向所述远程设备发送所述第二增强现实数据流。
相应的，本发明实施例还公开了一种基于增强现实的远程查看车辆的方法，所述方法包括：
接收现场设备发送的第一增强现实数据流；
响应于针对所述第一增强现实数据流对应的画面执行的手势动作，生成对应的用户协作数据流；所述用户协作数据流包括动作参数和动作参数值；
将所述用户协作数据流发送至所述现场设备；以使得所述现场设备基于所述用户协作数据流采集得到第二增加现实数据流；
接收所述第二增强现实数据流；
展示所述第二增强现实数据流。
在一个或多个实施例中，所述响应于针对所述第一增强现实数据对应的画面执行的手势动作，生成对应的用户协作数据，包括：
确定出在所述第一增强现实数据流对应的画面中执行所述手势动作的坐标，以及，所述坐标在所述第一增强现实数据流对应的画面中的对应区域；
识别所述手势动作，得到所述手势动作在所述对应区域对应的动作参数和动作参数值；
基于所述动作参数和所述动作参数值生成用户协作数据流。
相应的，本发明实施例公开了一种基于增强现实的远程查看车辆的装置，所述装置包括：
采集模块，用于采集世界环境数据流，并基于所述世界环境数据流生成第一增强现实数据流；
第一发送模块，用于向所述远程设备发送所述第一增强现实数据流，以使得所述远程设备基于所述第一增强现实数据流生成用户协作数据流；
第一接收模块，用于接收所述用户协作数据流；
处理模块，用于基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流；
所述第一发送模块，还用于向所述远程设备发送所述第二增强现实数据流。
在一个或多个实施例中，所述处理模块，包括：
第一识别子模块，用于识别所述用户协作数据流中的动作参数；
执行子模块，用于若所述动作参数为打开/关闭车门，则根据所述用户协作数据流中的动作参数值中的车门标识打开/关闭对应的车门；
采集子模块，用于采集所述打开/关闭对应的车门时的增强现实数据流。
在一个或多个实施例中，所述处理模块，包括：
所述第一识别子模块，还用于识别所述用户协作数据流中的动作参数；
所述执行子模块，还用于若所述动作参数为打开/关闭后备箱，则打开/ 关闭所述后备箱；所述用户协作数据流中的动作参数对应的动作参数值为空；
所述采集子模块，还用于采集所述打开/关闭所述后备箱时的增强现实数据流。
在一个或多个实施例中，所述处理模块，包括：
所述第一识别子模块，还用于识别所述用户协作数据流中的动作参数；
所述执行子模块，还用于若所述动作参数为移动镜头，则根据所述用户协作数据流中的动作参数值中的移动方向值和移动距离值来移动镜头；
所述采集子模块，还用于采集所述移动镜头时的增强现实数据流。
在一个或多个实施例中，还包括：
设置模块，用于在所述采集世界环境数据流之前，将所述远程设备中的增强现实终端设备为多用户操作模式。
在一个或多个实施例中，所述第一发送模块，具体用于：
采用预设帧率向所述远程设备发送所述第一增强现实数据流；
以及，
采用预设帧率向所述远程设备发送所述第二增强现实数据流。
相应的，本发明实施例还公开了一种基于增强现实的远程查看车辆的装置，所述装置包括：
第二接收模块，用于接收现场设备发送的第一增强现实数据流；
生成模块，用于响应于针对所述第一增强现实数据流对应的画面执行的手势动作，生成对应的用户协作数据流；所述用户协作数据流包括动作参数和动作参数值；
第二发送模块，用于将所述用户协作数据流发送至所述现场设备；以使得所述现场设备基于所述用户协作数据流采集得到第二增加现实数据流；
所述第二接收模块，还用于接收所述第二增强现实数据流；
展示模块，用于展示所述第二增强现实数据流。
在一个或多个实施例中，所述生成模块，包括：
确定子模块，用于确定出在所述第一增强现实数据流对应的画面中执行所述手势动作的坐标，以及，所述坐标在所述第一增强现实数据流对应的画面中的对应区域；
第二识别子模块，用于识别所述手势动作，得到所述手势动作在所述对应区域对应的动作参数和动作参数值；
生成子模块，用于基于所述动作参数和所述动作参数值生成用户协作数据流。
相应的，本发明实施例公开了一种电子设备，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于增强现实的远程查看车辆的方法实施例的各个步骤。
相应的，本发明实施例公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现上述基于增强现实的远程查看车辆的方法实施例的各个步骤。
本发明实施例包括以下优点：
现场设备采集世界环境数据流，并基于所述世界环境数据流生成第一增强现实数据流，并向所述远程设备发送所述第一增强现实数据流，以使得所述远程设备基于所述第一增强现实数据流生成用户协作数据流；接收所述用户协作数据流，然后基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流，并向所述远程设备发送所述第二增强现实数据流。这样，用户不仅可以远程查看真实的车辆，而不是虚拟的车辆模型，又可以对车辆进行真实的操作，提高了用户体验，而且，整个过程不需要人工参与，大大节省了运营成本。
附图说明
图1是现有AR看车的示意图一；
图2是现有AR看车的示意图二；
图3是本发明的一种基于增强现实的远程查看车辆的方法实施例一的步骤流程图；
图4A～4B是本发明的现场设备的布局示意图；
图5是本发明的一种基于增强现实的远程查看车辆的方法实施例二的步骤流程图；
图6是本发明的一种基于增强现实的远程查看车辆的装置实施例的结构框图一；
图7是本发明的一种基于增强现实的远程查看车辆的装置实施例的结构框图二。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例的核心构思之一在于，现场设备采集世界环境数据流，并基于所述世界环境数据流生成第一增强现实数据流，并向所述远程设备发送所述第一增强现实数据流，以使得所述远程设备基于所述第一增强现实数据流生成用户协作数据流；接收所述用户协作数据流，然后基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流，并向所述远程设备发送所述第二增强现实数据流。这样，用户不仅可以远程查看真实的车辆，而不是虚拟的车辆模型，又可以对车辆进行真实的操作，提高了用户体验，而且，整个过程不需要人工参与，大大节省了运营成本。
参照图3，示出了本发明的一种基于增强现实的远程查看车辆的方法实施例一的步骤流程图，该方法应用于现场设备，现场设备可以是与车辆处于同一个空间的设备，现场设备包括但不限于AR终端、机械装置。
其中，AR终端可以是具备AR相关基础功能的终端。AR基础功能包括在AR终端下能自动对真实世界的物体进行识别、在真实世界加入虚拟模型并交互等。比如，AR相机、头戴式AR硬件等。在本发明实施例中，对AR 终端的具体形式不作限制，可以根据实际需求进行设置，本发明实施例对此不作限制。
机械装置用于根据远程设备的动作指令对车辆执行对应的动作，包括但不限于：打开/关闭车门、打开/关闭后备箱、启动、加油、挂档、熄火等等。
进一步，现场设备的数量可以是一个，也可以是多个。比如，如图4A 所示的现场设备布局，在车辆周边部署了4个现场设备，以便用户在远程设备中能够切换视角，从不同角度查看车辆。再比如，如图4B所示的现场设备布局，在车辆设置部署了1个现场设备，通过操控现场设备绕车辆移动一周的方式也能达到从不同角度看车辆的目的。所以，在实际应用中，现场设备的数量可以根据实际需求进行设置，本发明实施例对此不作限制。为方便描述，本发明实施例以1个现场设备为例进行详细说明。
更进一步，在将现场设备与远程设备建立连接之前，可以将现场设备中的AR终端设置为多用户操作模式，在该模式下，现场设备能够向远程设备共享AR终端，在整个共享的过程中，除了实时的AR终端下的数据传输，远程设备在AR终端下的操作能够传输到现场设备，然后操作现场真实世界中的车辆。
需要说明的是，在本发明实施例中，AR终端与普通终端的区别在于， AR终端封装了终端下真实世界物体的识别能力，能够标注真实世界物体的坐标，也能基于坐标将某一个虚拟物体放置在真实世界物体上。而如果远程设备和现场设备只是传输普通的数据流，那么就无法实现。
该方法具体可以包括如下步骤：
步骤301，采集世界环境数据流，并基于所述世界环境数据流生成第一增强现实数据流；
具体而言，现场设备中的AR设备设置为多用户操作模式并处于工作状态时，可以采集世界环境数据流，其中，世界环境数据流包括但不限于：真实环境中的车辆信息、AR三维世界坐标系数据等等。然后将世界环境数据流进行封装，即可得到增强现实数据(为方便区分，记为第一增强现实数据)。
步骤302，向所述远程设备发送所述第一增强现实数据流，以使得所述远程设备基于所述第一增强现实生成用户协作数据流；
具体而言，在得到第一增强现实数据之后，将该第一增强现实数据发送至远程设备即可，远程设备接收到第一增强现实数据流生成用户协作数据流。其中，用户协作数据流的具体生成方式会在后方中详述。
步骤303，接收所述用户协作数据流；
具体而言，现场设备与远程设备可以进行点对点连接，不需要通过中间设备，所以，现场设备可以直接接收远程设备发送的用户协作数据流。其中，用户协作数据流包括但不限于：用户手势动作的动作参数和该动作参数对应的动作参数值。
其中，动作参数可以是现场设备需要执行的动作，动作参数值可以是执行的具体量。比如，动作参数可以是移动，动作参数值可以是方向值和距离值。
步骤304，基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流；
现场设备在获取到用户协作数据流后，可以基于其中的动作参数和动作参数值执行对应的动作，同时，实时采集在执行动作的过程中的增强现实数据流。
在本发明实施例中，所述基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流，包括：
识别所述用户协作数据流中的动作参数；
若所述动作参数为打开/关闭车门，则根据所述用户协作数据流中的动作参数值中的车门标识打开/关闭对应的车门；
采集所述打开/关闭对应的车门时的增强现实数据流。
具体而言，在接收到用户协作数据流中后，可以对其中的动作参数进行识别，若动作参数为打开/关闭车门，则获取动作参数值中的车门标识，比如，左前、左后、右前、右后，然后通过现场设备中的机械装置打开/关闭与车门标识对应的车门，同时，从接收到动作参数和动作参数值开始，实时采集打开/关闭车门过程中的所有图像。
在本发明实施例中，所述基于所述动作参数和所述动作参数值，执行对应的动作，并采集在对所述车辆执行对应的动作时的增强现实数据流，包括：
识别所述用户协作数据流中的动作参数；
若所述动作参数为打开/关闭后备箱，则打开/关闭所述后备箱；所述用户协作数据流中的动作参数对应的动作参数值为空；
采集所述打开/关闭所述后备箱时的增强现实数据流。
具体而言，在接收到用户协作数据流后，可以对其中的动作参数进行识别，若动作参数为打开/关闭后备箱，则通过现场设备中的机械装置打开/关闭后备箱，同时，从接收到动作参数和动作参数值开始，实时采集打开/关闭后备箱过程中的所有图像。
需要说明的是，由于后备箱是唯一的，所以，可以将针对后备箱的动作参数值设置为空。当然，在实际应用中，在不影响现场设备执行动作的情况下，可以根据实际需求将该动作参数值设置为其它值，本发明实施例对此不作限制。
在本发明实施例中，所述基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流，包括：
识别所述用户协作数据流中的动作参数；
若所述动作参数为移动镜头，则根据所述用户协作数据流中的动作参数值中的移动方向值和移动距离值来移动镜头；
采集所述移动镜头时的增强现实数据流。
具体而言，在接收到用户协作数据流后，可以对其中的动作参数进行识别，若动作参数为移动镜头，则获取动作参数值中的移动方向值和移动距离值，然后根据该移动方向值和移动距离值来移动镜头(也就是现场设备中的 AR终端)，同时，从接收到动作参数和动作参数值开始，实时采集打开/关闭车门过程中的所有图像。
步骤305，向所述远程设备发送所述第二增强现实数据流。
在采集到第二增强现实数据流后，将第二增强现实数据流直接发送给远程设备，远程设备即可将第二增强现实数据流展示给用户。
在本发明实施例中，所述向所述远程设备发送所述第一增强现实数据流，包括：
采用预设帧率向所述远程设备发送所述第一增强现实数据流；
所述向所述远程设备发送所述第二增强现实数据流，包括：
采用预设帧率向所述远程设备发送所述第二增强现实数据流。
具体而言，为了保证远程设备与现场设备的数据传输的实时性，需要以非常高的帧率进行增强现实数据流的传输，所以，在发送第一增强现实数据流和第二增强现实数据流时，可以采用预设的帧率进行发送。
在本发明实施例中，现场设备采集世界环境数据流，并基于所述世界环境数据流生成第一增强现实数据流，并向所述远程设备发送所述第一增强现实数据流，以使得所述远程设备基于所述第一增强现实数据流生成用户协作数据流；接收所述用户协作数据流，然后基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流，并向所述远程设备发送所述第二增强现实数据流。这样，用户不仅可以远程查看真实的车辆，而不是虚拟的车辆模型，又可以对车辆进行真实的操作，提高了用户体验，而且，整个过程不需要人工参与，大大节省了运营成本。
参照图5，示出了本发明的一种基于增强现实的远程查看车辆的方法实施例二的步骤流程图，该方法可以应用于远程设备，该远程设备可以具有如下特点：
(1)在硬件体系上，设备具备中央处理器、存储器、输入部件和输出部件，也就是说，设备往往是具备通信功能的微型计算机设备。另外，还可以具有多种输入方式，诸如键盘、鼠标、触摸屏、送话器和摄像头等，并可以根据需要进行调整输入。同时，设备往往具有多种输出方式，如受话器、显示屏等，也可以根据需要进行调整；
(2)在软件体系上，设备必须具备操作***，如Windows Mobile、 Symbian、Palm、Android、iOS等。同时，这些操作***越来越开放，基于这些开放的操作***平台开发的个性化应用程序层出不穷，如通信簿、日程表、记事本、计算器以及各类游戏等，极大程度地满足了个性化用户的需求；
(3)在通信能力上，设备具有灵活的接入方式和高带宽通信性能，并且能根据所选择的业务和所处的环境，自动调整所选的通信方式，从而方便用户使用。设备可以支持3GPP(3rd Generation Partnership Project，第三代合作伙伴计划)、4GPP(4rd GenerationPartnership Project，***合作伙伴计划)、5GPP(5rd Generation PartnershipProject，第五代合作伙伴计划)、LTE (Long Term Evolution，长期演进)、WIMAX(WorldInteroperability for Microwave Access，全球微波接入互操作性)的移动通信、基于TCP/IP (Transmission Control Protocol/Internet Protocol，传输控制协议/网际协议)、 UDP(User Datagram Protocol，用户数据报协议)协议的计算机网络通信以及基于蓝牙、红外传输标准的近距无线传输方式，不仅支持语音业务，更支持多种无线数据业务；
(4)在功能使用上，设备更加注重人性化、个性化和多功能化。随着计算机技术的发展，设备从“以设备为中心”的模式进入“以人为中心”的模式，集成了嵌入式计算、控制技术、人工智能技术以及生物认证技术等，充分体现了以人为本的宗旨。由于软件技术的发展，设备可以根据个人需求调整设置，更加个性化。同时，设备本身集成了众多软件和硬件，功能也越来越强大。
该方法具体可以包括如下步骤：
步骤501，接收现场设备发送的第一增强现实数据流；
具体而言，现场设备与远程设备建立连接，并且现场设备中的AR设置为多用户操作模式后，远程设备可以接收现场设备发送的第一增强现实数据流。
步骤502，响应于针对所述第一增强现实数据流对应的画面执行的手势动作，生成对应的用户协作数据流；所述用户协作数据流包括动作参数和动作参数值；
当远程设备检测到用户对展示的第一增强现实数据流对应的画面执行的手势动作时，即可生成与该手势动作对应的动作参数和动作参数值，并生成用户协作数据流。
在本发明实施例中，所述响应于针对所述第一增强现实数据对应的画面执行的手势动作，生成对应的用户协作数据，包括：
确定出在所述第一增强现实数据流对应的画面中执行所述手势动作的坐标，以及，所述坐标在所述第一增强现实数据流对应的画面中的对应区域；
识别所述手势动作，得到所述手势动作在所述对应区域对应的动作参数和动作参数值；
基于所述动作参数和所述动作参数值生成用户协作数据流。
具体而言，当检测到手势动作时，可以确定出在第一增强现实数据流对应的画面中执行所述手势动作的坐标，以及，该坐标在第一增强现实数据流对应的画面中的对应区域，也就是确定出用户是针对第一增强现实数据流对应的画面中的哪个区域执行的手势动作。然后识别该手势动作，得到该手势动作在该对应区域对应的动作参数和动作参数值。其中，手势动作和对应区域、动作参数、动作参数值的对应关系可以如表1所示：
表1
需要说明的是，在本发明实施例中，可以预设屏幕上滑动值与实际值的映射关系，当手势动作为滑动、放大、缩小等时，可以根据映射关系计算出现场设备执行动作的具体参数值。比如，假设1个像素映射2厘米，当用户在远程终端的屏幕上滑动10个像素时，现场设备对应移动20厘米。
或者，也可以根据屏幕上滑动前的坐标与滑动后的坐标计算出现场设备移动前的空间坐标和移动后的空间坐标，然后将现场设备移动到该移动后的空间坐标即可。
当然，除了上述方式之外，还可以通过其它方式移动现场设备，在实际应用中可以根据实际需求进行设置，本发明实施例对此不作限制。
进一步，在识别点击车门和后备箱时，可以采用训练完成的学习模型进行识别。该学习模型可以识别第一增强现实数据流对应的画面中的车门区域和后备箱区域，当检测到手势动作时，检测该手势动作的坐标是否在车门区域或后备箱区域。
步骤502，将所述用户协作数据流发送至所述现场设备；以使得所述现场设备基于所述用户协作数据流采集得到第二增加现实数据流；
步骤503，接收所述现场设备发送的第二增强现实数据流；
确定出动作参数和动作参数值之后，将动作参数和动作参数值发送至现场设备，以使得现场设备根据动作参数和动作参数值执行对应的动作，并在执行动作的过程中，采集得到第二增强现实数据流，并将增强现实数据流发送至远程设备。其中，现场设备执行上述步骤具体可参考步骤101～步骤105，为避免重复，在此就不赘述了。
步骤504，展示所述增强现实数据流。
远程设备在接收到增强现实数据流后，展示给用户即可。
需要说明的是，为保证用户体验，远程设备向现场设备发送动作参数和动作参数值时可以缩短传输频率。这样，用户在远程设备中执行一个手势动作的过程中，实时同步执行过程中的动作参数和动作参数值。比如，用户在远程设备的屏幕中从左到右滑动一次，为避免滑动停止后才发送动作参数和动作参数值，可以在用户滑动的过程中以最快的传输频率发送动作参数和动作参数值。
相应的，用户在执行手势动作的过程中，也会实时接收现场设备发送的增强现实数据流并进行展示，所以，第一增强现实数据流对应的画面也是采用增强现实数据流实时更新的，并不是在用户执行手势动作结束后，才展示从现场设备接收到的增强现实数据流。
在本发明实施例中，远程设备接收现场设备发送的第一增强现实数据流；响应于针对所述第一增强现实数据流对应的画面执行的手势动作，生成对应的用户协作数据流；所述用户协作数据流包括动作参数和动作参数值；将所述用户协作数据流发送至所述现场设备；以使得所述现场设备基于所述用户协作数据流采集得到第二增加现实数据流；接收所述第二增强现实数据流；展示所述第二增强现实数据流。这样，用户不仅可以远程查看真实的车辆，而不是虚拟的车辆模型，又可以对车辆进行真实的操作，提高了用户体验，而且，整个过程不需要人工参与，大大节省了运营成本。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图6，示出了本发明的一种基于增强现实的远程查看车辆的装置实施例一的结构框图，具体可以包括如下模块：
采集模块601，用于采集世界环境数据流，并基于所述世界环境数据流生成第一增强现实数据流；
第一发送模块602，用于向所述远程设备发送所述第一增强现实数据流，以使得所述远程设备基于所述第一增强现实数据流生成用户协作数据流；
第一接收模块603，用于接收所述用户协作数据流；
处理模块604，用于基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流；
所述第一发送模块，还用于向所述远程设备发送所述第二增强现实数据流。
在本发明实施例中，所述处理模块，包括：
第一识别子模块，用于识别所述用户协作数据流中的动作参数；
执行子模块，用于若所述动作参数为打开/关闭车门，则根据所述用户协作数据流中的动作参数值中的车门标识打开/关闭对应的车门；
采集子模块，用于采集所述打开/关闭对应的车门时的增强现实数据流。
在本发明实施例中，所述处理模块，包括：
所述第一识别子模块，还用于识别所述用户协作数据流中的动作参数；
所述执行子模块，还用于若所述动作参数为打开/关闭后备箱，则打开/ 关闭所述后备箱；所述用户协作数据流中的动作参数对应的动作参数值为空；
所述采集子模块，还用于采集所述打开/关闭所述后备箱时的增强现实数据流。
在本发明实施例中，所述处理模块，包括：
所述第一识别子模块，还用于识别所述用户协作数据流中的动作参数；
所述执行子模块，还用于若所述动作参数为移动镜头，则根据所述用户协作数据流中的动作参数值中的移动方向值和移动距离值来移动镜头；
所述采集子模块，还用于采集所述移动镜头时的增强现实数据流。
在本发明实施例中，还包括：
设置模块，用于在所述采集世界环境数据流之前，将所述远程设备中的增强现实终端设备为多用户操作模式。
在本发明实施例中，所述第一发送模块，具体用于：
采用预设帧率向所述远程设备发送所述第一增强现实数据流；
以及，
采用预设帧率向所述远程设备发送所述第二增强现实数据流。
参照图7，示出了本发明的一种基于增强现实的远程查看车辆的装置实施例二的结构框图，具体可以包括如下模块：
第二接收模块701，用于接收现场设备发送的第一增强现实数据流；
生成模块702，用于响应于针对所述第一增强现实数据流对应的画面执行的手势动作，生成对应的用户协作数据流；所述用户协作数据流包括动作参数和动作参数值；
第二发送模块703，用于将所述用户协作数据流发送至所述现场设备；以使得所述现场设备基于所述用户协作数据流采集得到第二增加现实数据流；
所述第二接收模块，还用于接收所述第二增强现实数据流；
展示模块704，用于展示所述第二增强现实数据流。
在本发明实施例中，所述生成模块，包括：
确定子模块，用于确定出在所述第一增强现实数据流对应的画面中执行所述手势动作的坐标，以及，所述坐标在所述第一增强现实数据流对应的画面中的对应区域；
第二识别子模块，用于识别所述手势动作，得到所述手势动作在所述对应区域对应的动作参数和动作参数值；
生成子模块，用于基于所述动作参数和所述动作参数值生成用户协作数据流。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备，包括：
包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述基于增强现实的远程查看车辆的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述基于增强现实的远程查看车辆的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种基于增强现实的远程查看车辆的方法和一种基于增强现实的远程查看车辆的装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (12)
1.一种基于增强现实的远程查看车辆的方法，其特征在于，所述方法包括：
采集世界环境数据流，并基于所述世界环境数据流生成第一增强现实数据流；
向所述远程设备发送所述第一增强现实数据流，以使得所述远程设备基于所述第一增强现实数据流生成用户协作数据流；
接收所述用户协作数据流；
基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流；
向所述远程设备发送所述第二增强现实数据流。
2.根据权利要求1所述的基于增强现实的远程查看车辆的方法，其特征在于，所述基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流，包括：
识别所述用户协作数据流中的动作参数；
若所述动作参数为打开/关闭车门，则根据所述用户协作数据流中的动作参数值中的车门标识打开/关闭对应的车门；
采集所述打开/关闭对应的车门时的增强现实数据流。
3.根据权利要求1所述的基于增强现实的远程查看车辆的方法，其特征在于，所述基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流，包括：
识别所述用户协作数据流中的动作参数；
若所述动作参数为打开/关闭后备箱，则打开/关闭所述后备箱；所述用户协作数据流中的动作参数对应的动作参数值为空；
采集所述打开/关闭所述后备箱时的增强现实数据流。
4.根据权利要求1所述的基于增强现实的远程查看车辆的方法，其特征在于，所述基于所述用户协作数据流执行对应的动作，并采集在对所述车辆执行对应的动作时的第二增强现实数据流，包括：
识别所述用户协作数据流中的动作参数；
若所述动作参数为移动镜头，则根据所述用户协作数据流中的动作参数值中的移动方向值和移动距离值来移动镜头；
采集所述移动镜头时的增强现实数据流。
5.根据权利要求1所述的基于增强现实的远程查看车辆的方法，其特征在于，在所述采集世界环境数据流之前，还包括：
将所述远程设备中的增强现实终端设备为多用户操作模式。
6.根据权利要求1所述的基于增强现实的远程查看车辆的方法，其特征在于，所述向所述远程设备发送所述第一增强现实数据流，包括：
采用预设帧率向所述远程设备发送所述第一增强现实数据流；
所述向所述远程设备发送所述第二增强现实数据流，包括：
采用预设帧率向所述远程设备发送所述第二增强现实数据流。
7.一种基于增强现实的远程查看车辆的方法，其特征在于，所述方法包括：
接收现场设备发送的第一增强现实数据流；
响应于针对所述第一增强现实数据流对应的画面执行的手势动作，生成对应的用户协作数据流；所述用户协作数据流包括动作参数和动作参数值；
将所述用户协作数据流发送至所述现场设备；以使得所述现场设备基于所述用户协作数据流采集得到第二增加现实数据流；
接收所述第二增强现实数据流；
展示所述第二增强现实数据流。
8.根据权利要求7所述的基于增强现实的远程查看车辆的方法，其特征在于，所述响应于针对所述第一增强现实数据对应的画面执行的手势动作，生成对应的用户协作数据，包括：
确定出在所述第一增强现实数据流对应的画面中执行所述手势动作的坐标，以及，所述坐标在所述第一增强现实数据流对应的画面中的对应区域；
识别所述手势动作，得到所述手势动作在所述对应区域对应的动作参数和动作参数值；
基于所述动作参数和所述动作参数值生成用户协作数据流。
9.一种基于增强现实的远程查看车辆的装置，其特征在于，所述装置包括：
第一接收模块，用于接收远程设备发送的用于远程查看车辆的动作参数和对应的动作参数值；
处理模块，用于基于所述动作参数和所述动作参数值，执行对应的动作，并采集在对所述车辆执行对应的动作时的增强现实数据流；
第一发送模块，用于向所述远程设备发送所述增强现实数据流。
10.一种基于增强现实的远程查看车辆的装置，其特征在于，所述装置包括：
生成模块，用于响应于针对第一增强现实数据流对应的画面执行的手势动作，生成对应的动作参数和动作参数值；
第二发送模块，用于将所述动作参数和所述动作参数值发送至现场设备；
第二接收模块，用于接收所述现场设备发送的增强现实数据流；
展示模块，用于展示所述增强现实数据流。
11.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1～8中任一项所述基于增强现实的远程查看车辆的方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1～8中任一项所述基于增强现实的远程查看车辆的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111620206.0A CN114415828A (zh) | 2021-12-27 | 2021-12-27 | 一种基于增强现实的远程查看车辆的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111620206.0A CN114415828A (zh) | 2021-12-27 | 2021-12-27 | 一种基于增强现实的远程查看车辆的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114415828A true CN114415828A (zh) | 2022-04-29 |
Family
ID=81269413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111620206.0A Pending CN114415828A (zh) | 2021-12-27 | 2021-12-27 | 一种基于增强现实的远程查看车辆的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114415828A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114791766A (zh) * | 2022-05-16 | 2022-07-26 | 上海邻里邻外信息科技有限公司 | 一种基于ar设备的操作方法、装置、介质及设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105975232A (zh) * | 2016-05-06 | 2016-09-28 | 深圳市吾悦科技有限公司 | 增强现实实时交互***及方法 |
| WO2017020132A1 (en) * | 2015-08-04 | 2017-02-09 | Yasrebi Seyed-Nima | Augmented reality in vehicle platforms |
| CN110025952A (zh) * | 2019-04-10 | 2019-07-19 | 深圳真会玩网络游戏有限公司 | 玩具赛车远程控制方法、装置和服务器 |
| WO2020229841A1 (en) * | 2019-05-15 | 2020-11-19 | Roborace Limited | A metaverse data fusion system |
| CN112509152A (zh) * | 2020-12-17 | 2021-03-16 | 重庆实唯信息技术有限公司 | 一种基于ar技术的看车方法、***、设备及可读介质 |
| CN112667179A (zh) * | 2020-12-18 | 2021-04-16 | 北京理工大学 | 一种基于混合现实的远程同步协作*** |
| CN112667139A (zh) * | 2020-12-11 | 2021-04-16 | 深圳市越疆科技有限公司 | 基于增强现实的机器人操作方法、装置、设备和存储介质 |
| US20210150236A1 (en) * | 2019-11-18 | 2021-05-20 | Lg Electronics Inc. | Remote control method of the vehicle and a mixed reality device and a vehicle |
| US11079753B1 (en) * | 2018-01-07 | 2021-08-03 | Matthew Roy | Self-driving vehicle with remote user supervision and temporary override |
| CN213938189U (zh) * | 2020-10-13 | 2021-08-10 | 中联重科股份有限公司 | 基于混合现实技术的无盲区远程操控***及工程车辆 |
-
2021
- 2021-12-27 CN CN202111620206.0A patent/CN114415828A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017020132A1 (en) * | 2015-08-04 | 2017-02-09 | Yasrebi Seyed-Nima | Augmented reality in vehicle platforms |
| CN105975232A (zh) * | 2016-05-06 | 2016-09-28 | 深圳市吾悦科技有限公司 | 增强现实实时交互***及方法 |
| US11079753B1 (en) * | 2018-01-07 | 2021-08-03 | Matthew Roy | Self-driving vehicle with remote user supervision and temporary override |
| CN110025952A (zh) * | 2019-04-10 | 2019-07-19 | 深圳真会玩网络游戏有限公司 | 玩具赛车远程控制方法、装置和服务器 |
| WO2020229841A1 (en) * | 2019-05-15 | 2020-11-19 | Roborace Limited | A metaverse data fusion system |
| US20210150236A1 (en) * | 2019-11-18 | 2021-05-20 | Lg Electronics Inc. | Remote control method of the vehicle and a mixed reality device and a vehicle |
| CN213938189U (zh) * | 2020-10-13 | 2021-08-10 | 中联重科股份有限公司 | 基于混合现实技术的无盲区远程操控***及工程车辆 |
| CN112667139A (zh) * | 2020-12-11 | 2021-04-16 | 深圳市越疆科技有限公司 | 基于增强现实的机器人操作方法、装置、设备和存储介质 |
| CN112509152A (zh) * | 2020-12-17 | 2021-03-16 | 重庆实唯信息技术有限公司 | 一种基于ar技术的看车方法、***、设备及可读介质 |
| CN112667179A (zh) * | 2020-12-18 | 2021-04-16 | 北京理工大学 | 一种基于混合现实的远程同步协作*** |
Non-Patent Citations (1)
| Title |
|---|
| 张燕翔 等: "舞台展演交互式空间增强现实技术", vol. 978, 31 August 2018, 合肥：中国科学技术大学出版社, pages: 12 - 17 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114791766A (zh) * | 2022-05-16 | 2022-07-26 | 上海邻里邻外信息科技有限公司 | 一种基于ar设备的操作方法、装置、介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111556278B (zh) | 一种视频处理的方法、视频展示的方法、装置及存储介质 | |
| CN106791893A (zh) | 视频直播方法及装置 | |
| CN110662083A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN112199016B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN109582122B (zh) | 增强现实信息提供方法、装置及电子设备 | |
| US9076345B2 (en) | Apparatus and method for tutoring in convergence space of real and virtual environment | |
| US20150244984A1 (en) | Information processing method and device | |
| CN111435422B (zh) | 动作识别方法、控制方法及装置、电子设备和存储介质 | |
| CN113194254A (zh) | 图像拍摄方法及装置、电子设备和存储介质 | |
| WO2016110009A1 (zh) | 投影设备的控制方法、***及装置 | |
| CN112783700A (zh) | 用于基于网络的远程辅助***的计算机可读介质 | |
| CN113259583B (zh) | 一种图像处理方法、装置、终端及存储介质 | |
| CN114387445A (zh) | 对象关键点识别方法及装置、电子设备和存储介质 | |
| CN110149476A (zh) | 一种延时摄影方法、装置、***及终端设备 | |
| CN108171222B (zh) | 一种基于多流神经网络的实时视频分类方法及装置 | |
| CN114415828A (zh) | 一种基于增强现实的远程查看车辆的方法和装置 | |
| CN113014960A (zh) | 一种在线制作视频的方法、装置及存储介质 | |
| CN111045586B (zh) | 基于三维场景的界面切换方法、车机设备及车辆 | |
| CN112887601B (zh) | 拍摄方法、装置及电子设备 | |
| CN102612205B (zh) | 一种控制可视光源的方法、终端及视频会议*** | |
| CN114266305A (zh) | 对象识别方法及装置、电子设备和存储介质 | |
| CN107657235A (zh) | 基于增强现实的识别方法及装置 | |
| CN110069138B (zh) | 物联网设备的控制方法及设备 | |
| CN105843372A (zh) | 相对位置判断方法、显示器控制方法、及其*** | |
| CN205081896U (zh) | 增强现实讲解设施的芯片 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |