CN113448322A - 用于车辆的远程操作方法和***以及存储介质和电子设备 - Google Patents
用于车辆的远程操作方法和***以及存储介质和电子设备 Download PDFInfo
- Publication number
- CN113448322A CN113448322A CN202010221549.9A CN202010221549A CN113448322A CN 113448322 A CN113448322 A CN 113448322A CN 202010221549 A CN202010221549 A CN 202010221549A CN 113448322 A CN113448322 A CN 113448322A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- descriptive information
- remote operation
- objects
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004891 communication Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000009877 rendering Methods 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Engineering & Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开涉及一种用于车辆的远程操作方法,其特征在于,该远程操作方法包括:‑接收来自车辆的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息,其中,所述描述性信息能够由车辆基于所述车辆周围物体的传感器数据确定;‑基于所述车辆位置信息获取与所述车辆相关联的电子地图、尤其是高清地图;‑根据所述描述性信息和所述电子地图生成概念地图;‑显示所述概念地图。另外,本公开涉及相应的用于车辆的远程操作***、计算机可读的存储介质以及电子设备。
Description
技术领域
本公开涉及远程操作技术,特别是涉及用于车辆的远程操作方法和用于车辆的远程操作***以及存储介质和电子设备。
背景技术
目前,越来越多地采用远程操作技术来控制车辆。尤其是例如在车辆的自主***发生故障时或者例如在人类驾驶员无法操作车辆时,采用远程操作技术来接管对车辆的控制。
虚拟现实(VR)技术可改善远程操作。与2D观景相比,当采用3D立体可视化时,可以为用户提供更佳的临场感和交互能力,并且这种显示形式提供更为身临其境的沉浸式体验。
当车辆开到特定地点时,通过VR技术,人们可以感受到所有实时的车辆周围信息,例如行人、车辆、建筑和一些非预期情景。这些优点在用于自动驾驶的基于VR的远程操作中是显而易见的。
但是,基于VR的远程操作具有如下缺点:
当前使用在远程操作中的VR技术基于由摄像机、尤其是球型VR摄像机和其他传感器采集的实时数据。这对所有这些传感器的配置结构有很高的要求,从而VR性能对于不同的感知配置结构变化非常大。
另一方面,由于上传到远程操作终端需要足够的网络带宽和低延时,实时数据传输受到很大束缚。
而且,摄像机的监控范围有限,其无法捕捉车辆周围的完整信息。例如,当在车辆前方存在很高的树时,现有的传感器无法精确地感知树木的高度。这样的信息缺失会对远程操作造成不利影响。
发明内容
有鉴于此,本公开提供了用于车辆的远程操作***和用于远程操作车辆的方法,其可减少或甚至消除现有技术中的上述缺点。
根据本公开的第一方面,提供了一种用于车辆的远程操作方法,其包括:
-接收来自车辆的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息,其中,所述描述性信息能够由车辆基于所述车辆周围物体的传感器数据确定;
-基于所述车辆位置信息获取与所述车辆相关联的电子地图、尤其是高清地图;
-根据所述描述性信息和所述电子地图生成概念地图;
-显示所述概念地图。
因此,由于在远程操作终端与车辆之间传输车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息,所以无需从车辆向远程操作终端传输车辆周围物体的图像和视频,从而避免大量数据传输。因此,不仅节省传输数据空间,而且提高传输效率。而且,由于在显示装置上显示的是概念地图,因此无需在车辆上安装特殊的、专用传感器,如用于三维成像的球型VR摄像机,仅使用车辆上的常规传感器、如标准摄像机即可。因此,根据本公开的用于车辆的远程操作方法有利于远程操作,提高车辆与远程操作者之间的交互能力。
优选地,所述描述性信息可以为文本信息,和/或所述描述性信息可以包括关于所述车辆周围物体的位置、几何形状和尺寸的信息。这些措施可以进一步缩减传输数据的大小,从而节省传输数据空间并且提高传输效率。
优选地,所述车辆周围物体可以是在车辆行驶路径上的障碍物。因此,不必传输车辆周围的所有物体的传感器数据。该措施也可以进一步缩减传输数据的大小,从而节省传输数据空间并且提高传输效率。
优选地,在根据所述描述性信息和所述电子地图生成概念地图时,可以根据所述描述性信息将所述车辆周围物体动态地渲染在所述电子地图中。由此可以简单地且顺畅地产生反映车辆周围环境的假想地图、尤其是三维假想地图,即概念地图。
优选地,在根据所述描述性信息将所述车辆周围物体动态地渲染在所述电子地图中时,可以根据所述车辆周围物体的描述性信息搜索在电子地图中的对应物体,并在电子地图的相应位置中添加该对应物体,和/或可以根据所述车辆周围物体的描述性信息生成所述车辆周围物体的对应模型、尤其是对应框架,并在电子地图的相应位置中添加该对应模型。该措施可以进一步简单地且顺畅地产生反映车辆周围环境的假想地图、尤其是三维假想地图,即概念地图。
优选地,在接收来自车辆的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息之前,可以与车辆建立通信连接;和/或可以命令车辆确定并传输所述描述性信息。
优选地,在显示所述概念地图之后,可以接收用户输入并根据所述用户输入向车辆发送操作信号。
根据本公开的第二方面,提供了一种用于车辆的远程操作***,其包括:
显示装置、尤其是虚拟现实眼镜和/或一个或多个平视显示器,和
用于车辆的远程操作装置,其包括:
-接收模块,其被配置为接收来自车辆的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息,其中,所述描述性信息能够由车辆基于所述车辆周围物体的传感器数据确定;
-获取模块,其被配置为基于所述车辆位置信息获取与所述车辆相关联的电子地图、尤其是高清地图;
-生成模块,其被配置为根据所述描述性信息和所述电子地图生成概念地图;
-显示模块,其被配置为将所述概念地图显示在显示装置上。
在本公开的第三方面中,本公开提供了一种计算机可读的存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行以实现前面所述的按照第一方面的方法。
在本公开的第四方面中,本公开提供了一种电子设备,其可包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述计算机程序被处理器执行以实现前面所述的按照第一方面的方法。
根据本公开的第二至四方面的用于车辆的远程操作***、计算机可读的存储介质以及电子设备也相应地带来与根据本公开的第一方面的用于车辆的远程操作方法相同的优点,在此不再赘述。
总之,通过根据本公开的用于车辆的远程操作方法和用于车辆的远程操作***,可以使用车辆上的标准摄像机来实现VR显示,而无需球型VR摄像机。而且,无需将特定障碍物的图像和视频上传,从而避免大量数据传输。由此,不仅可以节省传输数据空间,而且可以提高传输效率。因此,根据本公开的用于车辆的远程操作方法和用于车辆的远程操作***有利于远程操作,提高车辆与远程操作者之间的交互能力。
附图说明
为使本公开的上述目的、特征和优点能够更为明显易懂,下面结合附图对本公开的具体实施方式做详细的说明。在所述附图中,相同的附图标记表示相同的部件,其中:
图1示出应用用于车辆的远程操作***的一个示例的示意图;
图2示出根据本公开的用于车辆的远程操作***的一个实施例的结构框图;
图3示出根据本公开的用于车辆的远程操作方法的一个实施例的流程图。
具体实施方式
在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。
本公开旨在一种用于车辆的远程操作终端,远程操作者可使用该远程操作终端远程控制车辆。该远程操作终端可设计成用于车辆的远程操作***,以便例如在车辆的自主***发生故障时或者例如在人类驾驶员无法操作车辆时接管对车辆的控制。如图1所示,车辆10可通过网络40与远程操作***20通信,远程操作者30可通过远程操作***20控制车辆10。
就此而言,在本公开的范围内,车辆是能够感测环境并且在没有人为输入的情况下导航的车辆。车辆可以使用各种传感器检测周围环境,并且车辆的控制***可以使用由传感器提供的数据来适当地导航和操纵车辆。例如,车辆可以配备有固定相机,所述固定相机相对于车辆在位置和定向上是固定的,以向可能需要在某些情况下(例如,在车辆的自主***故障期间或在车辆的驾驶员变得无法操作车辆时)接管对车辆的控制的远程操作者提供实时信息馈送。
图2示出根据本公开的用于车辆的远程操作***20的一个实施例的结构框图。该远程操作***20包括显示装置100和用于车辆的远程操作装置200。
通过在显示装置100上显示的信息,远程操作者可以知晓车辆10的周围情况。显示装置100可以实施为如图1所示的远程操作者30所佩戴的虚拟现实眼镜。附加或替代于此,显示装置100也可以实施为一个或多个平视显示器。所述平视显示器可以组合成环绕远程操作者的屏幕,从而可以使远程操作者获得更佳的身临其境感。
通过远程操作装置200可接收信息并变换所接收的信息以输出信息。该远程操作装置200可实施为任意类型的计算装置、计算电路或任意类型的处理器或能够执行存储在存储器中的一系列指令的处理电路。该远程操作装置200可包括多个处理器和/或多核中央处理单元(CPU)并且可包括任意类型的处理器,诸如微处理器、数字信号处理器、微控制器等。该远程操作装置200还可包括存储器以存储数据和/或算法以执行一系列指令。
该远程操作装置200可包括接收模块201、获取模块202、生成模块203和显示模块204。
接收模块201可被配置为接收来自车辆10的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息。
所述描述性信息是非图像形式的信息。这也意味着,所述描述性信息是非视频形式的信息。所述描述性信息尤其可以是文本信息。所述描述性信息可以包括关于所述车辆周围物体的位置、几何形状和尺寸的信息。所述描述性信息也可以包括关于所述车辆周围物体的类型(例如人、树、车等)的信息。替选于此,所述描述性信息是关于所述车辆周围物体的位置、几何形状和尺寸的信息,或者是关于所述车辆周围物体的位置、几何形状和尺寸以及类型的信息。
就此而言,在本公开的范围内,位置可以是绝对位置,也可以是相对位置。位置例如可以使用坐标系表示或使用经纬度表示。
另外,所述描述性信息能够由车辆基于所述车辆周围物体的传感器数据确定。如上所述,车辆可以通过其自身的传感器获取关于车辆周围物体的传感器数据并能够基于这些传感器数据确定所述描述性信息。在本公开的范围内,车辆自身的传感器可以仅包括标准传感器、如常规摄像机,而不必包括特殊的、专用传感器,如用于三维成像的球型VR摄像机。
所述车辆周围物体尤其可以是在车辆行驶路径上的障碍物,而不必包括车辆周围的所有物体。
获取模块202可被配置为基于所述车辆位置信息获取与所述车辆相关联的电子地图、尤其是高清地图。
例如,所述电子地图可以原本就存储在远程操作***20中,或者可以从其他信息源进行下载获得。
生成模块203可被配置为根据所述描述性信息和所述电子地图生成概念地图。
所述概念地图是反映车辆周围环境的假想地图、尤其是三维假想地图。在根据所述描述性信息和所述电子地图生成概念地图时,生成模块203可以根据关于车辆周围物体的描述性信息将相应的车辆周围物体动态地渲染在所述电子地图中。在根据所述描述性信息将所述车辆周围物体动态地渲染在所述电子地图中时,生成模块203可以根据所述车辆周围物体的描述性信息搜索在电子地图中的对应物体,并在电子地图的相应位置中添加该对应物体,和/或根据所述车辆周围物体的描述性信息生成所述车辆周围物体的对应模型、尤其是对应框架,并在电子地图的相应位置中添加该对应模型。这还将在下文详细论述。
显示模块204可被配置为将所述概念地图显示在显示装置100上。
另外,该用于车辆的远程操作装置200还可包括通信模块205,其可被配置为与车辆例如经由网络建立通信连接。当然,远程操作装置200也可能一直与车辆保持通信连接,从而不必建立通信连接。该用于车辆的远程操作装置200还可包括命令模块206,其可被配置为命令车辆确定并传输关于车辆周围物体的描述性信息。
另外,用于车辆的远程操作***20可包括输入装置300、尤其是遥控器。当然,还可远程操作者可以例如经由触摸、语音控制和手势控制等进行输入。与此相关地,用于车辆的远程操作装置200还可包括操作模块207,其可配置为接收来自所述输入装置300的用户输入并根据所述用户输入向车辆10发送操作信号。
以下将结合图1和图3详细描述根据本公开的用于车辆的远程操作***20的工作方式。图3示出根据本公开的用于车辆的远程操作方法的一个实施例的流程图。
在图1的示例中,车辆10例如由于自主***发生故障或者由于人类驾驶员无法对其操作而需要经由远程操作***20由远程操作者30控制。
为此,在步骤SP中,可在远程操作***20与车辆10之间经由网路40建立通信。
在此,车辆10可通过其自身的摄像头获取车辆周围物体的图像并且可对这些数据进行处理,从而得到关于车辆周围物体的描述性信息。在该示例中,车辆10检测到在其行驶路径上的树木50作为车辆周围物体,并且可基于该树木的图像确定树木的位置、几何形状和尺寸以及可选的类型。车辆10可以自动地确定关于车辆周围物体的描述性信息并传输给远程操作***20。也可能的是,远程操作***20命令车辆10确定并传输所述关于车辆周围物体的描述性信息。
在步骤S1中,远程操作***20可接收来自车辆10的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息。所述描述性信息优选以文本形式从车辆10传送到远程操作***20。
在步骤S2中,远程操作***20可基于所述车辆位置信息获取与所述车辆相关联的电子地图、尤其是高清地图。远程操作***20可以从自身存储的电子地图中调取相关电子地图,或者可以从其他数据源下载相关电子地图。
在步骤S3中,远程操作***20可根据所述描述性信息和相关电子地图生成概念地图。此时,根据所述描述性信息将所述车辆周围物体动态地渲染在所述电子地图中。在该示例中,远程操作***20根据树木50的位置、几何形状和尺寸将树木50渲染在电子地图中。
按照一种实施方式,远程操作***20可根据树木50的位置、几何形状和尺寸在电子地图中搜索与树木50对应的对应物体,并在电子地图的相应位置中添加该对应物体。在图1的示例中,由于车辆10没有安装专门的VR摄像机,因此车辆10的传感器的检测范围有限。车辆10上的标准摄像机可以检测到树木50的部分信息,但是无法知晓树木50的完整信息,例如无法知晓整树木50的整个高度。因此,远程操作***20接收到的是树木50的不完整信息。在渲染时,如果在电子地图中的相应位置处搜索到树木501,即可将搜索到的树木501添加或覆盖到电子地图中或者说将搜索到的树木501再次覆盖在电子地图中,因而可在例如VR眼镜中看到完整的树木501。这种方式尤其适用于静态物体、例如建筑物等。
按照另一种实施方式,远程操作***20可根据所述车辆周围物体的描述性信息生成所述车辆周围物体的对应模型、尤其是对应框架,并在电子地图的相应位置中添加该对应模型。例如,远程操作***20可用一个三维框架代表树木50,将其添加或覆盖到电子地图中。在这种情况下,远程操作者30并不能知晓代表树木50的三维框架是什么物体,但是远程操作者30可以了解到在此存在物体或者说障碍物。由此也可以使远程操作者30得知在该相应位置存在阻碍车辆行驶的物体或者说障碍物。
在步骤S4中,远程操作***20可将所述概念地图显示在显示装置上、尤其是显示在远程操作者30所佩戴的VR眼镜上。
在步骤S5中,远程操作者30可基于在显示装置上显示的概念地图利用输入装置进行输入。远程操作***20可接收该用户输入并根据所述用户输入向车辆发送操作信号,由此操作车辆。
因此,根据本公开,在车辆上使用标准传感器来检测物体或行驶路径上的障碍物,并且不必传输物体或障碍物的特定图像。然后,在远程操作***处将物体或障碍物的描述性信息与电子地图相结合,通过在远程操作***中进行渲染和在远程操作者的VR眼镜中进行显示,产生概念地图。由此方便远程操作者对车辆进行控制。
在本公开的范围内,表述“和/或”在本文中使用的含义为,包括该表述之前和之后列出的组件中的至少一个。而且,表述“连接/联接”使用的含义为,包括与另一个组件的直接连接,或通过另一个组件而间接连接。本文中的单数形式也包括复数形式,除非在措辞中特别提及。而且,本文中使用的涉及“包括”或“包含”的组件、步骤、操作和元件的含义为,存在或添加至少一个其他的组件、步骤、操作和元件。
应理解的是,本文中所用的术语“车辆”或“车辆的”或其他类似术语通常包括机动车辆,如包括运动型多用途车辆(SUV)、大客车、大货车、各种商用车辆的乘用车辆,包括各种舟艇、船舶的船只,航空器等,并包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆和其他替代性的燃料车辆(例如,源于除了石油之外的来源的燃料)。在此,混合动力车辆为具有两种或更多种动力源的车辆,例如汽油动力和电力动力两者的车辆。
应理解的是,“网络”是指能够在计算机***和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬接线、无线或硬接线或无线的任何组合)向计算机传递或提供信息时,计算机适当地将连接视为传输介质。传输介质可以包括网络和/或数据链路,其可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码手段并且可以由通用或专用计算机存取。上述组合也应当包括在计算机可读介质的范围内。“通信”可以是根据一种或多种合适的协议、一种或多种标准和/或一种或多种规范的无线通信。所述通信可以基于根据电气和电子工程师协会(IEEE)802.11标准的一种或多种Wi-Fi技术。
此外,本公开还涉及一种计算机可读的存储介质,所述计算机可读的存储介质上存储有上面所述的根据本公开的用于车辆的远程操作方法。
计算机可读的存储介质可以是可保留和存储用于由指令执行设备使用的指令的有形设备。计算机可读的存储介质可以是,例如但不限于,电子存储设备、磁存储设备、光学存储设备、电磁存储设备、半导体存储设备或上述的任何合适的组合。
计算机可读的存储介质可以是机器可读的或者计算机可读的。因此,一些实施例中计算机可读的存储介质包括数据载体,所述数据载体具有可执行的指令,所述可执行的指令能够与可编程的计算机***或者可编程的硬件组件这样配合作用,使得实施在此描述的方法中的一种方法。因此,一种实施例是一种数据载体、一种数字存储介质或者一种计算机可读储存介质,在该数据载体上记录有用于实施在此描述的方法中的一种方法的程序。
本公开还涉及一种电子设备,其包括存储器、处理器及存储在存储器上并可在处理器上运行的上面所述的根据本公开的用于车辆的远程操作方法。
本领域技术人员能够理解,任何包括存储器和处理器并能执行程序的设备都属于本文所称的电子设备,其包括但不限于:手机、笔记本电脑、台式电脑、掌上电脑(PDA)、便携式导航装置、车载式导航装置、平板电脑(PAD)、便携式多媒体播放器、智能手表、可穿戴设备等。
本发明还可以是计算机程序产品。计算机程序产品可以包括其上具有用于使处理器执行本发明的各方面的计算机可读程序指令的计算机可读存储介质。
计算机可读程序指令可以完全在用户的计算机上执行、部分地在用户的计算机上执行、作为独立的软件包执行、部分地在用户的计算机上并且部分地在远程计算机上执行或者完全在远程计算机或服务器上执行。在一些实施例中,包括例如可编程逻辑电路***、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路***可以通过利用个性化电子电路***的计算机可读程序指令的状态信息来执行计算机可读程序指令,以便执行本发明的各方面。
在本申请文件中公开的特征不仅可以单独地而且可以以任意组合的方式对于实施例在不同的设计方案方面的实现来说是重要的并且可以被实现。本发明不限于所示的实施例,而是包括或者延及可落入所附权利要求书的有效范围内的所有技术上的等效物。
Claims (15)
1.一种用于车辆的远程操作方法,其特征在于,该远程操作方法包括:
-接收来自车辆的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息,其中,所述描述性信息能够由车辆基于所述车辆周围物体的传感器数据确定;
-基于所述车辆位置信息获取与所述车辆相关联的电子地图、尤其是高清地图;
-根据所述描述性信息和所述电子地图生成概念地图;
-显示所述概念地图。
2.根据权利要求1所述的远程操作方法,其特征在于,所述描述性信息为文本信息,和/或所述描述性信息包括关于所述车辆周围物体的位置、几何形状和尺寸的信息。
3.根据权利要求1或2所述的远程操作方法,其特征在于,所述车辆周围物体是在车辆行驶路径上的障碍物。
4.根据权利要求1至3之一所述的远程操作方法,其特征在于,在根据所述描述性信息和所述电子地图生成概念地图时,
根据所述描述性信息将所述车辆周围物体动态地渲染在所述电子地图中。
5.根据权利要求4所述的远程操作方法,其特征在于,在根据所述描述性信息将所述车辆周围物体动态地渲染在所述电子地图中时,
根据所述车辆周围物体的描述性信息搜索在电子地图中的对应物体,并在电子地图的相应位置中添加该对应物体,和/或
根据所述车辆周围物体的描述性信息生成所述车辆周围物体的对应模型、尤其是对应框架,并在电子地图的相应位置中添加该对应模型。
6.根据权利要求1至5之一所述的远程操作方法,其特征在于,该远程操作方法还包括:在接收来自车辆的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息之前,
-与车辆建立通信连接;和/或
-命令车辆确定并传输所述描述性信息。
7.根据权利要求1至6之一所述的远程操作方法,其特征在于,该远程操作方法还包括:在显示所述概念地图之后,
-接收用户输入并根据所述用户输入向车辆发送操作信号。
8.一种用于车辆的远程操作***(20),其特征在于,该远程操作***(20)包括:
显示装置(100)、尤其是虚拟现实眼镜和/或一个或多个平视显示器,和
用于车辆的远程操作装置(200),其包括:
-接收模块(201),其被配置为接收来自车辆的车辆位置信息以及关于车辆周围物体的非图像形式的描述性信息,其中,所述描述性信息能够由车辆基于所述车辆周围物体的传感器数据确定;
-获取模块(202),其被配置为基于所述车辆位置信息获取与所述车辆相关联的电子地图、尤其是高清地图;
-生成模块(203),其被配置为根据所述描述性信息和所述电子地图生成概念地图;
-显示模块(204),其被配置为将所述概念地图显示在显示装置(100)上。
9.根据权利要求8所述的远程操作***,其特征在于,所述描述性信息为文本信息,和/或所述描述性信息是关于所述车辆周围物体的位置、几何形状和尺寸的信息,和/或所述车辆周围物体是在车辆行驶路径上的障碍物。
10.根据权利要求8或9所述的远程操作***,其特征在于,所述生成模块(203)被配置为,在根据所述描述性信息和所述电子地图生成概念地图时,
根据所述描述性信息将所述车辆周围物体动态地渲染在所述电子地图中。
11.根据权利要求10所述的远程操作***,其特征在于,所述生成模块(203)被配置为,在根据所述描述性信息将所述车辆周围物体动态地渲染在所述电子地图中时,
根据所述车辆周围物体的描述性信息搜索在电子地图中的对应物体,并在电子地图的相应位置中添加该对应物体,和/或
根据所述车辆周围物体的描述性信息生成所述车辆周围物体的对应模型、尤其是对应框架,并在电子地图的相应位置中添加该对应模型。
12.根据权利要求8至11之一所述的远程操作***,其特征在于,所述用于车辆的远程操作装置还包括:
通信模块(205),其被配置为与车辆建立通信连接;和/或
命令模块(206),其被配置为命令车辆确定并传输所述描述性信息。
13.根据权利要求8至12之一所述的远程操作***,其特征在于,所述远程操作***还包括输入装置(300)、尤其是遥控器,
所述用于车辆的远程操作装置还包括:
操作模块(207),其配置为接收来自所述输入装置的用户输入并根据所述用户输入向车辆发送操作信号。
14.一种计算机可读的存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行以实现根据权利要求1至7中任一项所述的方法。
15.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述计算机程序被处理器执行以实现根据权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010221549.9A CN113448322A (zh) | 2020-03-26 | 2020-03-26 | 用于车辆的远程操作方法和***以及存储介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010221549.9A CN113448322A (zh) | 2020-03-26 | 2020-03-26 | 用于车辆的远程操作方法和***以及存储介质和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113448322A true CN113448322A (zh) | 2021-09-28 |
Family
ID=77807267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010221549.9A Pending CN113448322A (zh) | 2020-03-26 | 2020-03-26 | 用于车辆的远程操作方法和***以及存储介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113448322A (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107300921A (zh) * | 2017-06-30 | 2017-10-27 | 宇龙计算机通信科技(深圳)有限公司 | 远程驾驶方法、装置、用户终端及计算机可读存储介质 |
CN107563267A (zh) * | 2016-06-30 | 2018-01-09 | 百度(美国)有限责任公司 | 在无人驾驶车辆中提供内容的***和方法 |
WO2018058361A1 (en) * | 2016-09-28 | 2018-04-05 | Bayerische Motoren Werke Aktiengesellschaft | Method, system, display device for displaying virtual reality in vehicle, and computer program product |
CN108028020A (zh) * | 2015-11-02 | 2018-05-11 | 大陆汽车有限公司 | 用于选择并在车辆间传输传感器数据的方法和设备 |
CN108885106A (zh) * | 2016-01-08 | 2018-11-23 | 国际智能技术公司 | 使用地图的车辆部件控制 |
CN109029488A (zh) * | 2018-06-29 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 导航电子地图生成方法、设备及存储介质 |
CN109961522A (zh) * | 2019-04-02 | 2019-07-02 | 百度国际科技(深圳)有限公司 | 图像投射方法、装置、设备和存储介质 |
CN109974733A (zh) * | 2019-04-02 | 2019-07-05 | 百度在线网络技术(北京)有限公司 | 用于ar导航的poi显示方法、装置、终端和介质 |
CN110310175A (zh) * | 2018-06-27 | 2019-10-08 | 北京京东尚科信息技术有限公司 | 用于移动增强现实的***和方法 |
CN110515464A (zh) * | 2019-08-28 | 2019-11-29 | 百度在线网络技术(北京)有限公司 | Ar显示方法、装置、车辆和存储介质 |
CN110672110A (zh) * | 2018-07-03 | 2020-01-10 | 百度在线网络技术(北京)有限公司 | 车辆的导航方法、装置、设备及计算机可读存储介质 |
CN110717991A (zh) * | 2018-07-12 | 2020-01-21 | 通用汽车环球科技运作有限责任公司 | 用于车载增强虚拟现实***的***和方法 |
CN110712647A (zh) * | 2019-09-23 | 2020-01-21 | 上海理工大学 | 一种远程车辆控制*** |
-
2020
- 2020-03-26 CN CN202010221549.9A patent/CN113448322A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108028020A (zh) * | 2015-11-02 | 2018-05-11 | 大陆汽车有限公司 | 用于选择并在车辆间传输传感器数据的方法和设备 |
CN108885106A (zh) * | 2016-01-08 | 2018-11-23 | 国际智能技术公司 | 使用地图的车辆部件控制 |
CN107563267A (zh) * | 2016-06-30 | 2018-01-09 | 百度(美国)有限责任公司 | 在无人驾驶车辆中提供内容的***和方法 |
WO2018058361A1 (en) * | 2016-09-28 | 2018-04-05 | Bayerische Motoren Werke Aktiengesellschaft | Method, system, display device for displaying virtual reality in vehicle, and computer program product |
CN107300921A (zh) * | 2017-06-30 | 2017-10-27 | 宇龙计算机通信科技(深圳)有限公司 | 远程驾驶方法、装置、用户终端及计算机可读存储介质 |
CN110310175A (zh) * | 2018-06-27 | 2019-10-08 | 北京京东尚科信息技术有限公司 | 用于移动增强现实的***和方法 |
CN109029488A (zh) * | 2018-06-29 | 2018-12-18 | 百度在线网络技术(北京)有限公司 | 导航电子地图生成方法、设备及存储介质 |
CN110672110A (zh) * | 2018-07-03 | 2020-01-10 | 百度在线网络技术(北京)有限公司 | 车辆的导航方法、装置、设备及计算机可读存储介质 |
CN110717991A (zh) * | 2018-07-12 | 2020-01-21 | 通用汽车环球科技运作有限责任公司 | 用于车载增强虚拟现实***的***和方法 |
CN109961522A (zh) * | 2019-04-02 | 2019-07-02 | 百度国际科技(深圳)有限公司 | 图像投射方法、装置、设备和存储介质 |
CN109974733A (zh) * | 2019-04-02 | 2019-07-05 | 百度在线网络技术(北京)有限公司 | 用于ar导航的poi显示方法、装置、终端和介质 |
CN110515464A (zh) * | 2019-08-28 | 2019-11-29 | 百度在线网络技术(北京)有限公司 | Ar显示方法、装置、车辆和存储介质 |
CN110712647A (zh) * | 2019-09-23 | 2020-01-21 | 上海理工大学 | 一种远程车辆控制*** |
Non-Patent Citations (1)
Title |
---|
温纳: "《驾驶员辅助***手册》", 31 January 2016, 北京理工大学出版社, pages: 679 - 681 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10452133B2 (en) | Interacting with an environment using a parent device and at least one companion device | |
US20190092345A1 (en) | Driving method, vehicle-mounted driving control terminal, remote driving terminal, and storage medium | |
CN109683699B (zh) | 基于深度学习实现增强现实的方法、装置及移动终端 | |
US20190066733A1 (en) | Cinematic space-time view synthesis for enhanced viewing experiences in computing environments | |
EP3893148A1 (en) | Method and device for controlling vehicle, and vehicle | |
US20140267727A1 (en) | Systems and methods for determining the field of view of a processed image based on vehicle information | |
EP4030391A1 (en) | Virtual object display method and electronic device | |
US10600234B2 (en) | Inter-vehicle cooperation for vehicle self imaging | |
CN110728756B (zh) | 一种基于增强现实的远程指导的方法与设备 | |
WO2019183914A1 (en) | Dynamic video encoding and view adaptation in wireless computing environments | |
CN109992111B (zh) | 增强现实扩展方法和电子设备 | |
CN113483774B (zh) | 导航方法、装置、电子设备及可读存储介质 | |
US10710505B2 (en) | Bird's-eye view video generation device, bird's-eye view video generation system, bird's-eye view video generation method, and non-transitory storage medium | |
EP3669252A1 (en) | Techniques for predictive prioritization of image portions in processing graphics | |
CN113378605B (zh) | 多源信息融合方法及装置、电子设备和存储介质 | |
WO2021088497A1 (zh) | 虚拟物体显示方法、全局地图更新方法以及设备 | |
US20230391189A1 (en) | Synchronized rendering | |
CN114821544B (zh) | 感知信息生成方法、装置、车辆、电子设备及存储介质 | |
CN113448322A (zh) | 用于车辆的远程操作方法和***以及存储介质和电子设备 | |
CN113432614B (zh) | 车辆导航方法、装置、电子设备及计算机可读存储介质 | |
CN115578432A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN114834453A (zh) | 数据处理方法、装置、车辆、设备和存储介质 | |
CN219266904U (zh) | 一种车载混合现实体验拓展*** | |
WO2024138467A1 (en) | Ar display system based on multi-view cameras and viewport tracking | |
JP7390436B2 (ja) | ナビゲーション方法、装置、電子機器、コンピュータ読取可能な記憶媒体及びコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |