CN108995590A - 一种人车互动方法、***及装置 - Google Patents

一种人车互动方法、***及装置 Download PDF

Info

Publication number
CN108995590A
CN108995590A CN201810837320.0A CN201810837320A CN108995590A CN 108995590 A CN108995590 A CN 108995590A CN 201810837320 A CN201810837320 A CN 201810837320A CN 108995590 A CN108995590 A CN 108995590A
Authority
CN
China
Prior art keywords
vehicle
image
virtualization
people
automobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810837320.0A
Other languages
English (en)
Inventor
梁桂浩
和卫民
柳燕飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Motors Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Motors Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Motors Technology Co Ltd filed Critical Guangzhou Xiaopeng Motors Technology Co Ltd
Priority to CN201810837320.0A priority Critical patent/CN108995590A/zh
Publication of CN108995590A publication Critical patent/CN108995590A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种人车互动方法、***及装置，该方法包括：实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上；对用户进行检测，并识别获得对应的用户控制信号；根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理后，投影到汽车的车窗上。本发明基于图像采集和汽车车窗，可以实现汽车内外用户与汽车外部环境的人车互动，体验感较强，而且较为真实，提高了用户体验，可广泛应用于汽车行业中。

Description

一种人车互动方法、***及装置
技术领域
本发明涉及汽车智能控制领域，特别是涉及一种人车互动方法、***及装置。
背景技术
随着科技的发展，汽车已经不仅仅是传统意义上的交通工具，还兼顾了娱乐、与乘客互动等功能。现有技术中的车载娱乐***，跟普通的平板差别不大，而且仅仅是实现了娱乐功能，与乘客的互动功能较弱。而且，现有技术中的人车互动方案，一般是用户通过智能终端与车载***之间进行数据交互，从而实现自动控制等，汽车在这个交互过程中，属于被动控制的对象，这种方式并不是真正意义上的人车互动。
名词解释
GPU：全称Graphics Processing Unit，指图形处理器，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备上图像运算工作的微处理器；
AR：全称Augmented Reality，表示增强现实技术，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
发明内容
为了解决上述的技术问题，本发明的目的是提供一种人车互动方法、***及装置。
本发明解决其技术问题所采用的第一技术方案是：
一种人车互动方法，包括以下步骤：
实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上；
对用户进行检测，并识别获得对应的用户控制信号；
根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理后，投影到汽车的车窗上。
进一步，所述实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上的步骤，具体包括：
实时地对汽车外部环境进行图像采集；
对采集的图像进行图像识别处理后，识别获得外部环境的各类场景物体，进而渲染形成虚拟图像；
将所形成的虚拟图像中的各类场景物体进行虚拟化处理后，投影到汽车的车窗上。
进一步，所述人车互动方法在投影过程中，还根据汽车车窗的参数对车窗进行曲面校正。
进一步，所述根据汽车车窗的参数对车窗进行曲面校正的步骤，具体包括：
获取汽车车窗的曲率参数后，计算获得车窗与用于进行投影的投影仪之间的几何关系及变换矩阵；
将待投影的图像进行分割，提取出图像的角点信息；
将角点信息与计算获得的几何关系及变换矩阵进行矩阵运算，使图像产生对应的非线性几何变形后，再进行投影。
进一步，所述对用户进行检测，并识别获得对应的用户控制信号的步骤，其具体为：
对用户进行语音检测或者姿态检测，并基于检测获得的语音信号或姿态信号，识别获得对应的用户控制信号。
进一步，所述虚拟化处理具体如下；
将物体转换为对应的虚拟化物体，
和/或
为物体或者物体转换获得的虚拟化物体叠加新的虚拟物体。
进一步，所述将物体转换为对应的虚拟化物体的步骤，具体包括：
对物体进行特征点提取；
基于提取获得的特征点，将物体与预设的虚拟化物体库进行特征匹配，提取获得该物体对应的虚拟化物体。
进一步，所述特征匹配的具体过程如下：
将物体的特征点与预设的虚拟化物体库中的各虚拟化物体的特征点进行依次比对，并在物体与任一虚拟化物体之间相匹配的特征点的数量超过预设阈值时，判断该物体与该虚拟化物体相匹配。
本发明解决其技术问题所采用的第二技术方案是：
一种人车互动***，包括主控制板、投影仪、摄像头模组以及检测模块，所述主控制板分别与投影仪、摄像头模组和检测模块连接；所述摄像头模组设置在汽车的顶部，所述投影仪设置于汽车顶棚；
所述摄像头模组，用于实时采集汽车外部环境的图像；
所述检测模块，对用户进行检测；
所述主控制板，用于：对采集的图像进行虚拟化处理、用于识别获得对用户的检测所对应的用户控制信号以及用于根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理；
所述投影仪，用于将虚拟化处理后的图像投影到汽车的车窗上。
进一步，所述主控制板包括车载处理器和图像处理器，所述图像处理器分别与车载处理器和摄像头模组连接，所述车载处理器分别与检测模块和投影仪连接；
所述图像处理器，用于：对采集的图像进行图像识别处理后，识别获得外部环境的各类场景物体，进而渲染形成虚拟图像；
所述车载处理器，用于：将所形成的虚拟图像中的各类场景物体进行虚拟化处理；识别获得对用户的检测所对应的用户控制信号，以及根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理。
进一步，所述检测模块采用语音采集模块或深度摄像头。
本发明解决其技术问题所采用的第三技术方案是：
一种人车互动装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现第一技术方案所述的人车互动方法。
本发明的有益效果是：本发明通过实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上，从而汽车内外的用户可以根据汽车车窗显示的汽车周围的投影图像进行操作，进而本发明识别获得汽车内外用户的用户控制信号后，根据用户控制信号对汽车车窗显示的虚拟化处理后的图像再次进行对应的虚拟化处理，实现跟随用户操作的对应变化，实现人车互动的目的。本发明基于图像采集和汽车车窗，可以实现汽车内外用户与汽车外部环境的人车互动，体验感较强，而且较为真实，提高了用户体验。
附图说明
图1是本发明的一种人车互动方法的流程图；
图2是本发明的一种人车互动***的结构示意图；
图3是本发明的一种人车互动装置的结构示意图。
具体实施方式
方法实施例
参照图1，本实施例提供了一种人车互动方法，包括以下步骤：
实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上；
对用户进行检测，并识别获得对应的用户控制信号；
根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理后，投影到汽车的车窗上。
具体的，这里根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理，可以是根据预设的指令数据库进行处理的，不同的用户控制信号对应不同的指令，根据用户控制信号，从预设的指令数据库中获取对应的指令，从而对虚拟化处理后的图像再次进行对应的虚拟化处理。也可以不设置指令数据库，直接设定不同的用户控制信号所对应的虚拟化处理细节，从而直接根据用户控制信号匹配获得对应的虚拟化处理细节进行处理即可。具体如何根据用户控制信号进行虚拟化处理的实现形式可以多样化，本发明不做详细限定。
本发明中，汽车内部和/或外部的用户指汽车内部除驾驶员之外的乘客以及车外的行人，即本方案中不仅可以实现与车内乘客的人车互动，还可以实现与车外行人的人车互动。另外，本发明中，为了避免对驾驶员的驾驶造成干扰，汽车的车窗特指两侧的车窗，具体投影过程中，可以投影到整个汽车车窗上，也可以根据实际驾驶需要，只投影到车窗的一部分位置上，例如驾驶座和副驾驶座旁边的车窗可以只投影一部分，避免对驾驶员带来较多干扰，也可以只投影到汽车后座两侧的车窗上，实现与后座乘客以及车外行人的互动。
本实施例中，通过实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上，从而汽车内外的用户可以根据汽车车窗显示的汽车周围的投影图像进行手势动作，而本实施例识别获得汽车内外用户的用户控制信号后，根据用户控制信号对汽车车窗显示的虚拟化处理后的图像再次进行对应的虚拟化处理，实现跟随用户操作的对应变化，实现人车互动的目的。本方案基于图像采集和汽车车窗，可以实现汽车内外用户与汽车外部环境的互动，体验感较强，而且较为真实，提高了用户体验。
本实施例中，对用户进行检测，可以是检测用户输入的语音、检测用户的触摸动作检测用户的姿态，也可以是检测用户通过车载输入设备输入的数据等，对用户进行检测的目的是检测获得用户的具体操作，从而识别获得对应的用户控制信号。
进一步作为优选的实施方式，所述对用户进行检测，并识别获得对应的用户控制信号的步骤，其具体为：
对用户进行语音检测或者姿态检测，并基于检测获得的语音信号或姿态信号，识别获得对应的用户控制信号。
语音检测是采集用户的语音信号，通过预先设定不同的语音信号对应的用户控制信号后，可以根据对用户的语音检测，识别提取获得对应的用户控制信号。例如，事先录制好“向左”、“向右”、“确认”、“前进”、“后退”、“跳跃”等不同的语音信号对应的用户控制信号，从而在对用户进行检测时，根据语音检测情况，就可以匹配获得对应的用户控制信号。
姿态检测指用户的操作动作检测，包括用户的手势，或者身体部位的操作动作，例如摇头、点头、转动身体、前后移动身体、晃动身体、耸肩等动作，一般通过相机或者图像传感器来进行姿态检测。通过预先设定不同的姿态信号对应的用户控制信号后，可以根据对用户的姿态检测，识别提取获得对应的用户控制信号。例如，预先设定点头动作对应的用户控制信号为确认，则当检测到用户的姿态为点头动作时，识别获得对应的用户控制信号为“确认”信号；预先设定向左的手势动作对应的用户控制信号为向左移动，则当检测到用户的姿态为向左的手势动作时，识别获得对应的用户控制信号为“向左移动”信号，具体如何设定不同的用户姿态对应不同的控制信号，可以根据主流的控制方式进行定义，也可以根据用户的操作习惯进行自定义设置。本发明不做过多限定。另外，姿态检测的具体检测过程是通过采集用户的图像后，进行图像处理，从而提取获得用户的姿态的。具体如何从图像中提取获得用户的姿态，本发明不做过多限定。
进一步作为优选的实施方式，所述实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上的步骤，具体包括：
实时地对汽车外部环境进行图像采集；
对采集的图像进行图像识别处理后，识别获得外部环境的各类场景物体，进而渲染形成虚拟图像；具体渲染过程可以采用特定的GPU进行渲染；
将所形成的虚拟图像中的各类场景物体进行虚拟化处理后，投影到汽车的车窗上。这里，虚拟化处理实际上是AR过程，通过AR过程，将汽车外部环境的图像AR化之后投影到汽车车窗上，使得人车互动体验更加真实，增强用户体验感。
其中，所述场景物体包括以下种类中的至少一种：道路、汽车、房屋、建筑、树木、交通指示牌、指示灯和行人。
进一步作为优选的实施方式，所述虚拟化处理具体如下；
将物体转换为对应的虚拟化物体，
和/或
为物体或者物体转换获得的虚拟化物体叠加新的虚拟物体。
例如，对图像中的汽车，将其虚拟化成同一品牌型号的汽车，并在汽车的旁边增加一个可跳动的卡通小人，即可实现类似现有跑酷游戏这样的互动功能，在后续识别获得用户控制信号后，可以根据用户控制信号控制该卡通小人进行移动，实现虚拟显示的跑酷游戏，这种情况一般是针对汽车行驶缓慢或者堵车的情况，车上乘客可以基于汽车外部环境进行虚拟显示的游戏，降低拥堵过程带来的焦虑感。另外，可以在虚拟化物体旁边叠加广告内容，使得一边开车一边采用车窗播放广告，而且广告过程是与汽车外部环境相结合的，例如，对外部图像中的行人，通过AR虚拟化，给行人套上某个广告品牌的衣服，从而行人可以在汽车车窗上看到自己穿上该品牌衣服的效果，还可以通过手势切换不同的服装看不同的着装效果，这种互动方式直观且效果好，提高了行人的参与感。
进一步作为优选的实施方式，所述将物体转换为对应的虚拟化物体的步骤，具体包括：
对物体进行特征点提取；
基于提取获得的特征点，将物体与预设的虚拟化物体库进行特征匹配，提取获得该物体对应的虚拟化物体。
特征点是用于区分不同种类物体的，不同的物体，具有不同的特征点，例如道路的特征点，是从道路线提取的，人的特征点是由眼睛、鼻子、嘴巴构成的人脸。房屋的特征点，则可以从房屋轮廓提取获得。树木的特征点提取为颜色，叶子，树干及形状等。
特征点的特征匹配过程中，也是根据物体特征点的情况来进行匹配的，通过特征点匹配，准确提取获得物体对应的虚拟化物体。
进一步作为优选的实施方式，所述特征匹配的具体过程如下：
将物体的特征点与预设的虚拟化物体库中的各虚拟化物体的特征点进行依次比对，并在物体与任一虚拟化物体之间相匹配的特征点的数量超过预设阈值时，判断该物体与该虚拟化物体相匹配。虚拟化物体与物体的区别主要是在于局部形状、局部颜色或者整体的形状、颜色上的区别，降低投影过程耗费的资源，另外也使得投影结果更柔和，更符合人眼视觉。
进一步作为优选的实施方式，所述人车互动方法在投影过程中，还根据汽车车窗的参数对车窗进行曲面校正。
进一步作为优选的实施方式，所述根据汽车车窗的参数对车窗进行曲面校正的步骤，具体包括：
获取汽车车窗的曲率参数后，计算获得车窗与用于进行投影的投影仪之间的几何关系及变换矩阵；
将待投影的图像进行分割，提取出图像的角点信息；
将角点信息与计算获得的几何关系及变换矩阵进行矩阵运算，使图像产生对应的非线性几何变形后，再进行投影。
通过对车窗进行曲面校正后，可以使得投影结果更加贴合汽车车窗，投影效果更好。
总的来说，本发明基于图像采集和汽车车窗，可以实现汽车内外用户与汽车外部环境的人车互动，体验感较强，而且较为真实，提高了用户体验。
***实施例
参照图2，本实施例提供了一种人车互动***，包括主控制板、投影仪、摄像头模组以及检测模块，所述主控制板分别与投影仪、摄像头模组和检测模块连接；所述摄像头模组设置在汽车的顶部，所述投影仪设置于汽车顶棚；
所述摄像头模组，用于实时采集汽车外部环境的图像；
所述检测模块，对用户进行检测；
所述主控制板，用于：对采集的图像进行虚拟化处理、用于识别获得对用户的检测所对应的用户控制信号以及用于根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理；
所述投影仪，用于将虚拟化处理后的图像投影到汽车的车窗上。
具体的，投影仪的投射距离一般为50～100cm，根据与车窗的距离进行调节后实现清晰投影。另外，为了***的正常工作，一般还需配置相应的存储介质以存储采集的图像，存储介质可以直接与摄像头模组连接后与主控制板连接，也可以直接与主控制板连接，本发明不做过多限定。
本实施例中，通过摄像头模组实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上，从而汽车内外的用户可以根据汽车车窗显示的汽车周围的投影图像进行手势动作，而本实施例通过检测模块采集获得汽车内外用户的用户手势图像，进而识别获得用户控制信号后，根据用户控制信号对汽车车窗显示的虚拟化处理后的图像再次进行对应的虚拟化处理，实现跟随用户控制信号的对应变化，实现人车互动的目的。本方案基于图像采集和汽车车窗，可以实现汽车内外用户与汽车外部环境的互动，体验感较强，而且较为真实，提高了用户体验。
进一步作为优选的实施方式，所述主控制板包括车载处理器和图像处理器，所述图像处理器分别与车载处理器和摄像头模组连接，所述车载处理器分别与检测模块和投影仪连接；
所述图像处理器，用于：对采集的图像进行图像识别处理后，识别获得外部环境的各类场景物体，进而渲染形成虚拟图像；
所述车载处理器，用于：将所形成的虚拟图像中的各类场景物体进行虚拟化处理；识别获得对用户的检测所对应的用户控制信号，以及根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理。
进一步作为优选的实施方式，所述检测模块采用语音采集模块或深度摄像头。通过语音采集模块可以采集用户的语音信号。通过深度摄像头可以精确采集获得用户的姿态信号，这里姿态信号指进行图像采集所获得的包含用户姿态的姿态图像。
另外，摄像头模组一般采用现有的车顶摄像头，通过车顶摄像头采集汽车外部环境的图像。
本实施例中，所述车载处理器通过CAN总线与投影仪连接，通过CAN总线将待投影的虚拟化处理后的图像发送到投影仪进行投影。
本实施例的一种人车互动***，可执行本发明方法实施例所提供的一种人车互动方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
装置实施例
参照图3，本实施例提供了一种人车互动装置，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现方法实施例所述的人车互动方法。
本实施例的一种人车互动装置，可执行本发明方法实施例所提供的一种人车互动方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种人车互动方法，其特征在于，包括以下步骤：
实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上；
对用户进行检测，并识别获得对应的用户控制信号；
根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理后，投影到汽车的车窗上。
2.根据权利要求1所述的人车互动方法，其特征在于，所述实时采集汽车外部环境的图像并进行虚拟化处理后，投影到汽车的车窗上的步骤，具体包括：
实时地对汽车外部环境进行图像采集；
对采集的图像进行图像识别处理后，识别获得外部环境的各类场景物体，进而渲染形成虚拟图像；
将所形成的虚拟图像中的各类场景物体进行虚拟化处理后，投影到汽车的车窗上。
3.根据权利要求1所述的人车互动方法，其特征在于，所述人车互动方法在投影过程中，还根据汽车车窗的参数对车窗进行曲面校正。
4.根据权利要求1所述的人车互动方法，其特征在于，所述对用户进行检测，并识别获得对应的用户控制信号的步骤，其具体为：
对用户进行语音检测或者姿态检测，并基于检测获得的语音信号或姿态信号，识别获得对应的用户控制信号。
5.根据权利要求2所述的人车互动方法，其特征在于，所述虚拟化处理具体如下；
将物体转换为对应的虚拟化物体，
和/或
为物体或者物体转换获得的虚拟化物体叠加新的虚拟物体。
6.根据权利要求5所述的人车互动方法，其特征在于，所述将物体转换为对应的虚拟化物体的步骤，具体包括：
对物体进行特征点提取；
基于提取获得的特征点，将物体与预设的虚拟化物体库进行特征匹配，提取获得该物体对应的虚拟化物体。
7.根据权利要求6所述的人车互动方法，其特征在于，所述特征匹配的具体过程如下：
将物体的特征点与预设的虚拟化物体库中的各虚拟化物体的特征点进行依次比对，并在物体与任一虚拟化物体之间相匹配的特征点的数量超过预设阈值时，判断该物体与该虚拟化物体相匹配。
8.一种人车互动***，其特征在于，包括主控制板、投影仪、摄像头模组以及检测模块，所述主控制板分别与投影仪、摄像头模组和检测模块连接；所述摄像头模组设置在汽车的顶部，所述投影仪设置于汽车顶棚；
所述摄像头模组，用于实时采集汽车外部环境的图像；
所述检测模块，对用户进行检测；
所述主控制板，用于：对采集的图像进行虚拟化处理、用于识别获得对用户的检测所对应的用户控制信号以及用于根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理；
所述投影仪，用于将虚拟化处理后的图像投影到汽车的车窗上。
9.根据权利要求8所述的人车互动***，其特征在于，所述主控制板包括车载处理器和图像处理器，所述图像处理器分别与车载处理器和摄像头模组连接，所述车载处理器分别与检测模块和投影仪连接；
所述图像处理器，用于：对采集的图像进行图像识别处理后，识别获得外部环境的各类场景物体，进而渲染形成虚拟图像；
所述车载处理器，用于：将所形成的虚拟图像中的各类场景物体进行虚拟化处理；识别获得对用户的检测所对应的用户控制信号，以及根据获得的用户控制信号，对虚拟化处理后的图像再次进行对应的虚拟化处理。
10.一种人车互动装置，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7任一项所述的人车互动方法。
CN201810837320.0A 2018-07-26 2018-07-26 一种人车互动方法、***及装置 Pending CN108995590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810837320.0A CN108995590A (zh) 2018-07-26 2018-07-26 一种人车互动方法、***及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810837320.0A CN108995590A (zh) 2018-07-26 2018-07-26 一种人车互动方法、***及装置

Publications (1)

Publication Number Publication Date
CN108995590A true CN108995590A (zh) 2018-12-14

Family

ID=64597697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810837320.0A Pending CN108995590A (zh) 2018-07-26 2018-07-26 一种人车互动方法、***及装置

Country Status (1)

Country Link
CN (1) CN108995590A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110281847A (zh) * 2019-06-28 2019-09-27 大陆投资(中国)有限公司 车载交互***
CN111009039A (zh) * 2019-12-19 2020-04-14 江苏铁锚玻璃股份有限公司 基于透明oled车窗的ar显示***与风景采集显示方法
CN111688488A (zh) * 2019-03-12 2020-09-22 上海博泰悦臻电子设备制造有限公司 车辆、车机设备及其虚拟场景控制方法
CN111773658A (zh) * 2020-07-03 2020-10-16 珠海金山网络游戏科技有限公司 一种基于计算机视觉库的游戏交互方法及装置
CN114115656A (zh) * 2021-11-22 2022-03-01 上汽大众汽车有限公司 一种车载增强现实车窗娱乐***及其运行方法
CN115107698A (zh) * 2021-03-17 2022-09-27 同致电子企业股份有限公司 人车互动的方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102341839A (zh) * 2009-03-10 2012-02-01 松下北美公司美国分部松下汽车***公司 交通工具信息和娱乐***的虚拟特征管理
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
WO2013169601A3 (en) * 2012-05-07 2014-01-16 Honda Motor Co., Ltd. Method to generate virtual display surfaces from video imagery of road based scenery
JP2014010800A (ja) * 2012-07-03 2014-01-20 Alpine Electronics Inc 車載システム
CN103847640A (zh) * 2012-12-05 2014-06-11 现代自动车株式会社 提供增强现实的方法和设备
CN104627078A (zh) * 2015-02-04 2015-05-20 刘波 基于柔性透明oled的汽车驾驶虚拟***及其控制方法
CN104834897A (zh) * 2015-04-09 2015-08-12 东南大学 一种基于移动平台的增强现实的***及方法
JP5910450B2 (ja) * 2012-10-03 2016-04-27 株式会社デンソー 車両用ナビゲーションシステム
CN105654808A (zh) * 2016-02-03 2016-06-08 北京易驾佳信息科技有限公司 一种基于实际机动车的机动车驾驶人智能化训练***
CN105956912A (zh) * 2016-06-06 2016-09-21 施桂萍 一种网络试衣的实现方法
CN106128323A (zh) * 2016-09-06 2016-11-16 卓汎有限公司 一种车窗虚拟现实显示***
GB2547532A (en) * 2015-12-20 2017-08-23 Active Knowledge Ltd Autonomous vehicle having an external shock-absorbing energy dissipation padding
CN107589851A (zh) * 2017-10-17 2018-01-16 极鱼（北京）科技有限公司 汽车的交互方法和***
CN207397630U (zh) * 2017-06-14 2018-05-22 金色榜样（北京）文化传媒投资有限公司 显示组件及包括其的宣传车

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102341839A (zh) * 2009-03-10 2012-02-01 松下北美公司美国分部松下汽车***公司 交通工具信息和娱乐***的虚拟特征管理
CN102419631A (zh) * 2010-10-15 2012-04-18 微软公司 虚拟内容到现实内容中的融合
WO2013169601A3 (en) * 2012-05-07 2014-01-16 Honda Motor Co., Ltd. Method to generate virtual display surfaces from video imagery of road based scenery
JP2014010800A (ja) * 2012-07-03 2014-01-20 Alpine Electronics Inc 車載システム
JP5910450B2 (ja) * 2012-10-03 2016-04-27 株式会社デンソー 車両用ナビゲーションシステム
CN103847640A (zh) * 2012-12-05 2014-06-11 现代自动车株式会社 提供增强现实的方法和设备
CN104627078A (zh) * 2015-02-04 2015-05-20 刘波 基于柔性透明oled的汽车驾驶虚拟***及其控制方法
CN104834897A (zh) * 2015-04-09 2015-08-12 东南大学 一种基于移动平台的增强现实的***及方法
GB2547532A (en) * 2015-12-20 2017-08-23 Active Knowledge Ltd Autonomous vehicle having an external shock-absorbing energy dissipation padding
CN105654808A (zh) * 2016-02-03 2016-06-08 北京易驾佳信息科技有限公司 一种基于实际机动车的机动车驾驶人智能化训练***
CN105956912A (zh) * 2016-06-06 2016-09-21 施桂萍 一种网络试衣的实现方法
CN106128323A (zh) * 2016-09-06 2016-11-16 卓汎有限公司 一种车窗虚拟现实显示***
CN207397630U (zh) * 2017-06-14 2018-05-22 金色榜样（北京）文化传媒投资有限公司 显示组件及包括其的宣传车
CN107589851A (zh) * 2017-10-17 2018-01-16 极鱼（北京）科技有限公司 汽车的交互方法和***

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111688488A (zh) * 2019-03-12 2020-09-22 上海博泰悦臻电子设备制造有限公司 车辆、车机设备及其虚拟场景控制方法
CN110281847A (zh) * 2019-06-28 2019-09-27 大陆投资(中国)有限公司 车载交互***
CN111009039A (zh) * 2019-12-19 2020-04-14 江苏铁锚玻璃股份有限公司 基于透明oled车窗的ar显示***与风景采集显示方法
CN111773658A (zh) * 2020-07-03 2020-10-16 珠海金山网络游戏科技有限公司 一种基于计算机视觉库的游戏交互方法及装置
CN111773658B (zh) * 2020-07-03 2024-02-23 珠海金山数字网络科技有限公司 一种基于计算机视觉库的游戏交互方法及装置
CN115107698A (zh) * 2021-03-17 2022-09-27 同致电子企业股份有限公司 人车互动的方法
CN115107698B (zh) * 2021-03-17 2024-06-04 同致电子企业股份有限公司 人车互动的方法
CN114115656A (zh) * 2021-11-22 2022-03-01 上汽大众汽车有限公司 一种车载增强现实车窗娱乐***及其运行方法

Similar Documents

Publication Publication Date Title
CN108995590A (zh) 一种人车互动方法、***及装置
CN109636924B (zh) 基于现实路况信息三维建模的车载多模式增强现实***
CN104102412B (zh) 一种基于增强现实技术的手持式阅览设备及其方法
CN105391970B (zh) 提供由车辆的场景相机捕获的至少一个图像的方法和***
CN105849771B (zh) 用于跟踪移动设备的方法和***
CN110892451A (zh) 检测车辆的驾驶事件的电子装置和方法
CN110456907A (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
CN111931579A (zh) 利用眼动追踪和手势识别技术的自动驾驶辅助***及方法
CN113646736A (zh) 手势识别方法、装置、***及车辆
CN111009039B (zh) 基于透明oled车窗的ar显示***与风景采集显示方法
US11710310B2 (en) Virtual content positioned based on detected object
US20230400913A1 (en) Virtual models for communications between user devices and external observers
CN114041175A (zh) 一种用于使用真实感合成数据估计头部姿势和视线的神经网络
CN104407694A (zh) 一种结合人脸和手势控制的人机交互方法及装置
CN105334960A (zh) 车载智能手势识别***
CN109614953A (zh) 一种基于图像识别的控制方法、车载设备及存储介质
CN104969145A (zh) 靶向和按压自然用户输入
CN112287795A (zh) 异常驾驶姿态检测方法、装置、设备、车辆和介质
CN106740581A (zh) 一种车载设备的控制方法、ar装置及ar***
KR20190081034A (ko) 문자의 필기를 인식하고 증강현실 객체의 조작이 가능한 증강현실 시스템
CN112162688A (zh) 一种基于手势识别的车载虚拟屏交互信息***
CN107589628A (zh) 一种基于手势识别的全息投影装置及其工作方法
CN110825216A (zh) 一种驾驶员驾驶时人机交互的方法和***
CN104239119B (zh) 一种基于kinect实现电力培训仿真的方法及***
CN108052901A (zh) 一种基于双目的手势识别智能无人机远程操控方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181214