CN112383826A - 车载娱乐终端的控制方法、装置、存储介质、终端及汽车 - Google Patents

车载娱乐终端的控制方法、装置、存储介质、终端及汽车 Download PDF

Info

Publication number
CN112383826A
CN112383826A CN202011240794.0A CN202011240794A CN112383826A CN 112383826 A CN112383826 A CN 112383826A CN 202011240794 A CN202011240794 A CN 202011240794A CN 112383826 A CN112383826 A CN 112383826A
Authority
CN
China
Prior art keywords
vehicle
entertainment terminal
determining
target user
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011240794.0A
Other languages
English (en)
Inventor
谭明伟
厉健峰
崔茂源
孙连明
蔡世民
***
魏朋宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Group Corp
Original Assignee
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Group Corp filed Critical FAW Group Corp
Priority to CN202011240794.0A priority Critical patent/CN112383826A/zh
Publication of CN112383826A publication Critical patent/CN112383826A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种车载娱乐终端的控制方法、装置、存储介质、终端及汽车。该方法包括确定目标用户在整车坐标系下的视线向量；根据所述视线向量确定所述目标用户在车载娱乐终端的屏幕上的关注目标；根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端。采用本发明实施例提供的车载娱乐终端的控制方法可以实现通过视线向量控制车载娱乐终端，降低了因控制车载娱乐终端而分散驾驶员注意力的风险，提高了驾驶安全性。

Description

车载娱乐终端的控制方法、装置、存储介质、终端及汽车
技术领域
本发明实施例涉及汽车技术，尤其涉及一种车载娱乐终端的控制方法、装置、存储介质、终端及汽车。
背景技术
随着汽车电气化程度的提高，车辆的功能趋于智能化、场景化，因此需要更多的考虑用户场景及用户体验。在多种车内控制策略为车内乘客提供多维度的操纵体验的情况下，车内的屏幕越来越多，也越来越大，手动操作的短板愈加明显。例如，车内驾驶员通过触摸屏幕进行功能操控，驾驶员的注意力可能长时间集中在车载娱乐终端，从而影响正常驾驶。
发明内容
本发明实施例提供一种车载娱乐终端的控制方法、装置、存储介质、终端及汽车，可以智能的控制车载娱乐终端响应用户的控制意图。
第一方面，本发明实施例提供了一种车载娱乐终端的控制方法，包括：
确定目标用户在整车坐标系下的视线向量；
根据所述视线向量确定所述目标用户在车载娱乐终端的屏幕上的关注目标；
根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端。
可选的，确定目标用户在整车坐标系下的视线向量，包括：
获取目标用户在摄像机坐标系下的第一视线向量；
根据坐标转换规则确定所述第一视线向量对应的第二视线向量，其中，所述第二视线向量为目标用户在整车坐标系下的视线向量，所述坐标转换规则基于车内预设特征点在摄像机坐标系下的第一坐标和整车坐标系下的第二坐标的映射关系确定。
可选的，根据所述视线向量确定所述目标用户在车载娱乐终端的屏幕上的关注目标，包括：
确定所述视线向量与车载娱乐终端的屏幕的交点与预设的屏幕分区的位置关系，其中，所述屏幕分区包括功能区域和显示区域；
根据所述位置关系确定所述目标用户的关注目标。
可选的，根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端，包括：
获取所述关注目标在预设时间段内的状态信息，根据所述状态信息确定所述目标用户的控制意图，其中，所述控制意图包括平移、拖动、拨打电话或开关应用程序；
根据所述控制意图生成控制指令，基于所述控制指令控制所述车载娱乐终端。
可选的，根据所述视线向量确定所述目标用户在车载娱乐终端的屏幕上的关注目标，包括：
获取所述视线向量与车载娱乐终端的屏幕的交点处的坐标，根据所述坐标生成识别区域，并将所述识别区域作为所述目标用户的关注目标。
可选的，根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端，包括：
获取所述关注目标对应的识别区域与预设的触发区域的重叠面积，根据所述重叠面积确定所述目标用户的控制意图，其中，所述控制意图包括是否触发所述触发区域对应的功能；
在所述控制意图是触发所述触发区域对应的功能时，生成触发指令，并基于所述触发指令控制所述车载娱乐终端。
第二方面，本发明实施例还提供了一种车载娱乐终端的控制装置，该装置
包括：
视线确定模块，用于确定目标用户在整车坐标系下的视线向量；
目标确定模块，用于根据所述视线向量确定所述目标用户在车载娱乐终端的屏幕上的关注目标；
终端控制模块，用于根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端。
可选的，视线确定模块具体用于：
获取目标用户在摄像机坐标系下的第一视线向量；
根据坐标转换规则确定所述第一视线向量对应的第二视线向量，其中，所述第二视线向量为目标用户在整车坐标系下的视线向量，所述坐标转换规则基于车内预设特征点在摄像机坐标系下的第一坐标和整车坐标系下的第二坐标的映射关系确定。
可选的，目标确定模块具体用于：
确定所述视线向量与车载娱乐终端的屏幕的交点与预设的屏幕分区的位置关系，其中，所述屏幕分区包括功能区域和显示区域；
根据所述位置关系确定所述目标用户的关注目标。
可选的，终端控制模块具体用于：
获取所述关注目标在预设时间段内的状态信息，根据所述状态信息确定所述目标用户的控制意图，其中，所述控制意图包括平移、拖动、拨打电话或开关应用程序；
根据所述控制意图生成控制指令，基于所述控制指令控制所述车载娱乐终端。
可选的，目标确定模块具体用于：
获取所述视线向量与车载娱乐终端的屏幕的交点处的坐标，根据所述坐标生成识别区域，并将所述识别区域作为所述目标用户的关注目标。
可选的，终端控制模块具体用于：
获取所述关注目标对应的识别区域与预设的触发区域的重叠面积，根据所述重叠面积确定所述目标用户的控制意图，其中，所述控制意图包括是否触发所述触发区域对应的功能；
在所述控制意图是触发所述触发区域对应的功能时，生成触发指令，并基于所述触发指令控制所述车载娱乐终端。
第三方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的车载娱乐终端的控制方法。
第四方面，本发明实施例还提供了一种车载娱乐终端，包括显示屏、存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的车载娱乐终端的控制方法。
第五方面，本发明实施例还提供了一种汽车，包括上述第四方面所述的车载娱乐终端。
本发明实施例提供一种车载娱乐终端的控制方案，通过确定目标用户在整车坐标系下的视线向量；根据所述视线向量确定所述目标用户在车载娱乐终端的屏幕上的关注目标；根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端，实现通过视线向量控制车载娱乐终端，降低了因控制车载娱乐终端而分散驾驶员注意力的风险，提高了驾驶安全性。
附图说明
图1为本发明实施例一提供的一种车载娱乐终端的控制方法的流程图；
图2为本发明实施例一提供的一种车载娱乐终端的控制方法中摄像机、眼睛和屏幕的关系示意图；
图3为本发明实施例二提供的另一种车载娱乐终端的控制方法的流程图；
图4为本发明实施例二提供的一种屏幕划分后的屏幕分区示意图；
图5为本发明实施例三提供的又一种车载娱乐终端的控制方法的流程图；
图6为本发明提供的一种地图移动示意图；
图7为本发明实施例三提供的一种同名联系人选择示意图；
图8为本发明实施例四提供的一种车载娱乐终端的控制装置的结构示意图；
图9为本发明实施五例提供的一种车载娱乐终端示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种车载娱乐终端的控制方法的流程图，该方法可以由车载娱乐终端的控制装置来执行，该装置可以由软件和/或硬件实现，并且该装置通常集成在车载娱乐终端上。该方法包括：
步骤110、确定目标用户在整车坐标系下的视线向量。
其中，目标用户可以是意图控制车载娱乐终端的车内人员。例如，目标用户可以是驾驶员或车内乘客等。
视线向量可以是目标用户的瞳孔到车载娱乐终端的屏幕上的一点的连线。可以通过眼动检测技术确定目标用户的视线向量。例如，在汽车内设置有摄像机，通过摄像机拍摄目标用户的用户图像。摄像机将该用户图像发送给状态检测模块，状态检测模块内已配置有眼动识别模型。状态检测模块将用户图像输入眼动识别模型，并获取眼动识别模型输出的视线向量。其中，该眼动识别模型可以是机器学习模型，所采用的算法可以包括循环神经网络(Recurrent neural networks,RNN)、长短期记忆(Long Short-Term Memory,LSTM)网络、门限循环单元、简单循环单元、自动编码器、决策树、随机森林、特征均值分类、分类回归树、隐马尔科夫、K最近邻(k-NearestNeighbor，KNN)算法、逻辑回归模型、贝叶斯模型、高斯模型以及KL散度(Kullback–Leibler divergence)等等。
图2为本发明实施例一提供的一种车载娱乐终端的控制方法中摄像机、眼睛和屏幕的关系示意图。如图2所示，目标用户看向车载娱乐终端的屏幕时，摄像机拍摄该目标用户的用户图像。通过状态检测模块根据用户图像确定目标用户的视线向量。如图2所示，屏幕包括主屏210、副屏220和空调控制屏230等。
需要说明的是，状态检测模块获取的用户图像是基于摄像机的极坐标或者三角坐标的，从而基于用户图像确定的视线向量也是极坐标系或者三角坐标系中的向量。需要将视线向量转换为整车坐标系中的向量。可以预先分别获取车内预设特征点在摄像机坐标系下的第一坐标和在整车坐标系下的第二坐标，根据第一坐标和第二坐标的映射关系确定坐标转换规则。由于车内的预设特征点在车内的位置是固定的，也就是说预设特征点在整车坐标系中的第二坐标是已知的。通过摄像机拍摄预设特征点，可以得到预设特征点在摄像机坐标系中的第一坐标。根据预设特征点的第一坐标与第二坐标的映射关系确定坐标转换规则。其中，坐标转换规则可以是根据极坐标与直角坐标系的坐标转换关系将摄像机拍摄的预设特征点转换为直角坐标系中的点，再基于上述映射关系确定直角坐标系的原点与整车坐标系的原点的关联关系，基于该关联关系将直角坐标系中的点转换成整车坐标系中的点。例如，确定车内两块1cm*1cm的特征区域作为预设特征点。可选的，预设特征点的颜色与其它内饰部分有明显色差，以便于由预设特征点的图像中快速地识别出预设特征点。需要说明的是，预设特征点的数量并不限于两个，之所以选择两个预设特征点是用作三角定位，如果特征区域足够大也能够达到定位效果。
可选的，在确定目标用户在摄像机坐标系下的第一视线向量的情况下，根据坐标转换规则确定所述第一视线向量对应的第二视线向量，其中，所述第二视线向量为目标用户在整车坐标系下的视线向量。例如，第一视线向量表示为(ρ0，θ0)，可以根据极坐标与直角坐标的坐标转换关系，得到第一视线向量对应的直角坐标，表示为(x0,y0,z0)；再根据坐标转换规则，将第一视线向量的直角坐标转换为整车坐标，表示为(x0+a,y0+b,z0+c)。
步骤120、根据所述视线向量确定所述目标用户在车载娱乐终端的屏幕上的关注目标。
需要说明的是，在目标用户看车载娱乐终端的屏幕时，由于视线向量是具有方向的直线，其与车载娱乐终端的屏幕相交。根据相交信息可以确定目标用户的关注目标。
步骤130、根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端。
需要说明的是，控制意图表示目标用户希望车载娱乐终端执行某种操作。可以根据关注目标在屏幕中的位置信息对应的界面内容确定目标用户的控制意图。根据该控制意图生成控制指令，并基于控制指令控制车载娱乐终端。例如，控制意图可以包括搜索、平移、拖动、拨打电话或者开关应用程序等。
本实施例的技术方案，通过确定目标用户在整车坐标系下的视线向量；根据所述视线向量确定所述目标用户在车载娱乐终端的屏幕上的关注目标；根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端，实现通过视线向量控制车载娱乐终端，降低了因控制车载娱乐终端而分散驾驶员注意力的风险，提高了驾驶安全性。
实施例二
图3为本发明实施例二提供的另一种车载娱乐终端的控制方法的流程图。如图3所示，该方法包括：
步骤310、确定目标用户在整车坐标系下的视线向量。
具体地，获取目标用户在摄像机坐标系下的第一视线向量；根据坐标转换规则确定第一视线向量对应的第二视线向量，第二视线向量即为目标用户在整车坐标系下的视线向量。其中，坐标转换规则基于车内预设特征点在摄像机坐标系下的第一坐标和整车坐标系下的第二坐标的映射关系确定。
步骤320、根据视线向量将车载娱乐终端的屏幕划分为至少一个屏幕分区。
需要说明的是，车载娱乐终端的屏幕可以包括多块触摸屏。例如，车载娱乐终端的屏幕可以是包括主屏、副屏和空调控制屏的三联屏。可以理解的是，基于不同功能，车载娱乐终端的屏幕可以包括更多或更少的触摸屏。例如，可以有单屏、二联屏、四联屏、五联屏等等。
可以基于视线向量、识别精度以及车载娱乐终端的屏幕的尺寸将车载娱乐终端划分为至少一个屏幕分区。其中，屏幕分区包括功能区域和显示区域。其中，视线向量包括瞳孔位置信息和视线夹角信息。屏幕与人眼的距离不同，视线夹角也不同。此外，视线夹角也会随瞳孔位置的变化为变化。
表1为眼睛与屏幕的距离及视线夹角的参数表
Figure BDA0002768365780000091
Figure BDA0002768365780000101
步骤330、确定所述视线向量与车载娱乐终端的屏幕的交点与预设的屏幕分区的位置关系。
图4为本发明实施例二提供的一种屏幕划分后的屏幕分区示意图。如图4所示，车载娱乐终端的屏幕为三联屏，并且主屏被划分为6个屏幕分区，并进行顺序编号，副屏整体作为一个屏幕分区。各个屏幕分区对应一定的屏幕区域。
在控制精度为区域控制的情况下，每个屏幕区域有各自的功能，例如，有些屏幕分区用于显示功能按键，有些屏幕分区用于显示数据等。计算视线向量与车载娱乐终端的屏幕的交点的位置，将交点的位置与屏幕分区所包含的区域进行匹配，从而确定该交点与预设的屏幕分区的位置关系。
步骤340、根据所述位置关系确定所述目标用户的关注目标。
示例性的，判断该位置处于哪个屏幕分区中，根据包含交点的屏幕分区确定目标用户的关注目标。如图4所示，若视线向量与车载娱乐终端的屏幕的交点在第3块屏幕分区中，则确定目标用户的关注点在第3块屏幕分区。
步骤350、获取所述关注目标在预设时间段内的状态信息，根据所述状态信息确定所述目标用户的控制意图。
示例性的，记录预设时间段内的关注目标的状态信息。其中，关注目标的状态信息包括目标用户注视该关注目标的时间。或者，关注目标的状态信息还可以包括关注目标由A切换为B的切换信息等等。以图4为例，关注目标由第7块屏幕分区切换为第3块屏幕分区，则控制意图可能是将第7块屏幕分区显示的内容推动至第3块屏幕分区进行显示。又如，第1块屏幕分区、第3块屏幕分区、第4块屏幕分区及第6块屏幕分区分别表示向左上平移、右上平移、左下平移及右下平移，第2块屏幕分区和第5块屏幕分区用于显示地图。假设关注目标在第1块屏幕区域，则控制意图可能是向左上方平移地图。若关注目标在第3块屏幕分区，则控制意图可能是向右上方平移地图。再如，假设第1块屏幕分区和第4块屏幕分别表示上移一条记录和下移一条记录，第2块屏幕分区和第5块屏幕分区用于显示联系人姓名，第3块屏幕分区用于显示与第2块屏幕分区对应的联系人的联系电话，而第6块屏幕分区用于显示与第5块屏幕分区对应的联系人的联系电话。若关注目标在第2块屏幕分区，则控制意图是拨打第3块屏幕分区上显示的联系电话。
可以理解的是，基于关注目标确定控制意图的方式有很多种，并不限于上述列举的方式。
步骤360、根据所述控制意图生成控制指令，基于所述控制指令控制所述车载娱乐终端。
本实施例的技术方案，通过确定目标用户在整车坐标系下的视线向量；根据视线向量将车载娱乐终端的屏幕划分为多个屏幕分区，进而根据视线向量与屏幕的交点与屏幕分区的关系，确定所述目标用户在车载娱乐终端的屏幕上的关注目标；根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端，实现基于视线向量控制车载娱乐终端执行屏幕分区所代表的功能，从而提供了一种基于视线向量的区域控制方式，降低了因控制车载娱乐终端而分散驾驶员注意力的风险，提高了驾驶安全性。
图5为本发明实施例三提供的又一种车载娱乐终端的控制方法的流程图。如图5所示，该方法包括：
步骤510、确定目标用户在整车坐标系下的视线向量。
步骤520、获取所述视线向量与车载娱乐终端的屏幕的交点处的坐标，根据所述坐标生成识别区域，并将所述识别区域作为所述目标用户的关注目标。
示例性的，获取整车坐标系下视线向量与车载娱乐终端的屏幕的交点处的坐标，生成以该坐标为圆心，预设半径的识别区域。可以将识别区域作为目标用户的关注目标。可选的，该识别区域可以显示在车载娱乐终端的屏幕上，也可以不在车载娱乐终端的屏幕上进行显示。
需要说明的是，识别区域的形状并不限于圆形，还可以是以该坐标为中心，预设长度为对角线的正方形、矩形、菱形、梯形等多边形。
需要说明的是，坐标由包含状态检测模块的驾驶员状态监测***，通过总线输出至车载娱乐控制终端的主机。
步骤530、获取所述关注目标对应的识别区域与预设的触发区域的重叠面积，根据所述重叠面积确定所述目标用户的控制意图。
其中，所述控制意图包括是否触发所述触发区域对应的功能。触发区域可以是屏幕中具有设定功能的区域，在检测到目标用户看向触发区域的情况下，触发区域对应的设定功能会被触发。
图6为本发明提供的一种地图移动示意图。如图6所示，在屏幕显示区域的边缘设置触发区域620。基于视线向量与车载娱乐终端的屏幕的交点处的坐标生成识别区域610。计算识别区域610与触发区域620的重叠面积。在重叠面积超过设定阈值时，确定目标用户的控制意图是触发该触发区域620对应的功能。例如，识别区域610与右侧的触发区域620的重叠面积超过设定阈值，则确定控制意图为控制地图向右平移。可选的，可以定义任何形状的滚动图标为上图的触发区域，即可以采用任何形状的图标定义精确矩阵表的触发区域。
图7为本发明实施例三提供的一种同名联系人选择示意图。如图7所示，在各个联系人对应的显示区域设置触发区域710。基于视线向量与车载娱乐终端的屏幕的交点处的坐标生成识别区域720。假设识别区域720与左侧联系人对应的触发区域710的重叠面积超过设定阈值，则确定目标用户的控制意图是拨打左侧联系人的联系电话。
步骤540、在所述控制意图是触发所述触发区域对应的功能时，生成触发指令，并基于所述触发指令控制所述车载娱乐终端。
本实施例的技术方案，通过确定目标用户在整车坐标系下的视线向量；获取所述视线向量与车载娱乐终端的屏幕的交点处的坐标，根据所述坐标生成识别区域，并将所述识别区域作为所述目标用户的关注目标；获取所述关注目标对应的识别区域与预设的触发区域的重叠面积，根据所述重叠面积确定所述目标用户的控制意图，在所述控制意图是触发所述触发区域对应的功能时，生成触发指令，并基于所述触发指令控制所述车载娱乐终端，实现基于视线向量控制车载娱乐终端，提供一种基于坐标点的车载娱乐终端的屏幕控制方式，降低了因控制车载娱乐终端而分散驾驶员注意力的风险，提高了驾驶安全性。
实施例四
图8为本发明实施例四提供的一种车载娱乐终端的控制装置的结构示意图，该装置可由软件和/或硬件实现，一般可集成在汽车中，可以通过执行车载娱乐终端的控制方法实现通过视线控制车载娱乐终端。如图8所示，该装置包括：
视线确定模块810，用于确定目标用户在整车坐标系下的视线向量；
目标确定模块820，用于根据所述视线向量确定所述目标用户在车载娱乐终端的屏幕上的关注目标；
终端控制模块830，用于根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端。
本发明实施例提供一种车载娱乐终端的控制装置，通过确定目标用户在整车坐标系下的视线向量；根据所述视线向量确定所述目标用户在车载娱乐终端的屏幕上的关注目标；根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端，实现通过视线向量控制车载娱乐终端，降低了因控制车载娱乐终端而分散驾驶员注意力的风险，提高了驾驶安全性。
可选的，还包括：
坐标转换模块，用于在确定目标用户在整车坐标系下的视线向量之前，获取车内预设特征点的摄像机坐标和车内位置坐标，根据所述摄像机坐标和所述车内位置坐标的映射关系确定坐标转换规则。
可选的，视线确定模块810具体用于：
获取目标用户在摄像机坐标系下的第一视线向量；
根据坐标转换规则确定所述第一视线向量对应的第二视线向量，其中，所述第二视线向量为目标用户在整车坐标系下的视线向量。
可选的，目标确定模块820具体用于：
确定所述视线向量与车载娱乐终端的屏幕的交点与预设的屏幕分区的位置关系，其中，所述屏幕分区包括功能区域和显示区域；
根据所述位置关系确定所述目标用户的关注目标。
可选的，终端控制模块830具体用于：
获取所述关注目标在预设时间段内的状态信息，根据所述状态信息确定所述目标用户的控制意图，其中，所述控制意图包括平移、拖动、拨打电话或开关应用程序；
根据所述控制意图生成控制指令，基于所述控制指令控制所述车载娱乐终端。
可选的，目标确定模块820具体用于：
获取所述视线向量与车载娱乐终端的屏幕的交点处的坐标，根据所述坐标生成识别区域，并将所述识别区域作为所述目标用户的关注目标。
可选的，终端控制模块830具体用于：
获取所述关注目标对应的识别区域与预设的触发区域的重叠面积，根据所述重叠面积确定所述目标用户的控制意图，其中，所述控制意图包括是否触发所述触发区域对应的功能；
在所述控制意图是触发所述触发区域对应的功能时，生成触发指令，并基于所述触发指令控制所述车载娱乐终端。
本发明实施例所提供的车载娱乐终端的控制装置可执行本发明任意实施例所提供的车载娱乐终端的控制方法，具备执行方法相应的功能模块和有益效果。
实施例五
图9为本发明实施例五提供的一种车载娱乐终端示意图。下面参考图9，其示出了适于用来实现本发明实施例的车载娱乐终端。如图9所示，车载娱乐终端900包括显示器910、处理器920、存储器930及存储在存储器930上并可在处理器920运行的计算机程序，所述处理器920执行所述计算机程序时实现如本发明任一实施例所述的车载娱乐终端的控制方法。
需要说明的是，图9示出的车载娱乐终端仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，车载娱乐终端900可以包括处理器920，其可以根据存储在只读存储器(ROM)931中的程序或者从存储装置933加载到随机访问存储器(RAM)932中的程序而执行各种适当的动作和处理。在RAM932中，还存储有车载娱乐终端900操作所需的各种程序和数据。需要说明的是，存储器930包括ROM931、RAM932和存储装置933等。
处理器920、ROM931以及RAM932通过总线950彼此相连。输入/输出(I/O)接口940也连接至总线950。显示屏910连接至I/O接口960。可选的，显示屏910为触控显示屏。
实施例六
本发明实施例六还提供一种汽车，该汽车包括如上述实施例五所述的车载娱乐终端。
实施例七
本发明实施例七还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种车载娱乐终端的控制方法，该方法包括：
确定目标用户在整车坐标系下的视线向量；
根据所述视线向量确定所述目标用户在车载娱乐终端的屏幕上的关注目标；
根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的车载娱乐终端的控制方法中的相关操作.
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述车载娱乐终端的控制装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种车载娱乐终端的控制方法，其特征在于，包括：
确定目标用户在整车坐标系下的视线向量；
根据所述视线向量确定所述目标用户在车载娱乐终端的屏幕上的关注目标；
根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端。
2.根据权利要求1所述的方法，其特征在于，确定目标用户在整车坐标系下的视线向量，包括：
获取目标用户在摄像机坐标系下的第一视线向量；
根据坐标转换规则确定所述第一视线向量对应的第二视线向量，其中，所述第二视线向量为目标用户在整车坐标系下的视线向量，所述坐标转换规则基于车内预设特征点在摄像机坐标系下的第一坐标和整车坐标系下的第二坐标的映射关系确定。
3.根据权利要求1所述的方法，其特征在于，根据所述视线向量确定所述目标用户在车载娱乐终端的屏幕上的关注目标，包括：
确定所述视线向量与车载娱乐终端的屏幕的交点与预设的屏幕分区的位置关系；
根据所述位置关系确定所述目标用户的关注目标。
4.根据权利要求3所述的方法，其特征在于，根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端，包括：
获取所述关注目标在预设时间段内的状态信息，根据所述状态信息确定所述目标用户的控制意图，其中，所述控制意图包括搜索、平移、拖动、拨打电话或开关应用程序；
根据所述控制意图生成控制指令，基于所述控制指令控制所述车载娱乐终端。
5.根据权利要求1所述的方法，其特征在于，根据所述视线向量确定所述目标用户在车载娱乐终端的屏幕上的关注目标，包括：
获取所述视线向量与车载娱乐终端的屏幕的交点处的坐标，根据所述坐标生成识别区域，并将所述识别区域作为所述目标用户的关注目标。
6.根据权利要求5所述的方法，其特征在于，根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端，包括：
获取所述关注目标对应的识别区域与预设的触发区域的重叠面积，根据所述重叠面积确定所述目标用户的控制意图，其中，所述控制意图包括是否触发所述触发区域对应的功能；
在所述控制意图是触发所述触发区域对应的功能时，生成触发指令，并基于所述触发指令控制所述车载娱乐终端。
7.一种车载娱乐终端的控制装置，其特征在于，包括：
视线确定模块，用于确定目标用户在整车坐标系下的视线向量；
目标确定模块，用于根据所述视线向量确定所述目标用户在车载娱乐终端的屏幕上的关注目标；
终端控制模块，用于根据所述关注目标确定所述目标用户的控制意图，根据所述控制意图控制所述车载娱乐终端。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的车载娱乐终端的控制方法。
9.一种车载娱乐终端，其特征在于，包括显示屏、存储器，处理器及存储在存储器上并可在处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6中任一所述的车载娱乐终端的控制方法。
10.一种汽车，其特征在于，包括权利要求9述的车载娱乐终端。
CN202011240794.0A 2020-11-09 2020-11-09 车载娱乐终端的控制方法、装置、存储介质、终端及汽车 Pending CN112383826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011240794.0A CN112383826A (zh) 2020-11-09 2020-11-09 车载娱乐终端的控制方法、装置、存储介质、终端及汽车

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011240794.0A CN112383826A (zh) 2020-11-09 2020-11-09 车载娱乐终端的控制方法、装置、存储介质、终端及汽车

Publications (1)

Publication Number Publication Date
CN112383826A true CN112383826A (zh) 2021-02-19

Family

ID=74579104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011240794.0A Pending CN112383826A (zh) 2020-11-09 2020-11-09 车载娱乐终端的控制方法、装置、存储介质、终端及汽车

Country Status (1)

Country Link
CN (1) CN112383826A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114610432A (zh) * 2022-03-17 2022-06-10 芜湖汽车前瞻技术研究院有限公司 车载显示屏的图形显示控制方法、装置、设备和存储介质
CN114647319A (zh) * 2022-03-28 2022-06-21 重庆长安汽车股份有限公司 一种用户车内屏幕显示信息流转的方法、***及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010259605A (ja) * 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
CN104461005A (zh) * 2014-12-15 2015-03-25 东风汽车公司 一种车载屏幕开关控制方法
US20150089440A1 (en) * 2013-09-24 2015-03-26 Lg Electronics Inc. Mobile terminal and control method thereof
US20170192500A1 (en) * 2015-12-31 2017-07-06 Le Holdings (Beijing) Co., Ltd. Method and electronic device for controlling terminal according to eye action
US20200150427A1 (en) * 2018-11-14 2020-05-14 Beijing 7Invensun Technology Co., Ltd. Method, apparatus and system for determining line of sight, and wearable eye movement device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010259605A (ja) * 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
US20150089440A1 (en) * 2013-09-24 2015-03-26 Lg Electronics Inc. Mobile terminal and control method thereof
CN104461005A (zh) * 2014-12-15 2015-03-25 东风汽车公司 一种车载屏幕开关控制方法
US20170192500A1 (en) * 2015-12-31 2017-07-06 Le Holdings (Beijing) Co., Ltd. Method and electronic device for controlling terminal according to eye action
US20200150427A1 (en) * 2018-11-14 2020-05-14 Beijing 7Invensun Technology Co., Ltd. Method, apparatus and system for determining line of sight, and wearable eye movement device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114610432A (zh) * 2022-03-17 2022-06-10 芜湖汽车前瞻技术研究院有限公司 车载显示屏的图形显示控制方法、装置、设备和存储介质
CN114647319A (zh) * 2022-03-28 2022-06-21 重庆长安汽车股份有限公司 一种用户车内屏幕显示信息流转的方法、***及存储介质

Similar Documents

Publication Publication Date Title
CN111931579B (zh) 利用眼动追踪和手势识别技术的自动驾驶辅助***及方法
JP6030430B2 (ja) 制御装置、車両及び携帯端末
CN106502570B (zh) 一种手势识别的方法、装置及车载***
US10635184B2 (en) Information processing device, information processing method, and program
US9703380B2 (en) Vehicle operation input device
US9235269B2 (en) System and method for manipulating user interface in vehicle using finger valleys
US9501693B2 (en) Real-time multiclass driver action recognition using random forests
CN109242765B (zh) 一种人脸图像处理方法、装置和存储介质
CN112383826A (zh) 车载娱乐终端的控制方法、装置、存储介质、终端及汽车
JP2017510875A (ja) ジェスチャー装置、その動作方法及びこれを備えた車両
CN113253908B (zh) 按键功能执行方法、装置、设备及存储介质
US10752261B2 (en) Driver distraction warning control apparatus and method
JP2018055614A (ja) ジェスチャ操作システム、ジェスチャ操作方法およびプログラム
CN107544740B (zh) 应用处理方法、装置、存储介质及电子设备
CN113548061A (zh) 人机交互方法、装置、电子设备以及存储介质
CN116449959A (zh) 一种手势控制方法、装置、计算机设备及存储介质
CN114510142B (zh) 基于二维图像的手势识别方法及其***和电子设备
CN115220636A (zh) 虚拟操作方法、装置、电子设备及可读存储介质
CN110944084B (zh) 单手模式控制方法、终端及计算机存储介质
CN114217716A (zh) 菜单栏显示方法、装置和电子设备
JP7375611B2 (ja) 操作装置
US20200167005A1 (en) Recognition device and recognition method
JP2021135843A (ja) 操作装置
US10466799B2 (en) Information processing apparatus, information processing method, and program
CN116069155A (zh) 用户界面的显示控制方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210219