CN112918381A - 一种车载机器人迎送宾方法、装置及*** - Google Patents

一种车载机器人迎送宾方法、装置及*** Download PDF

Info

Publication number
CN112918381A
CN112918381A CN201911239084.3A CN201911239084A CN112918381A CN 112918381 A CN112918381 A CN 112918381A CN 201911239084 A CN201911239084 A CN 201911239084A CN 112918381 A CN112918381 A CN 112918381A
Authority
CN
China
Prior art keywords
vehicle
user
greeting
mounted robot
entertainment terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911239084.3A
Other languages
English (en)
Other versions
CN112918381B (zh
Inventor
蔡吉晨
冉光伟
张莹
邓贵中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN201911239084.3A priority Critical patent/CN112918381B/zh
Publication of CN112918381A publication Critical patent/CN112918381A/zh
Application granted granted Critical
Publication of CN112918381B publication Critical patent/CN112918381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种车载机器人迎送宾方法、装置及***，所述车载机器人迎送宾***包括车内喇叭、麦克风、车内摄像头、车载娱乐终端、车载机器人控制器以及该***通过CAN总线获取车辆状态，通过车内摄像头判断用户的乘坐状态，并通过机器人的前视摄像头实现用户识别，然后通过车载机器人控制器完成场景分析、行为决策、机器人动作控制及表情显示，同时通过车内喇叭完成包含用户称谓的迎送宾语音播报，最终实现车内迎送宾功能。实施本发明实施例，能够提升车内智能化交互体验，满足用户个性化和情感化交互需求。

Description

一种车载机器人迎送宾方法、装置及***
技术领域
本发明属于用于汽车的电气***领域，具体涉及一种车载机器人迎送宾方法、装置及***。
背景技术
在现有技术中，已存在通过车载机器人与驾乘人员进行打招呼问候实现迎送宾功能。现有技术中通常采用如下的几种方式：其一，在车载娱乐终端或独立显示屏上显示虚拟形象，通过动画效果及声音来体现情感化交互，实现方式较为单一。其二，是利用全息投影技术在独立显示器上显示立体的虚拟形象，同样通过动画效果及声音来实现与驾乘人员之间的情感化交流；与第一种方式相比，第二种方式中的虚拟形象更加丰富多变，情感化交互体验有所提升。其三，通过车载实体机器人在驾乘人员上车及离车时打招呼问候并在显示屏上显示对应的表情。通过具象的机器人形象实现迎送宾功能与其他方式相比，最接近人与人之间的交流方式，能够较好地带给驾乘人员情感化交互体验。
由于现有的车载机器人***中，仅通过CAN总线获取车门开闭状态及座椅压力信号来判断主副驾是否有驾乘人员，但其没办法分辨用户身份，打招呼方式仅限于固定的问候语。现有的这种实现方式不具备个性化交互功能，智能化程度有待于进一步提升。
发明内容
本发明实施例所要解决的技术问题在于，提供一种车载机器人迎送宾方法、装置及***，可以对驾乘人员身份进行识别，使用个性化的问候语对驾乘人员进行迎送宾问候，从而提升车内迎送宾方式的个性化及智能化交互能力。
作为本发明的一方面，提供一种车载机器人迎送宾方法，其至少包括迎宾流程，包括如下步骤：
步骤S10，通过CAN总线检测到车辆解锁信息，唤醒车载娱乐终端及车载机器人控制器；
步骤S11，车载机器人控制器接收车载娱乐终端通过与其连接的车内摄像头所获取车内人员落座位置信息；
步骤S12，车载机器人控制器根据所述人员落座位置信息控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示迎宾表情，同时通过机器人前视摄像头对用户进行人脸识别，以确认用户的用户类型；
步骤S13，当识别结果为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的迎宾问候语；当识别结果为未认知用户时，车载机器人控制器向车载娱乐终端发送普通迎宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
其中，在步骤S12中具体包括：
控制机器人的前视摄像头对用户进行拍摄，与已存储的人脸图像进行比较识别，如果存在相近的人脸图像，则确认所述用户的用户类型为已认知用户，并获得所述用户的称谓；否则，确认所述用户的用户类型为未认知用户。
其中，进一步包括送宾流程，包括如下步骤：
步骤S20，通过CAN总线检测到车辆熄火时，唤醒车载娱乐终端及车载机器人控制器；
步骤S21，车载机器人控制器接收来自CAN总线的开门信号，判断用户离车方向及先后顺序；
步骤S22，车载机器人根据所述用户离车方向及先后顺序，控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示送宾表情，并获得当前用户的用户类型；
步骤S23，当用户类型为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的送宾问候语；当用户类型为未认知用户时，车载机器人控制器向车载娱乐终端发送普通送宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
其中，进一步包括：
车载机器人控制器向车载娱乐终端发送当日行程或/及天气提醒事项的语音。
其中，通过下述方式获得当前用户的用户类型：
根据本次行程中，迎宾流程中已识别到的用户类型确当前用户的用户类型；或者
通过控制机器人前视摄像头对用户进行人脸识别，确认用户的用户类型；
其中，进一步包括预先进行用户信息管理的步骤，包括：
步骤S30，响应用户通过麦克风或方向盘按键的操作，唤醒车载机器人；
步骤S31，车载机器人控制器接收车载娱乐终端获得的声源定位结果；
步骤S32，车载机器人控制器根据所述声源定位结果控制机器人上的转身电机组使车载机器人转向用户；
步骤S33，车载机器人响应用户的语音指令进入用户识别模式，并语音询问用户称谓，同时通过机器人前视摄像头对用户进行拍照，并存储，并将新增用户信息发送给车载娱乐终端，供车载娱乐终端进行管理；
步骤S34，车载机器人控制器接收车载娱乐终端将对用户的管理信息实现同步。
其中，所述步骤S34中车载娱乐终端将对用户的管理信息具体包括：
车载娱乐终端响应用户对包括称谓、身份、权限的用户信息进行绑定、修改、保存、删除操作形成的管理信息，其中，用户身份信息分为车主、常用乘员及普通乘员，不同的用户身份信息对应不同的用车权限。
相应地，本发明实施例的另一方面，还提供一种车载机器人迎送宾装置，设置于一车载机器人控制器中，其包括：
唤醒单元，用于通过CAN总线检测到车辆解锁信息或车辆熄火信息，唤醒车载机器人控制器；
信息接收单元，用于接收车载娱乐终端通过与其连接的车内摄像头所获取车内人员落座位置信息，或接收来自CAN总线的开门信号；
转向控制单元，用于所述人员落座位置信息或开门信息，控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示迎宾表情或送宾表情；
识别控制单元，用于通过机器人前视摄像头对用户进行人脸识别，以确认用户的用户类型；
问候语产生单元，用于在识别控制单元的识别结果为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的迎宾问候语；在识别控制单元的识别结果为未认知用户时，车载机器人控制器向车载娱乐终端发送普通迎宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
相应地，本发明实施例的再一方面还包括一种车载机器人迎送宾***，其包括：相互连接的车载娱乐终端和车载机器人控制器，所述车载机器人控制器连接有一个车载机器人；所述车载娱乐终端连接有车内喇叭、麦克风以及车内摄像头，所述车载娱乐终端和车载机器人控制器均连接在CAN总线上；其中：
所述车载机器人至少包括机器人前视摄像头、显示屏及转向电机组，所述机器人前视摄像头用于将拍摄到的用户图像传给车载机器人控制器；显示屏用于显示迎宾表情和送宾表情；所述转向电机组用于在所述车载机器人控制器的控制下完成车载机器人的转向；
车载娱乐终端，用于实现用户信息管理，确定车内人员落座信息，以及接受来自车载机器人控制器的包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语；
车内摄像头用于拍摄获得车内人员落座信息；
车内喇叭用于播放所述包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语；
麦克风用于接收用户的语音指令；
所述车载机器人控制器用于接收来自车载娱乐终端的用户信息、语音指令、车内人员落座信息、来自CAN总线的车辆熄火、车门开启信息，并控制车载机器人转向以及进行人脸识别，从而形成包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语。
其中，车内喇叭和麦克风均与车载娱乐终端通过音频差分双绞方式连接，车内摄像头与车载娱乐终端通过LVDS或以太网方式连接；
车载娱乐终端与车载机器人控制器通过USB或以太网方式进行连接；
机器人前视摄像头、显示屏与车载机器人控制器均通过LVDS方式连接；
转向电机组与车载机器人控制器中的电机驱动模块相连接。
其中，所述车载机器人控制器包含有：
唤醒单元，用于通过CAN总线检测到车辆解锁信息或车辆熄火信息，唤醒车载机器人控制器；
信息接收单元，用于接收车载娱乐终端通过与其连接的车内摄像头所获取车内人员落座位置信息，或接收来自CAN总线的开门信号；
转向控制单元，用于所述人员落座位置信息或开门信息，控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示迎宾表情或送宾表情；
识别控制单元，用于通过机器人前视摄像头对用户进行人脸识别，以确认用户的用户类型；
问候语产生单元，用于在识别控制单元的识别结果为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的迎宾问候语；在识别控制单元的识别结果为未认知用户时，车载机器人控制器向车载娱乐终端发送普通迎宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
实施本发明的实施例，具有如下的有益效果：
本发明提供的一种车载机器人迎送宾方法、装置及***，通过机器人前视摄像头对用户进行人脸识别实现了对用户身份的认知，进而在车载机器人的迎送宾模式中实现了包含用户称谓的迎送宾问候，提升了车内迎送宾方式的个性化及智能化交互能力。
本发明实施例中，采用车内摄像头替代了现有技术中的座椅压力传感器，能够较好地识别主副驾及前后排座位上有否有人员落座或离座，增加***的可靠性，同时能够降低成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明提供的一种车载机器人迎送宾方法中迎宾流程的主流程示意图；
图2为本发明提供的一种车载机器人迎送宾方法中送宾流程的主流程示意图；
图3为本发明提供的一种车载机器人迎送宾方法中预先进行用户信息管理的主流程示意图；
图4为本发明提供的车载机器人迎送宾***的一个实施例的结构示意图；
图5是本发明提供的一种车载机器人迎送宾装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，为本发明提供的一种车载机器人迎送宾方法中迎宾流程的主流程示意图；一并结合图2和图3所示。
在本实施例中，所述一种车载机器人迎送宾方法，其至少包括迎宾流程，包括如下步骤：
步骤S10，通过CAN总线检测到车辆解锁信息，唤醒车载娱乐终端及车载机器人控制器；
步骤S11，车载机器人控制器接收车载娱乐终端通过与其连接的车内摄像头所获取车内人员落座位置信息；
步骤S12，车载机器人控制器根据所述人员落座位置信息控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示迎宾表情，同时通过机器人前视摄像头对用户进行人脸识别，以确认用户的用户类型；
具体地，在一个例子中，以下述方式来进行人脸识别：
控制机器人的前视摄像头对用户进行拍摄，与已存储的人脸图像进行比较识别，如果存在相近的人脸图像，则确认所述用户的用户类型为已认知用户，并获得所述用户的称谓；否则，确认所述用户的用户类型为未认知用户；
步骤S13，当识别结果为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的迎宾问候语；当识别结果为未认知用户时，车载机器人控制器向车载娱乐终端发送普通迎宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
如图2所示，在发明提供的一种车载机器人迎送宾方法中，进一步包含有送宾流程，其包括如下步骤：
步骤S20，通过CAN总线检测到车辆熄火时，唤醒车载娱乐终端及车载机器人控制器；
步骤S21，车载机器人控制器接收来自CAN总线的开门信号，判断用户离车方向及先后顺序；
步骤S22，车载机器人根据所述用户离车方向及先后顺序，控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示送宾表情，并获得当前用户的用户类型；
在本发明实施例中，可以通过下述方式获得当前用户的用户类型：
根据本次行程中，迎宾流程中已识别到的用户类型确当前用户的用户类型；或者
通过控制机器人前视摄像头对用户进行人脸识别，确认用户的用户类型；
步骤S23，当用户类型为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的送宾问候语；当用户类型为未认知用户时，车载机器人控制器向车载娱乐终端发送普通送宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
可以理解的是，在其他的一些例子中，还可以进一步包括：
车载机器人控制器向车载娱乐终端发送当日行程或/及天气提醒事项的语音。
如图3所示其中，在发明提供的一种车载机器人迎送宾方法中，还可以进一步包括预先进行用户信息管理的步骤，包括：
步骤S30，响应用户通过麦克风或方向盘按键的操作，唤醒车载机器人；
步骤S31，车载机器人控制器接收车载娱乐终端获得的声源定位结果；
步骤S32，车载机器人控制器根据所述声源定位结果控制机器人上的转身电机组使车载机器人转向用户；
步骤S33，车载机器人响应用户的语音指令进入用户识别模式，并语音询问用户称谓，同时通过机器人前视摄像头对用户进行拍照，并存储，并将新增用户信息发送给车载娱乐终端，供车载娱乐终端进行管理；
步骤S34，车载机器人控制器接收车载娱乐终端将对用户的管理信息实现同步。
其中，所述步骤S34中车载娱乐终端将对用户的管理信息具体包括：
车载娱乐终端响应用户对包括称谓、身份、权限的用户信息进行绑定、修改、保存、删除操作形成的管理信息，其中，用户身份信息分为车主、常用乘员及普通乘员，不同的用户身份信息对应不同的用车权限。
如图4所示，为本发明提供的车载机器人迎送宾***的一个实施例的结构示意图；一并结合图5所示，可以理解的是，在具体的例子中，前述图1至图2中示出的方法在图4的***中所实现，在该实施例中，所述***包括：
相互连接的车载娱乐终端4和车载机器人控制器5，所述车载机器人控制器5连接有一个车载机器人6；所述车载娱乐终端连接有车内喇叭1、麦克风2以及车内摄像头3，所述车载娱乐终端4和车载机器人控制器5均连接在CAN总线上；
更加具体地，所述车载机器人6可以安装在中控台上、车载娱乐终端4或车内后视镜上方等位置处，其至少包括机器人前视摄像头7、显示屏8及转向电机组9，所述机器人前视摄像头7用于将拍摄到的用户图像传给车载机器人控制器5；显示屏8用于显示迎宾表情和送宾表情；所述转向电机组9用于在所述车载机器人控制器5的控制下完成车载机器人6的转向；
车载娱乐终端4，用于实现用户信息管理，确定车内人员落座信息，以及接受来自车载机器人控制器5的包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语；
车内摄像头3用于拍摄获得车内人员落座信息，并发送给车载娱乐终端4，在一个例子中，车内摄像头3可以安装在车内后视镜上方；
车内喇叭1用于播放所述包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语，以及其他交互内容；
麦克风2用于接收用户的语音指令，用户可以通过麦克风2唤醒车载机器人控制器5；
所述车载机器人控制器5用于接收来自车载娱乐终端4的用户信息、语音指令、车内人员落座信息、来自CAN总线的车辆熄火、车门开启信息，并控制车载机器人6转向以及进行人脸识别，从而形成包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语。
其中，车内喇叭1和麦克风2均与车载娱乐终端4通过音频差分双绞方式连接，车内摄像头3与车载娱乐终端4通过LVDS或以太网方式连接；
车载娱乐终端4与车载机器人控制器5通过USB或以太网方式进行连接；
机器人前视摄像头7、显示屏8与车载机器人控制器5均通过LVDS方式连接；
转向电机组9与车载机器人控制器5中的电机驱动模块相连接。
其中，所述车载机器人控制器5包含有一个车载机器人迎送宾装置50，所述装置50包括：
唤醒单元500，用于通过CAN总线检测到车辆解锁信息或车辆熄火信息，唤醒车载机器人控制器5；
信息接收单元501，用于接收车载娱乐终端4通过与其连接的车内摄像头3所获取车内人员落座位置信息，或接收来自CAN总线的开门信号；
转向控制单元502，用于所述人员落座位置信息或开门信息，控制车载机器人6上的转向电机组9使车载机器人6依次转向用户，在车载机器人6的显示屏9上显示迎宾表情或送宾表情；
识别控制单元503，用于通过机器人前视摄像头7对用户进行人脸识别，以确认用户的用户类型；
问候语产生单元504，用于在识别控制单元503的识别结果为已认知用户时，车载机器人控制器5产生包含用户称谓的迎宾问候语并发送给向车载娱乐终端4；在识别控制单元503的识别结果为未认知用户时，车载机器人控制器5产生普通迎宾问候语并向车载娱乐终端4发送；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端4连接的车内喇叭1进行语音播报。
更多的细节，可参考前述对图1至图3的描述，在此不进行赘述。
实施本发明的实施例，具有如下的有益效果：
本发明提供的一种车载机器人迎送宾方法、装置及***，通过机器人前视摄像头对用户进行人脸识别实现了对用户身份的认知，进而在车载机器人的迎送宾模式中实现了包含用户称谓的迎送宾问候，提升了车内迎送宾方式的个性化及智能化交互能力。
本发明实施例中，采用车内摄像头替代了现有技术中的座椅压力传感器，能够较好地识别主副驾及前后排座位上有否有人员落座或离座，增加***的可靠性，同时能够降低成本。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (11)

1.一种车载机器人迎送宾方法，其特征在于，至少包括迎宾流程，包括如下步骤：
步骤S10，通过CAN总线检测到车辆解锁信息，唤醒车载娱乐终端及车载机器人控制器；
步骤S11，车载机器人控制器接收车载娱乐终端通过与其连接的车内摄像头所获取车内人员落座位置信息；
步骤S12，车载机器人控制器根据所述人员落座位置信息控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示迎宾表情，同时通过机器人前视摄像头对用户进行人脸识别，以确认用户的用户类型；
步骤S13，当识别结果为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的迎宾问候语；当识别结果为未认知用户时，车载机器人控制器向车载娱乐终端发送普通迎宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
2.如权利要求1所述的方法，其特征在于，在步骤S12中具体包括：
控制机器人的前视摄像头对用户进行拍摄，与已存储的人脸图像进行比较识别，如果存在相近的人脸图像，则确认所述用户的用户类型为已认知用户，并获得所述用户的称谓；否则，确认所述用户的用户类型为未认知用户。
3.如权利要求2所述的方法，其特征在于，进一步包括送宾流程，包括如下步骤：
步骤S20，通过CAN总线检测到车辆熄火时，唤醒车载娱乐终端及车载机器人控制器；
步骤S21，车载机器人控制器接收来自CAN总线的开门信号，判断用户离车方向及先后顺序；
步骤S22，车载机器人根据所述用户离车方向及先后顺序，控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示送宾表情，并获得当前用户的用户类型；
步骤S23，当用户类型为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的送宾问候语；当用户类型为未认知用户时，车载机器人控制器向车载娱乐终端发送普通送宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
4.如权利要求3所述的方法，其特征在于，在所述步骤S23中，进一步包括：
车载机器人控制器向车载娱乐终端发送当日行程或/及天气提醒事项的语音。
5.如权利要求4所述的方法，其特征在于，所述步骤S22中，通过下述方式获得当前用户的用户类型：
根据本次行程中，迎宾流程中已识别到的用户类型确当前用户的用户类型；或者
通过控制机器人前视摄像头对用户进行人脸识别，确认用户的用户类型；
6.如权利要求1至5任一项所述的方法，其特征在于，进一步包括预先进行用户信息管理的步骤，包括：
步骤S30，响应用户通过麦克风或方向盘按键的操作，唤醒车载机器人；
步骤S31，车载机器人控制器接收车载娱乐终端获得的声源定位结果；
步骤S32，车载机器人控制器根据所述声源定位结果控制机器人上的转身电机组使车载机器人转向用户；
步骤S33，车载机器人响应用户的语音指令进入用户识别模式，并语音询问用户称谓，同时通过机器人前视摄像头对用户进行拍照，并存储，并将新增用户信息发送给车载娱乐终端，供车载娱乐终端进行管理；
步骤S34，车载机器人控制器接收车载娱乐终端将对用户的管理信息实现同步。
7.如权利要求6的方法，其特征在于，所述步骤S34中车载娱乐终端将对用户的管理信息具体包括：
车载娱乐终端响应用户对包括称谓、身份、权限的用户信息进行绑定、修改、保存、删除操作形成的管理信息，其中，用户身份信息分为车主、常用乘员及普通乘员，不同的用户身份信息对应不同的用车权限。
8.一种车载机器人迎送宾装置，设置于一车载机器人控制器中，其特征在于，包括：
唤醒单元，用于通过CAN总线检测到车辆解锁信息或车辆熄火信息，唤醒车载机器人控制器；
信息接收单元，用于接收车载娱乐终端通过与其连接的车内摄像头所获取车内人员落座位置信息，或接收来自CAN总线的开门信号；
转向控制单元，用于所述人员落座位置信息或开门信息，控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示迎宾表情或送宾表情；
识别控制单元，用于通过机器人前视摄像头对用户进行人脸识别，以确认用户的用户类型；
问候语产生单元，用于在识别控制单元的识别结果为已认知用户时，车载机器人控制器产生包含用户称谓的迎宾问候语向并车载娱乐终端发送；在识别控制单元的识别结果为未认知用户时，车载机器人控制器产生普通迎宾问候语并向车载娱乐终端发送；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
9.一种车载机器人迎送宾***，其特征在于包括：相互连接的车载娱乐终端和车载机器人控制器，所述车载机器人控制器连接有一个车载机器人；所述车载娱乐终端连接有车内喇叭、麦克风以及车内摄像头，所述车载娱乐终端和车载机器人控制器均连接在CAN总线上；其中：
所述车载机器人至少包括机器人前视摄像头、显示屏及转向电机组，所述机器人前视摄像头用于将拍摄到的用户图像传给车载机器人控制器；显示屏用于显示迎宾表情和送宾表情；所述转向电机组用于在所述车载机器人控制器的控制下完成车载机器人的转向；
车载娱乐终端，用于实现用户信息管理，确定车内人员落座信息，以及接受来自车载机器人控制器的包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语；
车内摄像头用于拍摄获得车内人员落座信息；
车内喇叭用于播放所述包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语；
麦克风用于接收用户的语音指令；
所述车载机器人控制器用于接收来自车载娱乐终端的用户信息、语音指令、车内人员落座信息、来自CAN总线的车辆熄火、车门开启信息，并控制车载机器人转向以及进行人脸识别，从而形成包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语。
10.如权利要求9所述的***，其特征在于，车内喇叭和麦克风均与车载娱乐终端通过音频差分双绞方式连接，车内摄像头与车载娱乐终端通过LVDS或以太网方式连接；
车载娱乐终端与车载机器人控制器通过USB或以太网方式进行连接；
机器人前视摄像头、显示屏与车载机器人控制器均通过LVDS方式连接；
转向电机组与车载机器人控制器中的电机驱动模块相连接。
11.如权利要求9或10所述的***，其特征在于，所述车载机器人控制器包含有：
唤醒单元，用于通过CAN总线检测到车辆解锁信息或车辆熄火信息，唤醒车载机器人控制器；
信息接收单元，用于接收车载娱乐终端通过与其连接的车内摄像头所获取车内人员落座位置信息，或接收来自CAN总线的开门信号；
转向控制单元，用于所述人员落座位置信息或开门信息，控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示迎宾表情或送宾表情；
识别控制单元，用于通过机器人前视摄像头对用户进行人脸识别，以确认用户的用户类型；
问候语产生单元，用于在识别控制单元的识别结果为已认知用户时，车载机器人控制器产生包含用户称谓的迎宾问候语向并车载娱乐终端发送；在识别控制单元的识别结果为未认知用户时，车载机器人控制器产生普通迎宾问候语并向车载娱乐终端发送；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
CN201911239084.3A 2019-12-06 2019-12-06 一种车载机器人迎送宾方法、装置及*** Active CN112918381B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911239084.3A CN112918381B (zh) 2019-12-06 2019-12-06 一种车载机器人迎送宾方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911239084.3A CN112918381B (zh) 2019-12-06 2019-12-06 一种车载机器人迎送宾方法、装置及***

Publications (2)

Publication Number Publication Date
CN112918381A true CN112918381A (zh) 2021-06-08
CN112918381B CN112918381B (zh) 2023-10-27

Family

ID=76162348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911239084.3A Active CN112918381B (zh) 2019-12-06 2019-12-06 一种车载机器人迎送宾方法、装置及***

Country Status (1)

Country Link
CN (1) CN112918381B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113276861A (zh) * 2021-06-21 2021-08-20 上汽通用五菱汽车股份有限公司 车辆控制方法、车辆控制***及存储介质
CN115817387A (zh) * 2023-01-03 2023-03-21 重庆长安汽车股份有限公司 一种车辆的迎送宾方法、装置、设备及存储介质

Citations (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006243555A (ja) * 2005-03-04 2006-09-14 Nec Corp 対応決定システム、ロボット、イベント出力サーバ、および対応決定方法
CN102749918A (zh) * 2012-04-23 2012-10-24 山东大陆科技有限公司 一种全区智能全自动服务***
CN104044526A (zh) * 2013-03-13 2014-09-17 广州汽车集团股份有限公司 一种车载智能信息***
CN104554254A (zh) * 2013-10-11 2015-04-29 现代摩比斯株式会社 利用全景监控的车辆用迎宾***及其工作方法
US20150229906A1 (en) * 2012-09-19 2015-08-13 Follow Inspiration Unipessoal, Lda Self tracking system and its operation method
CN105058393A (zh) * 2015-08-17 2015-11-18 李泉生 一种迎宾机器人
US20160041562A1 (en) * 2013-04-25 2016-02-11 GM Global Technology Operations LLC Method of controlling a component of a vehicle with a user device
CN205058054U (zh) * 2015-09-29 2016-03-02 塔米智能科技（北京）有限公司 一种多功能互动迎宾机器人
US20160111090A1 (en) * 2014-10-16 2016-04-21 General Motors Llc Hybridized automatic speech recognition
CN105701447A (zh) * 2015-12-30 2016-06-22 上海智臻智能网络科技股份有限公司 迎宾机器人
CN106394490A (zh) * 2016-10-19 2017-02-15 广州汽车集团股份有限公司 车辆智能解锁的方法、装置及***
KR101710695B1 (ko) * 2015-09-18 2017-02-27 주식회사 베이리스 차량용 음성 인식을 위한 마이크로폰 제어 시스템 및 그 제어 방법
US20170166055A1 (en) * 2015-12-10 2017-06-15 Myine Electronics, Inc. Methods and Systems for Interactive Passenger Notification
CN108263250A (zh) * 2017-12-28 2018-07-10 江西爱驰亿维实业有限公司 基于人脸识别的车载记忆座椅调整方法、***及终端
CN108363706A (zh) * 2017-01-25 2018-08-03 北京搜狗科技发展有限公司 人机对话交互的方法和装置、用于人机对话交互的装置
CN108444727A (zh) * 2018-02-27 2018-08-24 广州汽车集团股份有限公司 车辆远程监测方法、监测装置及监测***
US20180246641A1 (en) * 2017-02-28 2018-08-30 GM Global Technology Operations LLC Triggering control of a zone using a zone image overlay on an in-vehicle display
CN108491069A (zh) * 2018-03-01 2018-09-04 湖南西冲智能家居有限公司 一种增强现实ar透明显示互动***
CN108638951A (zh) * 2018-05-15 2018-10-12 重庆长安汽车股份有限公司 一种汽车迎送宾***及方法
CN208188811U (zh) * 2018-02-25 2018-12-04 绿驰汽车科技（上海）有限公司 一种汽车驾驶虚拟舱多屏互动控制***
CN208198314U (zh) * 2018-05-14 2018-12-07 浙江如新智能科技有限公司 一种智能汽车虚拟驾驶舱控制***
CN109036413A (zh) * 2018-09-18 2018-12-18 深圳市优必选科技有限公司 语音交互方法及终端设备
WO2018228404A1 (zh) * 2017-06-14 2018-12-20 蔚来汽车有限公司 自动调整车载音响音效模式的***和方法
CN109391807A (zh) * 2018-11-21 2019-02-26 汽-大众汽车有限公司 一种用于实现车载显示和交互的装置及方法
CN109710055A (zh) * 2017-12-15 2019-05-03 蔚来汽车有限公司 车载智能交互***和车载交互终端的交互控制方法
CN109934705A (zh) * 2019-03-27 2019-06-25 浪潮金融信息技术有限公司 一种应用于银行的全渠道客户迎宾方法
CN110111471A (zh) * 2019-05-15 2019-08-09 广州小鹏汽车科技有限公司 一种汽车账号登录方法、车载***及车辆
US20190265868A1 (en) * 2011-04-22 2019-08-29 Emerging Automotive, Llc Vehicle passenger controls via mobile devices
US20190279642A1 (en) * 2018-02-15 2019-09-12 DMAI, Inc. System and method for speech understanding via integrated audio and visual based speech recognition
CN110271503A (zh) * 2018-03-13 2019-09-24 广州汽车集团股份有限公司 基于avn的电源管理模式切换的控制方法和装置
DE102018002687A1 (de) * 2018-04-03 2019-10-10 Daimler Ag Verfahren zum Betreiben einer Haptikeinrichtung eines Kraftwagens sowie Haptikeinrichtung
CN110316115A (zh) * 2018-03-30 2019-10-11 比亚迪股份有限公司 车辆、基于车载显示终端的智能迎宾***和方法
WO2019201308A1 (zh) * 2018-04-20 2019-10-24 比亚迪股份有限公司 车载摄像头的控制***、方法、车载设备
WO2019201304A1 (zh) * 2018-04-20 2019-10-24 比亚迪股份有限公司 基于人脸识别的语音处理方法及其设备

Patent Citations (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006243555A (ja) * 2005-03-04 2006-09-14 Nec Corp 対応決定システム、ロボット、イベント出力サーバ、および対応決定方法
US20190265868A1 (en) * 2011-04-22 2019-08-29 Emerging Automotive, Llc Vehicle passenger controls via mobile devices
CN102749918A (zh) * 2012-04-23 2012-10-24 山东大陆科技有限公司 一种全区智能全自动服务***
US20150229906A1 (en) * 2012-09-19 2015-08-13 Follow Inspiration Unipessoal, Lda Self tracking system and its operation method
CN104044526A (zh) * 2013-03-13 2014-09-17 广州汽车集团股份有限公司 一种车载智能信息***
US20160041562A1 (en) * 2013-04-25 2016-02-11 GM Global Technology Operations LLC Method of controlling a component of a vehicle with a user device
CN104554254A (zh) * 2013-10-11 2015-04-29 现代摩比斯株式会社 利用全景监控的车辆用迎宾***及其工作方法
US20160111090A1 (en) * 2014-10-16 2016-04-21 General Motors Llc Hybridized automatic speech recognition
CN105058393A (zh) * 2015-08-17 2015-11-18 李泉生 一种迎宾机器人
KR101710695B1 (ko) * 2015-09-18 2017-02-27 주식회사 베이리스 차량용 음성 인식을 위한 마이크로폰 제어 시스템 및 그 제어 방법
CN205058054U (zh) * 2015-09-29 2016-03-02 塔米智能科技（北京）有限公司 一种多功能互动迎宾机器人
US20170166055A1 (en) * 2015-12-10 2017-06-15 Myine Electronics, Inc. Methods and Systems for Interactive Passenger Notification
CN105701447A (zh) * 2015-12-30 2016-06-22 上海智臻智能网络科技股份有限公司 迎宾机器人
CN106394490A (zh) * 2016-10-19 2017-02-15 广州汽车集团股份有限公司 车辆智能解锁的方法、装置及***
CN108363706A (zh) * 2017-01-25 2018-08-03 北京搜狗科技发展有限公司 人机对话交互的方法和装置、用于人机对话交互的装置
US20180246641A1 (en) * 2017-02-28 2018-08-30 GM Global Technology Operations LLC Triggering control of a zone using a zone image overlay on an in-vehicle display
WO2018228404A1 (zh) * 2017-06-14 2018-12-20 蔚来汽车有限公司 自动调整车载音响音效模式的***和方法
WO2019114718A1 (zh) * 2017-12-15 2019-06-20 蔚来汽车有限公司 人车交互方法、装置、车载智能控制器及***
CN109710055A (zh) * 2017-12-15 2019-05-03 蔚来汽车有限公司 车载智能交互***和车载交互终端的交互控制方法
CN108263250A (zh) * 2017-12-28 2018-07-10 江西爱驰亿维实业有限公司 基于人脸识别的车载记忆座椅调整方法、***及终端
US20190279642A1 (en) * 2018-02-15 2019-09-12 DMAI, Inc. System and method for speech understanding via integrated audio and visual based speech recognition
CN208188811U (zh) * 2018-02-25 2018-12-04 绿驰汽车科技（上海）有限公司 一种汽车驾驶虚拟舱多屏互动控制***
CN108444727A (zh) * 2018-02-27 2018-08-24 广州汽车集团股份有限公司 车辆远程监测方法、监测装置及监测***
CN108491069A (zh) * 2018-03-01 2018-09-04 湖南西冲智能家居有限公司 一种增强现实ar透明显示互动***
CN110271503A (zh) * 2018-03-13 2019-09-24 广州汽车集团股份有限公司 基于avn的电源管理模式切换的控制方法和装置
CN110316115A (zh) * 2018-03-30 2019-10-11 比亚迪股份有限公司 车辆、基于车载显示终端的智能迎宾***和方法
DE102018002687A1 (de) * 2018-04-03 2019-10-10 Daimler Ag Verfahren zum Betreiben einer Haptikeinrichtung eines Kraftwagens sowie Haptikeinrichtung
WO2019201308A1 (zh) * 2018-04-20 2019-10-24 比亚迪股份有限公司 车载摄像头的控制***、方法、车载设备
WO2019201304A1 (zh) * 2018-04-20 2019-10-24 比亚迪股份有限公司 基于人脸识别的语音处理方法及其设备
CN110390932A (zh) * 2018-04-20 2019-10-29 比亚迪股份有限公司 基于人脸识别的语音处理方法及其设备
CN208198314U (zh) * 2018-05-14 2018-12-07 浙江如新智能科技有限公司 一种智能汽车虚拟驾驶舱控制***
CN108638951A (zh) * 2018-05-15 2018-10-12 重庆长安汽车股份有限公司 一种汽车迎送宾***及方法
CN109036413A (zh) * 2018-09-18 2018-12-18 深圳市优必选科技有限公司 语音交互方法及终端设备
CN109391807A (zh) * 2018-11-21 2019-02-26 汽-大众汽车有限公司 一种用于实现车载显示和交互的装置及方法
CN109934705A (zh) * 2019-03-27 2019-06-25 浪潮金融信息技术有限公司 一种应用于银行的全渠道客户迎宾方法
CN110111471A (zh) * 2019-05-15 2019-08-09 广州小鹏汽车科技有限公司 一种汽车账号登录方法、车载***及车辆

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
韩昊旻: "基于多传感信息融合的迎宾机器人导航***设计与研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 8, pages 1 - 26 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113276861A (zh) * 2021-06-21 2021-08-20 上汽通用五菱汽车股份有限公司 车辆控制方法、车辆控制***及存储介质
CN115817387A (zh) * 2023-01-03 2023-03-21 重庆长安汽车股份有限公司 一种车辆的迎送宾方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112918381B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
CN107483528A (zh) 完全自主共享或出租车服务车辆的乘客的端对端调适功能
US10773726B2 (en) Information provision device, and moving body
CN112026790B (zh) 车载机器人的控制方法及装置、车辆、电子设备和介质
WO2021254141A1 (zh) 一种车辆交互方法和一种车辆
CN112918381B (zh) 一种车载机器人迎送宾方法、装置及***
US10666901B1 (en) System for soothing an occupant in a vehicle
US10706270B2 (en) Information provision device, and moving body
CN110876047A (zh) 车外投影方法、装置、设备和存储介质
CN107585094A (zh) 一种车载电子显示***及方法
CN111885572A (zh) 一种基于智能座舱的通信控制方法和智能座舱
CN110065439A (zh) 一种车内交互***
CN114872650A (zh) 一种车载设备的控制方法、装置、电子设备及存储介质
CN114043939B (zh) 一种使用全息投影技术的车载中控***及控制方法
CN114422980A (zh) 一种汽车上用于保护用户隐私的方法及***
CN107380062A (zh) 用于车辆中显示虚拟现实内容的方法和***
CN109017559A (zh) 生成提示信息的方法和装置
CN114537259B (zh) 一种汽车多模态迎宾交互的控制***及其控制方法
CN114194122B (zh) 一种安全提示***及汽车
CN111902864A (zh) 用于运行机动车的声音输出装置的方法、语音分析与控制装置、机动车和机动车外部的服务器装置
CN111703385B (zh) 一种内容互动方法以及一种车辆
CN113251739A (zh) 一种车载冰箱的控制***
CN114670761A (zh) 一种车辆控制方法、装置及汽车
CN210062854U (zh) 车载智能语音***
CN110633011A (zh) 一种车载机器人、控制方法、控制装置及存储介质
CN112506353A (zh) 车辆交互***、方法、存储介质和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant