CN112918381B - 一种车载机器人迎送宾方法、装置及*** - Google Patents

一种车载机器人迎送宾方法、装置及*** Download PDF

Info

Publication number
CN112918381B
CN112918381B CN201911239084.3A CN201911239084A CN112918381B CN 112918381 B CN112918381 B CN 112918381B CN 201911239084 A CN201911239084 A CN 201911239084A CN 112918381 B CN112918381 B CN 112918381B
Authority
CN
China
Prior art keywords
vehicle
user
greeting
robot
entertainment terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911239084.3A
Other languages
English (en)
Other versions
CN112918381A (zh
Inventor
蔡吉晨
冉光伟
张莹
邓贵中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN201911239084.3A priority Critical patent/CN112918381B/zh
Publication of CN112918381A publication Critical patent/CN112918381A/zh
Application granted granted Critical
Publication of CN112918381B publication Critical patent/CN112918381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种车载机器人迎送宾方法、装置及***，所述车载机器人迎送宾***包括车内喇叭、麦克风、车内摄像头、车载娱乐终端、车载机器人控制器以及该***通过CAN总线获取车辆状态，通过车内摄像头判断用户的乘坐状态，并通过机器人的前视摄像头实现用户识别，然后通过车载机器人控制器完成场景分析、行为决策、机器人动作控制及表情显示，同时通过车内喇叭完成包含用户称谓的迎送宾语音播报，最终实现车内迎送宾功能。实施本发明实施例，能够提升车内智能化交互体验，满足用户个性化和情感化交互需求。

Description

一种车载机器人迎送宾方法、装置及***
技术领域
本发明属于用于汽车的电气***领域，具体涉及一种车载机器人迎送宾方法、装置及***。
背景技术
在现有技术中，已存在通过车载机器人与驾乘人员进行打招呼问候实现迎送宾功能。现有技术中通常采用如下的几种方式：其一，在车载娱乐终端或独立显示屏上显示虚拟形象，通过动画效果及声音来体现情感化交互，实现方式较为单一。其二，是利用全息投影技术在独立显示器上显示立体的虚拟形象，同样通过动画效果及声音来实现与驾乘人员之间的情感化交流；与第一种方式相比，第二种方式中的虚拟形象更加丰富多变，情感化交互体验有所提升。其三，通过车载实体机器人在驾乘人员上车及离车时打招呼问候并在显示屏上显示对应的表情。通过具象的机器人形象实现迎送宾功能与其他方式相比，最接近人与人之间的交流方式，能够较好地带给驾乘人员情感化交互体验。
由于现有的车载机器人***中，仅通过CAN总线获取车门开闭状态及座椅压力信号来判断主副驾是否有驾乘人员，但其没办法分辨用户身份，打招呼方式仅限于固定的问候语。现有的这种实现方式不具备个性化交互功能，智能化程度有待于进一步提升。
发明内容
本发明实施例所要解决的技术问题在于，提供一种车载机器人迎送宾方法、装置及***，可以对驾乘人员身份进行识别，使用个性化的问候语对驾乘人员进行迎送宾问候，从而提升车内迎送宾方式的个性化及智能化交互能力。
作为本发明的一方面，提供一种车载机器人迎送宾方法，其至少包括迎宾流程，包括如下步骤：
步骤S10，通过CAN总线检测到车辆解锁信息，唤醒车载娱乐终端及车载机器人控制器；
步骤S11，车载机器人控制器接收车载娱乐终端通过与其连接的车内摄像头所获取车内人员落座位置信息；
步骤S12，车载机器人控制器根据所述人员落座位置信息控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示迎宾表情，同时通过机器人前视摄像头对用户进行人脸识别，以确认用户的用户类型；
步骤S13，当识别结果为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的迎宾问候语；当识别结果为未认知用户时，车载机器人控制器向车载娱乐终端发送普通迎宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
其中，在步骤S12中具体包括：
控制机器人的前视摄像头对用户进行拍摄，与已存储的人脸图像进行比较识别，如果存在相近的人脸图像，则确认所述用户的用户类型为已认知用户，并获得所述用户的称谓；否则，确认所述用户的用户类型为未认知用户。
其中，进一步包括送宾流程，包括如下步骤：
步骤S20，通过CAN总线检测到车辆熄火时，唤醒车载娱乐终端及车载机器人控制器；
步骤S21，车载机器人控制器接收来自CAN总线的开门信号，判断用户离车方向及先后顺序；
步骤S22，车载机器人根据所述用户离车方向及先后顺序，控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示送宾表情，并获得当前用户的用户类型；
步骤S23，当用户类型为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的送宾问候语；当用户类型为未认知用户时，车载机器人控制器向车载娱乐终端发送普通送宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
其中，进一步包括：
车载机器人控制器向车载娱乐终端发送当日行程或/及天气提醒事项的语音。
其中，通过下述方式获得当前用户的用户类型：
根据本次行程中，迎宾流程中已识别到的用户类型确当前用户的用户类型；或者
通过控制机器人前视摄像头对用户进行人脸识别，确认用户的用户类型；
其中，进一步包括预先进行用户信息管理的步骤，包括：
步骤S30，响应用户通过麦克风或方向盘按键的操作，唤醒车载机器人；
步骤S31，车载机器人控制器接收车载娱乐终端获得的声源定位结果；
步骤S32，车载机器人控制器根据所述声源定位结果控制机器人上的转身电机组使车载机器人转向用户；
步骤S33，车载机器人响应用户的语音指令进入用户识别模式，并语音询问用户称谓，同时通过机器人前视摄像头对用户进行拍照，并存储，并将新增用户信息发送给车载娱乐终端，供车载娱乐终端进行管理；
步骤S34，车载机器人控制器接收车载娱乐终端将对用户的管理信息实现同步。
其中，所述步骤S34中车载娱乐终端将对用户的管理信息具体包括：
车载娱乐终端响应用户对包括称谓、身份、权限的用户信息进行绑定、修改、保存、删除操作形成的管理信息，其中，用户身份信息分为车主、常用乘员及普通乘员，不同的用户身份信息对应不同的用车权限。
相应地，本发明实施例的另一方面，还提供一种车载机器人迎送宾装置，设置于一车载机器人控制器中，其包括：
唤醒单元，用于通过CAN总线检测到车辆解锁信息或车辆熄火信息，唤醒车载机器人控制器；
信息接收单元，用于接收车载娱乐终端通过与其连接的车内摄像头所获取车内人员落座位置信息，或接收来自CAN总线的开门信号；
转向控制单元，用于所述人员落座位置信息或开门信息，控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示迎宾表情或送宾表情；
识别控制单元，用于通过机器人前视摄像头对用户进行人脸识别，以确认用户的用户类型；
问候语产生单元，用于在识别控制单元的识别结果为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的迎宾问候语；在识别控制单元的识别结果为未认知用户时，车载机器人控制器向车载娱乐终端发送普通迎宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
相应地，本发明实施例的再一方面还包括一种车载机器人迎送宾***，其包括：相互连接的车载娱乐终端和车载机器人控制器，所述车载机器人控制器连接有一个车载机器人；所述车载娱乐终端连接有车内喇叭、麦克风以及车内摄像头，所述车载娱乐终端和车载机器人控制器均连接在CAN总线上；其中：
所述车载机器人至少包括机器人前视摄像头、显示屏及转向电机组，所述机器人前视摄像头用于将拍摄到的用户图像传给车载机器人控制器；显示屏用于显示迎宾表情和送宾表情；所述转向电机组用于在所述车载机器人控制器的控制下完成车载机器人的转向；
车载娱乐终端，用于实现用户信息管理，确定车内人员落座信息，以及接受来自车载机器人控制器的包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语；
车内摄像头用于拍摄获得车内人员落座信息；
车内喇叭用于播放所述包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语；
麦克风用于接收用户的语音指令；
所述车载机器人控制器用于接收来自车载娱乐终端的用户信息、语音指令、车内人员落座信息、来自CAN总线的车辆熄火、车门开启信息，并控制车载机器人转向以及进行人脸识别，从而形成包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语。
其中，车内喇叭和麦克风均与车载娱乐终端通过音频差分双绞方式连接，车内摄像头与车载娱乐终端通过LVDS或以太网方式连接；
车载娱乐终端与车载机器人控制器通过USB或以太网方式进行连接；
机器人前视摄像头、显示屏与车载机器人控制器均通过LVDS方式连接；
转向电机组与车载机器人控制器中的电机驱动模块相连接。
其中，所述车载机器人控制器包含有：
唤醒单元，用于通过CAN总线检测到车辆解锁信息或车辆熄火信息，唤醒车载机器人控制器；
信息接收单元，用于接收车载娱乐终端通过与其连接的车内摄像头所获取车内人员落座位置信息，或接收来自CAN总线的开门信号；
转向控制单元，用于所述人员落座位置信息或开门信息，控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示迎宾表情或送宾表情；
识别控制单元，用于通过机器人前视摄像头对用户进行人脸识别，以确认用户的用户类型；
问候语产生单元，用于在识别控制单元的识别结果为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的迎宾问候语；在识别控制单元的识别结果为未认知用户时，车载机器人控制器向车载娱乐终端发送普通迎宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
实施本发明的实施例，具有如下的有益效果：
本发明提供的一种车载机器人迎送宾方法、装置及***，通过机器人前视摄像头对用户进行人脸识别实现了对用户身份的认知，进而在车载机器人的迎送宾模式中实现了包含用户称谓的迎送宾问候，提升了车内迎送宾方式的个性化及智能化交互能力。
本发明实施例中，采用车内摄像头替代了现有技术中的座椅压力传感器，能够较好地识别主副驾及前后排座位上有否有人员落座或离座，增加***的可靠性，同时能够降低成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。
图1为本发明提供的一种车载机器人迎送宾方法中迎宾流程的主流程示意图；
图2为本发明提供的一种车载机器人迎送宾方法中送宾流程的主流程示意图；
图3为本发明提供的一种车载机器人迎送宾方法中预先进行用户信息管理的主流程示意图；
图4为本发明提供的车载机器人迎送宾***的一个实施例的结构示意图；
图5是本发明提供的一种车载机器人迎送宾装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
如图1所示，为本发明提供的一种车载机器人迎送宾方法中迎宾流程的主流程示意图；一并结合图2和图3所示。
在本实施例中，所述一种车载机器人迎送宾方法，其至少包括迎宾流程，包括如下步骤：
步骤S10，通过CAN总线检测到车辆解锁信息，唤醒车载娱乐终端及车载机器人控制器；
步骤S11，车载机器人控制器接收车载娱乐终端通过与其连接的车内摄像头所获取车内人员落座位置信息；
步骤S12，车载机器人控制器根据所述人员落座位置信息控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示迎宾表情，同时通过机器人前视摄像头对用户进行人脸识别，以确认用户的用户类型；
具体地，在一个例子中，以下述方式来进行人脸识别：
控制机器人的前视摄像头对用户进行拍摄，与已存储的人脸图像进行比较识别，如果存在相近的人脸图像，则确认所述用户的用户类型为已认知用户，并获得所述用户的称谓；否则，确认所述用户的用户类型为未认知用户；
步骤S13，当识别结果为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的迎宾问候语；当识别结果为未认知用户时，车载机器人控制器向车载娱乐终端发送普通迎宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
如图2所示，在发明提供的一种车载机器人迎送宾方法中，进一步包含有送宾流程，其包括如下步骤：
步骤S20，通过CAN总线检测到车辆熄火时，唤醒车载娱乐终端及车载机器人控制器；
步骤S21，车载机器人控制器接收来自CAN总线的开门信号，判断用户离车方向及先后顺序；
步骤S22，车载机器人根据所述用户离车方向及先后顺序，控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示送宾表情，并获得当前用户的用户类型；
在本发明实施例中，可以通过下述方式获得当前用户的用户类型：
根据本次行程中，迎宾流程中已识别到的用户类型确当前用户的用户类型；或者
通过控制机器人前视摄像头对用户进行人脸识别，确认用户的用户类型；
步骤S23，当用户类型为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的送宾问候语；当用户类型为未认知用户时，车载机器人控制器向车载娱乐终端发送普通送宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
可以理解的是，在其他的一些例子中，还可以进一步包括：
车载机器人控制器向车载娱乐终端发送当日行程或/及天气提醒事项的语音。
如图3所示其中，在发明提供的一种车载机器人迎送宾方法中，还可以进一步包括预先进行用户信息管理的步骤，包括：
步骤S30，响应用户通过麦克风或方向盘按键的操作，唤醒车载机器人；
步骤S31，车载机器人控制器接收车载娱乐终端获得的声源定位结果；
步骤S32，车载机器人控制器根据所述声源定位结果控制机器人上的转身电机组使车载机器人转向用户；
步骤S33，车载机器人响应用户的语音指令进入用户识别模式，并语音询问用户称谓，同时通过机器人前视摄像头对用户进行拍照，并存储，并将新增用户信息发送给车载娱乐终端，供车载娱乐终端进行管理；
步骤S34，车载机器人控制器接收车载娱乐终端将对用户的管理信息实现同步。
其中，所述步骤S34中车载娱乐终端将对用户的管理信息具体包括：
车载娱乐终端响应用户对包括称谓、身份、权限的用户信息进行绑定、修改、保存、删除操作形成的管理信息，其中，用户身份信息分为车主、常用乘员及普通乘员，不同的用户身份信息对应不同的用车权限。
如图4所示，为本发明提供的车载机器人迎送宾***的一个实施例的结构示意图；一并结合图5所示，可以理解的是，在具体的例子中，前述图1至图2中示出的方法在图4的***中所实现，在该实施例中，所述***包括：
相互连接的车载娱乐终端4和车载机器人控制器5，所述车载机器人控制器5连接有一个车载机器人6；所述车载娱乐终端连接有车内喇叭1、麦克风2以及车内摄像头3，所述车载娱乐终端4和车载机器人控制器5均连接在CAN总线上；
更加具体地，所述车载机器人6可以安装在中控台上、车载娱乐终端4或车内后视镜上方等位置处，其至少包括机器人前视摄像头7、显示屏8及转向电机组9，所述机器人前视摄像头7用于将拍摄到的用户图像传给车载机器人控制器5；显示屏8用于显示迎宾表情和送宾表情；所述转向电机组9用于在所述车载机器人控制器5的控制下完成车载机器人6的转向；
车载娱乐终端4，用于实现用户信息管理，确定车内人员落座信息，以及接受来自车载机器人控制器5的包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语；
车内摄像头3用于拍摄获得车内人员落座信息，并发送给车载娱乐终端4，在一个例子中，车内摄像头3可以安装在车内后视镜上方；
车内喇叭1用于播放所述包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语，以及其他交互内容；
麦克风2用于接收用户的语音指令，用户可以通过麦克风2唤醒车载机器人控制器5；
所述车载机器人控制器5用于接收来自车载娱乐终端4的用户信息、语音指令、车内人员落座信息、来自CAN总线的车辆熄火、车门开启信息，并控制车载机器人6转向以及进行人脸识别，从而形成包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语。
其中，车内喇叭1和麦克风2均与车载娱乐终端4通过音频差分双绞方式连接，车内摄像头3与车载娱乐终端4通过LVDS或以太网方式连接；
车载娱乐终端4与车载机器人控制器5通过USB或以太网方式进行连接；
机器人前视摄像头7、显示屏8与车载机器人控制器5均通过LVDS方式连接；
转向电机组9与车载机器人控制器5中的电机驱动模块相连接。
其中，所述车载机器人控制器5包含有一个车载机器人迎送宾装置50，所述装置50包括：
唤醒单元500，用于通过CAN总线检测到车辆解锁信息或车辆熄火信息，唤醒车载机器人控制器5；
信息接收单元501，用于接收车载娱乐终端4通过与其连接的车内摄像头3所获取车内人员落座位置信息，或接收来自CAN总线的开门信号；
转向控制单元502，用于所述人员落座位置信息或开门信息，控制车载机器人6上的转向电机组9使车载机器人6依次转向用户，在车载机器人6的显示屏9上显示迎宾表情或送宾表情；
识别控制单元503，用于通过机器人前视摄像头7对用户进行人脸识别，以确认用户的用户类型；
问候语产生单元504，用于在识别控制单元503的识别结果为已认知用户时，车载机器人控制器5产生包含用户称谓的迎宾问候语并发送给向车载娱乐终端4；在识别控制单元503的识别结果为未认知用户时，车载机器人控制器5产生普通迎宾问候语并向车载娱乐终端4发送；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端4连接的车内喇叭1进行语音播报。
更多的细节，可参考前述对图1至图3的描述，在此不进行赘述。
实施本发明的实施例，具有如下的有益效果：
本发明提供的一种车载机器人迎送宾方法、装置及***，通过机器人前视摄像头对用户进行人脸识别实现了对用户身份的认知，进而在车载机器人的迎送宾模式中实现了包含用户称谓的迎送宾问候，提升了车内迎送宾方式的个性化及智能化交互能力。
本发明实施例中，采用车内摄像头替代了现有技术中的座椅压力传感器，能够较好地识别主副驾及前后排座位上有否有人员落座或离座，增加***的可靠性，同时能够降低成本。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种车载机器人迎送宾方法，其特征在于，至少包括迎宾流程，包括如下步骤：
步骤S10，通过CAN总线检测到车辆解锁信息，唤醒车载娱乐终端及车载机器人控制器；
步骤S11，车载机器人控制器接收车载娱乐终端通过与其连接的车内摄像头所获取车内人员落座位置信息；
步骤S12，车载机器人控制器根据所述人员落座位置信息控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示迎宾表情，同时通过机器人前视摄像头对用户进行人脸识别，以确认用户的用户类型；
步骤S13，当识别结果为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的迎宾问候语；当识别结果为未认知用户时，车载机器人控制器向车载娱乐终端发送普通迎宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报；
其中，进一步包括预先进行用户信息管理的步骤，包括：
步骤S30，响应用户通过麦克风或方向盘按键的操作，唤醒车载机器人；
步骤S31，车载机器人控制器接收车载娱乐终端获得的声源定位结果；
步骤S32，车载机器人控制器根据所述声源定位结果控制机器人上的转身电机组使车载机器人转向用户；
步骤S33，车载机器人响应用户的语音指令进入用户识别模式，并语音询问用户称谓，同时通过机器人前视摄像头对用户进行拍照，并存储，并将新增用户信息发送给车载娱乐终端，供车载娱乐终端进行管理；
步骤S34，车载机器人控制器接收车载娱乐终端将对用户的管理信息实现同步。
2.如权利要求1所述的方法，其特征在于，在步骤S12中具体包括：
控制机器人的前视摄像头对用户进行拍摄，与已存储的人脸图像进行比较识别，如果存在相近的人脸图像，则确认所述用户的用户类型为已认知用户，并获得所述用户的称谓；否则，确认所述用户的用户类型为未认知用户。
3.如权利要求2所述的方法，其特征在于，进一步包括送宾流程，包括如下步骤：
步骤S20，通过CAN总线检测到车辆熄火时，唤醒车载娱乐终端及车载机器人控制器；
步骤S21，车载机器人控制器接收来自CAN总线的开门信号，判断用户离车方向及先后顺序；
步骤S22，车载机器人根据所述用户离车方向及先后顺序，控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示送宾表情，并获得当前用户的用户类型；
步骤S23，当用户类型为已认知用户时，车载机器人控制器向车载娱乐终端发送包含用户称谓的送宾问候语；当用户类型为未认知用户时，车载机器人控制器向车载娱乐终端发送普通送宾问候语；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
4.如权利要求3所述的方法，其特征在于，在所述步骤S23中，进一步包括：
车载机器人控制器向车载娱乐终端发送当日行程或/及天气提醒事项的语音。
5.如权利要求4所述的方法，其特征在于，所述步骤S22中，通过下述方式获得当前用户的用户类型：
根据本次行程中，迎宾流程中已识别到的用户类型确当前用户的用户类型；或者
通过控制机器人前视摄像头对用户进行人脸识别，确认用户的用户类型。
6.如权利要求5的方法，其特征在于，所述步骤S34中车载娱乐终端将对用户的管理信息具体包括：
车载娱乐终端响应用户对包括称谓、身份、权限的用户信息进行绑定、修改、保存、删除操作形成的管理信息，其中，用户身份信息分为车主、常用乘员及普通乘员，不同的用户身份信息对应不同的用车权限。
7.一种车载机器人迎送宾装置，设置于一车载机器人控制器中，其特征在于，包括：
唤醒单元，用于通过CAN总线检测到车辆解锁信息或车辆熄火信息，唤醒车载机器人控制器；
信息接收单元，用于接收车载娱乐终端通过与其连接的车内摄像头所获取车内人员落座位置信息，或接收来自CAN总线的开门信号；
转向控制单元，用于所述人员落座位置信息或开门信息，控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示迎宾表情或送宾表情；
识别控制单元，用于通过机器人前视摄像头对用户进行人脸识别，以确认用户的用户类型；
问候语产生单元，用于在识别控制单元的识别结果为已认知用户时，车载机器人控制器产生包含用户称谓的迎宾问候语向并车载娱乐终端发送；在识别控制单元的识别结果为未认知用户时，车载机器人控制器产生普通迎宾问候语并向车载娱乐终端发送；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报；
进一步包括预先进行用户信息管理的单元，用于响应用户通过麦克风或方向盘按键的操作，唤醒车载机器人；控制接收车载娱乐终端获得的声源定位结果；根据所述声源定位结果控制机器人上的转身电机组使车载机器人转向用户；响应用户的语音指令进入用户识别模式，并语音询问用户称谓，同时通过机器人前视摄像头对用户进行拍照，并存储，并将新增用户信息发送给车载娱乐终端，供车载娱乐终端进行管理；接收车载娱乐终端将对用户的管理信息实现同步。
8.一种车载机器人迎送宾***，其特征在于包括：相互连接的车载娱乐终端和车载机器人控制器，所述车载机器人控制器连接有一个车载机器人；所述车载娱乐终端连接有车内喇叭、麦克风以及车内摄像头，所述车载娱乐终端和车载机器人控制器均连接在CAN总线上；其中：
所述车载机器人至少包括机器人前视摄像头、显示屏及转向电机组，所述机器人前视摄像头用于将拍摄到的用户图像传给车载机器人控制器；显示屏用于显示迎宾表情和送宾表情；所述转向电机组用于在所述车载机器人控制器的控制下完成车载机器人的转向；
车载娱乐终端，用于实现用户信息管理，确定车内人员落座信息，以及接受来自车载机器人控制器的包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语；
车内摄像头用于拍摄获得车内人员落座信息；
车内喇叭用于播放所述包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语；
麦克风用于接收用户的语音指令；
所述车载机器人控制器用于接收来自车载娱乐终端的用户信息、语音指令、车内人员落座信息、来自CAN总线的车辆熄火、车门开启信息，并控制车载机器人转向以及进行人脸识别，从而形成包含用户称谓的迎宾问候语或普通迎宾问候语、包含用户称谓的送宾问候语或普通送宾问候语；
所述车载机器人控制器进一步包括预先进行用户信息管理的单元，用于响应用户通过麦克风或方向盘按键的操作，唤醒车载机器人；控制接收车载娱乐终端获得的声源定位结果；根据所述声源定位结果控制机器人上的转身电机组使车载机器人转向用户；响应用户的语音指令进入用户识别模式，并语音询问用户称谓，同时通过机器人前视摄像头对用户进行拍照，并存储，并将新增用户信息发送给车载娱乐终端，供车载娱乐终端进行管理；接收车载娱乐终端将对用户的管理信息实现同步。
9.如权利要求8所述的***，其特征在于，车内喇叭和麦克风均与车载娱乐终端通过音频差分双绞方式连接，车内摄像头与车载娱乐终端通过LVDS或以太网方式连接；
车载娱乐终端与车载机器人控制器通过USB或以太网方式进行连接；
机器人前视摄像头、显示屏与车载机器人控制器均通过LVDS方式连接；
转向电机组与车载机器人控制器中的电机驱动模块相连接。
10.如权利要求8或9所述的***，其特征在于，所述车载机器人控制器包含有：
唤醒单元，用于通过CAN总线检测到车辆解锁信息或车辆熄火信息，唤醒车载机器人控制器；
信息接收单元，用于接收车载娱乐终端通过与其连接的车内摄像头所获取车内人员落座位置信息，或接收来自CAN总线的开门信号；
转向控制单元，用于所述人员落座位置信息或开门信息，控制车载机器人上的转向电机组使车载机器人依次转向用户，在车载机器人的显示屏上显示迎宾表情或送宾表情；
识别控制单元，用于通过机器人前视摄像头对用户进行人脸识别，以确认用户的用户类型；
问候语产生单元，用于在识别控制单元的识别结果为已认知用户时，车载机器人控制器产生包含用户称谓的迎宾问候语向并车载娱乐终端发送；在识别控制单元的识别结果为未认知用户时，车载机器人控制器产生普通迎宾问候语并向车载娱乐终端发送；所述包含用户称谓的迎宾问候语或普通迎宾问候语通过车载娱乐终端连接的车内喇叭进行语音播报。
CN201911239084.3A 2019-12-06 2019-12-06 一种车载机器人迎送宾方法、装置及*** Active CN112918381B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911239084.3A CN112918381B (zh) 2019-12-06 2019-12-06 一种车载机器人迎送宾方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911239084.3A CN112918381B (zh) 2019-12-06 2019-12-06 一种车载机器人迎送宾方法、装置及***

Publications (2)

Publication Number Publication Date
CN112918381A CN112918381A (zh) 2021-06-08
CN112918381B true CN112918381B (zh) 2023-10-27

Family

ID=76162348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911239084.3A Active CN112918381B (zh) 2019-12-06 2019-12-06 一种车载机器人迎送宾方法、装置及***

Country Status (1)

Country Link
CN (1) CN112918381B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113276861B (zh) * 2021-06-21 2023-03-28 上汽通用五菱汽车股份有限公司 车辆控制方法、车辆控制***及存储介质
CN115817387A (zh) * 2023-01-03 2023-03-21 重庆长安汽车股份有限公司 一种车辆的迎送宾方法、装置、设备及存储介质

Citations (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006243555A (ja) * 2005-03-04 2006-09-14 Nec Corp 対応決定システム、ロボット、イベント出力サーバ、および対応決定方法
CN102749918A (zh) * 2012-04-23 2012-10-24 山东大陆科技有限公司 一种全区智能全自动服务***
CN104044526A (zh) * 2013-03-13 2014-09-17 广州汽车集团股份有限公司 一种车载智能信息***
CN104554254A (zh) * 2013-10-11 2015-04-29 现代摩比斯株式会社 利用全景监控的车辆用迎宾***及其工作方法
CN105058393A (zh) * 2015-08-17 2015-11-18 李泉生 一种迎宾机器人
CN205058054U (zh) * 2015-09-29 2016-03-02 塔米智能科技（北京）有限公司 一种多功能互动迎宾机器人
CN105701447A (zh) * 2015-12-30 2016-06-22 上海智臻智能网络科技股份有限公司 迎宾机器人
CN106394490A (zh) * 2016-10-19 2017-02-15 广州汽车集团股份有限公司 车辆智能解锁的方法、装置及***
KR101710695B1 (ko) * 2015-09-18 2017-02-27 주식회사 베이리스 차량용 음성 인식을 위한 마이크로폰 제어 시스템 및 그 제어 방법
CN108263250A (zh) * 2017-12-28 2018-07-10 江西爱驰亿维实业有限公司 基于人脸识别的车载记忆座椅调整方法、***及终端
CN108363706A (zh) * 2017-01-25 2018-08-03 北京搜狗科技发展有限公司 人机对话交互的方法和装置、用于人机对话交互的装置
CN108444727A (zh) * 2018-02-27 2018-08-24 广州汽车集团股份有限公司 车辆远程监测方法、监测装置及监测***
CN108491069A (zh) * 2018-03-01 2018-09-04 湖南西冲智能家居有限公司 一种增强现实ar透明显示互动***
CN108638951A (zh) * 2018-05-15 2018-10-12 重庆长安汽车股份有限公司 一种汽车迎送宾***及方法
CN208188811U (zh) * 2018-02-25 2018-12-04 绿驰汽车科技（上海）有限公司 一种汽车驾驶虚拟舱多屏互动控制***
CN208198314U (zh) * 2018-05-14 2018-12-07 浙江如新智能科技有限公司 一种智能汽车虚拟驾驶舱控制***
CN109036413A (zh) * 2018-09-18 2018-12-18 深圳市优必选科技有限公司 语音交互方法及终端设备
WO2018228404A1 (zh) * 2017-06-14 2018-12-20 蔚来汽车有限公司 自动调整车载音响音效模式的***和方法
CN109391807A (zh) * 2018-11-21 2019-02-26 汽-大众汽车有限公司 一种用于实现车载显示和交互的装置及方法
CN109710055A (zh) * 2017-12-15 2019-05-03 蔚来汽车有限公司 车载智能交互***和车载交互终端的交互控制方法
CN109934705A (zh) * 2019-03-27 2019-06-25 浪潮金融信息技术有限公司 一种应用于银行的全渠道客户迎宾方法
CN110111471A (zh) * 2019-05-15 2019-08-09 广州小鹏汽车科技有限公司 一种汽车账号登录方法、车载***及车辆
CN110271503A (zh) * 2018-03-13 2019-09-24 广州汽车集团股份有限公司 基于avn的电源管理模式切换的控制方法和装置
DE102018002687A1 (de) * 2018-04-03 2019-10-10 Daimler Ag Verfahren zum Betreiben einer Haptikeinrichtung eines Kraftwagens sowie Haptikeinrichtung
CN110316115A (zh) * 2018-03-30 2019-10-11 比亚迪股份有限公司 车辆、基于车载显示终端的智能迎宾***和方法
WO2019201308A1 (zh) * 2018-04-20 2019-10-24 比亚迪股份有限公司 车载摄像头的控制***、方法、车载设备
WO2019201304A1 (zh) * 2018-04-20 2019-10-24 比亚迪股份有限公司 基于人脸识别的语音处理方法及其设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572123B2 (en) * 2011-04-22 2020-02-25 Emerging Automotive, Llc Vehicle passenger controls via mobile devices
PL2898384T3 (pl) * 2012-09-19 2020-05-18 Follow Inspiration Unipessoal, Lda. System automatycznie śledzący i jego sposób działania
WO2014176474A1 (en) * 2013-04-25 2014-10-30 GM Global Technology Operations LLC Ambient display
US20160111090A1 (en) * 2014-10-16 2016-04-21 General Motors Llc Hybridized automatic speech recognition
US20170166055A1 (en) * 2015-12-10 2017-06-15 Myine Electronics, Inc. Methods and Systems for Interactive Passenger Notification
US20180246641A1 (en) * 2017-02-28 2018-08-30 GM Global Technology Operations LLC Triggering control of a zone using a zone image overlay on an in-vehicle display
WO2019161198A1 (en) * 2018-02-15 2019-08-22 DMAI, Inc. System and method for speech understanding via integrated audio and visual based speech recognition

Patent Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006243555A (ja) * 2005-03-04 2006-09-14 Nec Corp 対応決定システム、ロボット、イベント出力サーバ、および対応決定方法
CN102749918A (zh) * 2012-04-23 2012-10-24 山东大陆科技有限公司 一种全区智能全自动服务***
CN104044526A (zh) * 2013-03-13 2014-09-17 广州汽车集团股份有限公司 一种车载智能信息***
CN104554254A (zh) * 2013-10-11 2015-04-29 现代摩比斯株式会社 利用全景监控的车辆用迎宾***及其工作方法
CN105058393A (zh) * 2015-08-17 2015-11-18 李泉生 一种迎宾机器人
KR101710695B1 (ko) * 2015-09-18 2017-02-27 주식회사 베이리스 차량용 음성 인식을 위한 마이크로폰 제어 시스템 및 그 제어 방법
CN205058054U (zh) * 2015-09-29 2016-03-02 塔米智能科技（北京）有限公司 一种多功能互动迎宾机器人
CN105701447A (zh) * 2015-12-30 2016-06-22 上海智臻智能网络科技股份有限公司 迎宾机器人
CN106394490A (zh) * 2016-10-19 2017-02-15 广州汽车集团股份有限公司 车辆智能解锁的方法、装置及***
CN108363706A (zh) * 2017-01-25 2018-08-03 北京搜狗科技发展有限公司 人机对话交互的方法和装置、用于人机对话交互的装置
WO2018228404A1 (zh) * 2017-06-14 2018-12-20 蔚来汽车有限公司 自动调整车载音响音效模式的***和方法
WO2019114718A1 (zh) * 2017-12-15 2019-06-20 蔚来汽车有限公司 人车交互方法、装置、车载智能控制器及***
CN109710055A (zh) * 2017-12-15 2019-05-03 蔚来汽车有限公司 车载智能交互***和车载交互终端的交互控制方法
CN108263250A (zh) * 2017-12-28 2018-07-10 江西爱驰亿维实业有限公司 基于人脸识别的车载记忆座椅调整方法、***及终端
CN208188811U (zh) * 2018-02-25 2018-12-04 绿驰汽车科技（上海）有限公司 一种汽车驾驶虚拟舱多屏互动控制***
CN108444727A (zh) * 2018-02-27 2018-08-24 广州汽车集团股份有限公司 车辆远程监测方法、监测装置及监测***
CN108491069A (zh) * 2018-03-01 2018-09-04 湖南西冲智能家居有限公司 一种增强现实ar透明显示互动***
CN110271503A (zh) * 2018-03-13 2019-09-24 广州汽车集团股份有限公司 基于avn的电源管理模式切换的控制方法和装置
CN110316115A (zh) * 2018-03-30 2019-10-11 比亚迪股份有限公司 车辆、基于车载显示终端的智能迎宾***和方法
DE102018002687A1 (de) * 2018-04-03 2019-10-10 Daimler Ag Verfahren zum Betreiben einer Haptikeinrichtung eines Kraftwagens sowie Haptikeinrichtung
WO2019201308A1 (zh) * 2018-04-20 2019-10-24 比亚迪股份有限公司 车载摄像头的控制***、方法、车载设备
CN110390932A (zh) * 2018-04-20 2019-10-29 比亚迪股份有限公司 基于人脸识别的语音处理方法及其设备
WO2019201304A1 (zh) * 2018-04-20 2019-10-24 比亚迪股份有限公司 基于人脸识别的语音处理方法及其设备
CN208198314U (zh) * 2018-05-14 2018-12-07 浙江如新智能科技有限公司 一种智能汽车虚拟驾驶舱控制***
CN108638951A (zh) * 2018-05-15 2018-10-12 重庆长安汽车股份有限公司 一种汽车迎送宾***及方法
CN109036413A (zh) * 2018-09-18 2018-12-18 深圳市优必选科技有限公司 语音交互方法及终端设备
CN109391807A (zh) * 2018-11-21 2019-02-26 汽-大众汽车有限公司 一种用于实现车载显示和交互的装置及方法
CN109934705A (zh) * 2019-03-27 2019-06-25 浪潮金融信息技术有限公司 一种应用于银行的全渠道客户迎宾方法
CN110111471A (zh) * 2019-05-15 2019-08-09 广州小鹏汽车科技有限公司 一种汽车账号登录方法、车载***及车辆

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于多传感信息融合的迎宾机器人导航***设计与研究;韩昊旻;《中国优秀硕士学位论文全文数据库 信息科技辑》(第8期);1-26 *

Also Published As

Publication number Publication date
CN112918381A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN107483528A (zh) 完全自主共享或出租车服务车辆的乘客的端对端调适功能
JP6965783B2 (ja) 音声提供方法および音声提供システム
CN107396249A (zh) 用于在交通运输车辆中提供乘员特定声学功能的***
US10773726B2 (en) Information provision device, and moving body
CN106564449A (zh) 一种智能行车定制方法和装置
CN112918381B (zh) 一种车载机器人迎送宾方法、装置及***
CN112026790B (zh) 车载机器人的控制方法及装置、车辆、电子设备和介质
US10706270B2 (en) Information provision device, and moving body
WO2021254141A1 (zh) 一种车辆交互方法和一种车辆
US10666901B1 (en) System for soothing an occupant in a vehicle
US11489954B2 (en) Vehicular electronic device and operation method thereof
CN110389744A (zh) 基于人脸识别的多媒体音乐处理方法和***
CN111261154A (zh) 智能体装置、智能体提示方法及存储介质
CN111885572A (zh) 一种基于智能座舱的通信控制方法和智能座舱
CN110065439A (zh) 一种车内交互***
US11184586B2 (en) Server, vehicle image capturing system, and vehicle image capturing method
CN114043939B (zh) 一种使用全息投影技术的车载中控***及控制方法
CN114422980A (zh) 一种汽车上用于保护用户隐私的方法及***
CN107380062A (zh) 用于车辆中显示虚拟现实内容的方法和***
CN112437246B (zh) 一种基于智能座舱的视频会议方法和智能座舱
CN109017559A (zh) 生成提示信息的方法和装置
US11302304B2 (en) Method for operating a sound output device of a motor vehicle using a voice-analysis and control device
CN111703385B (zh) 一种内容互动方法以及一种车辆
CN113911054A (zh) 车辆个性化配置方法及装置、电子设备和存储介质
CN112506353A (zh) 车辆交互***、方法、存储介质和车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant