CN110065439A - 一种车内交互*** - Google Patents

一种车内交互*** Download PDF

Info

Publication number
CN110065439A
CN110065439A CN201910359309.2A CN201910359309A CN110065439A CN 110065439 A CN110065439 A CN 110065439A CN 201910359309 A CN201910359309 A CN 201910359309A CN 110065439 A CN110065439 A CN 110065439A
Authority
CN
China
Prior art keywords
module
back seat
vehicle
camera
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910359309.2A
Other languages
English (en)
Inventor
王昊
王智琨
F·库巴特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Priority to CN201910359309.2A priority Critical patent/CN110065439A/zh
Publication of CN110065439A publication Critical patent/CN110065439A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B60R2300/8013Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo for child monitoring
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明涉及汽车技术领域,公开了一种车内交互***,该***包括:摄像头、显示模块、车载语音识别模块、车载通信模块和麦克风模块。本发明还公开了一种车内交互方法。本发明的技术方案便于驾驶员安全方便地观察后排座椅情况。

Description

一种车内交互***
技术领域
本发明涉及汽车技术领域,具体地说,涉及一种车内交互***。
背景技术
在汽车行驶中,驾驶员有时会出现扭头向后看的情况,这是一种危险的驾驶行为,容易导致交通事故。比如,根据当前中国交通法规规定,12岁以下儿童必须坐在汽车后排,那么当他们坐在后排哭喊时,身为驾驶员的父亲、母亲便会扭头观看孩子的状况;此外,驾驶员会不定时观察孩子有没有解开安全带或者离开安全座椅。又如,当几个朋友一起驾驶汽车外出时,后排的乘客说笑嬉闹,而驾驶员又十分想参与其中,便会不由自主的扭头参与其中。在另一种情景中,当车主带着宠物外出且宠物在后排座椅上时,驾驶员存在会扭头观看宠物的情况。以上情况中驾驶员扭头向后看的动作都容易导致交通事故。
此外,有时驾驶员在停车熄火离开汽车后,孩子、宠物却被遗忘在车内。长时间在密闭环境中孩子、宠物易窒息而亡。
另外,由于中国放开了二胎政策,越来越多的家庭购买7座以上的汽车。因为最后一排座椅距离前排(比如,驾驶员)太远,车内沟通变得越来越困难。最后一排的乘客必须以很高的声音才可以与驾驶员说话,这会影响其他乘客。
为了解决以上问题,当前汽车内配有反光镜,可以借助观察车内后排情况。但司机需要抬头向上看、转移视线,并且受限于反光镜的角度,常常只能看到后排的某个部位,或者因儿童、宠物太小而无法通过后视镜被观察到。同时当孩子、宠物被锁在车内时,目前汽车不能自主地联系驾驶员,特别是在无任何操作的情况下。并且当前汽车没有配备对话***,以使后排乘客可以主动的和驾驶员对话。
发明内容
为了克服上述技术问题,本发明提供了一种车内交互***,便于驾驶员安全方便地观察后排座椅情况。
为了实现上述目的,本发明提供了一种车内交互***,包括:
摄像头、显示模块、车载语音识别模块、车载通信模块和麦克风模块;
所述摄像头用于拍摄后排座椅情况;
所述车载语音识别模块用于识别后排座椅使用者发出的特定声音和驾驶员的查看指令;
所述麦克风模块集成在车内每个座椅的音响设备中;所述显示模块用于在所述车载语音识别模块识别出所述特定声音或所述查看指令的情况下显示所述摄像头拍摄的后排座椅情况,以及显示后排座椅的图形界面,并在所述图形界面中对开启麦克风模块的后排座椅进行提示;
所述车载通信模块用于将所述摄像头拍摄的后排座椅情况发送至移动终端;
其中所述车内交互***还在接收到所述驾驶员对所述开启麦克风模块的后排座椅的确认操作的情况下,接通所述开启麦克风模块的后排座椅的音响设备并关闭其他后排座椅的麦克风模块和音响设备。
在本发明的一种可选的实施方式中,所述摄像头位于前挡风玻璃顶端或车顶内衬前端。
在本发明的一种可选的实施方式中,所述显示模块包括:
位于车辆仪表盘的显示屏、位于前挡风玻璃的抬头显示HUD。
在本发明的一种可选的实施方式中,所述使用者发出的特定声音包括:
动物的叫声、儿童的哭喊声、儿童的说话声。
本发明还提供了一种车内交互方法,包括:
拍摄后排座椅情况;
识别后排座椅使用者发出的特定声音和驾驶员的查看指令;
在所述车载语音识别模块识别出所述特定声音或所述查看指令的情况下显示所述摄像头拍摄的后排座椅情况,以及显示后排座椅的图形界面,并在所述图形界面中对开启麦克风模块的后排座椅进行提示,其中所述麦克风模块集成在车内每个座椅的音响设备中;
将所述摄像头拍摄的后排座椅情况发送至移动终端;以及
在接收到所述驾驶员对所述开启麦克风模块的后排座椅的确认操作的情况下,接通所述开启麦克风模块的后排座椅的音响设备并关闭其他后排座椅的麦克风模块和音响设备。
在本发明的一种可选的实施方式中,所述使用者发出的特定声音包括:
动物的叫声、儿童的哭喊声、儿童的说话声。
本发明所述的车内交互***,该***包括:摄像头、显示模块、车载语音识别模块、车载通信模块;摄像头用于拍摄后排座椅情况;车载语音识别模块用于识别后排座椅使用者发出的特定声音;显示模块用于在所述车载语音识别模块识别出特定声音的情况下显示摄像头拍摄的后排座椅情况;车载通信模块用于将所述摄像头拍摄的后排座椅情况发送至移动终端。本发明的技术方案使驾驶员安全方便地观察后排座椅情况,通过车载语音识别模块来控制车内后排图像的显示,使驾驶员在不扭头的情况下容易观察到后排的情况,提升了行车安全。并且本发明的技术方案中当车载语音识别模块识别到后排座椅使用者发出不适声音或呼救时,还通过车载通信模块主动向驾驶员进行电话呼叫,从而能够及时向驾驶者通知紧急情况。
附图说明
图1为本发明所述车内交互***的***框图;
图2为本发明所述摄像头设置位置的示意图;
图3为本发明所述显示模块设置位置的示意图;
图4为本发明所述麦克风模块设置位置的示意图;
图5为本发明所述显示模块的示意图。
图6为本发明所述方法的流程图。
具体实施方式
下面参考附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其他附图或实施方式中示出的元素和特征相结合。应当注意,为了清楚的目的,附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件或处理的表示和描述。
本发明实施例提供了一种车内交互***,如图1所示,该***包括:
摄像头11、显示模块12、车载语音识别模块13、车载通信模块14和麦克风模块15。
摄像头11用于拍摄车内的后排座椅情况。
车载语音识别模块13用于识别后排座椅使用者发出的特定声音。
显示模块12用于在车载语音识别模块13识别出特定声音的情况下显示摄像头11拍摄的后排座椅情况。
车载通信模块14用于将摄像头11拍摄的后排座椅情况发送至移动终端。
麦克风模块15集成在车内座椅的音响设备中。
进一步的,车载语音识别模块13还用于识别驾驶员的查看指令。显示模块12还用于在车载语音识别模块13识别出查看指令的情况下显示摄像头11拍摄的后排座椅情况。
如图2所示,摄像头11可以设置在前挡风玻璃顶端(摄像头位置1)或车顶内衬前端(摄像头位置2)。摄像头位于车顶时便于全方位拍摄整个车内后排情况,给驾驶员提供全方面的图片影像。
摄像头11实时拍摄、记录后排座椅的乘客、宠物、儿童的情况。并且具有红外夜视功能的摄像头在夜间也可以清晰地拍摄。
如图3所示,显示模块12可以是位于车辆仪表盘的显示屏,或者位于前挡风玻璃的抬头显示(head up display,HUD)。
摄像头11的输出端与显示模块12相连,将图片、影像等数据传输给显示模块12。具体的,可以在车辆仪表盘的显示屏显示,或者通过HUD投影到前挡风玻璃。通常情况下图像存在于后台,不会在显示模块12上显示出来,不影响显示屏和HUD的使用,不会干扰驾驶员的驾驶。当驾驶员在驾驶过程中,车载语音识别模块13可以识别后排座椅使用者发出的特定声音,——比如儿童的情绪性声音、笑声、哭喊声、“爸爸”、“妈妈”的声音,宠物的叫声。当车载语音识别模块13识别出这些声音时,显示模块12显示摄像头11拍摄的后排座椅情况并将对应的声音也播放出来,同时暂停正在播放的广告、音乐等。驾驶员也可以在驾驶过程中主动观察后排座椅情况,此时驾驶员向车载语音识别模块13发出查看指令,比如驾驶员说:“我要看后排视频”。相应的,显示模块12开始显示摄像头11拍摄的后排座椅情况。
车载通信模块14具体可以是一个具有移动通信功能的模块,比如GSM模块。汽车内置手机SIM卡使车辆与驾驶员的移动终端——比如手机——相连接,同时还可以与其他家庭用户的手机相连接。家庭成员即使不在车内,也可以看到孩子、宠物的情况,必要时还可以打电话给汽车,启动帮助功能来帮助孩子。另外,通过车载通信模块14还可以把照片和视频分享至网络社交媒体,比如微信、微博、Facebook等。当驾驶员离开车辆而儿童、宠物遗留在车内的情况下,车载语音识别模块13可以检测识别他们的声音,比如哭喊声、叫声等。当识别到这些声音时,车载通信模块14可以主动呼叫驾驶员或其他家庭成员的手机进行警告,提醒人们尽快返回。
如图4所示,麦克风模块15集成在车内座椅的音响设备中。这样的设计方式避免了单独为麦克风寻找安装位置,也避免了重新布线。当后排座椅的乘客有需求时,可以通过其座椅旁边的麦克风模块15与驾驶员沟通。驾驶员可以调整车内各区域音响设备的音量,避免打扰其他人。
并且,显示模块还可以显示后排座椅的图形界面,并在图形界面中对开启麦克风模块15的后排座椅进行提示显示,从而便于驾驶员观察和操作。车内交互***能够接收驾驶员对开启麦克风模块15的后排座椅的确认操作,此后车内交互***接通开启麦克风模块15的后排座椅的音响设备并关闭其他后排座椅的麦克风模块15和音响设备。
举例来说,对于三厢车,共有六个座椅区域。显示模块12可以显示座椅的图形界面,如图5所示。当第三排座位的左座位麦克风模块15打开时,显示模块12进行提示显示,如图5所示的喇叭图标。该图示表明第三排座位左侧的乘客正与驾驶员通话。如果显示模块12是触控显示屏,则驾驶员可以在第三排座位的左座位的区域点击一下,从而接通该区域的音响设备,开启与的乘客的通话。在通话接通时,车内交互***可以关闭其他后排座椅的麦克风模块和音响设备。此外,驾驶员也可以通过车载语音识别模块13激活这个区域并通话,比如驾驶员可以说:“与第三排左侧通话”,从而接通第三排左侧的音响设备。
本发明实施例提供了一种车内交互***,摄像头、显示模块、车载语音识别模块、车载通信模块;摄像头用于拍摄后排座椅情况,车载语音识别模块用于识别后排座椅使用者发出的特定声音;显示模块用于在车载语音识别模块识别出特定声音的情况下显示摄像头拍摄的后排座椅情况;车载通信模块用于将摄像头拍摄的后排座椅情况发送至移动终端。本发明实施例的技术方案使驾驶员无需回头观察,也无需一直关注显示模块,只有在需要时才会安全方便地通过显示模块观察后排座椅情况,提升了行车安全。通过车载语音识别来控制车内后排图像的显示,使驾驶员在不扭头的情况下容易观察到后排的情况。本发明实施例的技术方案还提供车载通信模块,当后排座椅使用者被锁车里或感到不适发出声音时,主动向驾驶员进行电话呼叫,提醒驾驶员尽快返回,并且通过车载通信模块还可以将图片、视频分享至网络社交媒体。此外,本发明实施例中将麦克风集成在车内已有音响设备中,使后排座椅使用者与驾驶员进行沟通,驾驶员可以通过显示模块观察到沟通请求,并根据需要调整车内各个区域的音响的音量情况,具有方便快捷的交互效果和控制效果。
本发明实施例提供了一种车内交互方法,如图6所示,该方法包括:步骤S601、S602、S603、S604和S605。
在S601中,拍摄后排座椅情况;
在S602中,识别后排座椅使用者发出的特定声音和驾驶员的查看指令;
在S603中,在车载语音识别模块识别出特定声音或查看指令的情况下显示摄像头拍摄的后排座椅情况,以及显示后排座椅的图形界面,并在图形界面中对开启麦克风模块的后排座椅进行提示,其中麦克风模块集成在车内每个座椅的音响设备中;
在S604中,将摄像头拍摄的后排座椅情况发送至移动终端;以及
在S605中,在接收到驾驶员对开启麦克风模块的后排座椅的确认操作的情况下,接通开启麦克风模块的后排座椅的音响设备并关闭其他后排座椅的麦克风模块和音响设备。
在一种可选的实施方式中,使用者发出的特定声音包括:动物的叫声、儿童的哭喊声、儿童的说话声。
虽然已经详细说明了本发明及其优点,但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且,本申请的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解,根据本发明可以使用执行与在此所述的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此,所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。

Claims (6)

1.一种车内交互***,其特征在于,包括:
摄像头、显示模块、车载语音识别模块、车载通信模块和麦克风模块;
所述摄像头用于拍摄后排座椅情况;
所述车载语音识别模块用于识别后排座椅使用者发出的特定声音和驾驶员的查看指令;
所述麦克风模块集成在车内每个座椅的音响设备中;所述显示模块用于在所述车载语音识别模块识别出所述特定声音或所述查看指令的情况下显示所述摄像头拍摄的后排座椅情况,以及显示后排座椅的图形界面,并在所述图形界面中对开启麦克风模块的后排座椅进行提示;
所述车载通信模块用于将所述摄像头拍摄的后排座椅情况发送至移动终端;
其中所述车内交互***还在接收到所述驾驶员对所述开启麦克风模块的后排座椅的确认操作的情况下,接通所述开启麦克风模块的后排座椅的音响设备并关闭其他后排座椅的麦克风模块和音响设备。
2.根据权利要求1所述的车内交互***,其特征在于,所述摄像头位于前挡风玻璃顶端或车顶内衬前端。
3.根据权利要求2所述的车内交互***,其特征在于,所述显示模块包括:
位于车辆仪表盘的显示屏、位于前挡风玻璃的抬头显示HUD。
4.根据权利要求1-3中任一项所述的车内交互***,其特征在于,所述使用者发出的特定声音包括:
动物的叫声、儿童的哭喊声、儿童的说话声。
5.一种车内交互方法,其特征在于包括:
拍摄后排座椅情况;
识别后排座椅使用者发出的特定声音和驾驶员的查看指令;
在所述车载语音识别模块识别出所述特定声音或所述查看指令的情况下显示所述摄像头拍摄的后排座椅情况,以及显示后排座椅的图形界面,并在所述图形界面中对开启麦克风模块的后排座椅进行提示,其中所述麦克风模块集成在车内每个座椅的音响设备中;
将所述摄像头拍摄的后排座椅情况发送至移动终端;以及
在接收到所述驾驶员对所述开启麦克风模块的后排座椅的确认操作的情况下,接通所述开启麦克风模块的后排座椅的音响设备并关闭其他后排座椅的麦克风模块和音响设备。
6.根据权利要求5所述的车内交互***,其特征在于,所述使用者发出的特定声音包括:
动物的叫声、儿童的哭喊声、儿童的说话声。
CN201910359309.2A 2019-04-30 2019-04-30 一种车内交互*** Pending CN110065439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910359309.2A CN110065439A (zh) 2019-04-30 2019-04-30 一种车内交互***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910359309.2A CN110065439A (zh) 2019-04-30 2019-04-30 一种车内交互***

Publications (1)

Publication Number Publication Date
CN110065439A true CN110065439A (zh) 2019-07-30

Family

ID=67369761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910359309.2A Pending CN110065439A (zh) 2019-04-30 2019-04-30 一种车内交互***

Country Status (1)

Country Link
CN (1) CN110065439A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111645613A (zh) * 2020-05-20 2020-09-11 摩登汽车(盐城)有限公司 汽车后排监控装置及其控制方法
CN112078517A (zh) * 2020-09-02 2020-12-15 中国第一汽车股份有限公司 安全座椅的安全监测方法、装置、计算机设备及存储介质
CN112150786A (zh) * 2020-09-25 2020-12-29 北京百度网讯科技有限公司 控制车辆的方法、装置、车辆、电子设备和介质
CN115473987A (zh) * 2022-06-20 2022-12-13 北京罗克维尔斯科技有限公司 交互方法、装置、电子设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111645613A (zh) * 2020-05-20 2020-09-11 摩登汽车(盐城)有限公司 汽车后排监控装置及其控制方法
CN111645613B (zh) * 2020-05-20 2021-08-31 摩登汽车(盐城)有限公司 汽车后排监控装置及其控制方法
CN112078517A (zh) * 2020-09-02 2020-12-15 中国第一汽车股份有限公司 安全座椅的安全监测方法、装置、计算机设备及存储介质
CN112150786A (zh) * 2020-09-25 2020-12-29 北京百度网讯科技有限公司 控制车辆的方法、装置、车辆、电子设备和介质
CN112150786B (zh) * 2020-09-25 2021-12-03 阿波罗智联(北京)科技有限公司 控制车辆的方法、装置、车辆、电子设备和介质
CN115473987A (zh) * 2022-06-20 2022-12-13 北京罗克维尔斯科技有限公司 交互方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN110065439A (zh) 一种车内交互***
CN104816694B (zh) 一种驾车状态智能调整装置和方法
US20200310528A1 (en) Vehicle system for providing driver feedback in response to an occupant's emotion
CN111163974B (zh) 用于车辆的显示***和方法
EP3067827A1 (en) Driver distraction detection system
WO2015131783A1 (zh) 一种车辆内部使用场景的设置方法、车载设备和网络设备
CN205720871U (zh) 一种智能抬头显示***
CN105527710A (zh) 一种智能抬头显示***
CN106251870A (zh) 识别语音控制用的语境的方法、求出语音控制用的语音控制信号的方法及实施该方法的设备
US11044566B2 (en) Vehicle external speaker system
JP2014106329A (ja) テキスト読み上げ装置
US10674003B1 (en) Apparatus and system for identifying occupants in a vehicle
US20200108720A1 (en) Agent system, agent control method, and storage medium
CN111016824B (zh) 交流支援***、交流支援方法及存储介质
US11489954B2 (en) Vehicular electronic device and operation method thereof
CN108257610A (zh) 一种车机及对应的语音传输方法及***
CN112437246B (zh) 一种基于智能座舱的视频会议方法和智能座舱
CN114422980A (zh) 一种汽车上用于保护用户隐私的方法及***
JP2004354930A (ja) 音声認識システム
CN202615313U (zh) 车载识别控制***
CN112918381B (zh) 一种车载机器人迎送宾方法、装置及***
CN213199619U (zh) 一种车后座网络互联装置
JP2003054323A (ja) 車載テレビ電話装置
CN112506353A (zh) 车辆交互***、方法、存储介质和车辆
CN112738447B (zh) 一种基于智能座舱的视频会议方法和智能座舱

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190730

WD01 Invention patent application deemed withdrawn after publication