CN112115887B - 监控方法、车载终端及计算机存储介质 - Google Patents
监控方法、车载终端及计算机存储介质 Download PDFInfo
- Publication number
- CN112115887B CN112115887B CN202011003215.0A CN202011003215A CN112115887B CN 112115887 B CN112115887 B CN 112115887B CN 202011003215 A CN202011003215 A CN 202011003215A CN 112115887 B CN112115887 B CN 112115887B
- Authority
- CN
- China
- Prior art keywords
- monitoring
- monitoring task
- target
- vehicle
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 187
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000000007 visual effect Effects 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 7
- 230000003993 interaction Effects 0.000 abstract description 8
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 241001061106 Sargocentron rubrum Species 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Alarm Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种监控方法,应用于车载终端,包括:接收语音信息;识别语音信息中包含的监控任务,监控任务包括目标特征、运动特征和结果反馈方式;若具备执行所述监控任务的能力,则开启数据采集设备,执行监控任务。本发明能通过语音交互实现车辆对可移动目标或环境特征的智能化监控,提升用户体验。
Description
技术领域
本发明涉及监控领域,特别是涉及一种监控方法、车载终端及计算机存储介质。
背景技术
车辆使用过程中一般会通过行车记录仪对行车环境进行监控。行车记录仪记录汽车行驶全过程的视频图像和声音,可为交通事故提供证据。但这种单纯的影像记录方式与用户缺乏交互,操作体验一般。同时,这种记录方式不能对用户感兴趣的目标进行有针对性的监控,记录内容冗余且缺乏重点,使用户按需提取对应的记录片段时非常麻烦,需要事后自己长时间看录像。
发明内容
本发明的目的在于提供一种监控方法、车载终端及计算机存储介质,能通过语音交互实现智能化监控,提升用户体验。
为解决上述技术问题,本申请提供一种监控方法,应用于车载终端,包括:
接收语音信息;
识别所述语音信息中包含的监控任务,所述监控任务包括目标特征、运动特征和结果反馈方式;
若具备执行所述监控任务的能力,则开启数据采集设备,执行所述监控任务。
其中,所述识别所述语音信息中包含的监控任务,包括:
提取所述语音信息中包含的监控任务,所述监控任务包括目标特征、运动特征和结果反馈方式;
判断提取的监控任务是否完整;
若不完整,则提示调整监控任务;
若完整,则判断是否具备执行所述监控任务的能力。
其中,所述判断是否具备执行所述监控任务的能力,包括:
判断是否同时具备采集所述目标特征和所述运动特征的能力、对所述目标特征进行视觉分析的能力以及执行所述结果反馈方式的能力;
若是,则具备执行所述监控任务的能力。
其中,所述判断是否具备对所述目标特征进行视觉分析的能力,包括:
所述目标特征不包含预设目标时,根据已有的视觉分析模型判断是否具备识别所述图像信息及所述目标特征中其它特征信息的能力;
若否,则从服务器获取用于分析相应特征的视觉分析模型;
若获取成功,则确定具备对所述目标特征进行视觉分析的能力。
其中,判断是否具备对所述目标特征进行视觉分析的能力,还包括:
若获取失败,则确定不具备对所述目标特征进行视觉分析的能力;
提示调整目标特征,并在屏幕上显示可选的已有的目标特征。
其中,所述判断是否具备对所述目标特征进行视觉分析的能力,包括:
所述目标特征包含预设目标时,查找用于识别所述预设目标的图像信息;
在所述车载终端和/或服务器存储的预设图像信息中查找所述预设目标对应的图像信息;
若未查找到所述预设目标对应的图像信息,则提示补充图像信息;
若查找到所述预设目标对应的图像信息,则进入所述根据已有的视觉分析模型判断是否具备识别所述图像信息及所述目标特征中其它特征信息的能力的步骤。
其中,判断是否具备采集所述目标特征和所述运动特征的能力,包括:
判断所述运动特征是否在所述采集设备的采集范围内;
若否,则提示调整运动特征,并在屏幕上显示可选的已有的运动特征。
其中,所述数据采集设备为摄像头,所述执行所述监控任务,包括:
开启所述摄像头,采集图像和/或视频;
对采集的图像和/或视频进行视觉分析,判断是否匹配所述监控任务的目标特征和/或运动特征;
若匹配,根据所述监控任务的结果反馈方式反馈监控结果。
其中,所述结果反馈方式包括向移动终端和/或所述车载终端推送消息、视频和/或拍照跟踪、闪灯提醒、语音提醒、扬声器提醒、记录和车辆点火中的至少一项。
其中,所述执行所述监控任务之前,还包括:
生成所述监控任务的关键信息;
语音输出和/或在屏幕显示所述监控任务的关键信息;
收到确认执行所述监控任务的指令后,执行所述监控任务。
本申请还提供一种车载终端,包括:
至少一个处理器;
至少一个存储器,所述至少一个存储器被耦合到所述至少一个处理器并且存储用于由所述至少一个处理器执行的指令,所述指令当由所述至少一个处理器执行时,使得所述设备执行如上所述的监控方法。
本申请还提供一种计算机存储介质,所述计算机存储介质上存储有计算机程序指令;所述计算机程序指令被处理器执行时实现如上所述的监控方法。
本申请的监控方法、车载终端及计算机存储介质,监控方法包括:接收语音信息;识别语音信息中包含的监控任务,监控任务包括目标特征、运动特征和结果反馈方式;若具备执行监控任务的能力,则开启数据采集设备,执行监控任务。本发明能通过语音交互实现车辆对可移动目标或环境特征的智能化监控,提升用户体验。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
图1是根据本发明实施例示出的监控方法的应用环境图;
图2是根据本发明实施例示出的监控方法的流程示意图;
图3是根据本发明实施例示出的监控方法的具体流程图;
图4是根据本发明实施例示出的车载终端的结构示意图之一;
图5是图4所示车载终端的结构示意图之二。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
在下述描述中,参考附图,附图描述了本申请的若干实施例。应当理解,还可使用其他实施例,并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的,并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例,而并非旨在限制本申请。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件,但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
图1为本发明实施例提供的监控方法的应用环境示意图,包括车辆11、车载终端12和摄像头13。应当理解,图1中的车辆11、服务器12和摄像头13的数目及其安装位置仅仅是示意性的。根据实现需要,可以具有任意数目的车辆11、服务器12和摄像头13进行关联。车载终端是指安装在汽车中控台上的、用于人与汽车进行信息交互的设备,车载终端12和摄像头13之间通过网络提供通信链路的介质,网络可以是移动通信网络等,例如,可以为无线保真网络、长期演进网络、4G网络或5G网络等移动通信网络。车载终端12接收用户通过麦克风发送的语音信息,摄像头13可以自带麦克风,也可以与车内的麦克风或手机麦克风连接,或者多种方式的集合。车载终端12对语音信息解析识别出监控任务,通过语音交互与用户对监控任务内容进行确认之后,根据执行对应监控任务,发现监控目标之后根据结果反馈方式对监控结果进行反馈,从而实现了智能监控,能够提高对监控目标反馈的及时性和有效性。
图2是根据本发明实施例示出的监控方法的流程示意图。如图2所示,为本发明实施例提供的一种监控方法,包括:
步骤201:接收语音信息;
步骤202:识别语音信息中包含的监控任务,监控任务包括目标特征、运动特征和结果反馈方式;
步骤203:若具备执行监控任务的能力,则开启数据采集设备,执行监控任务。
本实施例中,用户下发出语音信息后,可以通过车载麦克风、摄像头自带麦克风或手机麦克风等设备采集语音信息并发送至车载终端。车载终端通过语音识别、语义识别、关键字匹配等方法分析出语音信息中包含的监控任务的目标特征、运动特征及结果反馈方式。根据监控任务的具体内容评估是否具备执行监控任务的能力。如果具备执行监控任务的能力,则向用户复述任务的关键信息,如目标特征、运动特征及结果反馈方式,当用户觉得车载终端正确理解了监控任务,继续发出语言信息下达确认执行指令。接受该任务的车载终端可以利用车辆的摄像头、传感器及计算机运算能力对采集车辆周边环境信息并进行智能化分析,将分析结果通过车联网呈现给用户。本发明结合了车辆的数据采集能力和车载终端的运算能力,完成对视频分析并执行监控任务,从而让用户任意联网的场景下均能及时获取车辆采集的监控内容。
本实施例中,步骤202,识别语音信息中包含的监控任务时,车载终端首先通过语音识别,语义识别,关键字匹配等方法分析出监控任务的目标特征、运动特征及结果反馈方式。例如,可以在语音下达监控任务时,加上前缀“监控任务”标识监控任务的开始,加上前缀“目标”以标识目标特征的内容,加上前缀“位置”以标识运动特征的内容,加上前缀“反馈”以标识结果反馈方式的内容。特定前缀之后录入具体内容,比如,用户用“位置:车门正前方出现”,或“位置:摄像头当前朝向位置出现”,或“位置:车辆左侧驾驶门窗位置出现”这样的说法表达监控任务中运动特征的具体内容。提取完语音信息中包含的监控任务后,判断提取的监控任务是否完整,即监控任务是否包括了目标特征、运动特征和结果反馈方式。若监控任务不完整,则提示用户调整监控任务以补充或更换监控任务,还可根据已采集到的部分监控任务内容推荐可供选择的监控任务,用户可在车载终端或手机端直接选择。若监控任务完整,则判断是否具备执行监控任务的能力。
本实施例中,判断是否具备执行监控任务的能力时,可以判断是否同时具备采集目标特征和运动特征的能力、对目标特征进行视觉分析的能力以及执行结果反馈方式的能力。若同时满足上述条件,则判断具备执行监控任务的能力,可继续执行步骤203,开启数据采集设备,执行监控任务。
具体地,在判断是否具备对目标特征进行视觉分析的能力时,目标特征包括目标、目标外观、目标年龄、目标种类等。如果目标特征包含预设目标,则查找用于识别预设目标的图像信息。例如,预设目标为“老婆”时,在***查找名称为“老婆”的图像信息,或查找注册用户为“老婆”的图像资料等。可以在车载终端和/或服务器存储的图像信息库中查找预设目标对应的图像信息;若没有查找到预设目标对应的图像信息,可以向用户发出提示补充图像信息的通知;若查找到预设目标对应的图像信息,则进入根据已有的视觉分析模型判断是否具备识别图像信息及目标特征中其它特征信息的能力的步骤。若已有的视觉分析模型不具备识别图像信息及目标特征中其他特征信息的能力,则从服务器获取用于分析相应特征的视觉分析模型;若获取成功,则确定具备对目标特征进行视觉分析的能力。对于无法识别的目标特征向云端下载查找视觉模型。如果车内缺少任务视觉模型,可向云端进行查询并下载,过程可以视产品需求添加用户确认或付费下载环节。检查车内预置的现有视觉模型是否胜任视觉分析任务,比如目标特征是监控特定穿着的客户,需要车载终端视觉模型有衣着分析,性别分析模型能力,精确监控特定的人物需要人脸识别能力,监控区分老人小孩中年人需要人脸基础上的年龄分析能力,监控动物需要动物匹配模型能力。如果无法下载监控任务中识别监控目标需要的视觉模型,可以语音提示用户当前监控任务无法完成,建议更换监控目标,并提供其他相关的可识别的目标特征在车载终端屏幕显示,以便于用户进行选择调整。
判断是否具备采集目标特征和运动特征的能力时,判断运动特征是否在采集设备的采集范围内,即确认目标出现的位置及运动特征的空间范围是否在摄像头支持识别的范围内,如“车门正前方出现”,或“摄像头当前朝向位置出现”,或“车左侧驾驶门窗位置出现”,运动特征可以是从左向右,或是从右向左,肢体触碰车辆某个位置,先靠近车辆再远离等。若超出摄像头可采集的范围,则提示调整运动特征,并在屏幕上显示可选的已有的运动特征。
判断是否具备执行结果反馈方式的能力时,在已有的结果反馈方式中查找是否存在当前监控任务的结果反馈方式,若存在,则判断具备执行结果反馈方式的能力,若不存在,可提供用户调整结果反馈方式,或在***中添加新的结果反馈方式。其中,结果反馈方式包括向移动终端和/或车载终端推送消息、视频和/或拍照跟踪、闪灯提醒、语音提醒、扬声器提醒、记录和车辆点火中的至少一项。结果反馈方式可以是通过车联网APP通知,或是电话通知或是短信通知,或是车内提醒。或是智能提醒:用户在车内优先车内提醒,用户不在车内车联网APP在线则通过车联网APP提醒,用户车联网APP帐号不在线侧视优先程度通过微信、短信或电话提醒。
在一实施方式中,采集设备为摄像头时,执行监控任务可开启摄像头,采集图像和/或视频;对采集的图像和/或视频进行视觉分析,判断是否匹配监控任务的目标特征和/或运动特征;若匹配,根据监控任务的结果反馈方式反馈监控结果。
本实施例中,步骤203,执行监控任务之前,还包括:生成监控任务的关键信息;语音复述和/或在屏幕显示监控任务的关键信息;收到确认执行监控任务的指令后,执行监控任务。车载终端将任务的目标特征,出现特征,移动特征,及匹配后动作及附加动作组合成语句,语音朗读给用户听,并获取用户语音开始执行或取消命令。
本申请的监控方法,包括:接收语音信息;识别语音信息中包含的监控任务,监控任务包括目标特征、运动特征和结果反馈方式;若具备执行监控任务的能力,则开启数据采集设备,执行监控任务。本发明能通过语音交互实现智能化监控,提升用户体验。
图3是根据本发明实施例示出的监控方法的具体流程图。如图3所示,接收语音信息执行监控任务之前,用户可在车载终端界面或车联APP界面选择需要的视觉分析模型,如分别针对人物、动物和车辆的视觉识别模型等。然后下载并在本地存储,便于随时使用。然后用户可通过语音下达监控任务,***分析语音信息关键字以识别监控任务的具体内容。然后根据监控任务确认是否存在对应的视觉模型,并根据监控任务的结果反馈方式设置。将整理后的监控任务内容发送至用户进行确认,得到用户确认指令后,开启数据采集设备进行采集,如开启摄像头并根据目标的运动特征调整角度或位置进行拍摄,持续获取视频流。同时,对视频流进行分析,若目标匹配监控任务内容,则执行对应的结果反馈方式,例如向用户推送消息,可以通过车联APP推送监控任务的照片、视频或文字描述,也可通过直接向用户发送短信或拨打电话,保证反馈的实时性。任务执行过程中,用户可以通过车载终端屏幕操作界面或车联网APP取消正在执行的任务。
根据上述内容,本发明具体可应用至如下场景。
场景一
用户带孩子开车回农村老家过年,家长忙于家务,同时担心孩子离开视线范围,可将车停在院子中,车前方摄像头正对着家门,语音下达监控任务:“爱车,添加监控任务,目标:小孩,出现位置:车正前方,反馈:发现后电话通知我,然后开启视频追踪,语音提示:“爸爸不允许你到外面玩赶紧回家”。”车载终端识别语音并进行语义分析以后判断是否可以接受任务,如果确认可接收,回复“好的,我已成功接受任务,在您下次开车或远程解除任务以前,我会监控前方,捕捉目标:小孩子,目标出现过较大移动以后立即电话通知您,并用喇叭语音提示“爸爸不允许你到外面玩赶紧回家”。”然后对目标进行摄像头视野移动追踪拍摄。
场景二
用户的车辆经常在外面被人划或贴小广告,用户离开时给车辆语音下达任务:“爱车,添加监控任务,目标:监控划车和贴广告者,出现位置:接触车身,反馈:跟踪拍照并及时通知我。”车载终端识别语音并进行语义分析以后判断是否可以接受任务,如确认可接受,回复“好的,我已接受任务,目标陌生人,当靠近车辆及有身体接触时会自动拍照并发送照片通过车联网APP通知您。”然后开启摄像头进行监控。
场景三
用户将车停在某个饭店门口等某个客户,用户不确定客户什么时候能从饭店出来,于是给车辆下达了监控任务,“爱车,添加监控任务,目标:客户,红衣上衣,黑色短裙,长头发的,位置:饭店门口,反馈:发现疑似目标,请语音提示我。”于是车辆代替用户执行监控任务,直到发现客户出门语音提示用户,大大节省了用户时间精力。
本发明实施例充分利用了车辆的摄像头及视觉分析能力,帮用户监控感兴趣的目标并及时记录并及时通知用户,比传统视频监控增加了智能化分析的过程,无需按特定目标对视频进行再加工整理,并能与用户语音互动,利用车辆打造一个移动化监控分析工具。
如图4所示,本申请还提供一种车载终端10,应用于车辆,包括:处理器102和存储有计算机程序的存储器106,在处理器102运行计算机程序时,实现的监控方法包括:
接收语音信息;
识别语音信息中包含的监控任务,监控任务包括目标特征、运动特征和结果反馈方式;
若具备执行监控任务的能力,则开启数据采集设备,执行监控任务。
在一实施方式中,处理器102执行识别语音信息中包含的监控任务的步骤,包括:
提取语音信息中包含的监控任务,监控任务包括目标特征、运动特征和结果反馈方式;
判断提取的监控任务是否完整;
若不完整,则提示调整监控任务;
若完整,则执行判断是否具备执行监控任务的能力的步骤。
在一实施方式中,处理器102执行判断是否具备执行监控任务的能力的步骤,包括:
判断是否同时具备采集目标特征和运动特征的能力、对目标特征进行视觉分析的能力以及执行结果反馈方式的能力;
若是,则具备执行监控任务的能力。
在一实施方式中,目标特征包括目标、目标外观、目标年龄、目标种类中的至少一种,处理器102执行判断是否具备对目标特征进行视觉分析的能力的步骤,包括:
目标特征包含预设目标时,查找用于识别预设目标的图像信息;
根据已有的视觉分析模型判断是否具备识别图像信息及目标特征中其它特征信息的能力;
若否,则从服务器获取用于分析相应特征的视觉分析模型;
若获取成功,则确定具备对目标特征进行视觉分析的能力。
在一实施方式中,处理器102执行判断是否具备对目标特征进行视觉分析的能力的步骤,还包括:
若获取失败,则确定不具备对目标特征进行视觉分析的能力;
提示调整目标特征,并在屏幕上显示可选的已有的目标特征。
在一实施方式中,处理器102执行查找用于识别预设目标的图像信息的步骤,包括:
在车载终端和/或服务器存储的预设图像信息中查找预设目标对应的图像信息;
若未查找到预设目标对应的图像信息,则提示补充图像信息;
若查找到预设目标对应的图像信息,则进入根据已有的视觉分析模型判断是否具备识别图像信息及目标特征中其它特征信息的能力的步骤。
在一实施方式中,处理器102执行判断是否具备采集目标特征和运动特征的能力的步骤,包括:
判断运动特征是否在采集设备的采集范围内;
若否,则提示调整运动特征,并在屏幕上显示可选的已有的运动特征。
在一实施方式中,采集设备为摄像头,处理器102执行执行监控任务的步骤,包括:
开启摄像头,采集图像和/或视频;
对采集的图像和/或视频进行视觉分析,判断是否匹配监控任务的目标特征和/或运动特征;
若匹配,根据监控任务的结果反馈方式反馈监控结果。
在一实施方式中,结果反馈方式包括向移动终端和/或车载终端推送消息、视频和/或拍照跟踪、闪灯提醒、语音提醒、扬声器提醒、记录和车辆点火中的至少一项。
在一实施方式中,处理器102执行监控任务的步骤之前,还包括:
生成监控任务的关键信息;
语音复述和/或在屏幕显示监控任务的关键信息;
收到确认执行监控任务的指令后,执行监控任务。
本实施例的处理器102执行上述步骤的具体过程,详见监控方法的实施例的相关描述,在此不再赘述。
请参考图5,实际实现时,车载终端10包括存储器102、存储控制器104,一个或多个(图中仅示出一个)处理器106、外设接口108、射频模块150、定位模块112、摄像模块114、音频模块116、屏幕118以及按键模块160。这些组件通过一条或多条通讯总线/信号线122相互通讯。
可以理解,图5所示的结构仅为示意,车载终端10还可包括比图5中所示更多或者更少的组件,或者具有与图5所示不同的配置。图5中所示的各组件可以采用硬件、软件或其组合实现。
存储器102可用于存储软件程序以及模块,如本申请实施例中的监控方法对应的程序指令/模块,处理器106通过运行存储在存储控制器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的监控方法。
存储器102可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器102可进一步包括相对于处理器106远程设置的存储器,这些远程存储器可以通过网络连接至车载终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。处理器106以及其他可能的组件对存储器102的访问可在存储控制器104的控制下进行。
外设接口108将各种输入/输入装置耦合至CPU以及存储器102。处理器106运行存储器102内的各种软件、指令以执行车载终端10的各种功能以及进行数据处理。
在一些实施例中,外设接口108,处理器106以及存储控制器104可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
射频模块150用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通讯网络或者其他设备进行通讯。射频模块150可包括各种现有的用于执行这些功能的电路元件,例如,天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。射频模块150可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。定位模块112用于获取车载终端10的当前位置。定位模块112的实例包括但不限于全球卫星定位***(GPS)、基于无线局域网或者移动通信网的定位技术。
摄像模块114用于拍摄照片或者视频。拍摄的照片或者视频可以存储至存储器102内,并可通过射频模块150发送。
音频模块116向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。音频电路从外设接口108处接收声音数据,将声音数据转换为电信息,将电信息传输至扬声器。扬声器将电信息转换为人耳能听到的声波。音频电路还从麦克风处接收电信息,将电信号转换为声音数据,并将声音数据传输至外设接口108中以进行进一步的处理。音频数据可以从存储器102处或者通过射频模块150获取。此外,音频数据也可以存储至存储器102中或者通过射频模块150进行发送。在一些实例中,音频模块116还可包括一个耳机播孔,用于向耳机或者其他设备提供音频接口。
屏幕118在车载终端10与用户之间提供一个输出界面。具体地,屏幕118向用户显示视频输出,这些视频输出的内容可包括文字、图形、视频、及其任意组合。一些输出结果是对应于一些用户界面对象。可以理解的,屏幕118还可以包括触控屏幕。触控屏幕在车载终端10与用户之间同时提供一个输出及输入界面。除了向用户显示视频输出,触控屏幕还接收用户的输入,例如用户的点击、滑动等手势操作,以便用户界面对象对这些用户的输入做出响应。检测用户输入的技术可以是基于电阻式、电容式或者其他任意可能的触控检测技术。触控屏幕显示单元的具体实例包括但并不限于液晶显示器或发光聚合物显示器。
按键模块160同样提供用户向车载终端10进行输入的接口,用户可以通过按下不同的按键以使车载终端10执行不同的功能。
本实施例的车载终端,接收语音信息;识别语音信息中包含的监控任务,监控任务包括目标特征、运动特征和结果反馈方式;若具备执行监控任务的能力,则开启数据采集设备,执行监控任务。本发明能通过语音交互实现智能化监控,提升用户体验。
本申请还提供一种计算机存储介质,计算机存储介质上存储有计算机程序指令;计算机程序指令被处理器执行时实现如上实施例所述的监控方法。
实际实现时,计算机存储介质应用于在图4或图5所示的车载终端中,实现智能化监控。上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。
Claims (9)
1.一种监控方法,应用于车载终端,其特征在于,
包括:
接收语音信息;
提取所述语音信息中包含的监控任务,所述监控任务包括目标特征、运动特征和结果反馈方式;
判断提取的监控任务是否完整;
若不完整,则提示调整监控任务;
若完整,则判断是否具备执行所述监控任务的能力;
若具备执行所述监控任务的能力,则开启数据采集设备,执行所述监控任务;
其中,所述判断是否具备执行所述监控任务的能力,包括:
判断是否同时具备采集所述目标特征和所述运动特征的能力、对所述目标特征进行视觉分析的能力以及执行所述结果反馈方式的能力;
若是,则具备执行所述监控任务的能力;
其中,判断是否具备对所述目标特征进行视觉分析的能力,包括:
所述目标特征包含预设目标时,查找用于识别所述预设目标的图像信息;
在所述车载终端和/或服务器存储的预设图像信息中查找所述预设目标对应的图像信息;
若未查找到所述预设目标对应的图像信息,则提示补充图像信息;
若查找到所述预设目标对应的图像信息,则进入根据已有的视觉分析模型判断是否具备识别所述图像信息及所述目标特征中其它特征信息的能力的步骤。
2.根据权利要求1所述的监控方法,其特征在于,
所述判断是否具备对所述目标特征进行视觉分析的能力,包括:
所述目标特征不包含预设目标时,根据已有的视觉分析模型判断是否具备识别所述图像信息及所述目标特征中其它特征信息的能力;
若否,则从服务器获取用于分析相应特征的视觉分析模型;
若获取成功,则确定具备对所述目标特征进行视觉分析的能力。
3.根据权利要求2所述的监控方法,其特征在于,
所述判断是否具备对所述目标特征进行视觉分析的能力,还包括:
若获取失败,则确定不具备对所述目标特征进行视觉分析的能力;
提示调整目标特征,并在屏幕上显示可选的已有的目标特征。
4.根据权利要求1所述的监控方法,其特征在于,
所述判断是否具备采集所述目标特征和所述运动特征的能力,包括:
判断所述运动特征是否在所述采集设备的采集范围内;
若否,则提示调整运动特征,并在屏幕上显示可选的已有的运动特征。
5.根据权利要求1所述的监控方法,其特征在于,
所述数据采集设备为摄像头,所述执行所述监控任务,包括:
开启所述摄像头,采集图像和/或视频;
对采集的图像和/或视频进行视觉分析,判断是否匹配所述监控任务的目标特征和/或运动特征;
若匹配,根据所述监控任务的结果反馈方式反馈监控结果。
6.根据权利要求1所述的监控方法,其特征在于,
所述结果反馈方式包括向移动终端和/或所述车载终端推送消息、视频和/或拍照跟踪、闪灯提醒、语音提醒、扬声器提醒、记录和车辆点火中的至少一项。
7.根据权利要求1所述的监控方法,其特征在于,
所述执行所述监控任务之前,还包括:
生成所述监控任务的关键信息;
语音输出和/或在屏幕显示所述监控任务的关键信息;
收到确认执行所述监控任务的指令后,执行所述监控任务。
8.一种车载终端,其特征在于,
包括:
至少一个处理器;
至少一个存储器,所述至少一个存储器被耦合到所述至少一个处理器并且存储用于由所述至少一个处理器执行的指令,所述指令当由所述至少一个处理器执行时,使得所述车载终端执行权利要求1至7任一项所述的监控方法。
9.一种计算机存储介质,其特征在于,
所述计算机存储介质上存储有计算机程序指令;所述计算机程序指令被处理器执行时实现如权利要求1至7中任一项所述的监控方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011003215.0A CN112115887B (zh) | 2020-09-22 | 2020-09-22 | 监控方法、车载终端及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011003215.0A CN112115887B (zh) | 2020-09-22 | 2020-09-22 | 监控方法、车载终端及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112115887A CN112115887A (zh) | 2020-12-22 |
CN112115887B true CN112115887B (zh) | 2024-03-29 |
Family
ID=73800952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011003215.0A Active CN112115887B (zh) | 2020-09-22 | 2020-09-22 | 监控方法、车载终端及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112115887B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106992009A (zh) * | 2017-05-03 | 2017-07-28 | 深圳车盒子科技有限公司 | 车载语音交互方法、***及计算机可读存储介质 |
WO2017166646A1 (zh) * | 2016-03-29 | 2017-10-05 | 乐视控股(北京)有限公司 | 一种车载语音控制方法和装置、设备 |
CN107977183A (zh) * | 2017-11-16 | 2018-05-01 | 百度在线网络技术(北京)有限公司 | 语音交互方法、装置及设备 |
CN110009900A (zh) * | 2019-03-12 | 2019-07-12 | 浙江吉利汽车研究院有限公司 | 一种车辆监控方法及*** |
CN110070889A (zh) * | 2019-03-15 | 2019-07-30 | 深圳壹账通智能科技有限公司 | 车辆监控方法、装置及存储介质、服务器 |
CN111013138A (zh) * | 2019-12-11 | 2020-04-17 | 苏州思必驰信息科技有限公司 | 一种语音控制方法、装置、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9918006B2 (en) * | 2016-05-20 | 2018-03-13 | International Business Machines Corporation | Device, system and method for cognitive image capture |
-
2020
- 2020-09-22 CN CN202011003215.0A patent/CN112115887B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017166646A1 (zh) * | 2016-03-29 | 2017-10-05 | 乐视控股(北京)有限公司 | 一种车载语音控制方法和装置、设备 |
CN106992009A (zh) * | 2017-05-03 | 2017-07-28 | 深圳车盒子科技有限公司 | 车载语音交互方法、***及计算机可读存储介质 |
CN107977183A (zh) * | 2017-11-16 | 2018-05-01 | 百度在线网络技术(北京)有限公司 | 语音交互方法、装置及设备 |
CN110009900A (zh) * | 2019-03-12 | 2019-07-12 | 浙江吉利汽车研究院有限公司 | 一种车辆监控方法及*** |
CN110070889A (zh) * | 2019-03-15 | 2019-07-30 | 深圳壹账通智能科技有限公司 | 车辆监控方法、装置及存储介质、服务器 |
CN111013138A (zh) * | 2019-12-11 | 2020-04-17 | 苏州思必驰信息科技有限公司 | 一种语音控制方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
Speech recognition interactive system for vehicle;Chee Yang Loh; Kai Lung Boey; Kai Sze Hong;2017 IEEE 13th International Colloquium on Signal Processing & its Applications (CSPA);全文 * |
简易分析判断语音识别智能车的设计;黄恒一;丁佳乐;黎顺;康郢芮;付三丽;;物联网技术(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112115887A (zh) | 2020-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111652678B (zh) | 物品信息显示方法、装置、终端、服务器及可读存储介质 | |
KR101852284B1 (ko) | 경보 방법 및 장치 | |
US10264207B2 (en) | Method and system for creating virtual message onto a moving object and searching the same | |
CN111083364A (zh) | 一种控制方法、电子设备、计算机可读存储介质、芯片 | |
CN105447476A (zh) | 行车预警方法和装置 | |
CN109032491A (zh) | 数据处理方法、装置以及移动终端 | |
US10606886B2 (en) | Method and system for remote management of virtual message for a moving object | |
CN111339938A (zh) | 信息交互方法、装置、设备及存储介质 | |
CN111950425A (zh) | 对象获取方法、装置、客户端、服务器、***和存储介质 | |
CN114419572B (zh) | 多雷达目标检测方法、装置、电子设备及存储介质 | |
CN106202193A (zh) | 道路图像信息获取的方法、装置及*** | |
CN110784523B (zh) | 一种目标物信息的推送方法及装置 | |
CN115312061A (zh) | 驾驶场景中的语音问答方法、装置及车载终端 | |
CN113987326B (zh) | 资源推荐方法、装置、计算机设备及介质 | |
CN106559293B (zh) | 与网络接入设备通信、网络接入设备通信的方法、装置和*** | |
CN112115887B (zh) | 监控方法、车载终端及计算机存储介质 | |
CN105426904A (zh) | 照片处理方法、装置和设备 | |
CN113076077A (zh) | 安装车载程序的方法、装置和设备 | |
CN112533070A (zh) | 视频声音和画面的调整方法、终端和计算机可读存储介质 | |
KR20150045465A (ko) | 이벤트와 연관된 정보를 사람에게 제공하기 위한 방법 | |
CN106297408A (zh) | 信息提示方法及装置 | |
CN114987370A (zh) | 车辆试驾***、方法、装置、电子设备及介质 | |
CN115510336A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
CN113592003A (zh) | 一种图片传输方法、装置、设备及存储介质 | |
CN111479060B (zh) | 图像采集方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |