CN111563396A - 在线识别异常行为的方法、装置、电子设备及可读存储介质 - Google Patents

在线识别异常行为的方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111563396A
CN111563396A CN201910075016.1A CN201910075016A CN111563396A CN 111563396 A CN111563396 A CN 111563396A CN 201910075016 A CN201910075016 A CN 201910075016A CN 111563396 A CN111563396 A CN 111563396A
Authority
CN
China
Prior art keywords
image
video image
detection
abnormal
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910075016.1A
Other languages
English (en)
Inventor
张天明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Didi Infinity Technology and Development Co Ltd
Original Assignee
Beijing Didi Infinity Technology and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Didi Infinity Technology and Development Co Ltd filed Critical Beijing Didi Infinity Technology and Development Co Ltd
Priority to CN201910075016.1A priority Critical patent/CN111563396A/zh
Publication of CN111563396A publication Critical patent/CN111563396A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/085Registering performance data using electronic data carriers
    • G07C5/0866Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/24Speech recognition using non-acoustical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Alarm Systems (AREA)

Abstract

本申请实施例提供了一种在线识别异常行为的方法、装置、电子设备及可读存储介质,可通过获取行程服务过程中所拍摄到的视频图像,对视频图像进行人脸识别以确定视频图像中是否包含预设目标对象。在包含预设目标对象时,再对视频图像进行检测以确定行程服务过程中是否出现异常行为。若出现异常行为,则发出提示信息。可基于对行程服务过程中获得的实时视频图像进行分析,以在出现异常行为时进行及时反馈,避免了现有技术中的在事后分析所导致的无法制止因异常行为可能导致的严重后果的缺陷。

Description

在线识别异常行为的方法、装置、电子设备及可读存储介质
技术领域
本申请涉及计算机应用技术领域,具体而言,涉及一种在线识别异常行为的方法、装置、电子设备及可读存储介质。
背景技术
随着互联网技术的快速发展,出行APP(Application,应用程序)在人们的日常生活中起到了重要作用。但是,伴随着出行APP带来的便利性,也存在诸多的安全隐患。行程过程中的安全性和合规性是各大应用平台非常重视的环节,目前,各大应用平台对于行程过程中的异常行为一般是采用事前教育及事后反馈的方式来进行约束和责任追究,但是,事前教育的方式往往无法起到强力约束,而事后反馈的方式往往存在取证困难并且存在无法及时对异常进行反馈,导致可能因异常行为导致一些严重的后果。
发明内容
有鉴于此,本申请的目的在于,提供一种在线识别异常行为的方法、装置、电子设备及可读存储介质,可基于对行程服务过程中获得的视频图像进行识别及检测,以对包含预设目标对象的存在异常行为的行程进行及时反馈,避免异常行为可能导致的严重后果。
根据本申请实施例的一个方面,提供一种电子设备,可以包括一个或多个存储介质和一个或多个与存储介质通信的处理器。一个或多个存储介质存储有处理器可执行的机器可读指令。当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行所述机器可读指令,以执行在线识别异常行为的方法。
根据本申请实施例的另一方面,提供一种在线识别异常行为的方法,应用于异常检测服务器,所述异常检测服务器与监控终端通信连接,所述方法包括:
获取所述监控终端在当前行程服务过程中所拍摄到的视频图像;
对所述视频图像进行人脸识别以确定所述视频图像中是否包含预设目标对象;
在确定所述视频图像中包含预设目标对象时,检测所述视频图像以确定当前行程服务过程中是否出现异常行为;
若出现异常行为,则发出提示信息。
在本申请的一些实施例中,所述异常检测服务器中预存有多个样本图像,所述方法还可以包括:
将所述多个样本图像中包含女性人脸图像的样本图像打上第一标签,将包含男性人脸图像的样本图像打上第二标签;
将打上标签后的各样本图像导入至神经网络模型进行训练以得到性别检测模型;
所述对所述视频图像进行人脸识别以确定所述视频图像中是否包含预设目标对象的步骤,包括:
将所述视频图像导入至预先建立的性别检测模型进行检测,得到检测结果;
根据所述检测结果确定所述视频图像中是否包含女性人脸图像,在确定所述视频图像中包含女性人脸图像时,则确定该视频图像中包含预设目标对象。
在本申请的一些实施例中,所述将所述视频图像导入至预先建立的性别检测模型进行检测,得到检测结果的步骤,可以包括:
对所述视频图像进行分帧处理以得到所述视频图像包含的多张图像帧;
对各所述图像帧进行人脸检测并确定包含人脸图像的图像边框;
提取各所述图像帧中的图像边框内的图像,将提取出的各图像导入至预先建立的性别检测模型进行检测,以得到检测结果。
在本申请的一些实施例中,所述对各所述图像帧进行人脸检测并确定包含人脸图像的图像边框的步骤之后,所述方法还可以包括:
获取各所述图像边框在对应的图像帧上的最小坐标值和最大坐标值;
针对各所述图像边框,将所述图像边框的最小坐标值减小第一预设值,并将所述最大坐标值增大第二预设值,以对所述图像边框进行扩展。
在本申请的一些实施例中,所述异常检测服务器中预存有多个样本图像,所述方法还可以包括:
对所述多个样本图像中包含预设行为动作的样本图像打上第三标签,对所述多个样本图像中未包含预设行为动作的样本图像打上第四标签;
将打上标签后的各样本图像导入至神经网络模型进行训练以得到异常行为检测模型;
所述检测所述视频图像以确定当前行程服务过程中是否出现异常行为的步骤,包括:
将所述视频图像导入至所述异常行为检测模型进行检测,以确定当前行程服务过程中是否出现异常行为。
在本申请的一些实施例中,所述预设目标对象包括未成年对象,所述检测所述视频图像以确定当前行程服务过程中是否出现异常行为的步骤,可以包括:
对所述视频图像进行检测以获得所述视频图像中包含的未成年对象的个数以及所述视频图像中包含的人脸图像的总个数;
检测所述总个数与所述目标对象的个数之间的差值是否为1,若为1,则确定当前行程服务过程中出现异常行为。
在本申请的一些实施例中,所述异常检测服务器中预存有多个样本图像,所述方法还可以包括:
对所述多个样本图像中包含人脸图像的样本图像打上不同的年龄标签;
将打上标签后的各样本图像导入至神经网络模型进行训练,以得到年龄检测模型;
所述对所述视频图像进行人脸识别以确定所述视频图像中是否包含预设目标对象的步骤,包括:
对所述视频图像进行分帧处理及人脸识别以获得所述视频图像中包含人脸图像的多张图像;
将各所述图像导入至所述年龄检测模型进行检测,以输出各所述图像对应的年龄分值;
根据多张图像对应的年龄分值计算得到综合年龄分值,并根据所述综合年龄分值确定所述视频图像中是否包含未成年对象,在包含未成年对象时,确定所述视频图像中包含预设目标对象。
在本申请的一些实施例中,所述异常检测服务器与语音采集设备通信连接,所述方法还可以包括:
获取所述语音采集设备在当前行程服务过程中所采集到的语音信息;
对所述语音信息进行分析以确定所述语音信息中是否包含异常信息,若包含异常信息,则执行所述发出提示信息的步骤。
在本申请的一些实施例中,所述对所述语音信息进行分析以确定所述语音信息中是否包含异常信息的步骤,可以包括:
提取出所述语音信息中包含的关键词;
检测提取出的关键词中是否包含预先设置的敏感词,若包含,则确定所述语音信息中包含异常信息。
在本申请的一些实施例中,所述方法还可以包括:
检测当前行程服务过程中所述监控终端是否出现图像采集异常,在检测到出现图像采集异常时,发出提示信息;其中,检测当前行程服务过程中所述监控终端是否出现图像采集异常的步骤包括以下之一:
检测当前行程服务过程中,所述监控终端在预设时长内所采集到的视频图像是否为连续的全白或全黑图像,若为连续的全白或全黑图像,则确定出现图像采集异常;
检测当前行程服务过程中,所述监控终端在预设时长内所采集到的视频图像是否为连续的固定不变的图像,若为连续的固定不变的图像,则确定出现图像采集异常。
根据本申请实施例的另一方面,提供一种在线识别异常行为的装置,应用于异常检测服务器,所述异常检测服务器与监控终端通信连接,所述装置包括:
图像获取模块,用于获取所述监控终端在当前行程服务过程中所拍摄到的视频图像;
图像识别模块,用于对所述视频图像进行人脸识别以确定所述视频图像中是否包含预设目标对象;
检测模块,用于在确定所述视频图像中包含预设目标对象时,检测所述视频图像以确定当前行程服务过程中是否出现异常行为;
信息发送模块,用于在当前行程服务过程中出现异常行为时,发出提示信息。
在本申请的一些实施例中,所述异常检测服务器中预存有多个样本图像,所述装置还可以包括:
第一标记模块,用于将所述多个样本图像中包含女性人脸图像的样本图像打上第一标签,将包含男性人脸图像的样本图像打上第二标签;
第一训练模块,用于将打上标签后的各样本图像导入至神经网络模型进行训练以得到性别检测模型;
所述图像识别模块,具体可以用于:
将所述视频图像导入至预先建立的性别检测模型进行检测,得到检测结果;
根据所述检测结果确定所述视频图像中是否包含女性人脸图像,在确定所述视频图像中包含女性人脸图像时,则确定该视频图像中包含预设目标对象。
在本申请的一些实施例中,所述图像识别模块可以通过以下方式得到检测结果:
对所述视频图像进行分帧处理以得到所述视频图像包含的多张图像帧;
对各所述图像帧进行人脸检测并确定包含人脸图像的图像边框;
提取各所述图像帧中的图像边框内的图像,将提取出的各图像导入至预先建立的性别检测模型进行检测,以得到检测结果。
在本申请的一些实施例中,所述图像识别模块,具体还可以用于:
获取各所述图像边框在对应的图像帧上的最小坐标值和最大坐标值;
针对各所述图像边框,将所述图像边框的最小坐标值减小第一预设值,并将所述最大坐标值增大第二预设值,以对所述图像边框进行扩展。
在本申请的一些实施例中,所述异常检测服务器中预存有多个样本图像,所述装置还可以包括:
第二标记模块,用于对所述多个样本图像中包含预设行为动作的样本图像打上第三标签,对所述多个样本图像中未包含预设行为动作的样本图像打上第四标签;
第二训练模块,用于将打上标签后的各样本图像导入至神经网络模型进行训练以得到异常行为检测模型;
所述检测模块,具体用于:
将所述视频图像导入至所述异常行为检测模型进行检测,以确定当前行程服务过程中是否出现异常行为。
在本申请的一些实施例中,所述预设目标对象包括未成年对象,所述检测模块,具体可以用于:
对所述视频图像进行检测以获得所述视频图像中包含的未成年对象的个数以及所述视频图像中包含的人脸图像的总个数;
检测所述总个数与所述目标对象的个数之间的差值是否为1,若为1,则确定当前行程服务过程中出现异常行为。
在本申请的一些实施例中,所述异常检测服务器中预存有多个样本图像,所述装置还可以包括:
第三标记模块,用于对所述多个样本图像中包含人脸图像的样本图像打上不同的年龄标签;
第三训练模块,用于将打上标签后的各样本图像导入至神经网络模型进行训练,以得到年龄检测模型;
所述图像识别模块,具体可以用于:
对所述视频图像进行分帧处理及人脸识别以获得所述视频图像中包含人脸图像的多张图像;
将各所述图像导入至所述年龄检测模型进行检测,以输出各所述图像对应的年龄分值;
根据多张图像对应的年龄分值计算得到综合年龄分值,并根据所述综合年龄分值确定所述视频图像中是否包含未成年对象,在包含未成年对象时,确定所述视频图像中包含预设目标对象。
在本申请的一些实施例中,所述异常检测服务器与语音采集设备通信连接,所述装置还可以包括:
语音获取模块,用于获取所述语音采集设备在当前行程服务过程中所采集到的语音信息;
语音识别模块,用于对所述语音信息进行分析以确定所述语音信息中是否包含异常信息;
所述信息发送模块,还用于在所述语音信息中包含异常信息时,发出提示信息。
在本申请的一些实施例中,所述语音识别模块,具体可以用于:
提取出所述语音信息中包含的关键词;
检测提取出的关键词中是否包含预先设置的敏感词,若包含,则确定所述语音信息中包含异常信息。
在本申请的一些实施例中,所述装置还可以包括:
采集异常检测模块,用于检测当前行程服务过程中所述监控终端是否出现图像采集异常,在检测到出现图像采集异常时,发出提示信息;其中,所述采集异常检测模块,具体可以用于执行以下之一:
检测当前行程服务过程中,所述监控终端在预设时长内所采集到的视频图像是否为连续的全白或全黑图像,若为连续的全白或全黑图像,则确定出现图像采集异常;
检测当前行程服务过程中,所述监控终端在预设时长内所采集到的视频图像是否为连续的固定不变的图像,若为连续的固定不变的图像,则确定出现图像采集异常。
根据本申请实施例的另一方面,提供一种可读存储介质,该可读存储介质上存储有计算机程序,该计算机程序被处理器运行时可以执行上述的在线识别异常行为的方法的步骤。
基于上述任一方面,本申请实施例可通过获取行程服务过程中所拍摄到的视频图像,对视频图像进行人脸识别以确定视频图像中是否包含预设目标对象。在包含预设目标对象时,再对视频图像进行检测以确定行程服务过程中是否出现异常行为。若出现异常行为,则发出提示信息。可基于对行程服务过程中获得的实时视频图像进行分析,以在出现异常行为时进行及时反馈,避免了现有技术中的在事后分析所导致的无法制止因异常行为可能导致的严重后果的缺陷。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的在线识别异常行为的***的交互示意框图;
图2示出了本申请实施例所提供的可以实现图1的服务器、服务请求方终端、服务提供方终端的电子设备的示例性硬件和软件组件的示意图;
图3示出了本申请实施例所提供的在线识别异常行为的方法的流程示意图之一;
图4示出了本申请实施例所提供的在线识别异常行为的方法的流程示意图之二;
图5示出了本申请实施例所提供的在线识别异常行为的方法的流程示意图之三;
图6示出了本申请实施例所提供的在线识别异常行为的装置的功能模块框图之一;
图7示出了本申请实施例所提供的在线识别异常行为的装置的功能模块框图之二;
图8示出了本申请实施例所提供的在线识别异常行为的装置的功能模块框图之三。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了使得本领域技术人员能够使用本申请内容,结合特定应用场景“网约车打车场景”,给出以下实施方式。对于本领域技术人员来说,在不脱离本申请的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用场景。虽然本申请主要围绕“网约车打车场景”进行描述,但是应该理解,这仅是一个示例性实施例。本申请可以应用于任何其他交通运输类型。例如,本申请可以应用于不同的运输***环境,包括陆地,海洋,或航空等,或其任意组合。运输***的交通工具可以包括出租车、私家车、顺风车、公共汽车等,或其任意组合。本申请还可以包括用于网约车打车的任何服务***,例如,用于发送和/或接收快递的***、用于买卖双方交易的服务***。本申请的***或方法的应用可以包括网页、浏览器的插件、客户端终端、定制***、内部分析***、或人工智能机器人等,或其任意组合。
需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
本申请中的术语“用户”可以指代请求服务、订购服务、提供服务或促成服务的提供的个人、实体或工具。例如,用户可以是乘客、驾驶员、操作员等,或其任意组合。
为了解决本申请背景技术中所述的至少一种技术问题,本申请实施例提供一种在线识别异常行为的方法、装置、电子设备及可读存储介质,可通过获取行程服务过程中所拍摄到的视频图像,对视频图像进行人脸识别以确定视频图像中是否包含预设目标对象。在包含预设目标对象时,再对视频图像进行检测以确定行程服务过程中是否出现异常行为。若出现异常行为,则发出提示信息。可基于对行程服务过程中获得的实时视频图像进行分析,以在出现异常行为时进行及时反馈,避免了现有技术中的在事后分析所导致的无法制止因异常行为可能导致的严重后果的缺陷。下面通过可能的实现方式对本申请的技术方案进行说明。
第一实施例
图1是本申请一种可替代实施例提供的在线识别异常行为的***100的架构示意图。例如,在线识别异常行为的***100可以是用于诸如出租车、代驾服务、快车服务、拼车服务、公共汽车服务、驾驶员租赁服务、或班车服务之类的运输服务、或其上述任意服务之间的组合服务所依赖的在线运输服务平台。在线识别异常行为的***100可以包括服务器110、网络120、服务请求方终端130、服务提供方终端140和数据库150,服务器110中可以包括执行指令操作的处理器。此外,在线识别异常行为的***100还可包括监控终端160,该监控终端160可为具有图像采集功能的行车记录仪,或者是设置在车内的视频拍摄设备。该监控终端160可与服务器通信连接,以将采集的视频图像发送至服务器100。此外,该***中的服务器100还可与管理平台通信连接,该管理平台可为提供行程服务的后台管理端。图1所示的在线识别异常行为的***100仅为一种可行的示例,在其它可行的实施例中,该在线识别异常行为的***100也可以仅包括图1所示组成部分的其中一部分或者还可以包括其它的组成部分。
在一些实施例中,服务器110可以是单个服务器,也可以是一个服务器组。服务器组可以是集中式的,也可以是分布式的(例如,服务器110可以是分布式***)。在一些实施例中,服务器110相对于终端,可以是本地的、也可以是远程的。例如,服务器110可以经由网络120访问存储在服务请求方终端130、服务提供方终端140、监控终端160、以及数据库150中的数据。作为另一示例,服务器110可以直接连接到监控终端160、服务请求方终端130、服务提供方终端140和数据库150中的至少一个,以访问其中存储的数据。在一些实施例中,服务器110可以在云平台上实现;仅作为示例,云平台可以包括私有云、公有云、混合云、社区云(community cloud)、分布式云、跨云(inter-cloud)、多云(multi-cloud)等,或者它们的任意组合。在一些实施例中,服务器110也可以在具有本申请中图2所示的一个或多个组件的电子设备200上实现。
在一些实施例中,服务器110、服务请求方终端130或服务提供方终端140可以包括处理器。处理器可以处理行程服务过程中的信息和/或数据,以执行本申请中描述的一个或多个功能。例如,在行程服务过程中,处理器可以基于对获得的行程服务过程中的视频图像进行处理以检测视频图像是否出现异常。处理器可以包括一个或多个处理核(例如,单核处理器(S)或多核处理器(S))。仅作为举例,处理器可以包括中央处理单元(CentralProcessing Unit,CPU)、专用集成电路(Application Specific Integrated Circuit,ASIC)、专用指令集处理器(Application Specific Instruction-set Processor,ASIP)、图形处理单元(Graphics Processing Unit,GPU)、物理处理单元(Physics ProcessingUnit,PPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)、可编程逻辑器件(Programmable Logic Device,PLD)、控制器、微控制器单元、简化指令集计算机(Reduced Instruction Set Computing,RISC)、或微处理器等,或其任意组合。
网络120可以用于信息和/或数据的交换。在一些实施例中,在线识别异常行为的***100中的一个或多个组件(例如,服务器110,服务请求方终端130,服务提供方终端140,监控终端160和数据库150)可以向其他组件发送信息和/或数据。例如,服务器110可以经由网络120从监控终端160获取到视频图像。在一些实施例中,网络120可以是任何类型的有线或者无线网络,或者是他们的结合。仅作为示例,网络130可以包括有线网络、无线网络、光纤网络、远程通信网络、内联网、因特网、局域网(Local Area Network,LAN)、广域网(WideArea Network,WAN)、无线局域网(Wireless Local Area Networks,WLAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、公共电话交换网(Public Switched Telephone Network,PSTN)、蓝牙网络、ZigBee网络、或近场通信(NearField Communication,NFC)网络等,或其任意组合。在一些实施例中,网络120可以包括一个或多个网络接入点。例如,网络120可以包括有线或无线网络接入点,例如基站和/或网络交换节点,在线识别异常行为的***100的一个或多个组件可以通过该接入点连接到网络120以交换数据和/或信息。
在一些实施例中,“服务请求方”和“服务请求方终端130”可以互换使用,“服务提供方”和“服务提供方终端140”可以互换使用。
在一些实施例中,服务提供方终端140可以包括移动设备、平板计算机、膝上型计算机、或机动车辆中的内置设备等具备语音采集功能的设备,或其任意组合。在一些实施例中,移动设备可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等,或其任意组合。在一些实施例中,可穿戴设备可包括智能手环、智能鞋带、智能玻璃、智能头盔、智能手表、智能服装、智能背包、智能配件等、或其任何组合。在一些实施例中,智能移动设备可以包括智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏设备、导航设备、或销售点(point of sale,POS)设备等,或其任意组合。在一些实施例中,机动车辆中的内置设备可以包括车载计算机、车载电视等。
数据库150可以存储数据和/或指令。在一些实施例中,数据库150可以存储从服务请求方终端130和/或服务提供方终端140获得的数据。在一些实施例中,数据库150可以存储在本申请中描述的示例性方法的数据和/或指令。在一些实施例中,数据库150可以包括大容量存储器、可移动存储器、易失性读写存储器、或只读存储器(Read-Only Memory,ROM)等,或其任意组合。作为举例,大容量存储器可以包括磁盘、光盘、固态驱动器等;可移动存储器可包括闪存驱动器、软盘、光盘、存储卡、zip磁盘、磁带等;易失性读写存储器可以包括随机存取存储器(Random Access Memory,RAM);RAM可以包括动态RAM(Dynamic RandomAccess Memory,DRAM),双倍数据速率同步动态RAM(Double Date-Rate Synchronous RAM,DDR SDRAM);静态RAM(Static Random-Access Memory,SRAM),晶闸管RAM(Thyristor-Based Random Access Memory,T-RAM)和零电容器RAM(Zero-RAM)等。作为举例,ROM可以包括掩模ROM(Mask Read-Only Memory,MROM)、可编程ROM(Programmable Read-OnlyMemory,PROM)、可擦除可编程ROM(Programmable Erasable Read-only Memory,PEROM)、电可擦除可编程ROM(Electrically Erasable Programmable read only memory,EEPROM)、光盘ROM(CD-ROM)、以及数字通用磁盘ROM等。在一些实施例中,数据库150可以在云平台上实现。仅作为示例,云平台可以包括私有云、公有云、混合云、社区云、分布式云、跨云、多云或者其它类似的等,或其任意组合。
在一些实施例中,数据库150可以连接到网络120以与在线识别异常行为的***100(例如,服务器110,服务请求方终端130,服务提供方终端140等)中的一个或多个组件通信。在线识别异常行为的***100中的一个或多个组件可以经由网络120访问存储在数据库150中的数据或指令。数据库150可以直接连接到在线识别异常行为的***100中的一个或多个组件(例如,服务器110,服务请求方终端130,服务提供方终端140等);或者数据库150也可以是服务器110的一部分。
在一些实施例中,在线识别异常行为的***100中的一个或多个组件(例如,服务器110,服务请求方终端130,服务提供方终端140等)可以具有访问数据库150的权限。在一些实施例中,当满足一定条件时,在线识别异常行为的***100中的一个或多个组件可以读取和/或修改与服务请求方、服务提供方、或公众、或其任意组合有关的信息。例如,服务器110可以在接收服务请求之后读取和/或修改一个或多个用户的信息。
第二实施例
图2示出根据本申请实施例的一些实施例的可以实现本申请思想的服务器110、服务请求方终端130、服务提供方终端140的电子设备200的示例性硬件和软件组件的示意图。例如,处理器220可以用于电子设备200上,并且用于执行本申请中的功能。
电子设备200可以是通用计算机或特殊用途的计算机,两者都可以用于实现本申请的在线识别异常行为的方法。本申请尽管仅示出了一个计算机,但是为了方便起见,可以在多个类似平台上以分布式方式实现本申请描述的功能,以均衡处理负载。
例如,电子设备200可以包括连接到网络的网络端口210、用于执行程序指令的一个或多个处理器220、通信总线230、和不同形式的存储介质240,例如,磁盘、ROM、或RAM,或其任意组合。示例性地,计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。电子设备200还包括计算机与其他输入输出设备(例如键盘、显示屏)之间的输入/输出(Input/Output,I/O)接口250。
为了便于说明,在电子设备200中仅描述了一个处理器。然而,应当注意,本申请中的电子设备200还可以包括多个处理器,因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。例如,若电子设备200的处理器执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同的处理器共同执行或者在一个处理器中单独执行。例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一处理器和第二处理器共同执行步骤A和B。
第三实施例
图3示出了本申请的一些实施例的在线识别异常行为的方法的流程示意图,本申请所提供的在线识别异常行为的方法可应用于异常检测服务器,该异常检测服务器可为上述的服务器110。应当理解,在其它实施例中,本实施例所述的在线识别异常行为的方法其中部分步骤的顺序可以根据实际需要相互交换,或者其中的部分步骤也可以省略或删除。该在线识别异常行为的方法的详细步骤介绍如下。
本申请旨在提供一种基于车辆上搭载的监控设备所采集到的视频图像,以识别出车辆上是否有女性乘客或者是未成年乘客等特殊人群,并着重对包含该类特殊人群的行程服务进行异常检测。并在检测到异常时,将相应的异常信息发送至管理平台,以及时对该异常行为进行监管和规范,避免导致严重后果。并且还可向行程服务的服务提供方终端140及服务请求方终端130发送提示信息,以对服务提供方达到警示的作用,对服务请求方达到提醒的作用。
步骤S310,获取所述监控终端160在当前行程服务过程中所拍摄到的视频图像。
步骤S320,对所述视频图像进行人脸识别以确定所述视频图像中是否包含预设目标对象,若包含预设目标对象,则进入步骤S330。
本实施例中,设置在车辆上的监控终端160可采集在行程服务过程中的视频图像,例如可以是持续不断地进行图像的采集,也可以是服务提供方在接收订单之后开始开启以采集该订单对应的行程服务过程中的视频图像。监控终端160在采集到视频图像后可将视频图像发送至异常检测服务器。可选地,异常检测服务器可间隔预设时长,从监控终端160获取在该预设时长内所采集到的视频图像,其中,该预设时长可以是10分钟或5分钟等不限。
异常检测服务器可间隔预设时长获得监控终端160所发送的视频图像后,将基于接收到的视频图像进行实时分析、处理。异常检测服务器可对视频图像进行人脸识别以确定视频图像中是否包含预设目标对象。
考虑到女性乘客在出行时,其安全性更容易受到威胁,容易导致行程中的异常事件。因此,在一种可能的实施方式中,上述的预设目标对象可以是女性乘客。
异常检测服务器中预存有多个样本图像,可预先基于预存的多个样本图像进行训练以得到可用于进行女性人脸图像检测的性别检测模型。可预先对多个样本图像中包含女性人脸图像的样本图像打上第一标签,并对多个样本图像中包含男性人脸图像的样本图像打上第二标签。
将打上标签后的各样本图像导入至神经网络模型中进行训练以得到性别检测模型。神经网络模型将基于打上第一标签的样本图像和打上第二标签的样本图像进行特征提取及特征自学习等,从而训练得到可对女性人脸图像和男性人脸图像进行分类的性别检测模型。其中,关于所采用的神经网络模型的类型、损失函数及模型的优化函数等,可基于需求进行选择,本实施例不做具体限制。例如,可选用基础网络为ShuffleNetV2的神经网络模型,损失函数可采用CrossEntropyLoss(交叉熵),而模型的优化函数为可采用带Momentum(动量)的SGD(随机梯度下降)。而关于神经网络模型的具体训练过程为现有技术中的常用技术,在此不再赘述。
异常检测服务器在接收到监控终端160发送的当前行程服务过程中所采集的视频图像后,将对视频图像进行人脸识别以检测该视频图像中是否出现了女性人脸图像。可将采集到的视频图像导入至上述预先建立的性别检测模型中进行检测,以得到检测结果。可根据该检测结果确定该视频图像中是否包含女性人脸图像。在确定该视频图像中包含女性人脸图像时,可确定该视频图像中包含预设目标对象。
请参阅图4,可通过以下方式对视频图像进行处理以得到检测结果:
步骤S410,对所述视频图像进行分帧处理以得到所述视频图像包含的多张图像帧。
步骤S420,对各所述图像帧进行人脸检测并确定包含人脸图像的图像边框。
步骤S430,提取各所述图像帧中的图像边框内的图像,将提取出的各图像导入至预先建立的性别检测模型进行检测,以得到检测结果。
本实施例中,在对视频图像进行检测时,可首先将获得的视频图像进行分帧处理以得到该视频图像所包含的多张图像帧,进而对各图像帧进行分别检测。为了避免图像背景以及其他干扰信息对检测结果的影响,可提取出人脸区域的图像,以着重对人脸区域的图像进行检测。
可选地,可对各图像帧进行人脸检测并确定包含人脸图像的图像边框,进而提取各图像帧中的图像边框内的图像,将提取出的各图像导入至上述预先建立的性别检测模型进行检测,以得到检测结果。
考虑到仅仅以人脸区域的图像进行检测,可能导致结果并不是很准确,因此,可对人脸图像进行扩展以获得人脸区域周围的例如头发部分、脖子部分等区域的图像,增加这些部分的图像进行检测将提高检测的准确性。
作为一种实施方式,可在确定各图像帧中包含人脸图像的图像边框之后,可获取各图像边框在对应的图像帧上的最小坐标值和最大坐标值,例如可将最小坐标值记为(xmin,ymin),将最大坐标值记为(xmax,ymax)。针对各图像边框,可将图像边框的最小坐标值减小第一预设值,例如Δs1,并将图像边框的最大坐标值增大第二预设值,例如Δs2,以对图像边框进行扩展。
具体可如下:
xmin=xmin-Δs1
Xmax=xmax+Δs2
ymin=ymin-Δs1
ymax=ymax+Δs2
通过以上方式,将获得各图像帧中包含人脸图像,以及包含人脸图像周围的例如头发、脖子部分的图像。将获得的图像导入至预先建立的性别检测模型进行检测,以确定视频图像中是否包含女性人脸图像。
本实施例中,在进行检测时是基于每张图像帧进行检测,因此每张图像帧都有一个检测结果。为了检测结果的准确性,可综合每张图像帧的检测结果以得到最终的检测结果。如此,得到的最终检测结果在对拍摄角度变化、姿态变换等动态场景下检测的鲁棒性更好。
除了考虑到女性乘客在安全性上的问题,本申请还考虑到行程服务过程中可能会出现未成年乘客,而未成年乘客的安全保护也是一个重要的问题。因此,作为一种实施方式,上述的预设目标对象还包括未成年对象。
异常检测服务器中预存有多个样本图像,该多个样本图像中包含各个年龄阶段的人脸图像。可预先对多个样本图像中包含人脸图像的样本图像打上不同的年龄标签,该年龄标签可基于样本图像中的人脸图像对应的实际年龄进行标记。将打上标签后的各样本图像导入至神经网络模型进行训练,以得到年龄检测模型。
可选地,所采用的神经网络模型的类型可根据需求进行选择,神经网络模型将基于导入的各样本图像中的人脸图像进行特征提取及特征自学习等,并基于各样本图像的年龄标签训练得到对应的年龄检测模型,训练的具体过程可参见现有技术,在此不再赘述。
上述过程为异常检测服务器在进行正式在线检测前预先所训练得到年龄检测模型的过程。在异常检测服务器获得监控终端160发送的当前行程服务过程中的视频图像时,将获得的视频图像导入至年龄检测模型中进行检测,以确定视频图像中是否出现未成年对象。
可选地,异常检测服务器可对获得的视频图像进行分帧处理及人脸识别以获得视频图像中包含人脸图像的多张图像。将各图像导入至预先建立的年龄检测模型中进行检测,以输出各图像对应的年龄分值。
为了提高检测结果的准确性,本实施例中,可根据多张图像对应的年龄分值计算得到综合年龄分值,并根据该综合年龄分值确定视频图像中是否包含未成年对象。若包含未成年对象,则确定视频图像中包含预设目标对象。
可选地,可计算多个图像对应的年龄分值的平均值,以该平均值作为综合年龄分值。或者也可以获得多张图像对应的年龄分值中的中间值以作为综合年龄分值。也可以是从多张图像中剔除对应的年龄分值较高的图像,例如最高的两个或三个等,并且从多张图像中剔除对应的年龄分值较低的图像,例如较低的两个或三个等。再计算剩余的图像对应的年龄分值的平均值,以该平均值作为综合年龄分值。进一步检测该综合年龄分值是否小于预设值,例如18或16,若小于预设值,则确定视频图像中出现了未成年对象。
需要说明的是,上述对于检测结果的处理方式仅为举例说明,并不限定于此,可根据需求进行相应设置。
步骤S330,检测所述视频图像以确定当前行程服务过程中是否出现异常行为,在出现异常行为时,则进行步骤S340。
步骤S340,发出提示信息。
在通过以上过程确定行程服务中出现女性乘客或未成年乘客后,可对视频图像进行进一步检测,以确定当前行程服务过车中是否出现异常行为。若出现异常行为,可向管理平台以及当前行程服务对应的服务提供方终端140和服务请求方终端130中的至少一个发送提示信息。其中,服务提供方终端140可为司机所持的终端设备,服务请求方终端130可为乘客所持的终端设备。
请参阅图5,本实施例中,可通过以下方式对视频图像进行检测以确定是否出现异常行为:
步骤S510,对所述视频图像进行分帧处理及人脸识别以获得所述视频图像中包含人脸图像的多张图像。
步骤S520,将各所述图像导入至所述年龄检测模型进行检测,以输出各所述图像对应的年龄分值。
步骤S530,根据多张图像对应的年龄分值计算得到综合年龄分值,并根据所述综合年龄分值确定所述视频图像中是否包含未成年对象,在包含未成年对象时,确定所述视频图像中包含预设目标对象。
作为一种实施方式,异常检测服务器中预存有多个样本图像,该多个样本图像为预先从历史行程服务过程中采集到的视频图像中所截取的。可预先对多个样本图像中包含预设行为动作的样本图像打上第三标签。其中,预设行为动作可以是管理人员预先定义的行为动作,这类行为动作可能是存在对乘客的安全造成威胁的行为动作。此外,可对多个样本图像中未包含预设行为动作的样本图像打上第四标签。
将上述打上标签后的各样本图像导入至神经网络模型进行训练以得到异常行为检测模型。异常检测服务器在对上述获得的监控终端160在当前行程服务过程中采集到的视频图像进行进一步分析时,可将视频图像导入至预先建立的异常行为检测模型中,以确定当前行程服务过程中是否出现了和预先所定义的一致的异常行为动作。
若出现了异常行为动作,异常检测服务器可向管理平台发送提示信息,以通知管理平台一端的管理人员。并且,异常检测服务器还可向对应的服务提供方终端140发送提示信息,以起到警示的目的。此外,还可向服务请求方终端130发送提示信息,以起到提示的目的。
作为一种实施方式,服务请求方终端130也可预先向异常检测服务进行关联注册,即可将两个或三个服务请求方终端130进行关联,例如可与自己的家人、同事等的服务请求方终端130进行关联。后续异常检测服务器在检测到某个服务请求方终端130对应的行程服务过程中出现异常行为时,则在向该服务请求方终端130发送提示信息的同时,也可向与该服务请求方终端130通过注册关联的服务请求方终端130发送提示信息。如此,可自动向存在异常行为威胁的对象的家人或同事发送提示,以进一步达到避免后续严重后果的目的。
上述的异常行为检测方式为检测是否出现与预先定义的异常行为一致的行为。本实施例中,还考虑到针对未成年对象时,可能会出现未成年对象单独出行的情况,这种情况也需要进行及时的提示,以提醒司机引起重视,或者是进一步确定是否出现了其他的异常情况导致未成年乘客单独出现。
可选地,在检测到视频图像中出现未成年对象后,可对视频图像进行检测以获得视频图像中包含的未成年对象的个数以及该视频图像中包含的人脸图像的总个数。进一步检测该视频图像中包含的人脸图像的总个数与未成年对象的个数之间的差值是否为1,若为1,则代表当前行程服务中除了未成年乘客之外只包含司机,则确定该行程服务为未成年乘客单独出现。
在出现上述的异常行为时,可向管理平台发送提示信息以告知该行程服务的异常情况。并且,可向服务提供方终端140发送提示信息,以提示司机该订单异常,需要进行进一步确认。或者是提示司机该订单已被重点关注,一定程度上起到保障未成年乘客的安全的效果。
此外,本实施例中,异常检测服务器还需实时检测监控设备是否出现了图像采集异常的情况,例如司机刻意遮挡摄像头等情况。若异常检测服务检测到监控终端160出现图像采集异常,则向管理平台发送提示信息,告知该异常情况,以让管理人员介入进行管理。
其中,检测监控终端160是否出现图像采集异常可通过以下方式实现:
检测当前行程服务过程中,监控终端160在预设时长内所采集到的视频图像是否为连续的全白或全黑图像,若为连续的全白或全黑图像,则确定出现图像采集异常。
或者,检测当前行程服务过程中,监控终端160在预设时长内所采集到的视频图像是否为连续的固定不变的图像。若为连续的固定不变的图像,则确定出现图像采集异常。
此外,作为一种实施方式,异常检测服务器还可与语音采集设备通信连接,该语音采集设备可为安装在车辆上的采集设备,或者可以是服务提供方终端140或服务请求方终端130上的语音采集设备,例如麦克风。
在行程服务过程中,语音采集设备可采集司乘双方的语音信息,并将采集到的语音信息发送至异常检测服务器。异常检测服务器可对接收到的语音信息进行分析以确定当前行程服务过程中是否包含异常信息。若包含异常信息,则向管理平台以及当前行程服务对应的服务提供方终端140和服务请求方终端130发送提示信息。
可选地,异常检测服务器可提取出语音信息中包含的关键词,并检测提取出的关键词中是否包含预先设置的敏感词,若包含,则确定语音信息中包含异常信息。可判定出现了异常信息,需进行预警提示。其中,预先设置的敏感词可为预先定义的在出现冲突或者是求救时所出现的词。
如此,异常检测服务器可结合视频图像以及语音信息进行检测,进一步提高了检测的准确性,并且在出现异常行为时,可从多角度对异常行为中的信息进行存证,有利于后续对于责任的追查。
进一步地,本申请提供的方法还对行程服务过程中的车内环境是否良好进行检测。例如,可预先采集多张车内环境良好的图像以及车内环境恶劣的图像,并导入至神经网络模型进行训练以得到用于检测车内环境是否良好的环境检测模型。后续在线检测时,异常检测服务器可基于从监控终端160接收到的视频图像进行分析,以导入至预先建立的环境检测模型进行检测,根据得到的检测结果确定车内环境是否良好。若车内环境恶劣,则可向当前行程服务对应的服务提供方终端140发送提示信息,以提示司机进行整理。
第四实施例
图6示出本申请的一些实施例的在线识别异常行为的装置600的功能模块框图,该在线识别异常行为的装置600实现的功能对应上述方法执行的步骤。该装置可理解为上述电子设备200,或电子设备200的处理器220,也可以理解为独立于上述电子设备200或处理器220之外的在电子设备200控制下实现本申请功能的组件,如图6所示,在线识别异常行为的装置600可以包括图像获取模块601、图像识别模块602、检测模块603及信息发送模块604。
图像获取模块601,用于获取所述监控终端160在当前行程服务过程中所拍摄到的视频图像。可以理解,该图像获取模块601可以用于执行上述步骤S310,关于该图像获取模块601的详细实现方式可以参照上述对步骤S310有关的内容。
图像识别模块602,用于对所述视频图像进行人脸识别以确定所述视频图像中是否包含预设目标对象。可以理解,该图像识别模块602可以用于执行上述步骤S320,关于该图像识别模块602的详细实现方式可以参照上述对步骤S320有关的内容。
检测模块603,用于在确定所述视频图像中包含预设目标对象时,检测所述视频图像以确定当前行程服务过程中是否出现异常行为。可以理解,该检测模块603可以用于执行上述步骤S330,关于该检测模块603的详细实现方式可以参照上述对步骤S330有关的内容。
信息发送模块604,用于在当前行程服务过程中出现异常行为时,发出提示信息。可以理解,该信息发送模块604可以用于执行上述步骤S340,关于信息发送模块604的详细实现方式可以参照上述对步骤S340有关的内容。
请参阅图7,在一种可能的实施方式中,在线识别异常行为的装置600还可以包括:
第一标记模块605,用于将所述多个样本图像中包含女性人脸图像的样本图像打上第一标签,将包含男性人脸图像的样本图像打上第二标签;
第一训练模块606,用于将打上标签后的各样本图像导入至神经网络模型进行训练以得到性别检测模型。
所述图像识别模块602,具体可以用于:
将所述视频图像导入至预先建立的性别检测模型进行检测,得到检测结果;
根据所述检测结果确定所述视频图像中是否包含女性人脸图像,在确定所述视频图像中包含女性人脸图像时,则确定该视频图像中包含预设目标对象。
在一种可能的实施方式中,所述图像识别模块602可以通过以下方式得到检测结果:
对所述视频图像进行分帧处理以得到所述视频图像包含的多张图像帧;
对各所述图像帧进行人脸检测并确定包含人脸图像的图像边框;
提取各所述图像帧中的图像边框内的图像,将提取出的各图像导入至预先建立的性别检测模型进行检测,以得到检测结果。
在一种可能的实施方式中,所述图像识别模块602,具体还可以用于:
获取各所述图像边框在对应的图像帧上的最小坐标值和最大坐标值;
针对各所述图像边框,将所述图像边框的最小坐标值减小第一预设值,并将所述最大坐标值增大第二预设值,以对所述图像边框进行扩展。
请再次参阅图7,在一种可能的实施方式中,所述异常检测服务器中预存有多个样本图像,所述装置还可以包括:
第二标记模块607,用于对所述多个样本图像中包含预设行为动作的样本图像打上第三标签,对所述多个样本图像中未包含预设行为动作的样本图像打上第四标签;
第二训练模块608,用于将打上标签后的各样本图像导入至神经网络模型进行训练以得到异常行为检测模型。
所述检测模块603,具体用于:
将所述视频图像导入至所述异常行为检测模型进行检测,以确定当前行程服务过程中是否出现异常行为。
在一种可能的实施方式中,所述预设目标对象包括未成年对象,所述检测模块603,具体可以用于:
对所述视频图像进行检测以获得所述视频图像中包含的未成年对象的个数以及所述视频图像中包含的人脸图像的总个数;
检测所述总个数与所述目标对象的个数之间的差值是否为1,若为1,则确定当前行程服务过程中出现异常行为。
在一种可能的实施方式中,所述异常检测服务器中预存有多个样本图像,所述装置还可以包括:
第三标记模块609,用于对所述多个样本图像中包含人脸图像的样本图像打上不同的年龄标签;
第三训练模块610,用于将打上标签后的各样本图像导入至神经网络模型进行训练,以得到年龄检测模型;
所述图像识别模块602,具体可以用于:
对所述视频图像进行分帧处理及人脸识别以获得所述视频图像中包含人脸图像的多张图像;
将各所述图像导入至所述年龄检测模型进行检测,以输出各所述图像对应的年龄分值;
根据多张图像对应的年龄分值计算得到综合年龄分值,并根据所述综合年龄分值确定所述视频图像中是否包含未成年对象,在包含未成年对象时,确定所述视频图像中包含预设目标对象。
请参阅图8,在一种可能的实施方式中,所述异常检测服务器与语音采集设备通信连接,所述装置还可以包括:
语音获取模块611,用于获取所述语音采集设备在当前行程服务过程中所采集到的语音信息;
语音识别模块612,用于对所述语音信息进行分析以确定所述语音信息中是否包含异常信息;
所述信息发送模块604,还用于在所述语音信息中包含异常信息时,发出提示信息。
在一种可能的实施方式中,所述语音识别模块612,具体可以用于:
提取出所述语音信息中包含的关键词;
检测提取出的关键词中是否包含预先设置的敏感词,若包含,则确定所述语音信息中包含异常信息。
在一种可能的实施方式中,所述装置还可以包括:
采集异常检测模块613,用于检测当前行程服务过程中所述监控终端160是否出现图像采集异常,在检测到出现图像采集异常时,发出提示信息;其中,所述采集异常检测模块613,具体可以用于执行以下之一:
检测当前行程服务过程中,所述监控终端160在预设时长内所采集到的视频图像是否为连续的全白或全黑图像,若为连续的全白或全黑图像,则确定出现图像采集异常;
检测当前行程服务过程中,所述监控终端160在预设时长内所采集到的视频图像是否为连续的固定不变的图像,若为连续的固定不变的图像,则确定出现图像采集异常。
上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等,或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接,或其任意组合。两个或更多个模块可以组合为单个模块,并且任何一个模块可以分成两个或更多个单元。
本申请实施例还提供了一种可读存储介质,所述可读存储介质存储有计算机可执行指令,该计算机可执行指令可执行上述任意方法实施例中的短域名管理方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

Claims (22)

1.一种在线识别异常行为的方法,其特征在于,应用于异常检测服务器,所述异常检测服务器与监控终端通信连接,所述方法包括:
获取所述监控终端在当前行程服务过程中所拍摄到的视频图像;
对所述视频图像进行人脸识别以确定所述视频图像中是否包含预设目标对象;
在确定所述视频图像中包含预设目标对象时,检测所述视频图像以确定当前行程服务过程中是否出现异常行为;
若出现异常行为,则发出提示信息。
2.根据权利要求1所述的在线识别异常行为的方法,其特征在于,所述异常检测服务器中预存有多个样本图像,所述方法还包括:
将所述多个样本图像中包含女性人脸图像的样本图像打上第一标签,将包含男性人脸图像的样本图像打上第二标签;
将打上标签后的各样本图像导入至神经网络模型进行训练以得到性别检测模型;
所述对所述视频图像进行人脸识别以确定所述视频图像中是否包含预设目标对象的步骤,包括:
将所述视频图像导入至预先建立的性别检测模型进行检测,得到检测结果;
根据所述检测结果确定所述视频图像中是否包含女性人脸图像,在确定所述视频图像中包含女性人脸图像时,则确定该视频图像中包含预设目标对象。
3.根据权利要求2所述的在线识别异常行为的方法,其特征在于,所述将所述视频图像导入至预先建立的性别检测模型进行检测,得到检测结果的步骤,包括:
对所述视频图像进行分帧处理以得到所述视频图像包含的多张图像帧;
对各所述图像帧进行人脸检测并确定包含人脸图像的图像边框;
提取各所述图像帧中的图像边框内的图像,将提取出的各图像导入至预先建立的性别检测模型进行检测,以得到检测结果。
4.根据权利要求3所述的在线识别异常行为的方法,其特征在于,所述对各所述图像帧进行人脸检测并确定包含人脸图像的图像边框的步骤之后,所述方法还包括:
获取各所述图像边框在对应的图像帧上的最小坐标值和最大坐标值;
针对各所述图像边框,将所述图像边框的最小坐标值减小第一预设值,并将所述最大坐标值增大第二预设值,以对所述图像边框进行扩展。
5.根据权利要求1所述的在线识别异常行为的方法,其特征在于,所述异常检测服务器中预存有多个样本图像,所述方法还包括:
对所述多个样本图像中包含预设行为动作的样本图像打上第三标签,对所述多个样本图像中未包含预设行为动作的样本图像打上第四标签;
将打上标签后的各样本图像导入至神经网络模型进行训练以得到异常行为检测模型;
所述检测所述视频图像以确定当前行程服务过程中是否出现异常行为的步骤,包括:
将所述视频图像导入至所述异常行为检测模型进行检测,以确定当前行程服务过程中是否出现异常行为。
6.根据权利要求1所述的在线识别异常行为的方法,其特征在于,所述预设目标对象包括未成年对象,所述检测所述视频图像以确定当前行程服务过程中是否出现异常行为的步骤,包括:
对所述视频图像进行检测以获得所述视频图像中包含的未成年对象的个数以及所述视频图像中包含的人脸图像的总个数;
检测所述总个数与所述目标对象的个数之间的差值是否为1,若为1,则确定当前行程服务过程中出现异常行为。
7.根据权利要求6所述的在线识别异常行为的方法,其特征在于,所述异常检测服务器中预存有多个样本图像,所述方法还包括:
对所述多个样本图像中包含人脸图像的样本图像打上不同的年龄标签;
将打上标签后的各样本图像导入至神经网络模型进行训练,以得到年龄检测模型;
所述对所述视频图像进行人脸识别以确定所述视频图像中是否包含预设目标对象的步骤,包括:
对所述视频图像进行分帧处理及人脸识别以获得所述视频图像中包含人脸图像的多张图像;
将各所述图像导入至所述年龄检测模型进行检测,以输出各所述图像对应的年龄分值;
根据多张图像对应的年龄分值计算得到综合年龄分值,并根据所述综合年龄分值确定所述视频图像中是否包含未成年对象,在包含未成年对象时,确定所述视频图像中包含预设目标对象。
8.根据权利要求1所述的在线识别异常行为的方法,其特征在于,所述异常检测服务器与语音采集设备通信连接,所述方法还包括:
获取所述语音采集设备在当前行程服务过程中所采集到的语音信息;
对所述语音信息进行分析以确定所述语音信息中是否包含异常信息,若包含异常信息,则执行所述发出提示信息的步骤。
9.根据权利要求8所述的在线识别异常行为的方法,其特征在于,所述对所述语音信息进行分析以确定所述语音信息中是否包含异常信息的步骤,包括:
提取出所述语音信息中包含的关键词;
检测提取出的关键词中是否包含预先设置的敏感词,若包含,则确定所述语音信息中包含异常信息。
10.根据权利要求1所述的在线识别异常行为的方法,其特征在于,所述方法还包括:
检测当前行程服务过程中所述监控终端是否出现图像采集异常,在检测到出现图像采集异常时,发出提示信息;其中,检测当前行程服务过程中所述监控终端是否出现图像采集异常的步骤包括以下之一:
检测当前行程服务过程中,所述监控终端在预设时长内所采集到的视频图像是否为连续的全白或全黑图像,若为连续的全白或全黑图像,则确定出现图像采集异常;
检测当前行程服务过程中,所述监控终端在预设时长内所采集到的视频图像是否为连续的固定不变的图像,若为连续的固定不变的图像,则确定出现图像采集异常。
11.一种在线识别异常行为的装置,其特征在于,应用于异常检测服务器,所述异常检测服务器与监控终端通信连接,所述装置包括:
图像获取模块,用于获取所述监控终端在当前行程服务过程中所拍摄到的视频图像;
图像识别模块,用于对所述视频图像进行人脸识别以确定所述视频图像中是否包含预设目标对象;
检测模块,用于在确定所述视频图像中包含预设目标对象时,检测所述视频图像以确定当前行程服务过程中是否出现异常行为;
信息发送模块,用于在当前行程服务过程中出现异常行为时,发出提示信息。
12.根据权利要求11所述的在线识别异常行为的装置,其特征在于,所述异常检测服务器中预存有多个样本图像,所述装置还包括:
第一标记模块,用于将所述多个样本图像中包含女性人脸图像的样本图像打上第一标签,将包含男性人脸图像的样本图像打上第二标签;
第一训练模块,用于将打上标签后的各样本图像导入至神经网络模型进行训练以得到性别检测模型;
所述图像识别模块,具体用于:
将所述视频图像导入至预先建立的性别检测模型进行检测,得到检测结果;
根据所述检测结果确定所述视频图像中是否包含女性人脸图像,在确定所述视频图像中包含女性人脸图像时,则确定该视频图像中包含预设目标对象。
13.根据权利要求12所述的在线识别异常行为的装置,其特征在于,所述图像识别模块通过以下方式得到检测结果:
对所述视频图像进行分帧处理以得到所述视频图像包含的多张图像帧;
对各所述图像帧进行人脸检测并确定包含人脸图像的图像边框;
提取各所述图像帧中的图像边框内的图像,将提取出的各图像导入至预先建立的性别检测模型进行检测,以得到检测结果。
14.根据权利要求13所述的在线识别异常行为的装置,其特征在于,所述图像识别模块,具体还用于:
获取各所述图像边框在对应的图像帧上的最小坐标值和最大坐标值;
针对各所述图像边框,将所述图像边框的最小坐标值减小第一预设值,并将所述最大坐标值增大第二预设值,以对所述图像边框进行扩展。
15.根据权利要求11所述的在线识别异常行为的装置,其特征在于,所述异常检测服务器中预存有多个样本图像,所述装置还包括:
第二标记模块,用于对所述多个样本图像中包含预设行为动作的样本图像打上第三标签,对所述多个样本图像中未包含预设行为动作的样本图像打上第四标签;
第二训练模块,用于将打上标签后的各样本图像导入至神经网络模型进行训练以得到异常行为检测模型;
所述检测模块,具体用于:
将所述视频图像导入至所述异常行为检测模型进行检测,以确定当前行程服务过程中是否出现异常行为。
16.根据权利要求11所述的在线识别异常行为的装置,其特征在于,所述预设目标对象包括未成年对象,所述检测模块,具体用于:
对所述视频图像进行检测以获得所述视频图像中包含的未成年对象的个数以及所述视频图像中包含的人脸图像的总个数;
检测所述总个数与所述目标对象的个数之间的差值是否为1,若为1,则确定当前行程服务过程中出现异常行为。
17.根据权利要求16所述的在线识别异常行为的装置,其特征在于,所述异常检测服务器中预存有多个样本图像,所述装置还包括:
第三标记模块,用于对所述多个样本图像中包含人脸图像的样本图像打上不同的年龄标签;
第三训练模块,用于将打上标签后的各样本图像导入至神经网络模型进行训练,以得到年龄检测模型;
所述图像识别模块,具体用于:
对所述视频图像进行分帧处理及人脸识别以获得所述视频图像中包含人脸图像的多张图像;
将各所述图像导入至所述年龄检测模型进行检测,以输出各所述图像对应的年龄分值;
根据多张图像对应的年龄分值计算得到综合年龄分值,并根据所述综合年龄分值确定所述视频图像中是否包含未成年对象,在包含未成年对象时,确定所述视频图像中包含预设目标对象。
18.根据权利要求11所述的在线识别异常行为的装置,其特征在于,所述异常检测服务器与语音采集设备通信连接,所述装置还包括:
语音获取模块,用于获取所述语音采集设备在当前行程服务过程中所采集到的语音信息;
语音识别模块,用于对所述语音信息进行分析以确定所述语音信息中是否包含异常信息;
所述信息发送模块,还用于在所述语音信息中包含异常信息时,发出提示信息。
19.根据权利要求18所述的在线识别异常行为的装置,其特征在于,所述语音识别模块,具体用于:
提取出所述语音信息中包含的关键词;
检测提取出的关键词中是否包含预先设置的敏感词,若包含,则确定所述语音信息中包含异常信息。
20.根据权利要求11所述的在线识别异常行为的装置,其特征在于,所述装置还包括:
采集异常检测模块,用于检测当前行程服务过程中所述监控终端是否出现图像采集异常,在检测到出现图像采集异常时,发出提示信息;其中,所述采集异常检测模块,具体用于执行以下之一:
检测当前行程服务过程中,所述监控终端在预设时长内所采集到的视频图像是否为连续的全白或全黑图像,若为连续的全白或全黑图像,则确定出现图像采集异常;
检测当前行程服务过程中,所述监控终端在预设时长内所采集到的视频图像是否为连续的固定不变的图像,若为连续的固定不变的图像,则确定出现图像采集异常。
21.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如权利要求1-10任意一项所述的在线识别异常行为方法的步骤。
22.一种可读存储介质,其特征在于,该可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1-10任意一项所述的在线识别异常行为的方法的步骤。
CN201910075016.1A 2019-01-25 2019-01-25 在线识别异常行为的方法、装置、电子设备及可读存储介质 Pending CN111563396A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910075016.1A CN111563396A (zh) 2019-01-25 2019-01-25 在线识别异常行为的方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910075016.1A CN111563396A (zh) 2019-01-25 2019-01-25 在线识别异常行为的方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN111563396A true CN111563396A (zh) 2020-08-21

Family

ID=72074104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910075016.1A Pending CN111563396A (zh) 2019-01-25 2019-01-25 在线识别异常行为的方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111563396A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037818A (zh) * 2020-08-30 2020-12-04 北京嘀嘀无限科技发展有限公司 异常情况确定方法和正向匹配式生成方法
CN112380958A (zh) * 2020-11-11 2021-02-19 深圳市联谛信息无障碍有限责任公司 一种识别障碍者的方法、装置和电子设备
CN112381066A (zh) * 2020-12-10 2021-02-19 杭州西奥电梯有限公司 乘梯异常行为识别方法、监测***、计算机设备和存储介质
CN112465331A (zh) * 2020-11-23 2021-03-09 北京嘀嘀无限科技发展有限公司 乘车安全控制方法、模型训练方法、装置、设备及介质
CN112633126A (zh) * 2020-12-18 2021-04-09 联通物联网有限责任公司 视频处理方法及装置
CN112650885A (zh) * 2021-01-22 2021-04-13 百度在线网络技术(北京)有限公司 视频分类方法、装置、设备和介质
CN112949442A (zh) * 2021-02-24 2021-06-11 杭州海康威视***技术有限公司 一种异常事件预识别方法、装置、电子设备及监控***
CN112995711A (zh) * 2021-02-05 2021-06-18 罗普特科技集团股份有限公司 一种web前端视频的分帧与图片处理合成方法及***
CN113591821A (zh) * 2021-10-08 2021-11-02 广州洛克韦陀安防科技有限公司 基于大数据筛查的图像识别安防***
CN113747124A (zh) * 2021-08-31 2021-12-03 深圳Tcl新技术有限公司 视频监控方法、装置、存储介质及电子设备
CN114095753A (zh) * 2021-11-17 2022-02-25 中国建设银行股份有限公司 视频流处理方法、装置、设备、介质和程序产品
CN114827540A (zh) * 2022-04-14 2022-07-29 山西长河科技股份有限公司 一种基于视频智能分析技术的监测站安全运行方法和终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310568A (ja) * 2006-05-17 2007-11-29 Hitachi Ltd 映像内の移動体検出方法、映像システムの異常発生原因分析支援方法及び支援システム
CN107247947A (zh) * 2017-07-07 2017-10-13 北京智慧眼科技股份有限公司 人脸属性识别方法及装置
CN107506737A (zh) * 2017-08-29 2017-12-22 四川长虹电器股份有限公司 人脸性别识别方法
CN108234926A (zh) * 2016-12-16 2018-06-29 北京迪科达科技有限公司 一种人员行为识别分析***
CN108961466A (zh) * 2018-06-19 2018-12-07 宇龙计算机通信科技(深圳)有限公司 一种异常行为的采集方法和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007310568A (ja) * 2006-05-17 2007-11-29 Hitachi Ltd 映像内の移動体検出方法、映像システムの異常発生原因分析支援方法及び支援システム
CN108234926A (zh) * 2016-12-16 2018-06-29 北京迪科达科技有限公司 一种人员行为识别分析***
CN107247947A (zh) * 2017-07-07 2017-10-13 北京智慧眼科技股份有限公司 人脸属性识别方法及装置
CN107506737A (zh) * 2017-08-29 2017-12-22 四川长虹电器股份有限公司 人脸性别识别方法
CN108961466A (zh) * 2018-06-19 2018-12-07 宇龙计算机通信科技(深圳)有限公司 一种异常行为的采集方法和设备

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037818A (zh) * 2020-08-30 2020-12-04 北京嘀嘀无限科技发展有限公司 异常情况确定方法和正向匹配式生成方法
CN112380958A (zh) * 2020-11-11 2021-02-19 深圳市联谛信息无障碍有限责任公司 一种识别障碍者的方法、装置和电子设备
CN112465331A (zh) * 2020-11-23 2021-03-09 北京嘀嘀无限科技发展有限公司 乘车安全控制方法、模型训练方法、装置、设备及介质
CN112381066B (zh) * 2020-12-10 2023-04-18 杭州西奥电梯有限公司 乘梯异常行为识别方法、监测***、计算机设备和存储介质
CN112381066A (zh) * 2020-12-10 2021-02-19 杭州西奥电梯有限公司 乘梯异常行为识别方法、监测***、计算机设备和存储介质
CN112633126A (zh) * 2020-12-18 2021-04-09 联通物联网有限责任公司 视频处理方法及装置
CN112650885A (zh) * 2021-01-22 2021-04-13 百度在线网络技术(北京)有限公司 视频分类方法、装置、设备和介质
CN112995711A (zh) * 2021-02-05 2021-06-18 罗普特科技集团股份有限公司 一种web前端视频的分帧与图片处理合成方法及***
CN112949442A (zh) * 2021-02-24 2021-06-11 杭州海康威视***技术有限公司 一种异常事件预识别方法、装置、电子设备及监控***
CN112949442B (zh) * 2021-02-24 2024-02-06 杭州海康威视***技术有限公司 一种异常事件预识别方法、装置、电子设备及监控***
CN113747124A (zh) * 2021-08-31 2021-12-03 深圳Tcl新技术有限公司 视频监控方法、装置、存储介质及电子设备
CN113591821B (zh) * 2021-10-08 2021-12-10 广州洛克韦陀安防科技有限公司 基于大数据筛查的图像识别安防***
CN113591821A (zh) * 2021-10-08 2021-11-02 广州洛克韦陀安防科技有限公司 基于大数据筛查的图像识别安防***
CN114095753A (zh) * 2021-11-17 2022-02-25 中国建设银行股份有限公司 视频流处理方法、装置、设备、介质和程序产品
CN114827540A (zh) * 2022-04-14 2022-07-29 山西长河科技股份有限公司 一种基于视频智能分析技术的监测站安全运行方法和终端

Similar Documents

Publication Publication Date Title
CN111563396A (zh) 在线识别异常行为的方法、装置、电子设备及可读存储介质
Dehghan et al. Dager: Deep age, gender and emotion recognition using convolutional neural network
CN110942055A (zh) 展示区域的状态识别方法、装置、设备及存储介质
JP5224360B2 (ja) 電子広告装置、電子広告方法及びプログラム
US20180247361A1 (en) Information processing apparatus, information processing method, wearable terminal, and program
CN105975980A (zh) 监控图像标注质量的方法和装置
CN111814775B (zh) 目标对象异常行为识别方法、装置、终端及存储介质
CN111126153B (zh) 基于深度学习的安全监测方法、***、服务器及存储介质
CN112016485A (zh) 一种基于人脸识别的客流统计方法和***
CN111274848A (zh) 一种图像检测方法、装置、电子设备及存储介质
CN110598008A (zh) 录制数据的数据质检方法及装置、存储介质
CN110866692A (zh) 一种预警信息的生成方法、生成装置及可读存储介质
CN111881785A (zh) 客流分析方法及装置、存储介质和***
JP2016071414A (ja) 情報提示プログラム及び情報処理装置
CN112949457A (zh) 基于增强现实技术的维修方法、装置及***
CN111738199A (zh) 图像信息验证方法、装置、计算装置和介质
US20180315131A1 (en) User-aware interview engine
US20190311387A1 (en) Computer system, vacant seat detecting method, and program
CN112183417A (zh) 一种置业顾问服务能力评价***及方法
CN109801394B (zh) 一种工作人员考勤方法及装置、电子设备和可读存储介质
US10762339B2 (en) Automatic emotion response detection
US20210004573A1 (en) Sentiment analysis
US11763595B2 (en) Method and system for identifying, tracking, and collecting data on a person of interest
CN109190495A (zh) 性别识别方法、装置及电子设备
CN112101191A (zh) 基于边框注意力网络的表情识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200821