CN113723275A - 用户的出行检测方法及装置、电子设备、存储介质 - Google Patents
用户的出行检测方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN113723275A CN113723275A CN202110996563.0A CN202110996563A CN113723275A CN 113723275 A CN113723275 A CN 113723275A CN 202110996563 A CN202110996563 A CN 202110996563A CN 113723275 A CN113723275 A CN 113723275A
- Authority
- CN
- China
- Prior art keywords
- image
- user
- detection
- image recognition
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 270
- 230000000875 corresponding effect Effects 0.000 claims abstract description 103
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 92
- 238000000034 method Methods 0.000 claims abstract description 89
- 230000002596 correlated effect Effects 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 description 43
- 239000010410 layer Substances 0.000 description 9
- 238000012384 transportation and delivery Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000009191 jumping Effects 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Signal Processing (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本说明书提供一种用户的出行检测方法及装置、电子设备、存储介质；该方法应用于安装于客户端设备的客户端程序，所述客户端程序部署有图像识别算法；该方法可以包括：获取所述客户端设备的摄像头当前采集到的图像序列，所述图像序列用于展示于所述客户端程序中针对所述摄像头的预览画面上；调用所述图像识别算法对获取到的图像序列进行图像识别，并根据图像识别结果和针对所述客户端程序的用户的出行条件，对获取到的图像序列对应的用户出行状态进行检测；在所述预览画面展示的图像序列的基础上关联展示相应的检测结果，直到在所展示的检测结果为检测通过的情况下，停止获取图像序列的操作。
Description
技术领域
本说明书一个或多个实施例涉及图像识别领域，尤其涉及一种用户的出行检测方法及装置、电子设备、存储介质。
背景技术
用户在生活或工作中，经常需要出行前往区别于当前所处位置的其他位置来处理事务。比如外卖场景、快递场景、施工场景和实验测试场景等等。
与此同时，用户在出行的过程中，根据实际场景的情况，需针对用户制定相应的出行条件。比如，为了保证用户的出行安全，需制定相应的穿戴规范，建议用户穿戴合适的出行工具。
发明内容
有鉴于此，本说明书一个或多个实施例提供一种用户的出行检测方法及装置、电子设备、存储介质。
为实现上述目的，本说明书一个或多个实施例提供技术方案如下：
根据本说明书一个或多个实施例的第一方面，提出了一种用户的出行检测方法，应用于安装于客户端设备的客户端程序，所述客户端程序部署有图像识别算法；所述方法包括：
获取所述客户端设备的摄像头当前采集到的图像序列，所述图像序列用于展示于所述客户端程序中针对所述摄像头的预览画面上；
调用所述图像识别算法对获取到的图像序列进行图像识别，并根据图像识别结果和针对所述客户端程序的用户的出行条件，对获取到的图像序列对应的用户出行状态进行检测；
在所述预览画面展示的图像序列的基础上关联展示相应的检测结果，直到在所展示的检测结果为检测通过的情况下，停止获取图像序列的操作。
可选的，所述调用所述图像识别算法对获取到的图像序列进行图像识别，包括：
针对所述图像序列包含的任一图像帧，识别出所述任一图像帧中预设人体部位对应的第一图像，调用所述图像识别算法对所述第一图像进行图像识别；
和/或，根据所述第一图像以及所述预设人体部位与相关人体部位的相对关系，确定所述任一图像帧中对应于所述相关人体部位的第二图像，调用所述图像识别算法对所述第二图像进行图像识别。
可选的，所述图像识别算法包括分别对应于各个人体部位的图像识别模型，图像识别模型用于识别相应的人体部位的图像中该人体部位是否穿戴有指定的出行工具；调用所述图像识别算法对目标图像进行图像识别，包括：
将目标图像输入至所述目标图像包含的人体部位对应的图像识别模型以进行图像识别，所述目标图像包括所述第一图像和所述第二图像；其中，所述出行条件包括所述用户穿戴有指定的出行工具。
可选的，所述预设人体部位包括脸部；和/或，所述相对关系包括相对位置关系和/或相对大小关系。
可选的，所述调用所述图像识别算法对获取到的图像序列进行图像识别，包括：
从获取到的图像序列中选取出至少一张图像帧，以调用所述图像识别算法对所述至少一张图像帧进行图像识别；
其中，所述至少一张图像帧包括获取到的图像序列中在时间顺序上最新的图像帧。
可选的，还包括：
对获取到的图像序列进行人脸识别以确定图像序列中的用户是否为所述客户端程序的用户；和/或，对获取到的图像序列进行活体检测；
在人脸识别或活体检测未通过的情况下，判定检测未通过。
可选的，还包括：
响应于服务端发起的检测指令，执行获取图像序列的操作；其中，所述检测指令由所述服务端在确定出所述客户端程序的用户当前不存在未执行的出行订单的情况下发起。
可选的，还包括：
将检测通过的图像序列中的至少一张图像帧发送至服务端，以由所述服务端将所述至少一张图像帧标记为检测通过，并与所述用户的用户标识关联存储；
或者，在得到的检测结果为检测通过的情况下，调用所述摄像头进行拍照以将拍照得到的图像数据发送至服务端，所述图像数据被所述服务端标记为检测通过，并与所述用户的用户标识关联存储。
根据本说明书一个或多个实施例的第二方面，提出了一种用户的穿戴检测方法，应用于安装于客户端设备的客户端程序，所述客户端程序部署有图像识别算法；所述方法包括：
获取所述客户端设备的摄像头当前采集到的图像序列，所述图像序列用于展示于所述客户端程序中针对所述摄像头的预览画面上；
调用所述图像识别算法对获取到的图像序列进行图像识别，并根据图像识别结果和针对所述客户端程序的用户的穿戴条件，对获取到的图像序列对应的用户穿戴状态进行检测；
在所述预览画面展示的图像序列的基础上关联展示相应的检测结果，直到在所展示的检测结果为检测通过的情况下，停止获取图像序列的操作。
可选的，所述调用所述图像识别算法对获取到的图像序列进行图像识别，包括：
针对所述图像序列包含的任一图像帧，识别出所述任一图像帧中预设人体部位对应的第一图像，调用所述图像识别算法对所述第一图像进行图像识别；
和/或，根据所述第一图像以及所述预设人体部位与相关人体部位的相对关系，确定所述任一图像帧中对应于所述相关人体部位的第二图像，调用所述图像识别算法对所述第二图像进行图像识别。
可选的，所述图像识别算法包括分别对应于各个人体部位的图像识别模型，图像识别模型用于识别相应的人体部位的图像中该人体部位是否穿戴有指定的穿戴工具；调用所述图像识别算法对目标图像进行图像识别，包括：
将目标图像输入至所述目标图像包含的人体部位对应的图像识别模型以进行图像识别，所述目标图像包括所述第一图像和所述第二图像；其中，所述穿戴条件包括所述用户穿戴有指定的穿戴工具。
可选的，所述预设人体部位包括脸部；和/或，所述相对关系包括相对位置关系和/或相对大小关系。
可选的，所述调用所述图像识别算法对获取到的图像序列进行图像识别，包括：
从获取到的图像序列中选取出至少一张图像帧，以调用所述图像识别算法对所述至少一张图像帧进行图像识别；
其中，所述至少一张图像帧包括获取到的图像序列中在时间顺序上最新的图像帧。
可选的，还包括：
对获取到的图像序列进行人脸识别以确定图像序列中的用户是否为所述客户端程序的用户；和/或，对获取到的图像序列进行活体检测；
在人脸识别或活体检测未通过的情况下，判定检测未通过。
可选的，还包括：
响应于服务端发起的检测指令，执行获取图像序列的操作；其中，所述检测指令由所述服务端在确定出所述客户端程序的用户当前不存在未执行的出行订单的情况下发起。
可选的，还包括：
将检测通过的图像序列中的至少一张图像帧发送至服务端，以由所述服务端将所述至少一张图像帧标记为检测通过，并与所述用户的用户标识关联存储；
或者，在得到的检测结果为检测通过的情况下，调用所述摄像头进行拍照以将拍照得到的图像数据发送至服务端，所述图像数据被所述服务端标记为检测通过，并与所述用户的用户标识关联存储。
根据本说明书一个或多个实施例的第三方面，提出了一种用户的出行检测装置，应用于安装于客户端设备的客户端程序，所述客户端程序部署有图像识别算法；所述装置包括：
获取单元，获取所述客户端设备的摄像头当前采集到的图像序列，所述图像序列用于展示于所述客户端程序中针对所述摄像头的预览画面上；
识别单元，调用所述图像识别算法对获取到的图像序列进行图像识别，并根据图像识别结果和针对所述客户端程序的用户的出行条件，对获取到的图像序列对应的用户出行状态进行检测；
展示单元，在所述预览画面展示的图像序列的基础上关联展示相应的检测结果，直到在所展示的检测结果为检测通过的情况下，停止获取图像序列的操作。
可选的，所述识别单元具体用于：
针对所述图像序列包含的任一图像帧，识别出所述任一图像帧中预设人体部位对应的第一图像，调用所述图像识别算法对所述第一图像进行图像识别；
和/或，根据所述第一图像以及所述预设人体部位与相关人体部位的相对关系，确定所述任一图像帧中对应于所述相关人体部位的第二图像，调用所述图像识别算法对所述第二图像进行图像识别。
可选的，所述图像识别算法包括分别对应于各个人体部位的图像识别模型，图像识别模型用于识别相应的人体部位的图像中该人体部位是否穿戴有指定的出行工具；调用识别单元进一步用于：
将目标图像输入至所述目标图像包含的人体部位对应的图像识别模型以进行图像识别，所述目标图像包括所述第一图像和所述第二图像；其中，所述出行条件包括所述用户穿戴有指定的出行工具。
可选的，所述预设人体部位包括脸部；和/或，所述相对关系包括相对位置关系和/或相对大小关系。
可选的，所述识别单元具体用于，包括：
从获取到的图像序列中选取出至少一张图像帧，以调用所述图像识别算法对所述至少一张图像帧进行图像识别；
其中，所述至少一张图像帧包括获取到的图像序列中在时间顺序上最新的图像帧。
可选的，所述识别单元还用于：
对获取到的图像序列进行人脸识别以确定图像序列中的用户是否为所述客户端程序的用户；和/或，对获取到的图像序列进行活体检测；
在人脸识别或活体检测未通过的情况下，判定检测未通过。
可选的，所述获取单元还用于：
响应于服务端发起的检测指令，执行获取图像序列的操作；其中，所述检测指令由所述服务端在确定出所述客户端程序的用户当前不存在未执行的出行订单的情况下发起。
可选的，所述展示单元还用于：
将检测通过的图像序列中的至少一张图像帧发送至服务端，以由所述服务端将所述至少一张图像帧标记为检测通过，并与所述用户的用户标识关联存储；
或者，在得到的检测结果为检测通过的情况下，调用所述摄像头进行拍照以将拍照得到的图像数据发送至服务端，所述图像数据被所述服务端标记为检测通过，并与所述用户的用户标识关联存储。
根据本说明书一个或多个实施例的第四方面，提出了一种用户的穿戴检测装置，应用于安装于客户端设备的客户端程序，所述客户端程序部署有图像识别算法；所述装置包括：
获取单元，获取所述客户端设备的摄像头当前采集到的图像序列，所述图像序列用于展示于所述客户端程序中针对所述摄像头的预览画面上；
识别单元，调用所述图像识别算法对获取到的图像序列进行图像识别，并根据图像识别结果和针对所述客户端程序的用户的穿戴条件，对获取到的图像序列对应的用户穿戴状态进行检测；
展示单元，在所述预览画面展示的图像序列的基础上关联展示相应的检测结果，直到在所展示的检测结果为检测通过的情况下，停止获取图像序列的操作。
可选的，所述识别单元具体用于：
针对所述图像序列包含的任一图像帧，识别出所述任一图像帧中预设人体部位对应的第一图像，调用所述图像识别算法对所述第一图像进行图像识别；
和/或，根据所述第一图像以及所述预设人体部位与相关人体部位的相对关系，确定所述任一图像帧中对应于所述相关人体部位的第二图像，调用所述图像识别算法对所述第二图像进行图像识别。
可选的，所述图像识别算法包括分别对应于各个人体部位的图像识别模型，图像识别模型用于识别相应的人体部位的图像中该人体部位是否穿戴有指定的穿戴工具；调用识别单元进一步用于：
将目标图像输入至所述目标图像包含的人体部位对应的图像识别模型以进行图像识别，所述目标图像包括所述第一图像和所述第二图像；其中，所述穿戴条件包括所述用户穿戴有指定的穿戴工具。
可选的，所述预设人体部位包括脸部；和/或，所述相对关系包括相对位置关系和/或相对大小关系。
可选的，所述识别单元具体用于，包括：
从获取到的图像序列中选取出至少一张图像帧，以调用所述图像识别算法对所述至少一张图像帧进行图像识别；
其中，所述至少一张图像帧包括获取到的图像序列中在时间顺序上最新的图像帧。
可选的，所述识别单元还用于：
对获取到的图像序列进行人脸识别以确定图像序列中的用户是否为所述客户端程序的用户；和/或，对获取到的图像序列进行活体检测；
在人脸识别或活体检测未通过的情况下，判定检测未通过。
可选的，所述获取单元还用于：
响应于服务端发起的检测指令，执行获取图像序列的操作；其中，所述检测指令由所述服务端在确定出所述客户端程序的用户当前不存在未执行的穿戴订单的情况下发起。
可选的，所述展示单元还用于：
将检测通过的图像序列中的至少一张图像帧发送至服务端，以由所述服务端将所述至少一张图像帧标记为检测通过，并与所述用户的用户标识关联存储；
或者，在得到的检测结果为检测通过的情况下，调用所述摄像头进行拍照以将拍照得到的图像数据发送至服务端，所述图像数据被所述服务端标记为检测通过，并与所述用户的用户标识关联存储。
根据本说明书一个或多个实施例的第五方面，提出了一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现如上述任一实施例中所述的方法。
根据本说明书一个或多个实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述实施例中任一所述方法的步骤。
本说明书的技术方案中，可将图像识别算法部署于客户端程序端以供客户端程序直接调用，那么用户可在使用的客户端设备上安装本说明书提供的上述客户端程序，由该客户端程序来协助用户完成对该用户出行的检测。具体而言，在启动检测流程之后，客户端程序可调用客户端设备配置的摄像头来实时采集用户的图像数据，以生成图像序列在预览画面上展示。与此同时，调用本端部署的图像识别算法对图像序列(反映了用户的出行状态)进行图像识别，从而判断图像识别结果是否符合出行条件，完成对用户出行状态的检测。进一步的，实时将针对图像序列的检测结果在该图像序列(展示于预览画面)的基础上关联展示，以供用户及时得知检测结果，并根据检测结果和预览画面展示的图像序列及时调整自身的出行状态，以重新执行上述检测过程，直到检测通过为止。
一方面，通过上述检测方式可保证用户的出行状态符合相应的出行条件，从而保证用户的出行安全；并且，通过上述关联展示的方式，使得用户可在检测的过程中实时感知针对自身出行状态的检测结果，以协助用户实时进行调整，从而有效简化了用户操作，提升了检测效率和用户体验。
另一方面，检测操作由客户端程序本端单独完成，而无需借助其他设备，比如与后台服务器进行交互，从而充分利用了客户端设备的计算能力，成本较低，实时性高。并且，由于无需与其他设备交互，避免了关于用户的图像序列在传输过程中的泄露，以及泄露至其他设备中的风险，从而可在完成对用户出行状态进行检测的前提下，保证用户的隐私安全。
附图说明
图1是一示例性实施例提供的一种用户的出行检测方法的流程图。
图2是一示例性实施例提供的另一种用户的出行检测方法的流程图。
图3A是一示例性实施例提供的一种端侧推理框架的示意图。
图3B是一示例性实施例提供的一种展示检测结果的示意图。
图4是一示例性实施例提供的一种用户的穿戴检测方法的流程图。
图5是一示例性实施例提供的一种设备的结构示意图。
图6是一示例性实施例提供的一种用户的出行检测装置的框图。
图7是一示例性实施例提供的一种用户的穿戴检测装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
用户在生活或工作中，经常需要出行前往区别于当前所处位置的其他位置来处理事务。与此同时，用户在出行的过程中，根据实际场景的情况，需针对用户制定相应的出行条件来保证用户的安全。
在配送领域中，配送员需要将物品配送至指定的地点，那么可对配送过程中配送员的穿戴制定规范，以保证配送安全。比如，在外卖场景中，骑手应当佩戴头盔和口罩，以及穿所属平台的工服等等，快递场景与此类似。
在施工场景中，施工人员也应当符合相应的安全施工规范，比如佩戴安全帽、戴上绝缘手套、佩戴防护眼罩或眼镜等等。
在实验测试场景中，实验人员在实验室不得穿裙子、穿拖鞋、佩戴首饰，不得散发等等。
有上述举例可见，大多数针对出行状态的安全规范可反映在用户的外表上，那么可通过摄像头来记录，进而对用户的出行状态进行检测，以保证用户的出行安全。下面结合图1-3对本说明书的出行检测方案进行详细说明。
请参见图1，图1是一示例性实施例提供的一种用户的出行检测方法的流程图。如图1所示，该方法应用于安装于客户端设备的客户端程序，可以包括以下步骤：
步骤102，获取所述客户端设备的摄像头当前采集到的图像序列，所述图像序列用于展示于所述客户端程序中针对所述摄像头的预览画面上。
为了提高检测的实时性(降低反馈检测结果的延迟)和便携性，降低成本，可避免由客户端程序获取用户的图像数据，然后将图像数据返回至后台服务器，以由后台服务器对其进行识别进而检测用户的出行状态。那么，可开发用于识别用户出行状态(比如用户的穿戴)的图像识别算法，将该图像识别算法部署于用户的客户端程序中，使得客户端程序可直接调用图像识别算法。那么，用户可在使用的客户端设备上安装上述客户端程序，由该客户端程序来协助用户完成对该用户出行的检测。其中，客户端设备可以为用户使用的手机、平板设备、笔记本电脑、掌上电脑、可穿戴设备(如智能眼镜、智能手表等)等电子设备，本说明书一个或多个实施例并不对此进行限制。
例如，图像识别算法可采用机器学习算法，训练得到相应的图像识别模型，然后利用端智能的方式，将图像识别模型以SDK的形式部署于客户端程序端，以供客户端程序直接对其进行调用。端侧处理可节省数据的网络传输时间，节省客户端设备的处理资源，充分利用端侧算力和存储空间，并且数据均在客户端侧进行处理，可避免因数据传输引起的隐私泄露风险。
对于客户端程序对检测流程的启动，可由后台服务器(运行有对应于客户端程序的服务端程序，作为服务端设备)通过下发检测指令来触发。比如，服务端侧的管理员可定期对客户端程序的使用方进行抽检，或者随机进行抽检。当然，上述触发检测的方式以及时机可根据实际需求灵活设定，本说明书并不对此进行限制。
举例而言，后台服务器可响应于管理员的检测触发操作，向客户端程序发起检测指令，以指示客户端程序启动检测流程。那么客户端程序可响应于后台服务器发起的检测指令以启动检测流程，开始执行上述获取图像序列的操作。其中，在部分应用场景下，用户的出行通常因用户存在出行订单引起。那么，为了避免对用户执行出行订单造成影响(比如耽误用户完成出行订单的时长)，后台服务器可先确定客户端程序的用户是否存在绑定的出行订单(即由该用户执行的出行订单)，以在确定出用户当前不存在未执行的出行订单的情况下发起检测指令。
客户端程序在启动检测流程之后，为了使得用户能够实时感知检测过程并据此作出调整，可实时采集用户的视频数据。那么，客户端程序可调用客户端设备配置的摄像头来实时采集用户的图像数据，以生成相应的图像序列在摄像头的预览画面上展示，并且预览画面在展示图像序列时，还会将图像序列对应的检测结果在该图像序列上关联展示(比如，展示检测结果以提示字幕的方式展示于预览画面当前展示的图像帧中)。
步骤104，调用所述图像识别算法对获取到的图像序列进行图像识别，并根据图像识别结果和针对所述客户端程序的用户的出行条件，对获取到的图像序列对应的用户出行状态进行检测。
在获取图像序列之后，客户端程序可调用本端部署的图像识别算法对图像序列(反映了用户的出行状态)进行图像识别，从而判断图像识别结果是否符合出行条件，完成对用户出行状态的检测。
考虑到客户端设备的处理资源有限，为了避免因占用客户端设备过多的处理资源而导致整个检测过程卡顿，可从获取到的图像序列(包含多张图像帧)中选取出部分图像帧进行图像识别(其他图像帧丢弃)。比如，在获取到的图像序列中，在时间顺序上最晚(或者理解为最后)的图像帧(即最新的图像帧)将最后展示，并且最新的图像帧最能够反映出用户最新的出行状态。因此，可选取获取到的图像序列中在时间顺序上最新的图像帧进行图像识别，那么在展示图像识别结果与该最新的图像帧时，两者之间的延迟最小，从而呈现出较好的展示效果。当然，也可以在获取到的图像序列中选取其他任意图像帧，本说明书并不对此进行限制。总结而言，可从获取到的图像序列中选取出至少一张图像帧，以调用图像识别算法对上述至少一张图像帧进行图像识别；其中，该至少一张图像帧包括获取到的图像序列中在时间顺序上最新的图像帧。
为了进一步降低延迟以及对客户端设备处理资源的占用，可对图像识别的过程进行优化。比如，为了避免将图像序列中的整张图像帧作为图像识别算法的输入，可先识别出图像帧中关注的区域，然后对图像帧进行裁剪以去除其他干扰区域，仅将关注区域的图像作为输入，从而可提高识别的准确率以及降低计算量。
作为一示例性实施例，由于用户的出行状态可由用户的人体部位的图像来反映，可将用户各个人体部位作为关注的区域。据此，可预先设定关注的人体部位，然后针对上述获取到的图像序列包含的任一图像帧，先识别出该任一图像帧中预设人体部位对应的第一图像，然后调用图像识别算法对第一图像进行图像识别。当然，预设人体部位可根据实际场景的需求灵活设定，本说明书并不对此进行限制。
进一步的，由于各个人体部位之间存在关联，基于上述对人体部位图像的识别，在识别出某一人体部位的图像后，还可进一步利用该人体部位与其他未识别出的人体部位之间的相对关系来确定出其他未识别出的人体部位对应的图像，而无需根据原始的图像帧分别单独识别出各个人体部位的图像，从而进一步提高了识别的准确率以及降低计算量，提高了识别速度。
具体而言，针对图像序列中的任一图像帧，在识别出上述第一图像后，可先根据第一图像以及预设人体部位与相关人体部位的相对关系，确定该任一图像帧中对应于相关人体部位的第二图像，然后再调用图像识别算法对第二图像进行图像识别。其中，相关人体部位可以是区别于预设人体部位的其他人体部位，也可以是包含预设人体部位的某个人体部位，还可以是属于预设人体部位的某个人体部位。与此同时，相对关系可以包括相对位置关系和/或相对大小关系。
以预设人体部位为人体脸部为例，可先对图像帧进行人脸检测，若检测到人体脸部，则根据人体脸部的位置和大小，定位出人体头部的位置以及确定人体头部的大小，进而裁剪得到人体头部的图像，再识别裁剪得到的图像中头部是否佩戴头盔。
在检测到人体脸部之后，还可根据人体脸部的位置和大小，定位出人体上半身的位置以及确定人体上半身的大小，进而裁剪得到人体上半身的图像，再识别裁剪得到的图像中上半身是否身穿指定的工服。
在检测到人体脸部之后，还可根据人体脸部的位置和大小，定位出人体耳部的位置以及确定耳部的大小，进而裁剪得到耳部的图像，再识别裁剪得到的图像中耳部是否佩戴了耳环。
在检测到人体脸部之后，还可根据人体脸部的位置和大小裁剪得到人体脸部的图像，再识别裁剪得到的图像中脸部是否佩戴了口罩。
在图像识别的过程中，由于图像识别结果用于作为判断用户是否符合出行条件的依据。那么，在开发图像识别算法时，算法关注的重点则与出行条件相关联。比如，当出行条件包括用户穿戴有指定的出行工具时，图像识别算法则应关注于识别出图像中的人体部位是否穿戴有相应的出行工具。
作为一示例性实施例，在出行条件包括用户穿戴有指定的出行工具的情况下，由于出行工具可能存在多种，比如不同的部位需佩戴不同的出行工具，并且针对每个人体部位裁剪有相应的图像，可针对各个人体部位训练相应的图像识别模型以提高识别的准确率。具体而言，图像识别模型的输入为裁剪得到的对应于人体部位的图像，输出为用于表示该人体部位是否穿戴有指定出行工具的标签；换言之，图像识别算法包括分别对应于各个人体部位的图像识别模型，图像识别模型专门用于识别相应的人体部位的图像中，该人体部位是否穿戴有指定的出行工具。基于训练得到的图像识别模型，针对上述得到的目标图像(包括第一图像和第二图像)，可将其输入至目标图像包含的人体部位对应的图像识别模型以进行图像识别。需要说明的是，上述“指定”可以理解为指定类型，比如某一类型的工具(例如，口罩、头盔和工服等等)；在该情况下，用户佩戴该类型的工具即可通过检测。上述“指定”还可理解为更为细致的某一特定工具，比如具体到某一特定平台提供的口罩、头盔和工服(比如工具上采用了该平台特有的品牌标识、特定的款式花纹等等)等等；在该情况下，用户只有在佩戴该平台提供的工具才能通过检测，而佩戴其他平台提供的工具则无法通过检测。
比如，承接于上述外卖场景的举例，分别预先训练有头盔识别模型、工服识别模型和口罩识别模型，第一图像为人体脸部的图像，第二图像包括人体头部和人体上半身的图像。那么，可将人体脸部的图像输入至口罩识别模型，将人体头部的图像输入至头盔识别模型，以及将人体上半身的图像输入至工服识别模型。
其中，可采用有监督学习算法来训练上述图像识别模型。针对有监督学习的训练过程，输入的样本数据被称为“训练集”，训练集中的样本数据有一个明确的标识或结果(即样本标签)，在利用有监督学习算法建立预测模型时，有监督学习算法建立一个学习过程，将预测结果与“训练集”的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率。比如，常见的有监督学习算法包括逻辑回归、神经网络、决策树、支持向量机、贝叶斯分类器等等。
为了防止用户作弊，比如使其他用户面对摄像头或者使用提前拍好的照片面对摄像头，导致摄像头采集到的并非本人当前状态的图像，可在检测过程中添加活体检测和人脸识别的环节。具体而言，对获取到的图像序列进行人脸识别以确定图像序列中的用户是否为所述客户端程序的用户；和/或，对获取到的图像序列进行活体检测；在人脸识别或活体检测未通过的情况下，判定检测未通过。
在一种情况下，可在检测流程启动之后，首先进行人脸识别和活体检测，在人脸识别和活体检测通过之后，再实施上述图像识别的操作，从而降低对客户端设备处理资源的占用。在另一种情况下，可先进行活体检测，然后在活体检测通过之后，再实时实施人脸识别和上述图像识别的操作，从而防止在检测过程中用户将摄像头面向其他用户以代替该用户进行检测。当然，还可以在整个检测过程中，均实时实施人脸识别、活体检测和上述图像识别的操作，本说明书并不对此进行限制。其中，对于人脸识别的过程，为了降低延迟，提高人脸识别的速度，可获取用户在认证自身身份的过程中上传的人脸图像作为标准用户人脸图像，然后计算裁剪得到的人体脸部图像与标准用户人脸图像之间的相似度，当计算出的相似度在预设相似度阈值内时，判定人脸识别通过。
步骤106，在所述预览画面展示的图像序列的基础上关联展示相应的检测结果。
在本实施例中，检测过程中可循环执行步骤102-106，实时将针对图像序列的检测结果在该图像序列(展示于预览画面)的基础上关联展示，以供用户及时得知检测结果，并根据检测结果和预览画面展示的图像序列及时调整自身的出行状态，以重新执行上述检测过程，直到检测通过为止。
步骤108，直到在所展示的检测结果为检测通过的情况下，停止获取图像序列的操作。
当然，还可考虑检测超时的情况。比如，设定一检测时长阈值，在未在检测时长阈值内通过检测的情况下，判定检测未通过；或者转入人工检测流程，由用户拍照或者录制视频以证明自身符合出行条件，然后由客户端程序将用户的照片或者视频上传至后台服务器，由后台服务器的管理人员人工进行检测。
在检测通过的情况下，可记录本次检测的检测结果，并上传至后台服务器，作为证明用户符合出行条件的证据。具体而言，可将检测通过的图像序列中的至少一张图像帧发送至服务端，以由所述服务端将所述至少一张图像帧标记为检测通过，并与用户的用户标识关联存储。或者，在得到的检测结果为检测通过的情况下，调用摄像头进行拍照以将拍照得到的图像数据发送至服务端，该图像数据被服务端标记为检测通过，并与用户的用户标识关联存储。当然，为了保护用户的隐私，可加密传输上述证据至后台服务器。
由上述实施例可见，本说明书提供的检测方案将图像识别算法部署于客户端程序端以供客户端程序直接调用，那么用户可在使用的客户端设备上安装本说明书提供的上述客户端程序，由该客户端程序来协助用户完成对该用户出行的检测。具体而言，在启动检测流程之后，客户端程序可调用客户端设备配置的摄像头来实时采集用户的图像数据，以生成图像序列在预览画面上展示。与此同时，调用本端部署的图像识别算法对图像序列(反映了用户的出行状态)进行图像识别，从而判断图像识别结果是否符合出行条件，完成对用户出行状态的检测。进一步的，实时将针对图像序列的检测结果在该图像序列(展示于预览画面)的基础上关联展示，以供用户及时得知检测结果，并根据检测结果和预览画面展示的图像序列及时调整自身的出行状态，以重新执行上述检测过程，直到检测通过为止。
一方面，通过上述检测方式可保证用户的出行状态符合相应的出行条件，从而保证用户的出行安全；并且，通过上述关联展示的方式，使得用户可在检测的过程中实时感知针对自身出行状态的检测结果，以协助用户实时进行调整，从而有效简化了用户操作，提升了检测效率和用户体验。
另一方面，检测操作由客户端程序本端单独完成，而无需借助其他设备，比如与后台服务器进行交互，从而充分利用了客户端设备的计算能力，成本较低，实时性高。并且，由于无需与其他设备交互，避免了关于用户的图像序列在传输过程中的泄露，以及泄露至其他设备中的风险，从而可在完成对用户出行状态进行检测的前提下，保证用户的隐私安全。
为了便于理解，下面以外卖场景下抽检骑手以保证配送安全为例，结合图2-3对本说明书的技术方案进行详细说明。
请参见图2，图2是一示例性实施例提供的另一种用户的出行检测方法的流程图。如图2所示，该方法应用于客户端程序(比如骑手执行配送业务所使用的APP)，可以包括以下步骤：
步骤202，在接收到检测指令的情况下，跳转至抽检页面，初始化分类模型。
在骑手配送的过程中，当骑手针对某个订单点击送达时，客户端程序将相应的送达事件上传至后台服务器，后台服务器判断当前订单是否是骑手的最后一个背单；如果是，并且骑手在某个抽检计划中，则向客户端程序下发用于触发启动抽检流程的检测指令，由客户端程序弹窗提示骑手进行抽检。
在开发客户端程序时，分别预先训练有头盔识别模型、工服识别模型和口罩识别模型，并将上述模型部署于客户端程序中。以深度学习为例，可采用端智能的方式，将采用深度学习得到的模型的推理服务以SDK的形式部署到APP端，供APP端直接调用。
举例而言，如图3A所示，可采用端侧推理框架来部署模型，该端侧推理框架采用轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。整个框架可以分为3层：
1)底层推理框架和模型管理，iOS***通过objective-c(OC)，Android***通过JNI使用端上推理引擎的推理能力。底层推理框架和模型管理，主要负责基础的推理能力，比如模型加载、数据传入、推理结果等。模型管理可以包括模型下载、数据缓存、版本灰度等等。Core层，主要抽象和封装与端上推理引擎c++接口调用粒度一致的人脸检测API，iOS通过OC接口提供，Android通过Java接口提供。这一层同时也为上层SDK提供一些公共服务类或结构定义。人脸检测API会进行检测和跟踪两个动作。检测会涉及人脸位置和关键点，而跟踪是在人脸移动时重新定位关键点的位置。在视频模式下，***可以默认每20帧检测一次，其余帧只跟踪。图片模式下则每一次调用都检测。创建实例后，可以将数据输入模型进行推理。同时，可以使用摄像头的回调数据作为接口的输入。当FaceDetector实例用完之后，我们需要手动释放实例，否则会产生native的内存泄露。
2)中层的业务服务层，主要提供一些基础的能力供业务层使用。比如，传入数据管理、推理结果管理、相机管理、相关参数设置(对推理引擎的设置)、数据分析(通常分析上传的日志)，日志管理、和Surface等。
3)上层的业务使用层，主要提供不同业务对推理框架的使用，比如上述抽检业务。
客户端程序进入抽检页面后，端上初始化模型，根据抽检项加载对应的识别模型。比如，抽检项包括头盔和工服，则相应加载头盔识别模型和工服识别模型。
如果识别模型初始化失败或者识别模型加载失败，则跳转至人工检测流程，由骑手拍照或者录制视频，通过客户端程序上传至后台服务器，以供后台的管理人员进行人工检测；否则，跳转至模型抽检页面。
步骤204，进行活体检测和人脸识别。
在模型抽检页面，骑手面对摄像头进行活体检测和人脸比对，以确定是活人并且是当前需要抽检的骑手本人。如果活体检测或人脸比对未通过，则跳转至人工检测流程，骑手可通过客户端程序自行拍照或者录制视频上传至后台服务器以由人工进行检测；否则，跳转至抽检流程。
活体检测可通过眨眼、张嘴、摇头、点头等组合动作，使用人脸关键点定位和人脸追踪等技术，验证用户是否为真实活体本人操作，从而有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的作弊手段。进一步的，在活体检测通过后，说明输入的图像帧来自真实骑手，那么可将该图像帧中的人脸对齐到标准位置，并且提取人脸特征，与骑手在注册流程中上传的人脸特征(可实时获取，或者预先获取)进行相似度计算。若计算得到的相似度在预设相似度阈值内，则判定人脸识别通过；否则，判断人脸识别未通过。其中，相似度计算可采用计算余弦距离、欧几里得距离、曼哈顿距离等等，本说明书并不对此进行限制。
步骤206，若活体检测和人脸识别均通过，则转入步骤210；否则，转入步骤208。
步骤208，跳转至人工检测流程。
步骤210，读取预览视频流，选取最新的图像帧。
在抽检过程中，骑手应面对摄像头露出工服、头盔、口罩等穿戴工具，由摄像头采集得到视频流，然后由客户端程序读取预览画面的视频流以用于识别。比如，预览画面和识别所采用的视频帧是2个不同的数据流，可将预览画面的视频流拷贝一份至用于图像识别的接口。
步骤212，对图像帧进行人脸检测，定位相关人体部位。
步骤214，裁剪各个人体部位的图像，并输入至相应的分类模型进行识别。
可先对视频流包含的图像帧进行人脸检测，若检测到人体脸部，则根据人体脸部的位置和大小，定位出人体头部的位置以及确定人体头部的大小，进而裁剪得到人体头部的图像，再将裁剪得到的图像输入至头盔识别模型，以识别出头部是否佩戴头盔。
在检测到人体脸部之后，还可根据人体脸部的位置和大小，定位出人体上半身的位置以及确定人体上半身的大小，进而裁剪得到人体上半身的图像，再将裁剪得到的图像输入至工服识别模型，以识别上半身是否身穿指定的工服。
步骤216，在预览画面展示识别模型的识别结果。
可根据针对图像帧的识别结果和出行条件判断骑手是否符合安全规范，然后实时将检测结果在该图像帧(展示于预览画面)的基础上关联展示，以供用户及时得知检测结果，并根据检测结果和预览画面展示的图像帧及时调整自身的出行状态，以重新执行上述检测过程，直到检测通过为止。
举例而言，请参见图3B，图3B是一示例性实施例提供的一种展示检测结果的示意图。如图3B所示，预览画面30中展示有摄像头采集到的针对骑手的视频流。以图3B中视频流的某一图像帧为例，针对人体头部的识别结果为未佩戴头盔，针对人体脸部的识别结果为人脸识别成功，针对人体上半身的识别结果为身穿有工服。因此，相应的检测结果分别为：头盔识别失败、人脸识别成功、工服识别成功。那么，可将上述检测结果在预览画面所展示图像帧的相应区域(相应人体部位对应的图像区域)关联展示。比如，图3B中的展示框31表示图像帧的头部区域，在展示框31内显示检测结果“头盔识别失败”，同时为了便于骑手感知，展示框31可采用红色显示以表示失败(即头盔的检测未通过)的状态。
类似的，图3B中的展示框32表示图像帧的脸部区域，在展示框32内显示检测结果“人脸识别成功”，同时为了便于骑手感知，展示框32可采用绿色显示以表示成功(即脸部的检测通过)的状态。图3B中的展示框33表示图像帧的上半身区域，在展示框33内显示检测结果“工服识别成功”，同时为了便于骑手感知，展示框33可采用绿色显示以表示成功(即工服的检测通过)的状态。
通过上述关联展示的方式，使得用户可在检测的过程中实时感知针对自身出行状态的检测结果，以协助用户实时进行调整，从而有效简化了用户操作，提升了检测效率和用户体验。另外，骑手还可根据预览画面展示的视频流相应调整拍摄的环境光和自身的姿势等，以保证摄像头采集到能够较好反映自身穿戴的视频流，便于自身尽快通过检测。
步骤218，若识别结果符合骑手的穿戴条件，则转入步骤220；否则，返回步骤210。
与此同时，还可设定一检测时长阈值，在未在检测时长阈值内通过检测的情况下，判定检测未通过；或者转入人工检测流程，由用户拍照或者录制视频以证明自身符合出行条件，然后由客户端程序将用户的照片或者视频上传至后台服务器，由后台服务器的管理人员人工进行检测。
步骤220，保存符合穿戴条件的图像帧。
在检测通过的情况下，可记录本次检测的检测结果，将其加密后上传至后台服务器，作为证明用户符合穿戴条件的证据以用于后续追溯。
在本说明书的技术方案中，除检测用户的出行状态以外，还可检测用户的穿戴状态，该穿戴状态与出行状态不存在必然联系，比如设定的穿戴条件与用户是否出行无关。下面结合图4进行说明。
请参见图4，图4是一示例性实施例提供的一种用户的穿戴检测方法的流程图。如图4所示，该方法应用于安装于客户端设备的客户端程序(部署有图像识别算法)，可以包括以下步骤：
步骤402，获取所述客户端设备的摄像头当前采集到的图像序列，所述图像序列用于展示于所述客户端程序中针对所述摄像头的预览画面上。
步骤404，调用所述图像识别算法对获取到的图像序列进行图像识别，并根据图像识别结果和针对所述客户端程序的用户的穿戴条件，对获取到的图像序列对应的用户穿戴状态进行检测。
步骤406，在所述预览画面展示的图像序列的基础上关联展示相应的检测结果。
步骤408，直到在所展示的检测结果为检测通过的情况下，停止获取图像序列的操作。
如前所述，可针对所述图像序列包含的任一图像帧，识别出所述任一图像帧中预设人体部位对应的第一图像，调用所述图像识别算法对所述第一图像进行图像识别；
和/或，根据所述第一图像以及所述预设人体部位与相关人体部位的相对关系，确定所述任一图像帧中对应于所述相关人体部位的第二图像，调用所述图像识别算法对所述第二图像进行图像识别。
如前所述，所述图像识别算法包括分别对应于各个人体部位的图像识别模型，图像识别模型用于识别相应的人体部位的图像中该人体部位是否穿戴有指定的穿戴工具；那么可将目标图像输入至所述目标图像包含的人体部位对应的图像识别模型以进行图像识别，所述目标图像包括所述第一图像和所述第二图像；其中，所述穿戴条件包括所述用户穿戴有指定的穿戴工具。
如前所述，所述预设人体部位包括脸部；和/或，所述相对关系包括相对位置关系和/或相对大小关系。
如前所述，可从获取到的图像序列中选取出至少一张图像帧，以调用所述图像识别算法对所述至少一张图像帧进行图像识别；其中，所述至少一张图像帧包括获取到的图像序列中在时间顺序上最新的图像帧。
如前所述，还可对获取到的图像序列进行人脸识别以确定图像序列中的用户是否为所述客户端程序的用户；和/或，对获取到的图像序列进行活体检测；
在人脸识别或活体检测未通过的情况下，判定检测未通过。
如前所述，还可响应于服务端发起的检测指令，执行获取图像序列的操作；其中，所述检测指令由所述服务端在确定出所述客户端程序的用户当前不存在未执行的出行订单的情况下发起。
如前所述，还可将检测通过的图像序列中的至少一张图像帧发送至服务端，以由所述服务端将所述至少一张图像帧标记为检测通过，并与所述用户的用户标识关联存储；
或者，在得到的检测结果为检测通过的情况下，调用所述摄像头进行拍照以将拍照得到的图像数据发送至服务端，所述图像数据被所述服务端标记为检测通过，并与所述用户的用户标识关联存储。
需要说明的是，上述出行检测方案的实施例中所涉及的描述同样可以适用于上述穿戴检测方案的实施例，本说明书不再对此进行赘述。
与上述方法实施例相对应，本说明书还提供了相应的装置实施例。
图5是一示例性实施例提供的一种设备的示意结构图。请参考图5，在硬件层面，该设备包括处理器502、内部总线504、网络接口506、内存508以及非易失性存储器510，当然还可能包括其他业务所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现，比如由处理器502从非易失性存储器510中读取对应的计算机程序到内存508中然后运行。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
请参考图6，用户的出行检测装置可以应用于如图5所示的设备中，以实现本说明书的技术方案。其中，该出行检测装置应用于安装于客户端设备的客户端程序，所述客户端程序部署有图像识别算法；该装置可以包括：
获取单元61，获取所述客户端设备的摄像头当前采集到的图像序列，所述图像序列用于展示于所述客户端程序中针对所述摄像头的预览画面上；
识别单元62，调用所述图像识别算法对获取到的图像序列进行图像识别，并根据图像识别结果和针对所述客户端程序的用户的出行条件，对获取到的图像序列对应的用户出行状态进行检测；
展示单元63，在所述预览画面展示的图像序列的基础上关联展示相应的检测结果，直到在所展示的检测结果为检测通过的情况下，停止获取图像序列的操作。
可选的，所述识别单元62具体用于：
针对所述图像序列包含的任一图像帧，识别出所述任一图像帧中预设人体部位对应的第一图像，调用所述图像识别算法对所述第一图像进行图像识别；
和/或，根据所述第一图像以及所述预设人体部位与相关人体部位的相对关系，确定所述任一图像帧中对应于所述相关人体部位的第二图像，调用所述图像识别算法对所述第二图像进行图像识别。
可选的，所述图像识别算法包括分别对应于各个人体部位的图像识别模型，图像识别模型用于识别相应的人体部位的图像中该人体部位是否穿戴有指定的出行工具；调用识别单元62进一步用于：
将目标图像输入至所述目标图像包含的人体部位对应的图像识别模型以进行图像识别，所述目标图像包括所述第一图像和所述第二图像；其中，所述出行条件包括所述用户穿戴有指定的出行工具。
可选的，所述预设人体部位包括脸部；和/或，所述相对关系包括相对位置关系和/或相对大小关系。
可选的，所述识别单元62具体用于，包括：
从获取到的图像序列中选取出至少一张图像帧，以调用所述图像识别算法对所述至少一张图像帧进行图像识别；
其中，所述至少一张图像帧包括获取到的图像序列中在时间顺序上最新的图像帧。
可选的，所述识别单元62还用于：
对获取到的图像序列进行人脸识别以确定图像序列中的用户是否为所述客户端程序的用户；和/或，对获取到的图像序列进行活体检测；
在人脸识别或活体检测未通过的情况下，判定检测未通过。
可选的，所述获取单元61还用于：
响应于服务端发起的检测指令，执行获取图像序列的操作；其中，所述检测指令由所述服务端在确定出所述客户端程序的用户当前不存在未执行的出行订单的情况下发起。
可选的，所述展示单元63还用于：
将检测通过的图像序列中的至少一张图像帧发送至服务端，以由所述服务端将所述至少一张图像帧标记为检测通过，并与所述用户的用户标识关联存储；
或者，在得到的检测结果为检测通过的情况下，调用所述摄像头进行拍照以将拍照得到的图像数据发送至服务端，所述图像数据被所述服务端标记为检测通过，并与所述用户的用户标识关联存储。
请参考图7，用户的穿戴检测装置可以应用于如图5所示的设备中，以实现本说明书的技术方案。其中，该穿戴检测装置应用于安装于客户端设备的客户端程序，所述客户端程序部署有图像识别算法；该装置可以包括：
获取单元71，获取所述客户端设备的摄像头当前采集到的图像序列，所述图像序列用于展示于所述客户端程序中针对所述摄像头的预览画面上；
识别单元72，调用所述图像识别算法对获取到的图像序列进行图像识别，并根据图像识别结果和针对所述客户端程序的用户的穿戴条件，对获取到的图像序列对应的用户穿戴状态进行检测；
展示单元73，在所述预览画面展示的图像序列的基础上关联展示相应的检测结果，直到在所展示的检测结果为检测通过的情况下，停止获取图像序列的操作。
可选的，所述识别单元72具体用于：
针对所述图像序列包含的任一图像帧，识别出所述任一图像帧中预设人体部位对应的第一图像，调用所述图像识别算法对所述第一图像进行图像识别；
和/或，根据所述第一图像以及所述预设人体部位与相关人体部位的相对关系，确定所述任一图像帧中对应于所述相关人体部位的第二图像，调用所述图像识别算法对所述第二图像进行图像识别。
可选的，所述图像识别算法包括分别对应于各个人体部位的图像识别模型，图像识别模型用于识别相应的人体部位的图像中该人体部位是否穿戴有指定的穿戴工具；调用识别单元72进一步用于：
将目标图像输入至所述目标图像包含的人体部位对应的图像识别模型以进行图像识别，所述目标图像包括所述第一图像和所述第二图像；其中，所述穿戴条件包括所述用户穿戴有指定的穿戴工具。
可选的，所述预设人体部位包括脸部；和/或，所述相对关系包括相对位置关系和/或相对大小关系。
可选的，所述识别单元72具体用于，包括：
从获取到的图像序列中选取出至少一张图像帧，以调用所述图像识别算法对所述至少一张图像帧进行图像识别；其中，所述至少一张图像帧包括获取到的图像序列中在时间顺序上最新的图像帧。
可选的，所述识别单元72还用于：
对获取到的图像序列进行人脸识别以确定图像序列中的用户是否为所述客户端程序的用户；和/或，对获取到的图像序列进行活体检测；
在人脸识别或活体检测未通过的情况下，判定检测未通过。
可选的，所述获取单元71还用于：
响应于服务端发起的检测指令，执行获取图像序列的操作；其中，所述检测指令由所述服务端在确定出所述客户端程序的用户当前不存在未执行的穿戴订单的情况下发起。
可选的，所述展示单元73还用于：
将检测通过的图像序列中的至少一张图像帧发送至服务端，以由所述服务端将所述至少一张图像帧标记为检测通过，并与所述用户的用户标识关联存储；
或者，在得到的检测结果为检测通过的情况下，调用所述摄像头进行拍照以将拍照得到的图像数据发送至服务端，所述图像数据被所述服务端标记为检测通过，并与所述用户的用户标识关联存储。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。
Claims (16)
1.一种用户的出行检测方法，其特征在于，应用于安装于客户端设备的客户端程序，所述客户端程序部署有图像识别算法；所述方法包括：
获取所述客户端设备的摄像头当前采集到的图像序列，所述图像序列用于展示于所述客户端程序中针对所述摄像头的预览画面上；
调用所述图像识别算法对获取到的图像序列进行图像识别，并根据图像识别结果和针对所述客户端程序的用户的出行条件，对获取到的图像序列对应的用户出行状态进行检测；
在所述预览画面展示的图像序列的基础上关联展示相应的检测结果，直到在所展示的检测结果为检测通过的情况下，停止获取图像序列的操作。
2.根据权利要求1所述的方法，其特征在于，所述调用所述图像识别算法对获取到的图像序列进行图像识别，包括：
针对所述图像序列包含的任一图像帧，识别出所述任一图像帧中预设人体部位对应的第一图像，调用所述图像识别算法对所述第一图像进行图像识别；
和/或，根据所述第一图像以及所述预设人体部位与相关人体部位的相对关系，确定所述任一图像帧中对应于所述相关人体部位的第二图像，调用所述图像识别算法对所述第二图像进行图像识别。
3.根据权利要求2所述的方法，其特征在于，所述图像识别算法包括分别对应于各个人体部位的图像识别模型，图像识别模型用于识别相应的人体部位的图像中该人体部位是否穿戴有指定的出行工具；调用所述图像识别算法对目标图像进行图像识别，包括：
将目标图像输入至所述目标图像包含的人体部位对应的图像识别模型以进行图像识别，所述目标图像包括所述第一图像和所述第二图像；其中，所述出行条件包括所述用户穿戴有指定的出行工具。
4.根据权利要求2所述的方法，其特征在于，所述预设人体部位包括脸部；和/或，所述相对关系包括相对位置关系和/或相对大小关系。
5.根据权利要求1所述的方法，其特征在于，所述调用所述图像识别算法对获取到的图像序列进行图像识别，包括：
从获取到的图像序列中选取出至少一张图像帧，以调用所述图像识别算法对所述至少一张图像帧进行图像识别；
其中，所述至少一张图像帧包括获取到的图像序列中在时间顺序上最新的图像帧。
6.根据权利要求1所述的方法，其特征在于，还包括：
对获取到的图像序列进行人脸识别以确定图像序列中的用户是否为所述客户端程序的用户；和/或，对获取到的图像序列进行活体检测；
在人脸识别或活体检测未通过的情况下，判定检测未通过。
7.根据权利要求1所述的方法，其特征在于，还包括：
响应于服务端发起的检测指令，执行获取图像序列的操作；其中，所述检测指令由所述服务端在确定出所述客户端程序的用户当前不存在未执行的出行订单的情况下发起。
8.根据权利要求1所述的方法，其特征在于，还包括：
将检测通过的图像序列中的至少一张图像帧发送至服务端，以由所述服务端将所述至少一张图像帧标记为检测通过，并与所述用户的用户标识关联存储；
或者，在得到的检测结果为检测通过的情况下，调用所述摄像头进行拍照以将拍照得到的图像数据发送至服务端，所述图像数据被所述服务端标记为检测通过，并与所述用户的用户标识关联存储。
9.一种用户的穿戴检测方法，其特征在于，应用于安装于客户端设备的客户端程序，所述客户端程序部署有图像识别算法；所述方法包括：
获取所述客户端设备的摄像头当前采集到的图像序列，所述图像序列用于展示于所述客户端程序中针对所述摄像头的预览画面上；
调用所述图像识别算法对获取到的图像序列进行图像识别，并根据图像识别结果和针对所述客户端程序的用户的穿戴条件，对获取到的图像序列对应的用户穿戴状态进行检测；
在所述预览画面展示的图像序列的基础上关联展示相应的检测结果，直到在所展示的检测结果为检测通过的情况下，停止获取图像序列的操作。
10.根据权利要求9所述的方法，其特征在于，所述调用所述图像识别算法对获取到的图像序列进行图像识别，包括：
针对所述图像序列包含的任一图像帧，识别出所述任一图像帧中预设人体部位对应的第一图像，调用所述图像识别算法对所述第一图像进行图像识别；
和/或，根据所述第一图像以及所述预设人体部位与相关人体部位的相对关系，确定所述任一图像帧中对应于所述相关人体部位的第二图像，调用所述图像识别算法对所述第二图像进行图像识别。
11.根据权利要求10所述的方法，其特征在于，所述图像识别算法包括分别对应于各个人体部位的图像识别模型，图像识别模型用于识别相应的人体部位的图像中该人体部位是否穿戴有指定的穿戴工具；调用所述图像识别算法对目标图像进行图像识别，包括：
将目标图像输入至所述目标图像包含的人体部位对应的图像识别模型以进行图像识别，所述目标图像包括所述第一图像和所述第二图像；其中，所述穿戴条件包括所述用户穿戴有指定的穿戴工具。
12.根据权利要求10所述的方法，其特征在于，所述预设人体部位包括脸部；和/或，所述相对关系包括相对位置关系和/或相对大小关系。
13.一种用户的出行检测装置，其特征在于，应用于安装于客户端设备的客户端程序，所述客户端程序部署有图像识别算法；所述装置包括：
获取单元，获取所述客户端设备的摄像头当前采集到的图像序列，所述图像序列用于展示于所述客户端程序中针对所述摄像头的预览画面上；
识别单元，调用所述图像识别算法对获取到的图像序列进行图像识别，并根据图像识别结果和针对所述客户端程序的用户的出行条件，对获取到的图像序列对应的用户出行状态进行检测；
展示单元，在所述预览画面展示的图像序列的基础上关联展示相应的检测结果，直到在所展示的检测结果为检测通过的情况下，停止获取图像序列的操作。
14.一种用户的穿戴检测装置，其特征在于，应用于安装于客户端设备的客户端程序，所述客户端程序部署有图像识别算法；所述装置包括：
获取单元，获取所述客户端设备的摄像头当前采集到的图像序列，所述图像序列用于展示于所述客户端程序中针对所述摄像头的预览画面上；
识别单元，调用所述图像识别算法对获取到的图像序列进行图像识别，并根据图像识别结果和针对所述客户端程序的用户的穿戴条件，对获取到的图像序列对应的用户穿戴状态进行检测；
展示单元，在所述预览画面展示的图像序列的基础上关联展示相应的检测结果，直到在所展示的检测结果为检测通过的情况下，停止获取图像序列的操作。
15.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现如权利要求1-12中任一项所述的方法。
16.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-12中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110996563.0A CN113723275B (zh) | 2021-08-27 | 用户的出行检测方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110996563.0A CN113723275B (zh) | 2021-08-27 | 用户的出行检测方法及装置、电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113723275A true CN113723275A (zh) | 2021-11-30 |
| CN113723275B CN113723275B (zh) | 2024-07-12 |
Family
ID=
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114298637A (zh) * | 2021-12-29 | 2022-04-08 | 湖南喜宝达信息科技有限公司 | 一种基于智能头盔的配送跟踪控制方法、头盔及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105955451A (zh) * | 2016-04-18 | 2016-09-21 | 张伟彬 | 基于用户图像的出行提示方法 |
| CN107609544A (zh) * | 2017-10-27 | 2018-01-19 | 华润电力技术研究院有限公司 | 一种检测方法以及装置 |
| CN109446932A (zh) * | 2018-10-11 | 2019-03-08 | 武汉微道云信息科技有限公司 | 一种着装检查方法、装置、终端设备及计算机存储介质 |
| CN110619314A (zh) * | 2019-09-24 | 2019-12-27 | 杭州宇泛智能科技有限公司 | 安全帽检测方法、装置及电子设备 |
| CN111985429A (zh) * | 2020-08-27 | 2020-11-24 | 上海商汤智能科技有限公司 | 一种头盔佩戴检测的方法、装置、电子设备及存储介质 |
| CN112766209A (zh) * | 2021-01-27 | 2021-05-07 | 深圳市智莱科技股份有限公司 | 着装检测方法、着装检测***和计算机可读存储介质 |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105955451A (zh) * | 2016-04-18 | 2016-09-21 | 张伟彬 | 基于用户图像的出行提示方法 |
| CN107609544A (zh) * | 2017-10-27 | 2018-01-19 | 华润电力技术研究院有限公司 | 一种检测方法以及装置 |
| CN109446932A (zh) * | 2018-10-11 | 2019-03-08 | 武汉微道云信息科技有限公司 | 一种着装检查方法、装置、终端设备及计算机存储介质 |
| CN110619314A (zh) * | 2019-09-24 | 2019-12-27 | 杭州宇泛智能科技有限公司 | 安全帽检测方法、装置及电子设备 |
| CN111985429A (zh) * | 2020-08-27 | 2020-11-24 | 上海商汤智能科技有限公司 | 一种头盔佩戴检测的方法、装置、电子设备及存储介质 |
| CN112766209A (zh) * | 2021-01-27 | 2021-05-07 | 深圳市智莱科技股份有限公司 | 着装检测方法、着装检测***和计算机可读存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114298637A (zh) * | 2021-12-29 | 2022-04-08 | 湖南喜宝达信息科技有限公司 | 一种基于智能头盔的配送跟踪控制方法、头盔及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20180300557A1 (en) | Object analysis in live video content | |
| KR101632819B1 (ko) | 무인 이미지 캡쳐를 위한 방법 및 장치 | |
| US20170308739A1 (en) | Human face recognition method and recognition system | |
| US10846537B2 (en) | Information processing device, determination device, notification system, information transmission method, and program | |
| WO2019050508A1 (en) | EMOTION DETECTION ACTIVATED VIDEO CUSHIONING | |
| CN110321852B (zh) | 一种动作类型识别方法、装置、存储介质及计算机设备 | |
| CN105556482A (zh) | 监视移动应用性能 | |
| JP6323202B2 (ja) | 映像を取得するシステム、方法及びプログラム | |
| CN110990795A (zh) | 基于对抗样本的隐私信息保护方法、装置及电子设备 | |
| US20200285856A1 (en) | Video robot systems | |
| CN112861104A (zh) | 身份验证方法及相关装置 | |
| CN109598120A (zh) | 移动终端的安全态势智能分析方法、装置及存储介质 | |
| CN111881740A (zh) | 人脸识别方法、装置、电子设备及介质 | |
| CN117235406B (zh) | 基于区块链的信息内容安全的管控方法及装置 | |
| CN113850211A (zh) | 注入视频攻击检测方法和装置 | |
| CN113723275B (zh) | 用户的出行检测方法及装置、电子设备、存储介质 | |
| KR100827848B1 (ko) | 영상 통화 기록을 이용하여 디지털 데이터에 포함된 인물을인식하고 화면에 영상을 디스플레이하는 방법 및 시스템 | |
| KR101695655B1 (ko) | 영상 분석 방법 및 장치 | |
| CN113723275A (zh) | 用户的出行检测方法及装置、电子设备、存储介质 | |
| CN112686744A (zh) | 外访业务监控方法、装置、电子设备及存储介质 | |
| CN111274602A (zh) | 一种图像特征信息替换方法、装置、设备及介质 | |
| CN111199231A (zh) | 一种图像识别方法及装置 | |
| US20180181772A1 (en) | Electronic device and operation method thereof | |
| CN116720533A (zh) | 扫码方法、电子设备及可读存储介质 | |
| CN110866292A (zh) | 界面显示方法、装置、终端设备及服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |