WO2023279785A1 - 人岗匹配检测方法、装置、计算机设备及存储介质 - Google Patents

人岗匹配检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2023279785A1
WO2023279785A1 PCT/CN2022/083921 CN2022083921W WO2023279785A1 WO 2023279785 A1 WO2023279785 A1 WO 2023279785A1 CN 2022083921 W CN2022083921 W CN 2022083921W WO 2023279785 A1 WO2023279785 A1 WO 2023279785A1
Authority
WO
WIPO (PCT)
Prior art keywords
action
production
matching
post
target
Prior art date
Application number
PCT/CN2022/083921
Other languages
English (en)
French (fr)
Inventor
王飞
王磊
白登峰
林君仪
陈瑞祥
Original Assignee
上海商汤智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海商汤智能科技有限公司 filed Critical 上海商汤智能科技有限公司
Publication of WO2023279785A1 publication Critical patent/WO2023279785A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • Embodiments of the present disclosure at least provide a person-post matching detection method, device, computer equipment, and storage medium.
  • the identities of the staff in each target position can be known, so as to know whether the staff and positions match, so as to achieve the purpose of personnel-post matching detection .
  • the position information includes personnel identity information corresponding to the target position in the target time period; based on the association relationship and the position information corresponding to the target position, the determination of the Whether the staff and the target post match, including: when the post information includes the personal identity information, in response to the face recognition result matching the personal identity information, obtain the staff and the target Job matching.
  • the matching of the recognition action sequence and the reference action sequence to obtain the production normative matching result includes: dividing the recognition action sequence into multiple actions Subsequence: matching the reference action sequence with each action subsequence; obtaining the production normative matching result based on the matching results of the reference action sequence and each action subsequence.
  • the matching of the action recognition result with the reference action sequence includes: matching of work efficiency; the determination module is further configured to: determine the staff member based on the action recognition result The total duration and/or interval duration of performing production actions; based on the total duration and/or interval duration of the execution of production actions by the staff, as well as the reference action duration, determine the work efficiency of the staff; based on the work of the staff The efficiency and the preset work efficiency determine the matching result of the work efficiency.
  • an optional implementation manner of the present disclosure further provides a computer-readable storage medium, on which a computer program is stored, and when the computer program is executed, the above-mentioned first aspect, or any one of the first aspects in the first aspect, may be executed. Steps in one possible implementation.
  • FIG. 4 shows a schematic diagram of a time axis corresponding to a production cycle provided by an embodiment of the present disclosure
  • a pre-trained deep neural network may be used to identify workers in video frame images.
  • Video frame image when the motion recognition is performed on the video to be processed, the motion recognition of the staff member can also be performed for the video frame image locked in the video to be processed and corresponding to the staff member corresponding to the target position. In this way, the obtained face recognition results and action recognition results are more targeted, and the accuracy is also higher when using the face recognition results and action recognition results to determine whether the staff matches the target post.
  • the obtained sketch is used as the action recognition result; or, the basic action shown in (b) in Figure 2 can also be used to match multiple reference actions to obtain the action recognition result.
  • the obtained action recognition result can be specific to specific Action classification results, such as "walking action", "pickup action”, etc.
  • FIG. 3 which is a schematic diagram of multiple reference actions provided by an embodiment of the present disclosure, the reference actions shown in FIG. 3 are shown in the form of simplified diagrams and corresponding to action identifiers.
  • the action recognition result "walking action” can be obtained.
  • the position information includes a reference action sequence corresponding to the target position.
  • the action recognition result is matched with the reference action sequence, including at least one of the following: matching of working hours, matching of production norms, and matching of production efficiency.
  • FIG. 4 is a schematic diagram of a production cycle corresponding to a time axis provided by an embodiment of the present disclosure.
  • different production periods are marked on the time axis, for example, the illustrated production period T1 and the production period T2 (the time axis also includes unillustrated parts, such as the production period T3, etc.).
  • the start time and end time corresponding to the production actions corresponding to the three reference actions p1-p3 are also marked on the time axis.
  • the time axis is the corresponding time axis when the workers actually perform production actions.
  • the sub-actions performed by him include the production sub-actions respectively corresponding to the reference actions p1-p3 under the normal workflow.
  • the time required to complete the production sub-action can be reasonably determined based on pre-test or empirical judgment. For example, referring to the production sub-action corresponding to the reference action p1, it can be determined that the time required to normally complete the production sub-action is 20 minutes, that is, the reference action duration of the reference action p1 is 20 minutes.
  • the recognition action sequence includes, for example, walking action, standing action, and picking action, which are the specific sequence of the worker S1 during actual operation, for example, first perform the walking action, then perform the standing action, and finally perform the picking action;
  • the corresponding sub-actions may include specific actions of walking action, standing action, and picking action.
  • FIG. 5 it is a schematic diagram of a person-post matching detection device provided by an embodiment of the present disclosure.
  • the device includes: an acquisition module 51, an identification module 52, an association module 53, and a determination module 54; wherein,
  • the action duration of the worker performing the production action includes at least one of the following: the total duration of the worker performing the production action; the interval time between the worker performing adjacent production actions ; The sub-duration of the worker executing the production sub-action; the interval between the worker's execution of adjacent production sub-actions.
  • the units described as separate components may or may not be physically separated, and the components shown as units may or may not be physical units, that is, they may be located in one place, or may be distributed to multiple network units. Part or all of the units can be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • the video to be processed in the target time period is obtained by shooting the staff at the target position; the video to be processed is identified by using the image recognition technology in the field of image processing technology, and the identification result of the staff is obtained , such as face recognition results and action recognition results; according to the characteristics of the recognition results and the position information corresponding to the target position, determine whether the staff matches the target position, so as to achieve the purpose of person-position matching detection.
  • the solution of the present application can avoid the detection of person-post matching from relying on manual management, and improve the accuracy and detection efficiency of person-post matching detection.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开提供了一种人岗匹配检测方法、装置、计算机设备及存储介质，其中，该方法包括：获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频；对所述待处理视频进行人脸识别和动作识别，得到所述工作人员的人脸识别结果以及动作识别结果；关联所述人脸识别结果与所述动作识别结果，得到关联关系；基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配。

Description

人岗匹配检测方法、装置、计算机设备及存储介质
相关技术的交叉引用
本公开要求于2021年7月6日提交的申请号为202110763737.9的中国专利申请的优先权，该中国专利申请公开的全部内容以引用的方式并入本文中。
技术领域
本公开涉及图像处理技术领域，尤其涉及一种人岗匹配检测方法、装置、计算机设备及存储介质。
背景技术
在工业生产过程中，考察人员是否与岗位匹配主要是通过人为管理的方式，这种方式不仅耗费人力物力，且得到的人岗是否匹配的数据过于依赖管理人员的主观意识。
发明内容
本公开实施例至少提供一种人岗匹配检测方法、装置、计算机设备及存储介质。
第一方面，本公开实施例提供了一种人岗匹配检测方法，包括：获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频；对所述待处理视频进行人脸识别和动作识别，得到所述工作人员的人脸识别结果以及动作识别结果；关联所述人脸识别结果与所述动作识别结果，得到关联关系；基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配。
这样，通过检测目标岗位的工作人员与目标岗位之间是否匹配，可以获知处于各目标岗位的工作人员的身份，从而得知各工作人员与岗位之间是否匹配，以实现人岗匹配检测的目的。
一种可选的实施方式中，所述岗位信息包括在所述目标时段与所述目标岗位对应的人员身份信息；所述基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配，包括：在所述岗位信息包括所述人员身份信息时，响应于所述人脸识别结果与所述人员身份信息匹配，得到所述工作人员与所述目标岗位匹配。
这样，由于利用人脸识别结果进行匹配的方式较为简单，因此基于人员身份信息，可以较为容易且快速的确定工作人员与目标岗位是否匹配。
一种可选的实施方式中，所述岗位信息包括与所述目标岗位对应的参考动作序列；所述基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配，包括：在所述岗位信息包括所述参考动作序列时，响应于所述动作识别结果与所述参考动作序列匹配，得到所述工作人员与所述目标岗位匹配。
这样，基于参考动作序列，可以更准确的确定工作人员是否按照工作要求相应的完成生产动作，在可以准确的确定工作人员与所述目标岗位是否匹配的同时，可以进一步保证工作人员在生产中的安全性。
一种可选的实施方式中，所述动作识别结果与所述参考动作序列匹配，包括下述至少一种：工作时长的匹配、生产规范性的匹配、生产效率的匹配。
这样，采用不同维度下的匹配方式，可以在不同方面保证产品高质量、且高效率的生产出。
一种可选的实施方式中，所述动作识别结果与所述参考动作序列匹配，包括：工作时长的匹配；所述方法还包括：基于所述动作识别结果，确定所述工作人员执行生产动作的动作时长；基于所述动作时长、以及与所述参考动作序列对应的参考动作时长，确定工作时长的匹配结果。
这样，通过工作时长的匹配，可以保证产品以较快的速度生产出。
一种可选的实施方式中，所述工作人员执行生产动作的动作时长，包括下述至少一种：所述工作人员执行生产动作的总时长；所述工作人员执行相邻生产动作的间隔时长；所述工作人员执行生产子动作的子时长；所述工作人员执行相邻生产子动作的间隔时长。
这样，通过对不同的时长的控制，可以保证工作人员在执行相关生产动作时，能够高效有序的进行。
一种可选的实施方式中，所述动作识别结果包括：识别动作序列；所述识别动作序列包括：多个子动作；所述动作识别结果与所述参考动作序列匹配，包括：生产规范性的匹配；所述方法还包括：将所述识别动作序列和所述参考动作序列进行匹配，得到所述生产规范性的匹配结果。
这样，通过动作序列的匹配，可以进一步保证在生产时按照一定的顺序要求进行，在保证产品质量的同时，还可以保障工作人员的安全。
一种可选的实施方式中，所述将所述识别动作序列和所述参考动作序列进行匹配，得到所述生产规范性的匹配结果，包括：将所述识别动作序列切分为多个动作子序列；将所述参考动作序列分别与各个动作子序列进行匹配；基于所述参考动作序列与各个动作子序列的匹配结果，得到所述生产规范性的匹配结果。
一种可选的实施方式中，所述将所述识别动作序列切分为多个动作子序列，包括：从所述识别动作序列中，确定与所述参考动作序列中的目标参考动作匹配的目标子动作；基于所述目标子动作在所述识别动作序列中的位置、以及所述目标参考动作在所述参考动作序列中的位置，将所述识别动作序列切分为至少一个动作子序列。
这样，通过利用目标子动作以及目标参考动作对不同的动作序列切分的方式，可以更准确的得到生产规范性的匹配结果。
一种可选的实施方式中，所述生产规范性的匹配结果包括下述至少一种：生产动作内容正确、生产动作内容错误、缺失生产动作、多余生产动作、以及生产动作中各动作顺序错误。
一种可选的实施方式中，所述动作识别结果与所述参考动作序列匹配，包括：工作效率的匹配；所述方法还包括：基于所述动作识别结果，确定所述工作人员执行生产动作的总时长和/或间隔时长；基于所述工作人员执行生产动作的总时长和/或间隔时长，以及参考动作时长，确定所述工作人员的工作效率；基于所述工作人员的工作效率与预设工作效率，确定所述工作效率的匹配结果。
这样，还可以保证生产的效率。
一种可选的实施方式中，所述人岗匹配检测方法还包括：基于所述人脸识别结果，确定所述工作人员的上岗时间和离岗时间中的至少一项；基于得到的所述上岗时间和/或所述离岗时间，确定所述工作人员的出勤信息。
第二方面，本公开实施例还提供一种人岗匹配检测装置，包括：获取模块，被配置为获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频；识别模块，被配置为对所述待处理视频进行人脸识别和动作识别，得到所述工作人员的人脸识别结果以 及动作识别结果；关联模块，被配置为关联所述人脸识别结果与所述动作识别结果，得到关联关系；确定模块，被配置为基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配。
一种可选的实施方式中，所述岗位信息包括在所述目标时段与所述目标岗位对应的人员身份信息；所述确定模块在基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配时，被配置为：在所述岗位信息包括所述人员身份信息时，响应于所述人脸识别结果与所述人员身份信息匹配，得到所述工作人员与所述目标岗位匹配。
一种可选的实施方式中，所述岗位信息包括与所述目标岗位对应的参考动作序列；所述确定模块在基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配时，被配置为：在所述岗位信息包括所述参考动作序列时，响应于所述动作识别结果与所述参考动作序列匹配，得到所述工作人员与所述目标岗位匹配。
一种可选的实施方式中，所述动作识别结果与所述参考动作序列匹配，包括下述至少一种：工作时长的匹配、生产规范性的匹配、生产效率的匹配。
一种可选的实施方式中，所述动作识别结果与所述参考动作序列匹配，包括：工作时长的匹配；所述确定模块还被配置为：基于所述动作识别结果，确定所述工作人员执行生产动作的动作时长；基于所述动作时长、以及与所述参考动作序列对应的参考动作时长，确定工作时长的匹配结果。
一种可选的实施方式中，所述工作人员执行生产动作的动作时长，包括下述至少一种：所述工作人员执行生产动作的总时长；所述工作人员执行相邻生产动作的间隔时长；所述工作人员执行生产子动作的子时长；所述工作人员执行相邻生产子动作的间隔时长。
一种可选的实施方式中，所述动作识别结果包括：识别动作序列；所述识别动作序列包括：多个子动作；所述动作识别结果与所述参考动作序列匹配，包括：生产规范性的匹配；所述确定模块还被配置为：将所述识别动作序列和所述参考动作序列进行匹配，得到所述生产规范性的匹配结果。
一种可选的实施方式中，所述确定模块在将所述识别动作序列和所述参考动作序列进行匹配，得到所述生产规范性的匹配结果时，被配置为：将所述识别动作序列切分为多个动作子序列；将所述参考动作序列分别与各个动作子序列进行匹配；基于所述参考动作序列与各个动作子序列的匹配结果，得到所述生产规范性的匹配结果。
一种可选的实施方式中，所述确定模块在将所述识别动作序列切分为多个动作子序列时，被配置为：从所述识别动作序列中，确定与所述参考动作序列中的目标参考动作匹配的目标子动作；基于所述目标子动作在所述识别动作序列中的位置、以及所述目标参考动作在所述参考动作序列中的位置，将所述识别动作序列切分为至少一个动作子序列。
一种可选的实施方式中，所述生产规范性的匹配结果包括下述至少一种：生产动作内容正确、生产动作内容错误、缺失生产动作、多余生产动作、以及生产动作中各动作顺序错误。
一种可选的实施方式中，所述动作识别结果与所述参考动作序列匹配，包括：工作效率的匹配；所述确定模块还被配置为：基于所述动作识别结果，确定所述工作人员执行生产动作的总时长和/或间隔时长；基于所述工作人员执行生产动作的总时长和/或间隔时长，以及参考动作时长，确定所述工作人员的工作效率；基于所述工作人员的工作 效率与预设工作效率，确定所述工作效率的匹配结果。
一种可选的实施方式中，所述确定模块还被配置为：基于所述人脸识别结果，确定所述工作人员的上岗时间和离岗时间中的至少一项；基于得到的所述上岗时间和/或所述离岗时间，确定所述工作人员的出勤信息。
第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第五方面，本公开可选实现方式还提供一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序被计算机读取并执行时，上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
关于上述人岗匹配检测装置、计算机设备、及计算机可读存储介质的效果描述参见上述人岗匹配检测方法的说明，这里不再赘述。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种人岗匹配检测方法的流程图；
图2示出了本公开实施例所提供的一种在对待处理视频进行动作识别时的示意图；
图3示出了本公开实施例所提供的多个参考动作的示意图；
图4示出了本公开实施例所提供的一种生产周期对应时间轴的示意图；
图5示出了本公开实施例所提供的一种人岗匹配检测装置的示意图；
图6示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施 例，都属于本公开保护的范围。
经研究发现，在工业生产过程中存在大量人员岗位匹配度不够的问题，例如工作人员待岗、窜岗、离岗等，在这些情况下工作人员是无法正常按照工作要求在对应岗位下工作的，这样就容易导致生产出的产品质量无法得到保证。
另外，若工作人员在所属岗位上的操作有误，也可能会对工作人员的自身安全造成威胁。
基于上述研究，本公开提供了一种人岗匹配检测方法，通过检测目标岗位的工作人员与目标岗位之间是否匹配，可以获知处于各目标岗位的工作人员的身份，从而得知各工作人员与岗位之间是否匹配，以实现人岗匹配检测的目的。
另外，可以根据工作人员是否与目标岗位匹配，帮助工作人员按照正常的工作要求工作，提升工作人员在工作时的安全性。
现有技术所存在的缺陷，是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及本公开针对上述问题所提出的解决方案，都应该是发明人对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种人岗匹配检测方法进行详细介绍，本公开实施例所提供的人岗匹配检测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该人岗匹配检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面对本公开实施例提供的人岗匹配检测方法加以说明。
参见图1所示，为本公开实施例提供的一种人岗匹配检测方法的流程图，所述方法包括步骤S101～S104，其中：
S101：获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频；
S102：对所述待处理视频进行人脸识别和动作识别，得到所述工作人员的人脸识别结果以及动作识别结果；
S103：关联所述人脸识别结果与所述动作识别结果，得到关联关系；
S104：基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配。
本公开实施例提供的人岗匹配检测方法，通过对目标岗位的工作人员在目标时段的待处理视频进行人脸识别和动作识别，确定工作人员的人脸识别结果以及动作识别结果，从而将利用对人脸识别结果与动作识别结果进行关联得到的关联关系与目标岗位对应的岗位信息进行匹配，以确定工作人员与所述目标岗位是否匹配。这样，通过检测目标岗位的工作人员与目标岗位之间是否匹配，可以获知处于各目标岗位的工作人员的身份，从而得知各工作人员与岗位之间是否匹配，以实现人岗匹配检测的目的。
该人岗匹配检测方法例如可以应用于流水线生产车间中，或是应用于并行作业的生产车间中。其中，以流水线生产车间为例，生产车间可以包括食品加工生产线、汽车装配生产线、纯净水灌装生产线等。以食品加工生产线为例，按照顺序，该生产线可以包 括下述生产步骤(process)：原材料筛选、原材料清洗、混合加工、以及灌装。在不同的生产步骤可配备不同的工作人员(staff)，例如在原材料筛选的生产步骤中，可以配备多个对不同原材料分别进行筛选的工作人员，例如对蔬菜进行筛选的工作人员、对水果进行筛选的工作人员、以及对香辛料进行筛选的工作人员。针对不同生产步骤配备的工作人员可以包括一个或者多个。
另外，不同的生产步骤还可以包括更细化的生产步骤。以混合加工步骤为例，其还可以细化为对不同原材料的切件处理、加热处理、对加热后得到的不同原材料进行混合处理。具体可以根据实际情况确定，在此不再赘述。
下面，为了简化说明，以生产步骤包括原材料筛选P1、原材料清洗P2、混合加工P3，针对其中原材料筛选P1的生产步骤配备一个工作人员S1为例进行说明。
工作人员S1需要执行的生产步骤为原材料筛选P1，工作人员S1在正常工作时对应的岗位为原材料筛选P1对应的岗位，也即工作人员S1的目标岗位，例如可以以A1表示。其中，目标岗位A1包括具体的岗位信息，例如可以包括工作人员S1对应的岗位名称，例如筛选员；另外，目标岗位A1也可以包括工作人员S1的具体工作区域，例如传送带前的材料集中仓库。
针对上述S101，在获取待处理视频时，可以先确定进行拍摄的目标时段。具体地，例如可以将预设的工作时间作为目标时段，例如工作日的早上9时至晚上6时。或者，也可以将工作人员容易发生错误操作的时段、生产效率较低的时段或是生产效率较高的时段等作为目标时段，例如工作日的下午2时至4时。
在确定目标时段后，即可以对目标岗位的工作人员进行拍摄。在一种可能的情况下，可以直接在目标岗位所在的区域设置视频采集装置，并在目标时段内对该目标岗位所在的区域进行拍摄；在另一种可能的情况下，若工作人员的工作范围较大时，例如工作人员需要往返不同的区域，设置的视频采集装置还可以实时对目标岗位的工作人员进行定位追踪，以获取待处理视频。
针对上述S102，在获取待处理视频后，还可以利用该待处理视频对其中的工作人员进行人脸识别(Face Recognition，FR)和动作识别(Action Recognition，AR)。在具体实施中，例如可以采用深度学习的方式进行人脸识别以及动作识别。
示例性的，可以采用预先训练好的深度神经网络对视频帧图像中工作人员进行识别。其中，由于在视频帧图像中显示出的工作人员可能存在多个，因此在对视频帧图像进行人脸识别时，例如可以在待处理视频中确定包含与目标岗位对应的工作人员的人脸的视频帧图像。相应地，在对待处理视频进行动作识别时，也可以针对在待处理视频中锁定的与目标岗位对应的工作人员对应的视频帧图像，对该工作人员进行动作识别。这样，得到的人脸识别结果以及动作识别结果的针对性更强，在后续利用人脸识别结果以及动作识别结果确定工作人员与目标岗位是否匹配时，准确性也更高。
另外，在对待处理视频进行人脸识别后，得到的工作人员的人脸识别结果例如可以包括识别到的人脸子图像或匹配的工作人员的相关信息中至少一种。示例性的，在对工作人员S1对应的待处理视频进行人脸识别后，例如可以得到多帧包含工作人员S1人脸的子图像，也可以获得在该待处理视频中匹配到工作人员S1的人脸的识别结果，并可以调取工作人员S1的相关信息，例如岗位名称、工作时间等信息。
在对待处理视频进行动作识别后，得到的工作人员的动作识别结果例如可以包括识别到的工作人员的动作信息或者与预设的多个参考动作的匹配结果。其中，在进行动作识别时，例如可以在待处理视频包含的视频帧图像中，对工作人员的四肢、躯干、头部等识别，以确定动作识别结果。示例性的，参见图2所示，为本公开实施例提供的一种 在对待处理视频进行动作识别时的示意图。其中，图2中(a)示出了工作人员S1对应的待处理视频中的一帧图像。在对图2中(a)中示出的视频帧图像进行动作识别后，例如可以得到图2中(b)的识别结果，也即标注出工作人员S1的基本肢体动作的简图，并将得到的简图作为动作识别结果；或者，也可以利用图2中(b)示出的基本动作与多个参考动作进行匹配，得到动作识别结果，此处，得到的动作识别结果可以具体到特定的动作分类结果，例如“行走动作”、“拾取动作”等。例如，参见图3所示，为本公开实施例提供的多个参考动作的示意图，图3中示出的参考动作以简图的形式示出，并对应有动作标识。利用图2中(b)得到的结果与图3示出的多个参考动作进行匹配，可以得到动作识别结果“行走动作”。
此处，仅示出部分示例，具体可以根据实际情况确定，在此并不做出限定。
针对上述S103，在根据上述S102确定人脸识别结果与动作识别结果后，可以将其进行匹配，以得到不同工作人员分别对应的关联信息。
具体地，针对工作人员S1，可以将人脸识别结果中包含工作人员S1的子图像、动作识别结果中确定的“行走动作”、工作人员S1的相关信息中的至少一个作为与工作人员S1对应的匹配信息，并进一步利用匹配信息与工作人员S1进行关联，得到该工作人员S1的关联信息。
针对上述S104，针对不同的工作人员，由于每个工作人员都具有特定的目标岗位，并且目标岗位对应的岗位信息固定，因此可以利用上述S103确定的关联关系与目标岗位对应的岗位信息，确定工作人员与目标岗位是否匹配。
下面，针对不同岗位信息，如何确定工作人员与目标岗位是否匹配的方式加以说明。其中，岗位信息包括但不限于下述(A)以及(B)：
(A)：岗位信息包括在所述目标时段与所述目标岗位对应的人员身份信息。
在该种情况下，在基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配时，例如可以采用下述方式：在所述岗位信息包括所述人员身份信息时，响应于所述人脸识别结果与所述人员身份信息匹配，得到所述工作人员与所述目标岗位匹配。
在岗位信息包括人员身份信息时，示例性的，人脸识别结果例如可以包括包含工作人员的人脸的子图像，对应的，在目标岗位上工作的工作人员对应的岗位信息例如可以具体包括：该工作人员的人脸图像信息、或人脸特征信息中至少一种。在该种情况下，可以利用包含工作人员的人脸的子图像，与岗位信息中的人脸图像信息或人脸特征信息中至少一种进行匹配，以确定是否是该目标岗位上指定的工作人员到岗工作，而非其他工作人员替岗、代岗工作。另外，岗位信息例如也可以包括目标岗位对应的职务信息等，利用人脸识别结果，可以确定该工作人员对应的职务，通过该工作人员对应的职务与目标岗位对应的职务信息进行匹配，也可以得到所述工作人员与所述目标岗位是否匹配的结果，具体可以根据实际情况选取，在此同样不做出限定。
这样，利用人脸识别结果与人员身份信息进行匹配的方式，能够简单明确的确定工作人员与目标岗位是否匹配。
(B)：岗位信息包括与所述目标岗位对应的参考动作序列。
在该种情况下，在基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配时，例如可以采用下述方式：在所述岗位信息包括所述参考动作序列时，响应于所述动作识别结果与所述参考动作序列匹配，得到所述工作人员与所述目标岗位匹配。
在具体实施中，所述动作识别结果与所述参考动作序列匹配，包括下述至少一种：工作时长的匹配、生产规范性的匹配、生产效率的匹配。
下面，分别对不同的动作识别结果与所述参考动作序列匹配进行说明，包括下述(B1)～(B3)：
(B1)：动作识别结果与所述参考动作序列匹配包括：工作时长的匹配。
在该种情况下，例如可以采用下述方式确定工作时长的匹配结果：基于所述动作识别结果，确定所述工作人员执行生产动作的动作时长；基于所述动作时长、以及与所述参考动作序列对应的参考动作时长，确定工作时长的匹配结果。
其中，工作人员执行生产动作的动作时长，例如可以包括下述(b1)～(b4)中至少一种：
(b1)：所述工作人员执行生产动作的总时长；
(b2)：所述工作人员执行相邻生产动作的间隔时长；
(b3)：所述工作人员执行生产子动作的子时长；
(b4)：所述工作人员执行相邻生产子动作的间隔时长。
下面，为了便于对不同的动作时长进行描述，参见图4所示，为本公开实施例提供的一种生产周期对应时间轴的示意图。其中，该时间轴上标注了不同的生产周期，例如示出的生产周期T1以及生产周期T2(时间轴还包括未示出的部分，比如生产周期T3等)。另外，在时间轴上还标注了三个参考动作p1～p3分别对应的生产动作所对应的起始时间和结束时间。此处，时间轴为工作人员在实际执行生产动作时对应的时间轴。
示例性的，工作人员S1例如可以在一天内完成三个生产周期(分别对应T1～T3)的生产动作，在第一个生产周期T1中，开始执行参考动作p1对应的生产动作时对应的时间为t1_1，结束执行参考动作p3对应的生产动作时对应的时间为t1_6；在第二个生产周期T2中，开始执行参考动作p1对应的生产动作时对应的时间为t2_1，结束执行参考动作p3对应的生产动作时对应的时间为t2_6；以此类推。
针对上述(b1)，在工作人员执行生产动作的动作时长包括工作人员执行生产动作的总时长时，例如可以根据参考动作序列对应的参考动作时长中的参考动作总时长确定工作时长的匹配结果。
示例性的，以工作人员S1为例，执行的生产步骤为原材料筛选P1。在该步骤中，例如包括三个参考动作p1～p3，分别对应拆封材料箱对应的行走动作、清点原材料对应的站立动作、筛选劣质品对应的拾取动作。通过预先测试，或者根据经验判断，例如可以合理的确定一个生产周期内执行该三个参考动作p1～p3对应的参考动作总时长。例如，针对三个参考动作p1～p3，可以相应的确定参考动作总时长为1小时；也即，可以确定工作人员S1能够在安全、且保证效率的情况下，在1小时内完成一个生产周期中三个参考动作p1～p3对应的生产子动作。
具体地，利用动作识别结果，可以相应的确定工作人员执行生产动作的总时长。以工作人员S1为例，工作人员S1执行生产动作的总时长例如可以包括在一个周期内完成全部的三个参考动作p1～p3对应的生产动作时需要花费的总时长。比如，可以是图4中在第一个生产周期T1中执行参考动作p1对应的生产子动作时的起始时间t1_1，到执行完毕参考动作p3对应的生产子动作时的结束时间t1_6之间的总时长；也可以是图4中在第二个生产周期T2中执行参考动作p1对应的生产子动作时的起始时间t2_1，到执行完毕参考动作p3对应的生产子动作时的结束时间t2_6之间的总时长。
或者，工作人员S1执行生产动作的总时长例如也可以包括在不同的执行周期结束后确定的平均花费的总时长，例如工作人员S1在一天内完成了三个生产周期中参考动作p1～p3对应的生产子动作。对应于图4示出的时间轴，在第一个生产周期T1中，工作人员S1执行生产动作的总时长为t1_1至t1_6之间的总时长，例如为1小时；在第二个生产周期T2中，工作人员S1执行生产动作的总时长为t2_1至t2_6之间的总时长，例如为1.5小时；在第三个生产周期T3中(图4未示出)，工作人员S1执行生产动作的总时长为t3_1至t3_6之间的总时长，例如为0.5小时。然后，可以对确定的1小时、1.5小时、以及0.5小时求取平均值，也即1小时，然后再将1小时作为工作人员S1执行生产动作的总时长。这样，还可以减少突发事件或者其他情况对确定结果造成的干扰。
具体地，例如在确定工作人员S1执行生产动作的总时长为50分钟的情况下，由于工作人员S1执行生产动作的总时长小于参考动作序列对应的参考动作时长，则可以认为工作人员S1正常的完成了相应的生产动作，也即工作人员S1的动作识别结果与参考动作序列匹配。
在另一种可能的情况下，若工作人员S1执行生产动作的总时长为65分钟，则可以确定工作人员S1执行生产动作的动作时长超过了参考动作时长。在该种情况下，例如可以设置超时允许时间阈值，例如在确定的参考动作时长的基础上，可以允许超出10分钟，也即确定超时允许时间阈值为70分钟，则在工作人员S1执行生产动作的动作时长为65分钟的情况下，也可以认为动作识别结果与参考动作序列匹配。而若工作人员S1执行生产动作的总时长为75分钟，则可以确定工作人员S1未能在规定时间内完成生产动作，因此判定动作识别结果与参考动作序列不匹配。
针对上述(b2)，在工作人员执行生产动作的动作时长包括工作人员执行相邻生产动作的间隔时长时，可以根据参考动作时长中包含的相邻生产周期之间的间隔时长(也即相邻参考生产动作之间的间隔时长)确定工作时长的匹配结果。
在确定工作人员S1执行相邻生产动作的间隔时长时，例如可以以该工作人员S1对应的多个生产周期中除第一个生产周期T1外的任一个生产周期Ti(i为大于1的整数)作为基准，确定生产周期Ti中开始执行参考动作p1对应的生产动作时对应的时间ti_1，以及在与生产周期Ti相邻的前一生产周期T(i-1)中结束执行参考动作p3对应的生产动作时对应的时间t(i-1)_6，通过计算由t(i-1)_6至ti_1之间的时间间隔，可以确定工作人员S1执行相邻生产动作的间隔时长。类似的，也可以基于生产周期Ti以及与生产周期Ti相邻的后一生产周期T(i+1)，确定ti_6至t(i+1)_1之间的时间间隔。当然，还可以基于相邻的多个生产周期得到累计时间间隔总时长，基于时间间隔数量求平均值，得到一个间隔时长。
在利用工作人员执行生产动作的动作时长和参考动作序列对应的参考动作时长进行匹配时，示例性的，动作时长包含的工作人员S1执行相邻生产动作的间隔时长例如为10分钟，参考动作时长中包含的相邻参考生产动作的间隔时长例如为15分钟，则在该种情况下，可以确定工作人员S1在指定的15分钟时间内开始了下一周期的生产动作的执行，并相应的确定工作人员S1的动作识别结果与所述参考动作序列匹配。
在另一种情况下，与上述(b1)相似的，也可以设置超时允许时间阈值，例如可以15分钟为基准，确定相邻生产动作的间隔时长最多不能超过18分钟。若工作人员S1执行相邻生产动作的间隔时长为17分钟，则也可以确定工作人员S1的动作识别结果与所述参考动作序列匹配。但如果工作人员S1执行相邻生产动作的间隔时长超过18分钟，则判定工作人员S1的动作识别结果与所述参考动作序列不匹配。
针对上述(b3)，在工作人员执行生产动作的动作时长包括工作人员执行生产子动作的子时长时，例如可以根据参考动作时长中包含的与多个参考动作分别对应的参考子 时长确定工作时长的匹配结果。
示例性的，以工作人员S1为例，其在正常工作流程下，执行的子动作包括参考动作p1～p3分别对应的生产子动作。针对任一生产子动作，可以根据预先测试或者经验判断，合理的确定完成该生产子动作所需要的时长。例如，参考动作p1对应的生产子动作，可以确定正常完成该生产子动作所需要的时间为20分钟，也即参考动作p1的参考动作时长为20分钟。
具体地，利用工作人员的动作识别结果，可以确定工作人员执行多个生产子动作的每一生产子动作所花费的时间。以工作人员S1在第一个周期T1中完成参考动作p1对应的生产子动作为例，可以根据t1_1到t1_2的时段，确定工作人员S1执行与参考动作p1对应的生产子动作的子时长，例如为18分钟。在该种情况下，利用动作时长18分钟与参考动作p1的参考动作时长为20分钟进行比较，实际执行时间18分钟小于规定执行时间20分钟，则确定该工作人员S1可以按时完成参考动作p1对应的生产子动作，因此工作人员的动作识别结果与所述参考动作序列匹配。
在另一种可能的情况下，也可以为不同的生产子动作确定不同的超时允许时间阈值，具体可以参见上述(b1)的描述，在此不再赘述。其中，超时允许时间阈值可基于生产线需求、动作难易程度等多个维度中的至少一项进行调整。另外，对于与参考动作p1对应的生产子动作不同的其他生产子动作，确定动作识别结果与所述参考动作序列是否匹配的方式，与上述利用参考动作p1对应的生产子动作的子时长与所述参考动作序列进行匹配的方式相似，在此同样不再赘述。
针对上述(b4)，在工作人员执行生产动作的动作时长包括工作人员执行相邻生产子动作的间隔时长时，例如可以根据在一个周期内参考动作序列中相邻两个参考动作之间预设的间隔时长确定工作时长的匹配结果。示例性的，针对任意相邻的两个生产子动作，可以根据预先测试或者经验判断，合理的确定相邻两个生产子动作之间的间隔时长，例如参考动作p1对应的生产子动作与参考动作p2对应的生产子动作之间的时间间隔，可以设置为8分钟。
以工作人员S1为例，在第一个周期T1中，可以确定在完成参考动作p1对应的生产子动作时的时间t1_2，以及开始执行参考动作p2对应的生产子动作时的时间t1_3，并根据t1_2以及t1_3确定两个生产子动作之间的间隔时长，例如5分钟。则在该种情况下，可以确定工作人员S1可以按时执行下一参考动作对应的生产子动作，因此工作人员S1的动作识别结果与所述参考动作序列匹配。
在另一种可能的情况下，也可以为不同的生产子动作之间的间隔时长确定不同的超时允许时间阈值，具体可以参见上述(b2)的描述，在此不再赘述。另外，对于其他生产子动作之间的间隔时长，确定动作识别结果与所述参考动作序列之间是否匹配的方式，与上述利用参考动作p1以及p2分别对应的生产子动作之间的时间间隔与所述参考动作序列进行匹配的方式相似，在此同样不再赘述。
(B2)：动作识别结果与所述参考动作序列匹配，包括：生产规范性的匹配。
在一些示例中，所述动作识别结果包括：识别动作序列；所述识别动作序列包括：多个子动作。在该种情况下，例如可以采用下述方式确定生产规范性的匹配结果：将所述识别动作序列和所述参考动作序列进行匹配，得到所述生产规范性的匹配结果。
示例性的，以工作人员S1为例，在对其对应的待处理视频进行动作识别时，例如可以得到其对应的识别动作序列。具体地，在识别动作序列中例如包括行走动作、站立动作、以及拾取动作，其为工作人员S1在实操时的具体顺序，例如先执行行走动作，然后执行站立动作，最后执行拾取动作；相对应的子动作可以包括行走动作、站立动作、 以及拾取动作的具体动作。
其中，为便于描述，将包括行走动作、站立动作、以及拾取动作的具体动作的子动作，分别表示为z1、z2以及z3；相应的，利用“→”符号表示动作序列的具体顺序，例如先执行行走动作，然后执行站立动作，最后执行拾取动作，则表示为“z1→z2→z3”。
具体地，在将所述识别动作序列和所述参考动作序列进行匹配，得到所述生产规范性的匹配结果时，例如可以采用下述方式：将所述识别动作序列切分为多个动作子序列；将所述参考动作序列分别与各个动作子序列进行匹配；基于所述参考动作序列与各个动作子序列的匹配结果，得到所述生产规范性的匹配结果。
其中，在将识别动作序列切分为多个动作子序列时，例如可以采用下述方式：从所述识别动作序列中，确定与所述参考动作序列中的目标参考动作匹配的目标子动作；基于所述目标子动作在所述识别动作序列中的位置、以及所述目标参考动作在所述参考动作序列中的位置，将所述识别动作序列切分为至少一个动作子序列。
具体地，可以在参考动作序列中先确定目标参考动作。在选取目标参考动作时，可以根据不同的参考动作彼此间的可区分度确定。例如，相较于行走动作和站立动作，拾取动作更容易区分，因此可以将拾取动作作为目标参考动作。
另外，目标参考动作也可以是参考动作序列中预设位置的子动作；例如参考动作序列首部、和/或尾部的子动作等；根据目标参考动作，可以将一个工作人员在执行一次生产动作时所需要的子动作从识别动作序列确定出来，从而能够得到工作人员多次执行生产动作分别对应的动作子序列。
在确定目标参考动作后，可以根据识别动作序列，较为容易的确定与所述参考动作序列中的目标参考动作匹配的目标子动作。
在确定目标子动作后，即可以确定该目标子动作在识别动作序列中的位置，例如在识别动作序列中的第几个位置。以识别动作序列包括z1→z2→z3→z4→z5→z6→z7→z8→z9→z10→z11→z12为例，其中，z1、z4、z7、以及z10的动作类型为A；参考动作序列包括：A→B→C，将A作为目标参考动作，则可以将识别动作序列切分为：z1→z2→z3，z4→z5→z6，z7→z8→z9，以及z10→z11→z12四个动作子序列。
这样，即可以利用目标子动作在所述识别动作序列中的位置、以及所述目标参考动作在所述参考动作序列中的位置，将所述识别动作序列切分为至少一个动作子序列。
在确定参考动作序列与动作子序列的情况下，可以基于所述参考动作序列与各个动作子序列的匹配结果，得到所述生产规范性的匹配结果。
在上述示例中，在得到四个动作子序列后，可以分别将z1→z2→z3，z4→z5→z6，z7→z8→z9，以及z10→z11→z12四个动作子序列与A→B→C进行动作类型的匹配，得到每个动作子序列与参考动作序列的匹配结果。
所述生产规范性的匹配结果包括下述至少一种：生产动作内容正确、生产动作内容错误、缺失生产动作、多余生产动作、以及生产动作中各动作顺序错误。
其中，若参考动作序列与各个动作子序列匹配，可以确定生产动作内容正确。在参考动作序列与某个动作子序列不匹配的情况下，若该动作子序列中存在参考动作序列中不存在的动作，则确定多余生产动作；若该动作子序列中缺失了参考动作序列中的某个动作，则确定缺失生产动作；若该动作子序列中包括的子动作与参考动作序列中的参考动作之间的匹配度小于预设的匹配度阈值，则确定生产动作内容错误；若该动作子序列包括的子动作的顺序与参考动作序列中的子动作的顺序不一致，则确定生产动作中各 动作顺序错误。
这样，还可以根据生产规范性的不同匹配结果向工作人员发出不同类型的告警信息，以使工作人员能够根据不同类型的告警信息及时纠正动作错误，或者紧急停止操作，以保证自身的工作安全性。
(B3)：动作识别结果与所述参考动作序列匹配，包括：工作效率的匹配。
在该种情况下，例如可以采用下述方式确定工作效率的匹配结果：基于所述动作识别结果，确定所述工作人员执行生产动作的总时长和/或间隔时长；基于所述工作人员执行生产动作的总时长和/或间隔时长，以及参考动作时长确定所述工作人员的工作效率；基于所述工作人员的工作效率、与预设工作效率，确定所述工作效率的匹配结果。
其中，确定工作人员执行生产动作的总时长、以及间隔时长的方式，可以参见上述(b1)～(b4)的相关说明，在此不再赘述。
在确定工作人员执行生产动作的总时长、以及间隔时长后，可以为工作人员确定工作效率。其中，在确定工作效率时，可以先确定合理的参考动作时长，包括参考总时长、以及参考间隔时长，然后再通过工作人员执行生产动作的总时长、以及间隔时长分别计算工作效率。
示例性的，在工作人员S1执行生产动作的总时长为50分钟，而参考总时长为60分钟的情况下，可以通过参考总时长与工作人员S1执行生产动作的总时长的比值，确定该工作人员S1以120％的效率完成了生产动作，也即工作人员S1对应的工作效率为120％。
另外，还可以确定预设工作效率，例如为90％，若工作人员的工作效率大于或者等于该预设工作效率，则确定工作效率匹配。例如上述在工作人员S1对应的工作效率为120％时，可以确定工作效率匹配。若工作人员的工作效率小于该预设工作效率，则确定工作效率不匹配。
这样，通过工作效率的匹配，可以更进一步的保证工作人员在规定的时间内完成工作任务，可以在保证产品质量的同时，保证工作的进度。
在本公开另一实施例中，还提供了另一种检测方法，包括：基于所述人脸识别结果，确定所述工作人员的上岗时间和离岗时间中的至少一项；基于得到的所述上岗时间和/或所述离岗时间，确定所述工作人员的出勤信息。
在该种情况下，例如可以根据人脸识别的结果，确定在目标时段内工作人员在岗的时间，并根据在岗时间确定工作人员是否正常出勤。
例如，可以确定在目标时间段内工作人员的上岗时间是否在规定的上岗时间之前，并确定工作人员的离岗时间是否在规定的离岗时间之后，以确定工作人员的出勤信息是否正常。
又例如，可以确定在目标时段内工作人员在岗位上发生变动的时间：例如早上9时，确定工作人员到岗；上午10时，确定工作人员离岗；上午10时30分，确定工作人员返回工作岗位；下午5时，确定工作人员离岗。则对应的，可以确定工作人员的在岗时间为7.5小时。若目标岗位要求该工作人员工作6小时，则可以确定工作人员正常出勤。这样确定出勤信息是否正常更加灵活。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与人岗匹配检测方法对应的人岗匹配检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述人岗匹配检测方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图5所示，为本公开实施例提供的一种人岗匹配检测装置的示意图，所述装置包括：获取模块51、识别模块52、关联模块53、以及确定模块54；其中，
获取模块51，被配置为获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频；识别模块52，被配置为对所述待处理视频进行人脸识别和动作识别，得到所述工作人员的人脸识别结果以及动作识别结果；关联模块53，被配置为关联所述人脸识别结果与所述动作识别结果，得到关联关系；确定模块54，被配置为基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配。
一种可选的实施方式中，所述岗位信息包括在所述目标时段与所述目标岗位对应的人员身份信息；所述确定模块54在基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配时，被配置为：在所述岗位信息包括所述人员身份信息时，响应于所述人脸识别结果与所述人员身份信息匹配，得到所述工作人员与所述目标岗位匹配。
一种可选的实施方式中，所述岗位信息包括与所述目标岗位对应的参考动作序列；所述确定模块54在基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配时，被配置为：在所述岗位信息包括所述参考动作序列时，响应于所述动作识别结果与所述参考动作序列匹配，得到所述工作人员与所述目标岗位匹配。
一种可选的实施方式中，所述动作识别结果与所述参考动作序列匹配，包括下述至少一种：工作时长的匹配、生产规范性的匹配、生产效率的匹配。
一种可选的实施方式中，所述动作识别结果与所述参考动作序列匹配，包括：工作时长的匹配；所述确定模块54还被配置为：基于所述动作识别结果，确定所述工作人员执行生产动作的动作时长；基于所述动作时长、以及与所述参考动作序列对应的参考动作时长，确定工作时长的匹配结果。
一种可选的实施方式中，所述工作人员执行生产动作的动作时长，包括下述至少一种：所述工作人员执行生产动作的总时长；所述工作人员执行相邻生产动作的间隔时长；所述工作人员执行生产子动作的子时长；所述工作人员执行相邻生产子动作的间隔时长。
一种可选的实施方式中，所述动作识别结果包括：识别动作序列；所述识别动作序列包括：多个子动作；所述动作识别结果与所述参考动作序列匹配，包括：生产规范性的匹配；所述确定模块54还被配置为：将所述识别动作序列和所述参考动作序列进行匹配，得到所述生产规范性的匹配结果。
一种可选的实施方式中，所述确定模块54在将所述识别动作序列和所述参考动作序列进行匹配，得到所述生产规范性的匹配结果时，被配置为：将所述识别动作序列切分为多个动作子序列；将所述参考动作序列分别与各个动作子序列进行匹配；基于所述参考动作序列与各个动作子序列的匹配结果，得到所述生产规范性的匹配结果。
一种可选的实施方式中，所述确定模块54在将所述识别动作序列切分为多个动作子序列时，被配置为：从所述识别动作序列中，确定与所述参考动作序列中的目标参考动作匹配的目标子动作；基于所述目标子动作在所述识别动作序列中的位置、以及所述目标参考动作在所述参考动作序列中的位置，将所述识别动作序列切分为至少一个动作 子序列。
一种可选的实施方式中，所述生产规范性的匹配结果包括下述至少一种：生产动作内容正确、生产动作内容错误、缺失生产动作、多余生产动作、以及生产动作中各动作顺序错误。
一种可选的实施方式中，所述动作识别结果与所述参考动作序列匹配，包括：工作效率的匹配；所述确定模块54还被配置为：基于所述动作识别结果，确定所述工作人员执行生产动作的总时长和/或间隔时长；基于所述工作人员执行生产动作的总时长和/或间隔时长，以及参考动作时长，确定所述工作人员的工作效率；基于所述工作人员的工作效率与预设工作效率，确定所述工作效率的匹配结果。
一种可选的实施方式中，所述确定模块54还被配置为：基于所述人脸识别结果，确定所述工作人员的上岗时间和离岗时间中的至少一项；基于得到的所述上岗时间和/或所述离岗时间，确定所述工作人员的出勤信息。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种计算机设备，如图6所示，为本公开实施例提供的计算机设备结构示意图，包括：
处理器10和存储器20；所述存储器20存储有处理器10可执行的机器可读指令，处理器10用于执行存储器20中存储的机器可读指令，所述机器可读指令被处理器10执行时，处理器10执行下述步骤：
获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频；对所述待处理视频进行人脸识别和动作识别，得到所述工作人员的人脸识别结果以及动作识别结果；关联所述人脸识别结果与所述动作识别结果，得到关联关系；基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配。
上述存储器20包括内存210和外部存储器220；这里的内存210也称内存储器，用于暂时存放处理器10中的运算数据，以及与硬盘等外部存储器220交换的数据，处理器10通过内存210与外部存储器220进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的人岗匹配检测方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的人岗匹配检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的人岗匹配检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它 的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
工业实用性
本申请实施例中，通过对目标岗位的工作人员进行拍摄得到目标时段的待处理视频；利用图像处理技术领域中的图像识别技术对所述待处理视频进行识别，得到所述工作人员的识别结果，诸如人脸识别结果以及动作识别结果；根据所述识别结果的特性、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配，以实现人岗匹配检测的目的。本申请的方案能够避免人岗匹配的检测依赖于人工管理，提高了人岗匹配检测的准确度以及检测效率。

Claims (16)

  1. 一种人岗匹配检测方法，其特征在于，包括：
    获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频；
    对所述待处理视频进行人脸识别和动作识别，得到所述工作人员的人脸识别结果以及动作识别结果；
    关联所述人脸识别结果与所述动作识别结果，得到关联关系；
    基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配。
  2. 根据权利要求1所述的人岗匹配检测方法，其特征在于，所述岗位信息包括在所述目标时段与所述目标岗位对应的人员身份信息；
    所述基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配，包括：
    在所述岗位信息包括所述人员身份信息时，响应于所述人脸识别结果与所述人员身份信息匹配，得到所述工作人员与所述目标岗位匹配。
  3. 根据权利要求1或2所述的人岗匹配检测方法，其特征在于，所述岗位信息包括与所述目标岗位对应的参考动作序列；
    所述基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作人员与所述目标岗位是否匹配，包括：
    在所述岗位信息包括所述参考动作序列时，响应于所述动作识别结果与所述参考动作序列匹配，得到所述工作人员与所述目标岗位匹配。
  4. 根据权利要求3所述的方法，其特征在于，所述动作识别结果与所述参考动作序列匹配，包括下述至少一种：工作时长的匹配、生产规范性的匹配、生产效率的匹配。
  5. 根据权利要求3或4所述的人岗匹配检测方法，其特征在于，所述动作识别结果与所述参考动作序列匹配，包括：工作时长的匹配；
    所述方法还包括：
    基于所述动作识别结果，确定所述工作人员执行生产动作的动作时长；
    基于所述动作时长、以及与所述参考动作序列对应的参考动作时长，确定工作时长的匹配结果。
  6. 根据权利要求5所述的人岗匹配检测方法，其特征在于，所述工作人员执行生产动作的动作时长，包括下述至少一种：
    所述工作人员执行生产动作的总时长；
    所述工作人员执行相邻生产动作的间隔时长；
    所述工作人员执行生产子动作的子时长；
    所述工作人员执行相邻生产子动作的间隔时长。
  7. 根据权利要求3至6任一项所述的人岗匹配检测方法，其特征在于，所述动作识别结果包括：识别动作序列；所述识别动作序列包括：多个子动作；
    所述动作识别结果与所述参考动作序列匹配，包括：生产规范性的匹配；
    所述方法还包括：
    将所述识别动作序列和所述参考动作序列进行匹配，得到所述生产规范性的匹配结果。
  8. 根据权利要求7所述的人岗匹配检测方法，其特征在于，所述将所述识别动作序列和所述参考动作序列进行匹配，得到所述生产规范性的匹配结果，包括：
    将所述识别动作序列切分为多个动作子序列；
    将所述参考动作序列分别与各个动作子序列进行匹配；
    基于所述参考动作序列与各个动作子序列的匹配结果，得到所述生产规范性的匹配结果。
  9. 根据权利要求8所述的人岗匹配检测方法，其特征在于，所述将所述识别动作序列切分为多个动作子序列，包括：
    从所述识别动作序列中，确定与所述参考动作序列中的目标参考动作匹配的目标子动作；
    基于所述目标子动作在所述识别动作序列中的位置、以及所述目标参考动作在所述参考动作序列中的位置，将所述识别动作序列切分为至少一个动作子序列。
  10. 根据权利要求7至9任一项所述的人岗匹配检测方法，其特征在于，所述生产规范性的匹配结果包括下述至少一种：
    生产动作内容正确、生产动作内容错误、缺失生产动作、多余生产动作、以及生产动作中各动作顺序错误。
  11. 根据权利要求3至10任一项所述的人岗匹配检测方法，其特征在于，所述动作识别结果与所述参考动作序列匹配，包括：工作效率的匹配；
    所述方法还包括：
    基于所述动作识别结果，确定所述工作人员执行生产动作的总时长和/或间隔时长；
    基于所述工作人员执行生产动作的总时长和/或间隔时长，以及参考动作时长，确定所述工作人员的工作效率；
    基于所述工作人员的工作效率与预设工作效率，确定所述工作效率的匹配结果。
  12. 根据权利要求2所述的人岗匹配检测方法，其特征在于，所述人岗匹配检测方法还包括：
    基于所述人脸识别结果，确定所述工作人员的上岗时间和离岗时间中的至少一项；
    基于得到的所述上岗时间和/或所述离岗时间，确定所述工作人员的出勤信息。
  13. 一种人岗匹配检测装置，其特征在于，包括：
    获取模块，被配置为获取对目标岗位的工作人员进行拍摄得到的目标时段的待处理视频；
    识别模块，被配置为对所述待处理视频进行人脸识别和动作识别，得到所述工作人员的人脸识别结果以及动作识别结果；
    关联模块，被配置为关联所述人脸识别结果与所述动作识别结果，得到关联关系；
    确定模块，用于基于所述关联关系、所述目标岗位对应的岗位信息，确定所述工作 人员与所述目标岗位是否匹配。
  14. 一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至12任一项所述的人岗匹配检测方法的步骤。
  15. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至12任一项所述的人岗匹配检测方法的步骤。
  16. 一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现权利要求1至12任一项所述的人岗匹配检测方法的步骤。
PCT/CN2022/083921 2021-07-06 2022-03-30 人岗匹配检测方法、装置、计算机设备及存储介质 WO2023279785A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110763737.9A CN113435380A (zh) 2021-07-06 2021-07-06 一种人岗匹配检测方法、装置、计算机设备及存储介质
CN202110763737.9 2021-07-06

Publications (1)

Publication Number Publication Date
WO2023279785A1 true WO2023279785A1 (zh) 2023-01-12

Family

ID=77759216

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/083921 WO2023279785A1 (zh) 2021-07-06 2022-03-30 人岗匹配检测方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN113435380A (zh)
WO (1) WO2023279785A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435380A (zh) * 2021-07-06 2021-09-24 北京市商汤科技开发有限公司 一种人岗匹配检测方法、装置、计算机设备及存储介质
CN115424347A (zh) * 2022-09-02 2022-12-02 重庆邮电大学 一种理发店员工工作内容智能识别方法
CN115953853A (zh) * 2022-12-28 2023-04-11 华能核能技术研究院有限公司 核电厂应急组织启动签到的方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160234464A1 (en) * 2015-02-06 2016-08-11 Xerox Corporation Computer-vision based process recognition
CN108470255A (zh) * 2018-04-12 2018-08-31 上海小蚁科技有限公司 工作量统计方法及装置、存储介质、计算设备
CN110110575A (zh) * 2018-02-01 2019-08-09 广州弘度信息科技有限公司 一种人员脱岗检测方法及装置
CN111325069A (zh) * 2018-12-14 2020-06-23 珠海格力电器股份有限公司 产线数据处理方法、装置、计算机设备和存储介质
CN111860152A (zh) * 2020-06-12 2020-10-30 浙江大华技术股份有限公司 人员状态检测的方法、***、设备和计算机设备
CN112699755A (zh) * 2020-12-24 2021-04-23 北京市商汤科技开发有限公司 一种行为检测方法、装置、计算机设备和存储介质
CN113435380A (zh) * 2021-07-06 2021-09-24 北京市商汤科技开发有限公司 一种人岗匹配检测方法、装置、计算机设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197801A (zh) * 2017-12-29 2018-06-22 安徽博诺思信息科技有限公司 基于可视化现场监控***的工地人员管理方法及***及方法
CN112016363A (zh) * 2019-05-30 2020-12-01 富泰华工业（深圳）有限公司 人员监控方法、装置、计算机装置及可读存储介质
CN111582110B (zh) * 2020-04-29 2023-08-18 利智华(北京)智能科技有限公司 一种基于人脸识别的安检人员行为分析方法、装置及设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160234464A1 (en) * 2015-02-06 2016-08-11 Xerox Corporation Computer-vision based process recognition
CN110110575A (zh) * 2018-02-01 2019-08-09 广州弘度信息科技有限公司 一种人员脱岗检测方法及装置
CN108470255A (zh) * 2018-04-12 2018-08-31 上海小蚁科技有限公司 工作量统计方法及装置、存储介质、计算设备
CN111325069A (zh) * 2018-12-14 2020-06-23 珠海格力电器股份有限公司 产线数据处理方法、装置、计算机设备和存储介质
CN111860152A (zh) * 2020-06-12 2020-10-30 浙江大华技术股份有限公司 人员状态检测的方法、***、设备和计算机设备
CN112699755A (zh) * 2020-12-24 2021-04-23 北京市商汤科技开发有限公司 一种行为检测方法、装置、计算机设备和存储介质
CN113435380A (zh) * 2021-07-06 2021-09-24 北京市商汤科技开发有限公司 一种人岗匹配检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN113435380A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
WO2023279785A1 (zh) 人岗匹配检测方法、装置、计算机设备及存储介质
CN105404860B (zh) 用于管理走失人员信息的方法和设备
CN110458101B (zh) 基于视频与设备结合的服刑人员体征监测方法及设备
CN112766050B (zh) 着装及作业检查方法、计算机装置及存储介质
WO2021000644A1 (zh) 视频处理方法、装置、计算机设备和存储介质
CN108629791A (zh) 行人跟踪方法和装置及跨摄像头行人跟踪方法和装置
CN109359548A (zh) 多人脸识别监控方法及装置、电子设备及存储介质
CN108197318A (zh) 人脸识别方法、装置、机器人及存储介质
US10037504B2 (en) Methods for determining manufacturing waste to optimize productivity and devices thereof
JP2009157767A (ja) 顔画像認識装置、顔画像認識方法、顔画像認識プログラムおよびそのプログラムを記録した記録媒体
CN110969139A (zh) 人脸识别模型训练方法及相关装置、人脸识别方法及相关装置
CN110659588A (zh) 一种客流量统计方法、装置及计算机可读存储介质
CN108197608A (zh) 人脸识别方法、装置、机器人及存储介质
JP2018005638A (ja) 映像認識モデル学習装置、映像認識装置、方法、及びプログラム
CN110837901A (zh) 云试驾预约审核方法及装置、存储介质、云服务器
CN110175553A (zh) 基于步态识别与人脸识别建立特征库的方法及装置
CN111325078A (zh) 一种人脸识别方法、装置及存储介质
CN109697417A (zh) 一种用于变桨***柜的生产管理***
CN109033995A (zh) 识别用户行为的方法、装置及智能可穿戴设备
CN109345184A (zh) 基于微表情的节点信息处理方法、装置、计算机设备及存储介质
CN107783856B (zh) 一种图像处理器参数的测试方法及***
CN112115910A (zh) 人脸库更新方法及装置
CN116778550A (zh) 施工区域的人员追踪方法、装置、设备以及存储介质
CN109101917A (zh) 用于行人重识别的标注方法、训练方法、装置及***
CN116229502A (zh) 基于图像的摔倒行为识别方法及设备

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE