CN114814973B - 一种人机混合决策的智能安检***及方法 - Google Patents
一种人机混合决策的智能安检***及方法 Download PDFInfo
- Publication number
- CN114814973B CN114814973B CN202210316961.8A CN202210316961A CN114814973B CN 114814973 B CN114814973 B CN 114814973B CN 202210316961 A CN202210316961 A CN 202210316961A CN 114814973 B CN114814973 B CN 114814973B
- Authority
- CN
- China
- Prior art keywords
- manual
- computing device
- image
- edge computing
- sorting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000007246 mechanism Effects 0.000 claims abstract description 43
- 238000012549 training Methods 0.000 claims description 57
- 238000012545 processing Methods 0.000 claims description 27
- 238000005457 optimization Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 6
- 230000033764 rhythmic process Effects 0.000 claims description 2
- 230000007723 transport mechanism Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000002860 competitive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V9/00—Prospecting or detecting by methods not provided for in groups G01V1/00 - G01V8/00
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/34—Sorting according to other particular properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Analysing Materials By The Use Of Radiation (AREA)
Abstract
本发明公开了一种人机混合决策的智能安检***及方法。该智能安检***包括:安检设备,包括安检机、边缘计算装置和分拣传送机构;安检机设置于安检场所,以获取行李图像;边缘计算装置与安检机连接,以接收行李图像并进行机器识别;分拣传送机构与边缘计算装置连接,以接收边缘计算装置发送的第一分拣指令;人工判图设备,与边缘计算装置连接,以接收边缘计算装置发送的行李图像,用于人工识别;人工判图设备还与分拣传送机构连接,以向分拣传送机构发送第二分拣指令;分拣传送机构能够接收第一分拣指令,以执行开检操作;还能够接收第一分拣指令和第二分拣指令,以执行开检或放行操作。
Description
技术领域
本发明涉及一种人机混合决策的智能安检***,同时还涉及相应的智能安检方法,属于安全检查技术领域。
背景技术
安检***作为涉及公共安全的关键任务***,是一种人机协作***,一直是以人的决策作为***执行的唯一标准,机器仅扮演执行机构的角色。出于安全责任,复杂的检查确认规程使安检通道的通行效率一直备受旅客诟病,受限于X射线成像技术的能力,开箱复检是安检***中人力耗费最大的环节,而且***运行的效率与效果难以平衡。
随着人工智能方法及技术逐步在安检领域渗透落地,安检设备智能化程度大幅提升,主要体现在降低人的劳动负荷与提升劳动效率两方面。如:自动分拣技术,解决了安检员人工搬运行李托盘的强体力劳动问题,使人的精力可以更加集中在开包检查上;智能探测技术,实现了部分违禁物品的自动识别,并可以可视化的方式给与安检员识图的辅助,提升识别效率。
目前,安检的智能化仅体现在设备层面上,突出解放人力、处理效率高的特点,但缺乏***层面的智能化方法,因为安全决策是一个复杂的、***化的决策过程,人、机双方对***的整体效能均存在影响因素。人工智能要赋能以人为核心的关键任务***,除了考虑机器能力的提升外,更应关注人机共同能力的提升,即“人在回路”的混合增强智能、人机智能共生的行为增强,以此实现安检***整体的效能增长。
在申请号为202010469336.8的中国发明申请中,公开了一种基于云边协同的人机混合增强智能***。该智能安检***包括:设置于云端的算法库、设置于边缘端的输入模块、算法选择模块、决策模块;所述算法库,用于储存算法文件;所述算法文件包括基于统计模型的机器学习算法文件、神经网络模型算法文件;所述输入模块,用于获取输入信息;所述输入信息包括***待处理数据、边缘设备静态参数、边缘设备动态参数、预设的实时性要求参数及精度要求参数;所述算法选择模块,配置为基于边缘设备静态参数、边缘设备动态参数,获取边缘设备的性能评价指标,并结合所述实时性要求参数、所述精度要求参数,通过预设的算法选取规则从所述算法库中选取相应的算法,作为第一算法;所述决策模块,配置为通过所述第一算法获取所述***待处理数据的处理结果及其对应的置信度,若该置信度大于预设的阈值,则将所述处理结果作为目标决策结果,否则获取录入的人工决策信息作为目标决策结果。
然而,在上述智能***中,机器决策占主力,在决策结果置信度低于阈值时才会人工介入,机器与人的协作关系为有条件的分支串行,无法做到人机并行,同时在线工作。
发明内容
本发明所要解决的首要技术问题在于提供一种人机混合决策的智能安检***,以采用的人-机混判的策略,提高安检效率和安检效果。
本发明所要解决的另一技术问题在于提供一种人机混合决策的智能安检方法。
为了实现上述目的,本发明采用以下的技术方案:
根据本发明实施例的第一方面,提供一种人机混合决策的智能安检***,包括:
安检设备,所述安检设备包括安检机、边缘计算装置和分拣传送机构;所述安检机设置于安检场所,用于获取旅客的行李图像;所述边缘计算装置设置于所述安检场所并与所述安检机连接,以接收所述行李图像,并进行机器识别;所述分拣传送机构设置于所述安检场所并与所述边缘计算装置连接,以接收所述边缘计算装置基于机器识别结果发送的第一分拣指令;
人工判图设备,设置于人工判图场所,所述人工判图设备与所述边缘计算装置连接,以接收所述边缘计算装置发送的所述行李图像,用于人工识别;所述人工判图设备还与所述分拣传送机构连接,以基于人工识别结果,向所述分拣传送机构发送第二分拣指令;
所述分拣传送机构能够接收所述第一分拣指令,以执行开检操作;所述分拣传送机构还能够接收所述第一分拣指令和所述第二分拣指令,以执行开检或放行操作。
其中较优地,还包括:
图像存储服务器,设置于数据处理场所,所述图像存储服务器与所述安检机连接,以接收并存储所述行李图像;所述图像存储服务器还与所述人工判图设备连接,以接收并存储带有人工判图痕迹的行李图像;
云计算服务器,设置于所述数据处理场所,所述云计算服务器与所述人工判图设备连接,以接收带有人工判图痕迹的行李图像,进行自主增量训练、更新机器识别模型;所述云计算服务器还与所述边缘计算装置连接,以将更新后的机器识别模型传输至所述边缘计算装置。
其中较优地,还包括:
云计算服务器,所述云计算服务器设置于数据处理场所,并与所述边缘计算装置连接;
所述边缘计算装置还与所述人工判图设备连接,以接收带有人工判图痕迹的行李图像并进行自主增量训练,基于所述自主增量训练获取更新后的模型局部参数;
所述云计算服务器接收所述更新后的模型局部参数,并基于所述更新后的模型局部参数更新全局参数,以对机器识别模型进行更新,并将更新后的机器识别模型传输至所述边缘计算装置。
其中较优地,所述安检设备为多个,多个所述安检设备相互独立,各所述安检设备的边缘计算装置分别与所述人工判图设备连接,以分别向所述人工判断设备传输识别为非开检的行李图像;
所述边缘计算装置包括:
图像获取单元,所述图像获取单元与所述安检机连接,以用于获取所述安检机发送的行李图像;
边缘计算装置,所述边缘计算装置与所述图像获取单元连接,以接收所述行李图像,并利用机器识别模型进行机器识别;所述边缘计算装置还与所述分拣传送机构连接,以基于机器识别结果向所述分拣传送机构发送第一分拣指令;所述边缘计算装置还与所述人工判图设备连接,以在机器识别结果为非开检时,向人工判图设备发送识别为非开检的行李图像;所述边缘计算装置还与所述云计算服务器连接,以接收更新后的机器识别模型。
其中较优地,人工判图设备包括:
协作调度模块,所述协作调度模块分别与多个所述边缘计算装置连接,以分别接收各所述边缘计算装置向所述协作调度模块发送的行李图像;所述协作调度模块还分别与多个所述分拣传送机构连接,以基于人工识别结果向各所述分拣传送机构发送第二分拣指令;
多个人工识别模块,均与所述协作调度模块连接,以接收所述协作调度模块分配的所述行李图像,并将第二分拣指令反馈至所述协作调度模块;
案例选取模块,分别与多个所述人工识别模块连接,以接收多个所述人工识别模块的安检员决策数据,从中选取典型案例数据传送至所述云计算服务器。
其中较优地,云计算服务器包括:
知识收集模块,与所述案例选取模块连接,以接收所述典型案例数据;
知识存贮模块,与所述知识收集模块连接,以接收所述知识收集模块向所述知识存贮模块发送的所述典型案例数据,并对所述典型案例数据进行分类存储,以用于分类查询;
增量训练模块,与所述知识收集模块连接,以接收所述知识收集模块向所述增量训练模块发送的所述典型案例数据,并进行增量训练,获取优化参数,并基于所述优化参数对既有的机器识别模型进行更新升级;
模型更新模块,与所述增量训练模块连接,以接收所述经过增量训练获得的优化参数,以对机器识别模型进行更新;所述模型更新模块还与所述边缘计算装置连接,以将所述经过更新的机器识别模型传输至所述边缘计算装置。
其中较优地,所述安检场所、人工判图场所以及数据处理场所分别为三个不同的物理场所;或者,所述安检场所、人工判图场所以及数据处理场所中的至少两个处于同一物理场所。
根据本发明实施例的第二方面,提供一种人机混合决策的智能安检方法,包括如下步骤:
通过边缘计算装置获取行李图像,并进行机器识别;
基于机器识别结果,所述边缘计算装置向分拣传送机构发送第一分拣指令;
所述分拣传送机构接收所述第一分拣指令,以执行开检操作操作;
若所述边缘计算装置识别为非开检结果,则所述边缘计算装置将行李图像发送至人工判图设备,以进行人工识别;
基于人工识别结果,所述人工判图设备向所述分拣传送机构发送第二分拣指令;
所述分拣传送机构接收所述第二分拣指令,以执行开检操作或放行操作。
其中较优地,还包括如下步骤:
通过图像存储服务器接收所述行李图像以及带有人工判图痕迹的行李图像,并进行分类存储;
通过云计算服务器接收带有人工判图痕迹的行李图像,并进行自主增量训练,更新机器识别模型;
通过所述云计算服务器将所述更新后的机器识别模型传输至所述边缘计算装置。
其中较优地,还包括如下步骤:
通过边缘计算装置接收人工判图设备传输的带有人工判图痕迹的行李图像,并进行自主增量训练;
基于所述自主增量训练获取更新后的模型局部参数;
通过云计算服务器获取所述更新后的模型局部参数,并基于所述更新后的模型局部参数更新全局参数,以对机器识别模型进行更新;
通过所述云计算服务器将更新后的机器识别模型传输至所述边缘计算装置。
与现有技术相比较,本发明所提供的人机混合决策的智能安检***及方法,通过采用的人-机混判的策略,实现简单、确定、频繁出现情况的快速自动决策,节省人力,把更高水平的能力用于识别复杂、模糊、偶尔出现的情况,机器负责快速,人工负责准确,达到人、机共同决策过程更快更准的效果。此外,整个智能安检***中,人、机分工各有侧重,机器负责高频低危、常见易辨识物品的识别与决策;人工负责低频高危、罕见难辨识物品的识别与决策。为提升作业效率,机器决策开检的,人工不再重复决策;为守住安全底线,机器只决策是否开检,人工决策是否放行。
附图说明
图1为本发明实施例提供的一种人机混合决策的智能安检***的整体结构示意图;
图2为图1所示的智能安检***的工作流程图;
图3为图1所示的智能安检***中,协作调度模型的示意图;
图4为本发明实施例提供的另一种人机混合决策的智能安检***的整体结构示意图;
图5为图4所示的智能安检***的工作流程图;
图6为本发明实施例提供的一种人机混合决策的智能安检方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容进行详细具体地说明。
<第一实施例>
图1所示为本发明实施例提供的一种人机混合决策的智能安检***,包括:安检设备10、人工判图设备20、数据处理设备30。
其中,安检设备10设置于安检场所,以通过机器识别模型对行李图像进行机器识别,并根据机器识别结果(开检或非开检)输出第一分拣指令。人工判图设备20设置于人工判图场所,以在机器识别为非开检的情况下,通过判图人员对行李图像进行人工识别,以根据人工识别结果输出第二分拣指令(开检或放行),从而结合第一分拣指令或第二分拣指令共同决定行李执行开检操作或放行操作。数据处理设备30设置于数据处理场所,用于根据人工识别的判断结果进行自主增量训练,以更新安检设备10的机器识别模型,不断提升安检设备10的识别能力。
在本发明的实施例中,安检场所、人工判图场所以及数据处理场所分别为三个不同的物理场所。可以理解的是,在另一实施例中,安检场所、人工判图场所以及数据处理场所中的至少两个处于同一物理场所。例如:所有设备均处于安检现场,安检设备10、人工判图设备20、数据处理设备30仅做角色区分。又例如:安检设备10、人工判图设备20同处于安检现场,数据处理设备30处于后台数据中心。还例如:安检设备10处于安检现场,人工判图设备20、数据处理设备同处后台数据中心。
具体地,在本发明的实施例中,安检设备10包括安检机11、边缘计算装置12、分拣传送机构13。其中,安检机11用于获取旅客的行李图像;边缘计算装置12与安检机11连接,以接收该行李图像,并利用机器识别模型对该行李图像进行机器识别,若识别结果为开检,则边缘计算装置12将分拣指令发送至分拣机构13,若识别结果为非开检,则边缘计算装置12将该行李图像发送至人工判图设备20处进行人工识别;分拣传送机构13与边缘计算装置12连接,以接收边缘计算装置12基于机器识别结果发送的第一分拣指令以执行开检操作,同时也与人工判图设备20连接,以接收人工判图设备20基于人工识别结果发送的第二分拣指令,以执行开检或放行操作。
如图2所示,在上述实施例中,图像获取模块对应的载体为图1中的安检机11,机器识别模块对应的载体为图1中的边缘计算装置12,决策执行模块对应的载体为图1中的分拣传送机构13。本发明的实施例中,安检设备10为多个,多个安检设备10同时独立工作,且互不干涉,从而能够同时对多个行李图像进行机器识别。同时,各所述安检设备的边缘计算装置12分别与所述人工判图设备20连接,以分别向所述人工判断设备20传输识别为非开检的行李图像,从而利用人工判图设备20的协作调度模块21进行居中调度,使得多个人工识别模块22协作工作(下文进行详细说明)。此外,各所述安检设备10的边缘计算装置12还分别与数据处理设备30连接,以接收更新后的机器识别模型。
如图2所示,在本发明的实施例中,人工判图设备20包括协作调度模块21、多个人工识别模块22以及案例选取模块23。具体地,协作调度模块21分别与多个边缘计算装置12(即图2中的机器识别模块)连接,以分别接收各机器识别模块向协作调度模块21发送的行李图像。其中,该行李图像为边缘计算装置12识别为无需开检的图像。
而且,该协作调度模块21还与多个人工识别模块22连接,当该协作调度模块21接收到各边缘计算装置12发送的行李图像后,采用任务分配优化算法(工作效率与人力成本的平衡)将图像分配给不同人工识别模块22,并接收来自不同人工识别模块22的第二分拣指令。然后,将第二分拣指令与传入图像的边缘计算装置12进行对应,配准与其一一对应的决策执行模块(即对应的分拣传送机构13),将第二分拣指令准确送达。其中,人工识别模块22用于辅助专业安检员进行图像观察,并记录安检员通过观察图像做出的决策数据(例如:重点关注图像区域、疑似危险违禁物品区域标注等)。
此外,多个人工识别模块22均与案例选取模块23连接,当人工识别模块22记录安检员通过观察图像做出的决策数据后,将该决策数据传送至案例选取模块23;案例选取模块23接收所有人工识别模块22传入的安检员决策数据,并从中选取典型案例数据(例如:复杂疑难危险违禁品识别过程数据),以将该典型案例数据传送至数据处理设备30,从而用于对机器识别模型进行优化。
如图3所示,为人工判图设备20中的协作调度模型。安检场所的边缘计算装置12分别按各自节奏向协作调度模块21发送“判图请求”,协作调度模块21将请求存入任务池,形成任务集合T={T1,T2,…Tm}。人工判图设备20的人工识别模块22从任务池认领唯一任务,完成后将“决策指令”发给指令池,形成服务集合S={S1,S2,…Sn},其中,每条“决策指令”按“判图请求”发来的路径反向传送至相应的决策执行单元(即每个安检设备10的分拣传送机构13)。
协作调度模块21采用多任务协作调度模型,模型的抽象优化目标为:时效与成本的平衡,“时效”可具象为安检现场对任务完成的满意度,“成本”可具象为集中判读占用的人工成本。其中,安检现场对任务完成的满意指数(Customer Satisfaction Degree,简写为CSD)主要体现在对任务响应时长的满意指数,与任务响应时长负相关。集中判读占用的人工成本主要体现在判图工作站的劳动资源利用率,亦可反向表达为资源闲置率(IdleResource Proportion,简写为IRP)。
为统一优化目标,以对任务响应时长不满意指数(Customer DissatisfactionDegree,简写为CDD)与资源闲置率最小为优化目标函数,由公式(1)表示。
minZ=w1·CDD+w2·IRP (1)
其中,公式(1)中w1,w2满足:
同时,公式(1)中CDD表达式为:
公式(2)中μj为每个任务的重要程度,满足:
其中,公式(2)中为安检现场通道j对响应时间的不满意度,具体表示为:
其中,公式(3)中FTj表示任务j实际完成时间;ETj表示任务j期望完成时间(由安检通道通行效率最高目标确定);DLj表示任务j可以容忍的完成最后期限(由安检通道通行效率相关管理标准确定)。
公式(1)中IRP表达式为:
其中,公式(4)中FTmax=max{FTj},FTj表示任务j实际完成时间;为决策变量表示任务约束,即每个任务只能分配给一个判图人员,并且任务分配后,执行该任务不中断直到任务完成返回判图结果,如果判图员Si被选择用于完成任务Tj,那么/>否则/> 为判图员Si完成任务Tj需要的时间;
约束条件如下:
(1)时间约束。任务Tj的完成时间FTj由两部分组成:判图时间STj、等待时间WTj,任务结束时间等于开始时间加上任务执行时间,即
对于每个判图员来说,后一个任务的开始时间大于前一个任务的结束时间,即满足要求每一个任务完成时间小于有求得最后期限:FTj<DLj
(2)任务约束。每一个任务只能分配给一个判图员,且任务分配后,执行该任务不中断,直到任务完成,如果判图员Si被选择用于完成任务Tj,那么否则/>
如图2所示,在本发明的实施例中,数据处理设备30包括图像存储服务器31和云计算服务器32。其中,图像存储服务器31与图像获取模块(即安检机11)连接,以接收并存储行李图像。而且,图像存储服务器31还与人工判图设备20连接,以接收带有人工判图痕迹的行李图像,并进行分类存储,以便于后续进行查询。云计算服务器32与人工判图设备20连接,以接收带有人工判图痕迹的行李图像,进行自主增量训练、更新机器识别模型。而且,云计算服务器32还与机器识别模块(即边缘计算装置12)连接,以将更新后的机器识别模型传输至边缘计算装置12,从而提高边缘计算装置12的识图能力。
如图2所示,在上述实施例中,云计算服务器32包括知识收集模块321、知识存贮模块322、增量训练模块323以及模型更新模块324。具体地,知识收集模块321与案例选取模块23连接,以接收典型案例数据。知识存贮模块322与知识收集模块321连接,以接收知识收集模块321向知识存贮模块322发送的典型案例数据,并对典型案例数据进行分类存储,以用于分类查询。增量训练模块323与知识收集模块321连接,以接收知识收集模块321向增量训练模块323发送的典型案例数据,并进行增量训练(例如:利用源源不断的小批量数据对既有机器识别模型的参数进行持续优化,并将阶段性优化训练模型传送至模型更新模块),以获取优化参数,并利用该优化参数对既有的机器识别模型进行更新升级。模型更新模块324与增量训练模块323连接,以接收所述经过增量训练获得的优化参数,以对机器识别模型进行更新;所述模型更新模块324还与所述自主决策单元连接,以将所述经过更新的机器识别模型传输至所述自主决策单元。
云计算服务器32中的增量训练模块323采用时间间隔或增量数据量作为触发条件,当距离上一次增量训练的时间差或增量数据数量满足触发阈值时,增量训练模块323启动增量模型的训练过程。增量训练过程分为训练数据选择、模型训练、模型评估三个阶段。在训练数据选择阶段,增量训练模块根据既有训练集的类别分布情况,按需选择增量数据,尽量平衡训练数据集中各个类别的数量比例。在模型训练阶段,将既有机器识别模型作为训练的基础模型开始增量训练过程,训练过程即为对模型参数的更新过程,增量数据引起的模型参数的更新将具有更大的权重,突出增量数据对模型的贡献。训练过程结束后,将进入模型评估阶段,评估增量模型的性能指标与既有模型的性能差异,当增量模型的相关指标优于既有模型且增加的性能达到设定阈值时,使用增量模型替换既有模型下发到模型更新模块324,然后再传送至边缘计算装置12。
具体使用时,可以包括如下步骤:第一步,旅客将行李放置于分拣传送机构13上,随着分拣传送机构13的移动,行李经过安检机11,从而利用安检机11获取行李图像,同时将该行李图像发送给边缘计算装置12。第二步,通过边缘计算装置12接收该行李图像,并对该行李图像进行机器识别。第三步,根据边缘计算装置12的识别结果,若为开检,则向分拣传送机构13发送的第一分拣指令,进入第四步;若为非开检则将识别为无需开检的行李图像发送给人工判图设备20的协作调度模块21,进入第五步。若为非开检,则进入第五步。第四步,该分拣传送机构13根据该第一分拣指令执行开检操作。第五步,通过协作调度模块21将该行李图像分配给相应的人工识别模块22,以进行人工识别。第六步,经过人工识别后,人工识别模块22将人工识别结果反馈给协作调度模块21,以使得协作调度模块21根据人工识别结果将第二分拣指令与传入图像的边缘计算装置12进行对应,配准与其一一对应的决策执行模块(即分拣传送机构13),将第二分拣指令准确送达。第七步,如果第二分拣指令为无需开检,则分拣传送机构13执行放行操作;如果第二分拣指令为需要开检,则分拣传送机构13执行开检操作。由此,通过机器结合人工的方式完成整个行李的安检过程。
此外,在第六步时,经过人工识别后,人工识别模块22不仅将人工识别结果反馈给协作调度模块21,还记录安检员通过观察图像做出的决策数据,并将该决策数据传送至案例选取模块23。以通过该案例选取模块23将该典型案例数据传送至数据处理设备30的云计算服务器32,从而用于对边缘计算装置12的机器识别模型进行优化升级。
综上所述,本发明所提供的人机混合决策的智能安检***,通过人机协同混合决策的方式对安检工作进行“提质”和“增效”。其中,“提质”表现在:通过采用边云结合的***架构,实现机器在实际工作中不断积累数据、进化模型,并快速部署,实现现场边缘测机器识图能力的持续提升、向人逼近,达到协作中人、机能力差异逐渐消减,人、机共同决策的水平逐步提升的效果。“增效”表现在:通过采用的人-机混判的策略,实现简单、确定、频繁出现情况的快速自动决策,节省人力,把更高水平的能力用于识别复杂、模糊、偶尔出现的情况,机器负责快速,人工负责准确,达到人、机共同决策过程更快更准的效果。此外,整个智能安检***中,人、机分工各有侧重,机器负责高频低危、常见易辨识物品的识别与决策;人工负责低频高危、罕见难辨识物品的识别与决策。为提升作业效率,机器决策开检的,人工不再重复决策;为守住安全底线,机器只决策是否开检,人工决策是否放行。
<第二实施例>
如图4和图5所示,为本发明实施例提供的另一种人机混合决策的智能安检***,包括:安检设备10、人工判图设备20、数据处理设备30。本实施例与第一实施例的区别之处在于,对边缘计算装置12的优化升级方式不同。
在本发明的实施例中,数据处理设备30包括:云计算服务器33,该云计算服务器33与安检机11和边缘计算装置12连接,以用于与安检机11和边缘计算装置12进行数据交互。其中,边缘计算装置12还与人工判图设备20连接,以接收带有人工判图痕迹的行李图像并进行自主增量训练,并基于自主增量训练获取更新后的模型局部参数。云计算服务器33接收更新后的模型局部参数,并基于所述更新后的模型局部参数更新全局参数,以对机器识别模型进行更新,并将更新后的机器识别模型传输至所述边缘计算装置12。所述云计算服务器33还接收安检机11传入的所述行李图像进行存储。
具体地,在本发明的实施例中,云计算服务器33包括模型更新模块331和知识存贮模块332。相应的,安检设备10还包括知识收集模块14和增量训练模块15。其中,知识收集模块14与人工判图设备20的协作调度模块21连接,以接收人工判图设备20传入的案例,从中提取增量知识。增量训练模块15与该知识收集模块14连接,以接收知识收集模块14传送的增量知识,并利用该增量知识自主进行模型局部参数的更新。模型更新模块331与该增量训练模块15连接,以接收经过更新后的模型局部参数,并基于更新后的模型局部参数更新全局参数,以对机器识别模型进行更新,并将更新后的机器识别模型传输至边缘计算装置12。
而且,该模型更新模块331与知识存贮模块332连接,从而将新的机器识别模型传送至知识存贮模块332,用于存贮所有模型迭代进化过程的数据,以便于后续进行查询或调用。此外,本发明实施例中的云计算服务器33还包括图像存储模块333,该图像存储模块333与安检机11连接,以接收安检机11传入的行李图像进行存储。
本发明实施例除上述结构之外,其余结构与第一实施例均相同,在此不再赘述。
<第三实施例>
如图6所示,本发明实施例还提供一种人机混合决策的智能安检方法,具体包括步骤S1~S6:
S1:行李图像获取。
通过安检机11获取行李图像,发送至边缘计算装置12,同时发送至存储设备进行集中存储,转至步骤S6。
S2:机器自动识别。
利用边缘计算装置12上部署的深度神经网络模型完成机器识别,基于机器识别结果,若为开检,则向分拣传送机构13发送第一分拣指令,并进入步骤S4进行决策执行。若为非开检,则将行李图像传送至人工识别的协作调度模块21,以进入步骤S3进行人工识别。
S3:人工协作识别。
首先,基于“协作调度模型”,将接收到的行李图像择优分配给具体地人工识别岗位对图像进行人工识别;
其次,基于人工识别结果,向所述分拣传送机构13发送第二分拣指令,以使得分拣传送机构13根据该第二分拣指令进入步骤S4执行开检或放行。
同时,将人工识别结果传送至步骤S5,已进行***的自主进化。
S4:决策结果执行。
根据所述第一分拣指令或所述第二分拣指令,控制所述分拣传送机构执行开检操作或放行操作。
S5:***自主进化。
首先,基于人工识别结果中包含的人工判图痕迹,提取增量知识,同时将知识发送至存储设备进行集中存储,转至步骤S6;
其次,根据增量知识进行自主增量训练;
最后,利用训练得出的最新参数更新自动识别模型参数,按照时间间隔要求或样本增量要求,定期或不定期下发新模型至边缘计算装置12,反馈转至步骤S2。
S6:集中存储。
将步骤S1发来的行李图像与步骤S5发来的增量知识进行分类存储,用于数据储存,以用于后续分类查询。
在本发明的一个优选实施例中,步骤S5具体包括S5A1~S5A3:
S5A1:通过图像存储服务器31接收行李图像以及带有人工判图痕迹的行李图像,并进行分类存储;
S5A2:通过云计算服务器32接收带有人工判图痕迹的行李图像,并进行自主增量训练,更新机器识别模型;
S5A3:通过云计算服务器32将更新后的机器识别模型传输至边缘计算装置12。
由此,通过对边缘计算装置12的机器识别模型进行优化更新,从而提高边缘计算装置12的识图能力,实现机器在实际工作中不断积累数据、进化模型,并快速部署,实现现场边缘测机器识图能力的持续提升、向人逼近,达到协作中人、机能力差异逐渐消减,人、机共同决策的水平逐步提升的效果。
在本发明的另一实施例中,步骤S5具体包括S5B1~S5B4:
S5B1:通过边缘计算装置12接收人工判图设备20传输的带有人工判图痕迹的行李图像,并进行自主增量训练;
S5B2:基于自主增量训练获取更新后的模型局部参数;
S5B3:通过云计算服务器33获取更新后的模型局部参数,并基于更新后的模型局部参数更新全局参数,以对机器识别模型进行更新;
S5B4:通过云计算服务器33将更新后的机器识别模型传输至边缘计算装置12的边缘计算装置12。
综上所述,本发明所提供的人机混合决策的智能安检***及方法,以安全可靠为底线,既节省人力又提升效率,更可以完成数据与知识的不断积累,人、机能力互促共进,使***中人的智能与机器智能在实践中自主成长。本智能安检***在公共安全领域与其他竞争产品有本质差异,在信息化程度与从业人员技能水平均较高的市场,如:民航,本智能安检***及方法的竞争优势在于既保障安全又提高效率;在信息化水平低、人力资源紧缺的市场,如:货运、快递、轨交、重大安保等,本智能安检***及方法的竞争优势在于节省人力,且能够辅助提升人员技能水平。
上面对本发明所提供的人机混合决策的智能安检***及方法进行了详细的说明。对本领域的一般技术人员而言,在不背离本发明实质内容的前提下对它所做的任何显而易见的改动,都将构成对本发明专利权的侵犯,将承担相应的法律责任。
Claims (10)
1.一种人机混合决策的智能安检***,其特征在于包括:
安检设备,所述安检设备包括安检机、边缘计算装置和分拣传送机构;所述安检机设置于安检场所,用于获取旅客的行李图像;所述边缘计算装置设置于所述安检场所并与所述安检机连接,以接收所述行李图像,并进行机器识别;所述分拣传送机构设置于所述安检场所并与所述边缘计算装置连接,以接收所述边缘计算装置基于机器识别结果发送的第一分拣指令;
人工判图设备,设置于人工判图场所,所述人工判图设备与所述边缘计算装置连接,以接收所述边缘计算装置发送的所述行李图像,用于人工识别;所述人工判图设备还与所述分拣传送机构连接,以基于人工识别结果,向所述分拣传送机构发送第二分拣指令;
所述人工判图设备包括:协作调度模块和多个人工识别模块;
所述协作调度模块分别与多个所述边缘计算装置连接,以分别接收各所述边缘计算装置向所述协作调度模块发送的行李图像,采用任务分配优化算法将图像分配给不同人工识别模块,并接收来自不同人工识别模块的第二分拣指令;所述协作调度模块还分别与多个所述分拣传送机构连接,以基于人工识别结果向各所述分拣传送机构发送第二分拣指令;
所述多个人工识别模块均与所述协作调度模块连接,以接收所述协作调度模块分配的所述行李图像,并将第二分拣指令反馈至所述协作调度模块;
所述边缘计算装置分别按各自节奏向所述协作调度模块发送“判图请求”,协作调度模块将请求存入任务池,形成任务集合T={T1,T2,…Tm};所述多个人工识别模块各自从任务池认领唯一任务,完成后将“决策指令”发给指令池,形成服务集合S={S1,S2,…Sn};
所述任务分配优化算法,是基于任务响应时长不满意指数和最小资源闲置率形成优化目标函数:
minZ=w1·CDD+w2·IRP
其中,w1,w2满足:
CDD表达式为:
其中,μj为每个任务的重要程度,满足:
其中,为安检现场通道j对响应时间的不满意度,具体表示为:
其中,FTj表示任务j实际完成时间;ETj表示任务j期望完成时间;DLj表示任务j可以容忍的完成最后期限;
IRP表达式为:
其中,FTmax=max{FTj},FTj表示任务j实际完成时间;为决策变量表示任务约束;
其中,任务Tj的完成时间FTj包括判图时间STj和等待时间WTj,任务结束时间满足:
其中,startTj为开始时间,为任务执行时间,并且FTj<DLj;
每一个任务只能分配给一个判图员,且任务分配后,执行该任务不中断,直到任务完成,如果判图员Si被选择用于完成任务Tj,那么否则/>
所述分拣传送机构能够接收所述第一分拣指令,以执行开检操作;所述分拣传送机构还能够接收所述第二分拣指令,以执行开检或放行操作。
2.如权利要求1所述的智能安检***,其特征在于还包括:
图像存储服务器,设置于数据处理场所,所述图像存储服务器与所述安检机连接,以接收并存储所述行李图像;所述图像存储服务器还与所述人工判图设备连接,以接收并存储带有人工判图痕迹的行李图像;
云计算服务器,设置于所述数据处理场所,所述云计算服务器与所述人工判图设备连接,以接收带有人工判图痕迹的行李图像,进行自主增量训练、更新机器识别模型;所述云计算服务器还与所述边缘计算装置连接,以将更新后的机器识别模型传输至所述边缘计算装置。
3.如权利要求1所述的智能安检***,其特征在于还包括:
云计算服务器,所述云计算服务器设置于数据处理场所,并与所述边缘计算装置连接;
所述边缘计算装置还与所述人工判图设备连接,以接收带有人工判图痕迹的行李图像并进行自主增量训练,基于所述自主增量训练获取更新后的模型局部参数;
所述云计算服务器接收所述更新后的模型局部参数,并基于所述更新后的模型局部参数更新全局参数,以对机器识别模型进行更新,并将更新后的机器识别模型传输至所述边缘计算装置。
4.如权利要求2所述的智能安检***,其特征在于,所述安检设备为多个且相互独立,各所述安检设备的边缘计算装置分别与所述人工判图设备连接,以分别向所述人工判图设备传输识别为非开检的行李图像;各所述安检设备的边缘计算装置还分别与所述云计算服务器连接,以分别接收更新后的机器识别模型。
5.如权利要求4所述的智能安检***,其特征在于,所述人工判图设备还包括:
案例选取模块,分别与多个所述人工识别模块连接,以接收多个所述人工识别模块的安检员决策数据,从中选取典型案例数据传送至所述云计算服务器。
6.如权利要求5所述的智能安检***,其特征在于,所述云计算服务器包括:
知识收集模块,与所述案例选取模块连接,以接收所述典型案例数据;
知识存贮模块,与所述知识收集模块连接,以接收所述知识收集模块向所述知识存贮模块发送的所述典型案例数据,并对所述典型案例数据进行分类存储,以用于分类查询;
增量训练模块,与所述知识收集模块连接,以接收所述知识收集模块向所述增量训练模块发送的所述典型案例数据,并进行增量训练,获取优化参数;
模型更新模块,与所述增量训练模块连接,以接收所述经过增量训练获得的优化参数,并基于所述优化参数对既有的机器识别模型进行更新升级;所述模型更新模块还与所述边缘计算装置连接,以将所述经过更新的机器识别模型传输至所述边缘计算装置。
7.如权利要求2所述的智能安检***,其特征在于,所述安检场所、人工判图场所以及数据处理场所分别为三个不同的物理场所;或者,所述安检场所、人工判图场所以及数据处理场所中的至少两个处于同一物理场所。
8.一种人机混合决策的智能安检方法,基于权利要求1所述的智能安检***实现,其特征在于包括如下步骤:
通过边缘计算装置获取行李图像,并进行机器识别;
基于机器识别结果,若为开检,则所述边缘计算装置向分拣传送机构发送第一分拣指令;
所述分拣传送机构接收所述第一分拣指令,以执行开检操作;
若机器识别结果为非开检,则所述边缘计算装置将行李图像发送至人工判图设备,以进行人工识别;
基于人工识别结果,所述人工判图设备向所述分拣传送机构发送第二分拣指令;
所述分拣传送机构接收所述第二分拣指令,以执行开检操作或放行操作。
9.如权利要求8所述的智能安检方法,其特征在于还包括如下步骤:
通过图像存储服务器接收所述行李图像以及带有人工判图痕迹的行李图像,并进行分类存储;
通过云计算服务器接收带有人工判图痕迹的行李图像,并进行自主增量训练,更新机器识别模型;
通过所述云计算服务器将所述更新后的机器识别模型传输至所述边缘计算装置。
10.如权利要求8所述的智能安检方法,其特征在于还包括如下步骤:
通过边缘计算装置接收人工判图设备传输的带有人工判图痕迹的行李图像,并进行自主增量训练;
基于所述自主增量训练获取更新后的模型局部参数;
通过云计算服务器获取所述更新后的模型局部参数,并基于所述更新后的模型局部参数更新全局参数,以对机器识别模型进行更新;
通过所述云计算服务器将更新后的机器识别模型传输至所述边缘计算装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210316961.8A CN114814973B (zh) | 2022-03-28 | 2022-03-28 | 一种人机混合决策的智能安检***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210316961.8A CN114814973B (zh) | 2022-03-28 | 2022-03-28 | 一种人机混合决策的智能安检***及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114814973A CN114814973A (zh) | 2022-07-29 |
CN114814973B true CN114814973B (zh) | 2024-03-08 |
Family
ID=82530691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210316961.8A Active CN114814973B (zh) | 2022-03-28 | 2022-03-28 | 一种人机混合决策的智能安检***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114814973B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115563396B (zh) * | 2022-12-06 | 2023-04-28 | 成都智元汇信息技术股份有限公司 | 可降级的中心化智能推送方法及装置 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106503761A (zh) * | 2016-10-31 | 2017-03-15 | 紫光智云(江苏)物联网科技有限公司 | 物品安检判图***及方法 |
CN107346539A (zh) * | 2016-05-06 | 2017-11-14 | 同方威视技术股份有限公司 | 用于判图任务分配的方法、***和设备 |
CN109030524A (zh) * | 2018-09-04 | 2018-12-18 | 广州地铁设计研究院有限公司 | 一种城市轨道交通安检集中判图*** |
CN209327245U (zh) * | 2018-09-04 | 2019-08-30 | 广州地铁设计研究院股份有限公司 | 一种城市轨道交通安检集中判图*** |
CN110749934A (zh) * | 2019-10-15 | 2020-02-04 | 北京中盾安民分析技术有限公司 | 一种旅检智能通道自动匹配远程集中判读***及方法 |
CN111443100A (zh) * | 2020-05-12 | 2020-07-24 | 北京声迅电子股份有限公司 | 一种基于智能识别技术安检集中判图*** |
CN111680729A (zh) * | 2020-05-30 | 2020-09-18 | 中国船舶重工集团公司第七一三研究所 | 基于x光机图像机场旅客安检危险品实时高识别率方法 |
CN112181629A (zh) * | 2020-11-30 | 2021-01-05 | 同方威视技术股份有限公司 | 安检集中判图***及其自动工作模式切换控制方法 |
CN112183678A (zh) * | 2020-11-27 | 2021-01-05 | 同方威视技术股份有限公司 | 判图方法和*** |
CN112396277A (zh) * | 2019-08-19 | 2021-02-23 | 同方威视技术股份有限公司 | 判图任务分配***及用于判图任务分配的方法 |
CN112444889A (zh) * | 2020-11-13 | 2021-03-05 | 北京航星机器制造有限公司 | 一种快速安检行包远程集中判读***及方法 |
CN213544443U (zh) * | 2020-05-12 | 2021-06-25 | 北京声迅电子股份有限公司 | 一种基于智能识别技术安检集中判图*** |
CN113642403A (zh) * | 2021-07-13 | 2021-11-12 | 重庆科技学院 | 基于边缘计算的人群异动智能安全检测*** |
CN113723127A (zh) * | 2021-09-01 | 2021-11-30 | 北京舜天龙兴信息技术有限公司 | 一种高铁站旅检智能查验通道 |
CN114162551A (zh) * | 2020-09-11 | 2022-03-11 | 同方威视技术股份有限公司 | 用于安检***的判图任务控制方法与安检*** |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104502368B (zh) * | 2014-12-29 | 2018-11-23 | 同方威视技术股份有限公司 | 一体化安全检查*** |
-
2022
- 2022-03-28 CN CN202210316961.8A patent/CN114814973B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107346539A (zh) * | 2016-05-06 | 2017-11-14 | 同方威视技术股份有限公司 | 用于判图任务分配的方法、***和设备 |
CN106503761A (zh) * | 2016-10-31 | 2017-03-15 | 紫光智云(江苏)物联网科技有限公司 | 物品安检判图***及方法 |
CN109030524A (zh) * | 2018-09-04 | 2018-12-18 | 广州地铁设计研究院有限公司 | 一种城市轨道交通安检集中判图*** |
CN209327245U (zh) * | 2018-09-04 | 2019-08-30 | 广州地铁设计研究院股份有限公司 | 一种城市轨道交通安检集中判图*** |
CN112396277A (zh) * | 2019-08-19 | 2021-02-23 | 同方威视技术股份有限公司 | 判图任务分配***及用于判图任务分配的方法 |
CN110749934A (zh) * | 2019-10-15 | 2020-02-04 | 北京中盾安民分析技术有限公司 | 一种旅检智能通道自动匹配远程集中判读***及方法 |
CN111443100A (zh) * | 2020-05-12 | 2020-07-24 | 北京声迅电子股份有限公司 | 一种基于智能识别技术安检集中判图*** |
CN213544443U (zh) * | 2020-05-12 | 2021-06-25 | 北京声迅电子股份有限公司 | 一种基于智能识别技术安检集中判图*** |
CN111680729A (zh) * | 2020-05-30 | 2020-09-18 | 中国船舶重工集团公司第七一三研究所 | 基于x光机图像机场旅客安检危险品实时高识别率方法 |
CN114162551A (zh) * | 2020-09-11 | 2022-03-11 | 同方威视技术股份有限公司 | 用于安检***的判图任务控制方法与安检*** |
CN112444889A (zh) * | 2020-11-13 | 2021-03-05 | 北京航星机器制造有限公司 | 一种快速安检行包远程集中判读***及方法 |
CN112183678A (zh) * | 2020-11-27 | 2021-01-05 | 同方威视技术股份有限公司 | 判图方法和*** |
CN112181629A (zh) * | 2020-11-30 | 2021-01-05 | 同方威视技术股份有限公司 | 安检集中判图***及其自动工作模式切换控制方法 |
CN113642403A (zh) * | 2021-07-13 | 2021-11-12 | 重庆科技学院 | 基于边缘计算的人群异动智能安全检测*** |
CN113723127A (zh) * | 2021-09-01 | 2021-11-30 | 北京舜天龙兴信息技术有限公司 | 一种高铁站旅检智能查验通道 |
Non-Patent Citations (1)
Title |
---|
米仲勇 ; .人工智能技术在高铁安检***中的前瞻性应用.电子技术与软件工程.(12),264-265. * |
Also Published As
Publication number | Publication date |
---|---|
CN114814973A (zh) | 2022-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111915410B (zh) | 面向高动态生产物流过程的智能管控*** | |
CN109829636A (zh) | 基于动态优先级的应急任务调度规划方法 | |
CN114814973B (zh) | 一种人机混合决策的智能安检***及方法 | |
CN102893161A (zh) | 自动分析***以及装置管理服务器 | |
CN104335027B (zh) | 离心分离装置、具备其的预处理***及该***的控制方法 | |
CN109961248A (zh) | 运单投诉预测方法、装置、设备及其存储介质 | |
CN111815214A (zh) | 分播设备、物品分播控制方法和分播控制*** | |
CN112007865B (zh) | 入库分拣方法、入库分拣装置、电子设备及存储介质 | |
CN112768017A (zh) | 一种流水线***及其时间预测方法、存储介质 | |
CN109165695A (zh) | 基于故障树和迁移学习的堆垛机故障诊断方法 | |
CN116704429B (zh) | 基于大数据分析的智能处理方法 | |
CN109324978A (zh) | 一种多人协同的软件测试管理*** | |
CN109685411A (zh) | 一种物流货运平台的拼车匹配方法 | |
CN116569118A (zh) | 信息管理方法及装置 | |
CN116409575A (zh) | 一种智能仓储货架进出库管控*** | |
CN106094751B (zh) | 一种原料的调度方法及装置 | |
CN116452154B (zh) | 一种适用于通信运营商的项目管理*** | |
CN117827434A (zh) | 基于多维资源预测的混合弹性伸缩方法 | |
CN117539612A (zh) | 基于混沌麻雀算法的ai训推平台任务调度方法和*** | |
CN115739671A (zh) | 一种渔获物分拣***及方法 | |
JP2000116314A (ja) | 鮭・鱒の水揚げ自動システム | |
EP4036826A1 (en) | Method for predicting the daily available capacity of a parcel pick-up station and computerized locker banks | |
JP5644006B2 (ja) | 処理時間の予測方法および自動分析システム | |
CN112381526A (zh) | 一种基于自动校验的数据标注***及方法 | |
CN111798148B (zh) | 项目分配方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |