CN114743187A - 银行安全控件自动登录方法、***、设备及存储介质 - Google Patents

银行安全控件自动登录方法、***、设备及存储介质 Download PDF

Info

Publication number
CN114743187A
CN114743187A CN202210331616.1A CN202210331616A CN114743187A CN 114743187 A CN114743187 A CN 114743187A CN 202210331616 A CN202210331616 A CN 202210331616A CN 114743187 A CN114743187 A CN 114743187A
Authority
CN
China
Prior art keywords
button
image
security control
control keyboard
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210331616.1A
Other languages
English (en)
Inventor
吴昆�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mairong Intelligent Technology Shanghai Co ltd
Original Assignee
Mairong Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mairong Intelligent Technology Shanghai Co ltd filed Critical Mairong Intelligent Technology Shanghai Co ltd
Priority to CN202210331616.1A priority Critical patent/CN114743187A/zh
Publication of CN114743187A publication Critical patent/CN114743187A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/374—Thesaurus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45—Structures or tools for the administration of authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种银行安全控件自动登录方法、***、设备及存储介质，所述方法包括：在web端生成安全控件键盘并获取网页截图；构建基于UNet的网络图像分割模型，从网页截图中分割出安全控件键盘图像；从安全控件键盘图像中分割出所有按钮图像，并获取按钮图像在所述安全控件键盘中的位置；构建字符识别神经网络模型，将按钮图像输入字符识别神经网络模型，输出得到按钮图像对应的字符；结合按钮图像在安全控件键盘中的位置与按钮图像对应的字符，构建按钮‑字符字典；根据按钮‑字符字典查找待输入字符在安全控件键盘中对应的按钮位置，并对其触发点击操作，完成自动登录。本发明可以有效提高银行安全控件自动登录的效率。

Description

银行安全控件自动登录方法、***、设备及存储介质
技术领域
本发明涉及深度学习与互联网金融技术领域，具体涉及一种基于深度学习的银行安全控件自动登录方法、***、设备及存储介质。
背景技术
银行回单是为企业客户提供其网银付款、交易查询、下载、打印(补打)以及验证功能的有效凭证，对于每一笔账务，均有相应的一张回单。银行回单作为企业编制记账凭证的原始依据，在记账过程中涉及大量回单信息的录入，需要耗费大量的人力、物力和财力。
随着互联网技术与OCR技术的迅速发展，RPA机器人可以部署在计算机上模拟人类操作完成银行回单管理，实现银行回单管理流程自动化，节省了大量的人力物力。在回单管理机器人查询或下载回单时，首先需要登录网上商业银行；然而商业银行为了保护用户的账户安全，通常会安装安全控件，要求点击安全控件键盘上的按钮实现用户密码的输入。安全控件键盘显示的值和最终输入的值不同，银行后台按照一定的加密算法计算出用户的密码，无法使用普通的模拟输入。
现有的银行安全控件自动登录方法往往依赖于银行安全控件键盘的格式特点，需要根据不同的键盘格式设计不同的字符模板。但是国内各大银行的安全控件键盘格式并不相同，甚至同一家银行不同版本的安全控件键盘也存在格式不统一的问题。此外，现有的方法在定位安全控件位置时通常依赖于网页源码，然而不同的网页在设计时所用的语言与关键字不一定相同。这些问题均导致了银行安全控件自动登录过程过分依赖人工干预，识别效率较低。
因此，如何提高银行安全控件的自动登录效率，成为了亟待解决的重要问题。
发明内容
针对以上技术问题，本发明提供银行安全控件自动登录方法、***、设备及存储介质，以提高银行安全控件自动登录的效率。
为实现上述目的，本发明采用如下技术方案：
根据本发明的一方面，提供了一种银行安全控件自动登录方法，包括如下步骤：在web端生成安全控件键盘并获取网页截图；构建基于UNet的网络图像分割模型，从所述网页截图中分割出安全控件键盘图像；从所述安全控件键盘图像中分割出所有按钮图像，并获取所述按钮图像在所述安全控件键盘中的位置；构建字符识别神经网络模型，将所述按钮图像输入所述字符识别神经网络模型，输出得到所述按钮图像对应的字符；结合所述按钮图像在所述安全控件键盘中的位置与所述按钮图像对应的字符，构建按钮-字符字典；根据所述按钮-字符字典查找待输入字符在所述安全控件键盘中对应的按钮位置，并对其触发点击操作，完成自动登录。
在本发明的一实施方式中，所述构建基于UNet的网络图像分割模型；其中构建的所述网络图像分割模型包括依次连接的4个卷积块、1个全连接层、1个3×3的卷积层、1个1×1的卷积层；所述卷积块包括依次连接的2个3×3的卷积层和1个2×2的池化层；所述全连接层包括2个1×1的卷积层。
在本发明的一实施方式中，所述从所述网页截图中分割出安全控件键盘图像；包括如下步骤：将所述网页截图输入所述网络图像分割模型；通过所述依次连接的4个卷积块对所述网页截图进行4层安全控件键盘图像特征提取，并对提取结果进行下采样得到第一特征；通过所述全连接层对所述第一特征进行处理得到第二特征；对所述第二特征进行至少一次上采样操作，直到所述第二特征还原到原图的尺寸，通过所述1个3×3的卷积层进行特征提取得到第三特征；通过所述1个1×1的卷积层对所述第三特征进行处理，得到一个和原图尺寸相同的具有k个通道数的安全控件键盘图像。
在本发明的一实施方式中，从所述安全控件键盘图像中分割出所有按钮图像，并获取所述按钮图像在所述安全控件键盘中的位置；包括如下步骤：对所述安全控件键盘图像进行二值化处理，所述安全控件键盘图像中灰度小于或等于一预设阈值的像素点被判定为字符，字符的灰度值设置为0，其他像素点被判定为背景，背景的灰度值设置为255；采用双向投影分割法从所述安全控件键盘图像中分割出每个所述按钮图像，并获取所述按钮图像在所述安全控件键盘中的坐标。
在本发明的一实施方式中，所述采用双向投影分割法从所述安全控件键盘图像中分割出每个所述按钮图像，并获取所述按钮图像在所述安全控件键盘中的坐标，包括如下步骤：从上到下逐像素扫描二值化后的所述安全控件键盘图像，统计每列为黑色像素的元素个数，存储在列数组中；从左到右逐像素扫描二值化后的所述安全控件键盘图像，统计每行为黑色像素的元素个数，存储在行数组中；根据所述列数组和行数组确定每个所述按钮中的字符在所述安全控件键盘中对应的坐标，以获取每个按钮的上下左右边界与位置坐标，从所述安全控件键盘图像中分割出每个按钮图像。
在本发明的一实施方式中，所述构建字符识别神经网络模型；其中，构建的所述字符识别神经网络模型包括：一特征提取神经网络，所述特征提取神经网络包括1个3×3的卷积层分支和1个5×5的卷积层分支，每个所述卷积层分支分别连接1个池化层；一双层前馈神经网络，连接至所述特征提取神经网络用于进行字符识别。
在本发明的一实施方式中，所述将所述按钮图像输入所述字符识别神经网络模型，输出得到所述按钮图像对应的字符；包括如下步骤：将所述按钮图像输入所述特征提取神经网络，通过所述3×3的卷积层分支对所述按钮图像进行特征提取得到特征h3*3，通过所述5×5的卷积层分支对所述按钮图像进行特征提取得到特征h5*5；对所述特征h3*3和所述特征h5*5进行拼接，得到按钮图像特征H：将所述按钮图像特征H输入所述双层前馈神经网络，输出得到所述按钮图像的分类分数向量，对所述分类分数向量进行运算，输出所述按钮图像的分类概率值以确定输入的所述按钮图像对应的字符。
根据本发明的另一方面，提供一种银行安全控件自动登录***，包括
获取模块，用以在web端生成安全控件键盘并获取网页截图；
第一分割模块，用以构建基于UNet的网络图像分割模型，从所述网页截图中分割出安全控件键盘图像；
第二分割模块，用以从所述安全控件键盘图像中分割出所有按钮图像，并获取所述按钮图像在所述安全控件键盘中的位置；
识别模块，用以构建字符识别神经网络模型，将所述按钮图像输入所述字符识别神经网络模型，输出得到所述按钮图像对应的字符；
构建模块，用以结合所述按钮图像在所述安全控件键盘中的位置与所述按钮图像对应的字符，构建按钮-字符字典；
点击模块，用以根据所述按钮-字符字典查找待输入字符在所述安全控件键盘中对应的按钮位置，并对其触发点击操作，完成自动登录。
根据本发明的另一方面，提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述银行安全控件自动登录方法的步骤。
根据本发明的又一方面，提供一种电子设备，所述电子设备包括：
处理器；
存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述银行安全控件自动登录方法的步骤。
本发明的有益效果为：
本发明克服了现有银行安全控件自动登录方法存在的过分依赖人工干预，识别效率较低等缺陷，提出了一种方法模型结构简单、训练复杂度低、计算速度快、识别率高达99.99％的基于深度学习的银行安全控件自动登录方法，该方法在实施时可自动分割并识别不同安全控件键盘中的字符，不需要区分银行登录页面，不区分模板，可以满足对不同格式银行安全控件的自动登录，同时支持各大银行以及各个版本的安全空间，无需人工干预，具有高效准确的优点。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中银行安全控件自动登录方法的流程示意图。
图2是本发明一实施例中完成自动登录的流程示意图。
图3是本发明一实施例中基于UNet的网络图像分割模型的结构示意图。
图4是本发明一实施例中对安全控件键盘图像进行二值化处理的流程示意图。
图5是本发明一实施例中双向投影分割法的流程示意图。
图6是本发明一实施例中字符识别神经网络模型的流程示意图。
图7是本发明一实施例中银行安全控件自动登录***的模块图。
图8是本发明一实施例中电子设备的结构示意图。
图9是本发明一实施例中计算机可读存储介质的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S100、S200等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。
下面将结合附图及具体实施例对本发明请求保护的一种基于深度学习的银行安全控件自动登录方法、***、设备及存储介质作进一步地详细阐述。图1是本发明一实施例中银行安全控件自动登录方法、***、设备及存储介质的流程示意图。图2是本发明一实施例中完成自动登录的流程示意图。图3是本发明一实施例中基于UNet的网络图像分割模型的结构示意图。图4是本发明一实施例中对安全控件键盘图像进行二值化处理的流程示意图。图5是本发明一实施例中双向投影分割法的流程示意图。图6是本发明一实施例中字符识别神经网络模型的流程示意图。图7是本发明一实施例中银行安全控件自动登录***的模块图。图8是本发明一实施例中电子设备的结构示意图。图9是本发明一实施例中计算机可读存储介质的结构示意图。
根据本发明的一方面，提供一种银行安全控件自动登录方法。
如图1所示，本发明的基于深度学习的银行安全控件自动登录方法，可以包括如下步骤：
S100:在web端生成安全控件键盘并获取网页截图；具体的，在访问银行登陆页面，生成安全控件键盘后，将整个银行登陆页面截图并保存为图片；
S200:构建基于UNet的网络图像分割模型，从所述网页截图中分割出安全控件键盘图像；具体的，构建基于UNet的网络图像分割模型，采用基于UNet的图片分割算法从整个银行登陆页面的网页截图中分割得到安全控件键盘图像并另存为图片；
S300:从所述安全控件键盘图像中分割出所有按钮图像，并获取所述按钮图像在所述安全控件键盘中的位置；
S400:构建字符识别神经网络模型，将所述按钮图像输入所述字符识别神经网络模型，输出得到所述按钮图像对应的字符；
S500:结合所述按钮图像在所述安全控件键盘中的位置与所述按钮图像对应的字符，构建按钮-字符字典；
S600:根据所述按钮-字符字典查找待输入字符在所述安全控件键盘中对应的按钮位置，并对其触发点击操作，完成自动登录。具体的，如图2所示，是本发明一实施例中完成自动登录的流程示意图。在构建完成按钮-字符对应字典以后，根据每个按钮在键盘中的位置，可以得到对应字符在键盘中的位置坐标；当需要输入密码时，首先读取密码串中的每个字符，可以采用顺序遍历密码串的方法，然后通过所述按钮-字符字典查找密码串每一个待输入字符在所述安全控件键盘中对应的按钮位置，在待输入密码串的字符对应的按钮位置触发点击操作，完成密码输入。需要说明的是这里的触发点击操作是浏览器自动完成的，不需要人工干预，在浏览器运行Selenium应用程序测试的工具，在其脚本执行时，浏览器可以自动按照脚本代码做出点击操作，即可以帮助进行网页的自动访问与输入等。
本发明将整个银行登录页面的网页截图作为输入数据，利用基于UNet的网络图像分割模型将安全控件键盘图像从整个银行登陆页面的网页截图中分割出来，利用图像二值化方法和双向投影分割方法自动地将每个按钮从所述安全控件键盘中分割出来，并引入卷积神经网络识别按钮中的字符，得到每个字符在键盘中对应的位置，可以最大限度地提高图像分割与识别的准确性和效率。
在本发明的一实施方式中，所述在web端生成安全控件键盘并获取网页截图；包括如下步骤：自动访问银行登录页面；自动输入登录用户名；切换到密码输入栏并等待生成安全控件键盘；获取网页截图。在具体实施时，可以在浏览器运行Selenium应用程序测试的工具，根据链接自动进入到银行登录页面，首先通过模拟输入在用户名栏输入登录账号，然后切换到密码输入栏等待安全控件键盘加载完成，获取网页截图。需要说明的是，安全控件登录是银行为了保护用户账户安全而对用户密码进行加密的一种形式。安全控件是一个虚拟键盘即所述安全控件键盘，键盘中各个按键的位置被打乱或者随机生成，用户无法使用实体键盘进行输入，只能通过鼠标点击对应的字符进行输入。
在本发明的一实施方式中，所述自动访问银行登录页面；包括如下步骤：使用Selenium框架中的Selenium WebDriver工具驱动浏览器，通过GET请求方式请求访问所述银行登录页面。
本发明可以利用Selenium框架自动访问银行登录页面。具体而言，本发明使用Selenium框架中的Selenium WebDriver工具驱动浏览器，通过GET请求方式请求访问所述银行登录页面。如本领域技术人员可以理解的，Selenium框架是一个用于Web应用程序测试的框架，其底层使用JavaScript模拟用户对浏览器进行操作。Selenium应用程序测试的工具直接运行在浏览器中，在其脚本执行时，浏览器可以自动按照脚本代码做出点击、输入、验证等操作，即可以帮助进行网页的自动访问。
在本发明的一实施方式中，所述构建基于UNet的网络图像分割模型；其中构建的所述网络图像分割模型包括依次连接的4个卷积块、1个全连接层、1个3×3的卷积层、1个1×1的卷积层；所述卷积块包括依次连接的2个3×3的卷积层和1个2×2的池化层；所述全连接层包括2个1×1的卷积层。
在本发明的一实施方式中，所述从所述网页截图中分割出安全控件键盘图像；包括如下步骤：将所述网页截图输入所述网络图像分割模型；通过所述依次连接的4个卷积块对所述网页截图进行4层安全控件键盘图像特征提取，并对提取结果进行下采样得到第一特征；通过所述全连接层对所述第一特征进行处理得到第二特征；对所述第二特征进行至少一次上采样操作，直到所述第二特征还原到原图的尺寸，通过所述1个3×3的卷积层进行特征提取得到第三特征；通过所述1个1×1的卷积层对所述第三特征进行处理，得到一个和原图尺寸相同的具有k个通道数的安全控件键盘图像。
本发明可以利用Selenium框架将整个银行登录页面截图并保存为图片，然后采用基于UNet的网络图像分割模型将所述安全控件键盘从整个所述银行登录页面中分割出来。需要说明的时，本发明使用基于UNet的网络图像分割模型作为基础模型，利用编码-解码结构对整个银行登录页面进行分割；并采用注意力机制分配给所述安全控件键盘区域内部的像素更大的权重，减轻页面中其他部分的干扰；最终从网页截图中分割得到所述安全控件键盘图片，采用本发明的方法不需要区分银行登录页面，也不需要依赖网页源码，可以有效提高识别效率。
具体而言，本发明采用一个带有注意力机制的基于UNet的网络图像分割模型从所述网页截图中分割出所述安全控件键盘图像。如图3所示，是本发明一实施例中基于UNet的网络图像分割模型的结构示意图。将所述网页截图输入所述网络图像分割模型，首先通过一多层卷积神经网络提取特征，该多层卷积神经网络包括依次连接的4个卷积块，每个所述卷积块包括依次连接的2个3×3的卷积层和1个2×2的池化层；本发明在每一层使用2个3×3的卷积层和1个2×2的池化层抽取该层的特征。在本发明的一实施方式中，每一层卷积块特征提取中采用的滤波器数量逐层递增，分别为64、128、256和512。设初始输入为x0，则第i层的特征提取计算公式为：
ci＝conv3*3(conv3*3(xi))#(1)
xi+1＝maxpooling2*2(ci)#(2)
在通过所述多层卷积神经网络进行四次相同结构的特征提取与下采样后，得到第一特征。通过所述全连接层对所述第一特征进行处理得到第二特征，具体而言，在本发明实施例中所述全连接层采用2个1*1的卷积层对提取的特征进行处理得到第二特征，公式为：
d4＝conv1*1(con v1*1(x4))#(3)
之后，对所述第二特征进行至少一次上采样操作，所述上采样操作可以采用双线性插值法进行，在上采样过程中，每一层上采样的结果会与所述多层卷积神经网络进行的四次特征提取时对应层数的特征进行融合，融合方式为利用上采样的结果与四次特征提取时对应层数的特征图计算一个注意力权重，然后与特征图相乘获得注意力权重分配后的特征，然后与上采样的结果串联，重复上采样的过程，直到所述第二特征还原到原图的尺寸，再经过一个3×3的卷积层进行特征提取得到第三特征；其中上采样过程中计算公式为：
gi＝upsampling(di+1)#(4)
di＝conv3*3([gi；ai(gi，ci)])#(5)
最后，通过1个1×1的卷积层对所述第三特征进行处理，得到一个和原图尺寸相同的具有k个通道数的安全控件键盘图像。其中k为需要分类的类别数，并利用softmax对图上的每个像素点进行分类，判断其是否为表格区域，公式为：
C＝softmax(conv1*1(d0))#(6)
需要说明的是，除了安全控件键盘领域，网页截图背景和其他部分都不是本发明关注的区域，因此，在上采样的特征融合过程中，采用注意力机制设置门限来对特征提取阶段的特征进行过滤，从而使模型可以为安全控件键盘区域分配更多的权重。在注意力机制层，首先将在解码过程中上采样得到的第i层特征图gi与前述四次特征提取时对应的第i层特征图ci进行串联，然后通过一个1×1的卷积层将输出的滤波器变成1，再经过一个sigmoid激活函数映射到[0，1]的值域，并将其与ci的值进行逐元素相乘并输出。注意力机器模块的输出将在网络中与gi进行串联，送入下一个卷积神经网络。注意力机制的计算过程为；
ti＝ReLU(con v1*1([gi；ci]))#(7)
Ai＝σ(conv1*1(ti))#(8)
Figure BDA0003575260540000091
本发明通过带有注意力的UNet模型的编码-解码过程，最终可以学习到安全控件键盘区域的形状。
在本发明的一实施方式中，所述从所述安全控件键盘图像中分割出所有按钮图像，并获取所述按钮图像在所述安全控件键盘中的位置；包括如下步骤：对所述安全控件键盘图像进行二值化处理，所述安全控件键盘图像中灰度小于或等于一预设阈值的像素被判定为字符，字符的灰度值设置为0，其他像素点被判定为背景，背景的灰度值设置为255；采用双向投影分割法从所述安全控件键盘图像中分割出每个所述按钮图像，并获取所述按钮图像在所述安全控件键盘中的坐标。
在本发明的一实施方式中，所述采用双向投影分割法从所述安全控件键盘图像中分割出每个按钮图像，并获取所述按钮图像在所述安全控件键盘中的坐标，包括如下步骤：按照从上到下的顺序逐像素扫描二值化后的所述安全控件键盘图像，统计每列为黑色像素的元素个数，存储在列数组中；按照从左到右的顺序逐像素扫描二值化后的所述安全控件键盘图像，统计每行为黑色像素的元素个数，存储在行数组中；根据所述行数组和列数组确定每个按钮中的字符在所述安全控件键盘中对应的坐标，以获取每个按钮的上下左右边界与位置坐标，从所述安全控件键盘图像中分割出每个按钮图像。
本发明可以采用二值化与双向投影算法将每个按钮从安全控件键盘图像中分割出来。具体而言，如图4所示，是本发明一实施例中对安全控件键盘图像进行二值化处理的流程图。本发明通过基于UNet的网络图像分割模型分割得到安全控件键盘图片后，对待处理的安全控件键盘图片进行逐像素扫描，可以根据需要设置灰度参数阈值为10，所述安全控件键盘图像中灰度小于或等于10的像素点被判定为字符，字符的灰度值设置为0，其他像素点被判定为背景，背景的灰度值设置为255,由此可以得到二值化处理后的所述安全控件键盘图像。然后采用双向投影分割法从所述安全控件键盘图像中分割出每个按钮图像，并获取所述按钮图像在所述安全控件键盘中的坐标，具体地，如图5所示，是本发明一实施例中双向投影分割法的流程示意图，按照从上到下的顺序逐像素扫描二值化后的所述安全控件键盘图像，统计每列为黑色像素的元素个数，存储在列数组中；按照从左到右的顺序逐像素扫描二值化后的所述安全控件键盘图像，统计每行为黑色像素的元素个数，存储在行数组中；根据所述行数组和列数组确定每个按钮中的字符在所述安全控件键盘中对应的坐标，以获取每个按钮的上下左右边界与位置坐标，从所述安全控件键盘图像中分割出每个按钮图像。
在本发明的一实施方式中，所述构建字符识别神经网络模型；其中，构建的所述字符识别神经网络模型包括：一特征提取神经网络，所述特征提取神经网络包括1个3×3的卷积层分支和1个5×5的卷积层分支，每个所述卷积层分支分别连接1个池化层；一双层前馈神经网络，连接至所述特征提取神经网络用于进行字符识别。
在本发明的一实施方式中，所述将所述按钮图像输入所述字符识别神经网络模型，输出得到所述按钮图像中的字符；包括如下步骤：将所述按钮图像输入所述特征提取神经网络，通过所述3×3的卷积层分支对所述按钮图像进行特征提取得到特征h3*3，通过所述5×5的卷积层分支对所述按钮图像进行特征提取得到特征h5*5；对所述特征h3*3和所述特征h5*5进行拼接，得到按钮图像特征H：将所述按钮图像特征H输入所述双层前馈神经网络，输出得到所述按钮图像的分类分数向量，由ReLU激活函数对所述分类分数向量进行运算，输出所述按钮图像的分类概率值以确认输入的所述按钮图像对应的字符。
本发明可以采用卷积神经网络模型即所述特征提取神经网络提取图像特征，然后利用双层前馈神经网络进行字符识别，即可以对分割后包含字符的按钮图像进行字符识别，以确定每个按钮中对应的字符。具体而言，如图6所示，是本发明一实施例中字符识别神经网络模型的流程示意图。构建的所述字符识别神经网络模型包括：一特征提取神经网络，所述特征提取神经网络包括1个3×3的卷积层分支和1个5×5的卷积层分支，每个所述卷积层分支分别连接1个池化层；一双层前馈神经网络，连接至所述特征提取神经网络用于进行字符识别。将所述按钮图像输入所述特征提取神经网络，通过所述3×3的卷积层分支对所述按钮图像进行特征提取得到特征h3*3，通过所述5×5的卷积层分支对所述按钮图像进行特征提取得到特征h5*5；在具体实施中，在按钮图像特征提取阶段，待处理的按钮图像输入首先经过一个包含2个卷积层与对应池化层的特征提取神经网络进行特征提取，所述特征提取神经网络包括1个3×3的卷积层分支和1个5×5的卷积层分支，每个所述卷积层分支分别连接1个池化层，卷积过程为：
xi＝maxpooling(conv(conv(xi-1)))#(15)
其中，xi-1为第i层图片的输入，xi代表第i层卷积神经网络的输出，是一个三维张量。
在卷积层最后一层，将来自两个不同尺寸卷积核的特征进行拼接，即对所述特征h3*3和所述特征h5*5进行拼接，最终得到所述按钮图像特征H：
Figure BDA0003575260540000121
其中，h3*3表示来自卷积核尺寸为3×3卷积层分支的特征，h5*5表示来自卷积核尺寸为5×5卷积层分支的特征，
Figure BDA0003575260540000122
表示张量的串联操作。
将所述按钮图像特征H输入所述双层前馈神经网络进行字符识别，得到图片中的字符属于每一类的分数向量s，即输出得到所述按钮图像的分类分数向量s，
s＝W2(σ(W1·H))
其中，W1和W2是可学习的权重参数，σ是激活函数。
在其中一个可能的实施例中，采用ReLU激活函数对所述分类分数向量进行运算，输出所述按钮图像的分类概率值以确认输入的所述按钮图像对应的字符。即将分数向量s经过softmax函数获得字符识别为每一类的概率，公式为：
Figure BDA0003575260540000123
输出概率Oi最大的一类作为字符识别结果，以确认输入的所述按钮图像对应的字符。
本发明可以使用具有多个不同尺寸卷积核的卷积神经网络将所述按钮图像中的特征提取出来，其中多个不同尺寸的卷积核可以抽取不同粒度的图片特征。具体而言，通过所述3×3的卷积层分支对所述按钮图像进行特征提取得到特征h3*3，通过所述5×5的卷积层分支对所述按钮图像进行特征提取得到特征h5*5。经过特征提取后，获得一系列包含所述按钮图像特征的向量H，然后采用双层前馈神经网络对H进行分类，分类概率值最大的类别对应按钮中字符所属的类别，以此得到按钮-字符字典。
根据本发明的另一方面，提供一种银行安全控件自动登录***。图7是本发明一实施例中银行安全控件自动登录***的模块图。如图7所示，本实施例中银行安全控件自动登录***500包括获取模块510、第一分割模块520、第二分割模块530、识别模块540、构建模块550、以及点击模块560。所述获取模块510，用以在web端生成安全控件键盘并获取网页截图。所述第一分割模块520，用以构建基于UNet的网络图像分割模型，从所述网页截图中分割出安全控件键盘图像；所述第二分割模块530，用以从所述安全控件键盘图像中分割出所有按钮图像，并获取所述按钮图像在所述安全控件键盘中的位置；所述识别模块540，用以构建字符识别神经网络模型，将所述按钮图像输入所述字符识别神经网络模型，输出得到所述按钮图像对应的字符；所述构建模块550，用以结合所述按钮图像在所述安全控件键盘中的位置与所述按钮图像对应的字符，构建按钮-字符字典；所述点击模块560，用以根据所述按钮-字符字典查找待输入字符在所述安全控件键盘中对应的按钮位置，并对其触发点击操作，完成自动登录。
本发明通过获取模块510获取整个银行登录页面的网页截图作为输入数据，利用第一分割模块520将安全控件键盘图像从整个银行登陆页面的网页截图中分割出来，利用第二分割模块530自动地将每个按钮从所述安全控件键盘中分割出来，并通过识别模块540识别按钮中的字符，得到每个字符在键盘中对应的位置，可以最大限度地提高图像分割与识别的准确性和效率。通过构建模块550构建按钮-字符字典，所述点击模块560根据所述按钮-字符字典进行密码的自动输入。本发明在实施时可自动分割并识别不同安全控件键盘中的字符，不需要区分银行登录页面，不区分模板，可以满足对不同格式银行安全控件的自动登录，同时支持各大银行以及各个版本的安全空间，无需人工干预，具有高效准确的优点。
根据本发明的又一方面，提供一种电子设备，所述电子设备包括：
处理器；
存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述银行安全控件自动登录方法的步骤。
下面参照图8来描述根据本申请的一个实施例中的电子设备600。其中，图8显示的电子设备600仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图8所示，电子设备600以通用计算设备的形式表现。设备600的组件可以包括但不限于：至少一个处理器610、至少一个存储单元620、连接不同***组件(包括存储单元620和处理器610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理器610执行，使得处理器610执行本说明书上述电子处方流转处理方法部分中描述的根据本申请各种示例性实施方式的步骤。例如，处理器610可以执行以上方法中的步骤。
存储单元620可以包括易失性存储单元形式的存储介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、***总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得租户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络102适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
本发明在实施时可自动分割并识别不同安全控件键盘中的字符，不需要区分银行登录页面，不区分模板，可以满足对不同格式银行安全控件的自动登录，同时支持各大银行以及各个版本的安全空间，无需人工干预，具有高效准确的优点。
根据本发明的另一方面，提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述银行安全控件自动登录方法的步骤。
参考图9，在一种实施方式中，用于实现所述银行安全控件自动登录方法的程序产品800可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，且可以在服务器上运行。然而，本领域技术人员应能理解，本申请所指的程序产品不限于此，计算机存储介质可以是任何包含或存储程序的有形介质，且该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法或技术方案。本领域技术人员应能理解，计算机程序指令在计算机存储介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机存储介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个***传送到另一***的介质。通信介质可包括有导的传输介质(诸如电缆和线，例如光纤、同轴等)和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括(但不限于)易失性存储器，诸如随机存储器(RAM，DRAM，SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM，FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机***使用的计算机可读信息或数据。
总而言之，本发明克服了现有银行安全控件自动登录方法存在的过分依赖人工干预，识别效率较低等缺陷，提出了一种方法模型结构简单、训练复杂度低、计算速度快、识别率高达99.99％的基于深度学习的银行安全控件自动登录方法，该方法在实施时可自动分割并识别不同安全控件键盘中的字符，不需要区分银行登录页面，不区分模板，可以满足对不同格式银行安全控件的自动登录，同时支持各大银行以及各个版本的安全空间，无需人工干预，具有高效准确的优点。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.银行安全控件自动登录方法，其特征在于，包括如下步骤：
在web端生成安全控件键盘并获取网页截图；
构建基于UNet的网络图像分割模型，从所述网页截图中分割出安全控件键盘图像；
从所述安全控件键盘图像中分割出所有按钮图像，并获取所述按钮图像在所述安全控件键盘中的位置；
构建字符识别神经网络模型，将所述按钮图像输入所述字符识别神经网络模型，输出得到所述按钮图像对应的字符；
结合所述按钮图像在所述安全控件键盘中的位置与所述按钮图像对应的字符，构建按钮-字符字典；
根据所述按钮-字符字典查找待输入字符在所述安全控件键盘中对应的按钮位置，并对其触发点击操作，完成自动登录。
2.根据权利要求1所述的银行安全控件自动登录方法，其特征在于，所述构建基于UNet的网络图像分割模型；其中构建的所述网络图像分割模型包括依次连接的4个卷积块、1个全连接层、1个3×3的卷积层、1个1×1的卷积层；所述卷积块包括依次连接的2个3×3的卷积层和1个2×2的池化层；所述全连接层包括2个1×1的卷积层。
3.根据权利要求2所述的银行安全控件自动登录方法，其特征在于，所述从所述网页截图中分割出安全控件键盘图像；包括如下步骤：
将所述网页截图输入所述网络图像分割模型；
通过所述依次连接的4个卷积块对所述网页截图进行4层安全控件键盘图像特征提取，并对提取结果进行下采样得到第一特征；
通过所述全连接层对所述第一特征进行处理得到第二特征；
对所述第二特征进行至少一次上采样操作，直到所述第二特征还原到原图的尺寸，通过所述1个3×3的卷积层进行特征提取得到第三特征；
通过所述1个1×1的卷积层对所述第三特征进行处理，得到一个和原图尺寸相同的具有k个通道数的安全控件键盘图像。
4.根据权利要求1所述的银行安全控件自动登录方法，其特征在于，所述从所述安全控件键盘图像中分割出所有按钮图像，并获取所述按钮图像在所述安全控件键盘中的位置；包括如下步骤：
对所述安全控件键盘图像进行二值化处理，所述安全控件键盘图像中灰度小于或等于一预设阈值的像素点被判定为字符，字符的灰度值设置为0，其他像素点被判定为背景，背景的灰度值设置为255；
采用双向投影分割法从所述安全控件键盘图像中分割出每个所述按钮图像，并获取所述按钮图像在所述安全控件键盘中的坐标。
5.根据权利要求4所述的银行安全控件自动登录方法，其特征在于，所述采用双向投影分割法从所述安全控件键盘图像中分割出每个所述按钮图像，并获取所述按钮图像在所述安全控件键盘中的坐标，包括如下步骤：
从上到下逐像素扫描二值化后的所述安全控件键盘图像，统计每列为黑色像素的元素个数，存储在列数组中；
从左到右逐像素扫描二值化后的所述安全控件键盘图像，统计每行为黑色像素的元素个数，存储在行数组中；
根据所述列数组和行数组确定每个所述按钮中的字符在所述安全控件键盘中对应的坐标，以获取每个按钮的上下左右边界与位置坐标，从所述安全控件键盘图像中分割出每个按钮图像。
6.根据权利要求1所述的银行安全控件自动登录方法，其特征在于，所述构建字符识别神经网络模型；其中，构建的所述字符识别神经网络模型包括：一特征提取神经网络，所述特征提取神经网络包括1个3×3的卷积层分支和1个5×5的卷积层分支，每个所述卷积层分支分别连接1个池化层；一双层前馈神经网络，连接至所述特征提取神经网络用于进行字符识别。
7.根据权利要求6所述的银行安全控件自动登录方法，其特征在于，所述将所述按钮图像输入所述字符识别神经网络模型，输出得到所述按钮图像对应的字符；包括如下步骤：
将所述按钮图像输入所述特征提取神经网络，通过所述3×3的卷积层分支对所述按钮图像进行特征提取得到特征h3*3，通过所述5×5的卷积层分支对所述按钮图像进行特征提取得到特征h5*5；对所述特征h3*3和所述特征h5*5进行拼接，得到按钮图像特征H：
将所述按钮图像特征H输入所述双层前馈神经网络，输出得到所述按钮图像的分类分数向量，对所述分类分数向量进行运算，输出所述按钮图像的分类概率值以确定输入的所述按钮图像对应的字符。
8.一种银行安全控件自动登录***，其特征在于，包括
获取模块，用以在web端生成安全控件键盘并获取网页截图；
第一分割模块，用以构建基于UNet的网络图像分割模型，从所述网页截图中分割出安全控件键盘图像；
第二分割模块，用以从所述安全控件键盘图像中分割出所有按钮图像，并获取所述按钮图像在所述安全控件键盘中的位置；
识别模块，用以构建字符识别神经网络模型，将所述按钮图像输入所述字符识别神经网络模型，输出得到所述按钮图像对应的字符；
构建模块，用以结合所述按钮图像在所述安全控件键盘中的位置与所述按钮图像对应的字符，构建按钮-字符字典；
点击模块，用以根据所述按钮-字符字典查找待输入字符在所述安全控件键盘中对应的按钮位置，并对其触发点击操作，完成自动登录。
9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7中任一项所述银行安全控件自动登录方法的步骤。
10.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如权利要求1至7中任一项所述银行安全控件自动登录方法的步骤。
CN202210331616.1A 2022-03-31 2022-03-31 银行安全控件自动登录方法、***、设备及存储介质 Pending CN114743187A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210331616.1A CN114743187A (zh) 2022-03-31 2022-03-31 银行安全控件自动登录方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210331616.1A CN114743187A (zh) 2022-03-31 2022-03-31 银行安全控件自动登录方法、***、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114743187A true CN114743187A (zh) 2022-07-12

Family

ID=82279028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210331616.1A Pending CN114743187A (zh) 2022-03-31 2022-03-31 银行安全控件自动登录方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114743187A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905767A (zh) * 2023-01-07 2023-04-04 珠海金智维信息科技有限公司 基于固定候选框目标检测算法的网页登录方法及***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905767A (zh) * 2023-01-07 2023-04-04 珠海金智维信息科技有限公司 基于固定候选框目标检测算法的网页登录方法及***

Similar Documents

Publication Publication Date Title
US10650042B2 (en) Image retrieval with deep local feature descriptors and attention-based keypoint descriptors
CN108345827B (zh) 识别文档方向的方法、***和神经网络
CN113902926A (zh) 一种基于自注意力机制的通用图像目标检测方法和装置
CN105938559A (zh) 使用卷积神经网络的数字图像处理
CN109034206A (zh) 图像分类识别方法、装置、电子设备及计算机可读介质
CN112257578B (zh) 人脸关键点检测方法、装置、电子设备及存储介质
CN108681746A (zh) 一种图像识别方法、装置、电子设备和计算机可读介质
CN112633459A (zh) 训练神经网络的方法、数据处理方法和相关装置
CN114418030B (zh) 图像分类方法、图像分类模型的训练方法及装置
CN110059794A (zh) 人机识别方法及装置、电子设备、存储介质
CN109409504A (zh) 一种数据处理方法、装置、计算机及存储介质
CN115222998B (zh) 一种图像分类方法
CN116363037B (zh) 一种多模态图像融合方法、装置及设备
EP4350575A1 (en) Image classification method and related device thereof
EP4318322A1 (en) Data processing method and related device
CN111444802A (zh) 一种人脸识别方法、装置及智能终端
CN114743187A (zh) 银行安全控件自动登录方法、***、设备及存储介质
CN114282258A (zh) 截屏数据脱敏方法、装置、计算机设备及存储介质
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN114241411B (zh) 基于目标检测的计数模型处理方法、装置及计算机设备
CN114581177B (zh) 产品推荐方法、装置、设备及存储介质
CN116452802A (zh) 车损检测方法、装置、设备及存储介质
CN116992937A (zh) 神经网络模型的修复方法和相关设备
CN113487374A (zh) 一种基于5g网络的区块电商平台交易***
Fei et al. A GNN Architecture With Local and Global-Attention Feature for Image Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination