CN111582184B - 页面检测方法、装置、设备及存储介质 - Google Patents
页面检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111582184B CN111582184B CN202010392403.0A CN202010392403A CN111582184B CN 111582184 B CN111582184 B CN 111582184B CN 202010392403 A CN202010392403 A CN 202010392403A CN 111582184 B CN111582184 B CN 111582184B
- Authority
- CN
- China
- Prior art keywords
- detected
- page
- image
- region
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 claims abstract description 121
- 238000003708 edge detection Methods 0.000 claims description 49
- 230000004044 response Effects 0.000 claims description 30
- 230000015654 memory Effects 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 abstract description 83
- 235000019580 granularity Nutrition 0.000 description 46
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 12
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 239000002245 particle Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000011166 aliquoting Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种页面检测方法、装置、设备及存储介质,属于计算机技术领域。方法包括:获取待检测页面对应的待检测图像和负样本对应的梯度直方图信息;对待检测图像进行区域划分,得到待检测区域,确定待检测区域对应的梯度直方图;将待检测区域对应的梯度直方图与候选梯度直方图进行匹配,候选梯度直方图为满足匹配条件的负样本中的候选区域对应的梯度直方图;响应于任一待检测区域对应的梯度直方图匹配成功,确定待检测页面加载失败。基于上述过程,分别对每个待检测区域进行检测,检测粒度较细,能够识别出由于某一区域加载失败而导致待检测页面加载失败的情况,梯度直方图涉及的信息较丰富,有利于提高判断页面是否加载失败的准确率。
Description
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种页面检测方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展,终端可安装的应用程序和网页越来越多。例如,地图类应用程序、导航类网页等。在这些应用程序或者网页的使用过程中,可能会出现页面加载失败的情况,例如,地图页面加载失败、购物页面加载失败、支付页面加载失败等。如何准确检测出页面加载失败的情况是及时解决加载失败的问题,进而恢复应用程序或者网页的正常服务的关键。
相关技术中,将待检测页面对应的整个待检测图像的灰度直方图与该页面加载成功时的标准图像的灰度直方图进行匹配,进而根据匹配的结果判断页面是否加载失败。在此种页面检测的过程中,通过基于灰度直方图的匹配方法对整个待检测图像进行检测,检测粒度较粗,判断页面是否加载失败的准确率较低,页面检测的效果较差。
发明内容
本申请实施例提供了一种页面检测方法、装置、设备及存储介质,可用于解决相关技术中的问题。所述技术方案如下:
一方面,本申请实施例提供了一种页面检测方法,所述方法包括:
获取待检测页面对应的待检测图像和负样本对应的梯度直方图信息,所述负样本基于加载失败的页面对应的图像训练得到,所述负样本对应的梯度直方图信息用于指示所述负样本中的不同位置的区域对应的梯度直方图;
对所述待检测图像进行区域划分,得到待检测区域,确定所述待检测区域对应的梯度直方图;
将所述待检测区域对应的梯度直方图与候选梯度直方图进行匹配,所述候选梯度直方图为候选区域对应的梯度直方图,所述候选区域为满足匹配条件的负样本中的与所述待检测区域处于对应位置的区域;
响应于任一待检测区域对应的梯度直方图匹配成功,确定所述待检测页面加载失败。
另一方面,提供了一种页面检测装置,所述装置包括:
获取模块,用于获取待检测页面对应的待检测图像和负样本对应的梯度直方图信息,所述负样本基于加载失败的页面对应的图像训练得到,所述负样本对应的梯度直方图信息用于指示所述负样本中的不同位置的区域对应的梯度直方图;
划分模块,用于对所述待检测图像进行区域划分,得到待检测区域;
第一确定模块,用于确定所述待检测区域对应的梯度直方图;
匹配模块,用于将所述待检测区域对应的梯度直方图与候选梯度直方图进行匹配,所述候选梯度直方图为候选区域对应的梯度直方图,所述候选区域为满足匹配条件的负样本中的与所述待检测区域处于对应位置的区域;
第二确定模块,用于响应于任一待检测区域对应的梯度直方图匹配成功,确定所述待检测页面加载失败。
可选地,所述划分模块,还用于对所述待检测图像分别按照第一粒度和第二粒度进行区域划分,得到第一尺寸的待检测区域和第二尺寸的待检测区域;
所述第一确定模块,还用于确定所述第一尺寸的待检测区域对应的梯度直方图和所述第二尺寸的待检测区域对应的梯度直方图。
可选地,所述第一尺寸大于所述第二尺寸,所述候选梯度直方图包括第一候选梯度直方图和第二候选梯度直方图,所述匹配模块,还用于将所述第一尺寸的待检测区域对应的梯度直方图与第一候选梯度直方图进行匹配;响应于第一尺寸的待检测区域对应的梯度直方图均匹配失败,将所述第二尺寸的待检测区域对应的梯度直方图与第二候选梯度直方图进行匹配。
可选地,所述第二确定模块,还用于响应于任一第一尺寸的待检测区域对应的梯度直方图匹配成功,确定所述待检测页面加载失败;或者,响应于第一尺寸的待检测区域对应的梯度直方图均匹配失败、任一第二尺寸的待检测区域对应的梯度直方图匹配成功,确定所述待检测页面加载失败。
可选地,所述装置还包括:
边缘检测模块,用于响应于所述待检测区域对应的梯度直方图均匹配失败,对所述待检测图像进行边缘检测;
所述第二确定模块,还用于响应于边缘检测的结果指示所述待检测图像中不存在目标形状,确定所述待检测页面加载失败。
可选地,所述获取模块,还用于获取待检测页面对应的至少一个标准图层的颜色值;
所述装置还包括:
操作模块,用于响应于边缘检测的结果指示所述待检测图像中存在目标形状,根据所述待检测页面对应的至少一个标准图层的颜色值,对所述待检测图像进行二值化操作;
所述第二确定模块,还用于响应于根据任一标准图层的颜色值对所述待检测图像进行二值化操作后得到的图像不满足颜色条件,确定所述待检测页面加载失败。
可选地,所述获取模块,还用于获取待检测页面对应的至少一个标准图层的颜色值;
所述操作模块,还用于响应于所述待检测区域对应的梯度直方图均匹配失败,根据所述待检测页面对应的至少一个标准图层的颜色值,对所述待检测图像进行二值化操作;
所述第二确定模块,还用于响应于根据任一标准图层的颜色值对所述待检测图像进行二值化操作后得到的图像不满足颜色条件,确定所述待检测页面加载失败。
可选地,所述装置还包括:
采集模块,用于采集设备信息;
上传模块,用于将所述设备信息和所述待检测图像上传至服务器。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现上述任一所述的页面检测方法。
另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现上述任一所述的页面检测方法。
本申请实施例提供的技术方案至少带来如下有益效果:
将待检测图像划分成待检测区域,将待检测区域对应的梯度直方图与负样本中的候选区域对应的候选梯度直方图进行匹配,当任一待检测区域对应的梯度直方图匹配成功时,确定待检测页面加载失败。在此种页面检测的过程中,分别对每个待检测区域进行检测,检测粒度较细,能够识别出由于某一区域加载失败而导致待检测页面加载失败的情况,此外,梯度直方图涉及的信息较丰富,基于梯度直方图进行检测,可以提高判断页面是否加载失败的准确率,页面检测的效果较好。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种页面检测方法的实施环境的示意图;
图2是本申请实施例提供的一种页面检测方法的流程图;
图3是本申请实施例提供的一种待检测图像以及待检测图像对应的梯度直方图的示意图;
图4是本申请实施例提供的一种在对地图页面对应的待检测图像进行形状检测的过程中得到的图像的示意图;
图5是本申请实施例提供的一种待检测图像和根据文字标注图层的颜色值对待检测图像进行二值化操作后得到的图像的示意图;
图6是本申请实施例提供的一种页面检测过程的示意图;
图7是本申请实施例提供的一种页面检测装置的示意图;
图8是本申请实施例提供的一种页面检测装置的示意图;
图9是本申请实施例提供的一种服务器的结构示意图;
图10是本申请实施例提供的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
随着计算机技术的发展,终端可安装的应用程序和网页越来越多。例如,地图类应用程序、导航类网页等。在这些应用程序或者网页的使用过程中,可能会出现页面加载失败的情况,例如,地图页面加载失败、购物页面加载失败、支付页面加载失败等。如何准确检测出页面加载失败的情况是及时解决加载失败的问题,进而恢复应用程序或者网页的正常服务的关键。
示例性地,以应用程序为地图类应用程序为例,在地图类应用程序的使用过程中,可能会出现地图页面加载失败的情况(如,文字标注加载失败、导航路线加载失败等)。此时,只有及时检测出页面加载失败的情况,才能通过解决地图加载失败的问题来恢复正常的地图服务。需要说明的是,不同的地图类应用程序恢复正常的地图服务的方式可能不同。例如,对于封装了多种业务方提供的地图的统一地图类应用程序而言,当检测出某种地图的地图页面加载失败的情况时,恢复正常的地图服务的方式可以为动态无缝切换到其他地图的地图页面。
本申请实施例提供了一种页面检测方法,以判断页面是否加载失败。请参考图1,其示出了本申请实施例提供的页面检测方法的实施环境的示意图。该实施环境可以包括:终端11和服务器12。
其中,终端11安装有能够显示页面的应用程序或者网页,当该应用程序或者网页显示的页面需要进行检测时,可应用本申请实施例提供的方法进行页面检测。服务器12可以训练用于判断页面是否加载失败的负样本,然后将负样本的梯度直方图信息发送至终端11,终端11基于负样本的梯度直方图信息对待检测页面对应的待检测图像进行检测,以判断页面是否加载失败。当然,终端11也可以将待检测页面对应的待检测图像发送至服务器12,服务器12基于负样本的梯度直方图信息对待检测页面对应的待检测图像进行检测,以判断页面是否加载失败。
可选地,终端11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品,例如PC(PersonalComputer,个人计算机)、手机、智能手机、PDA(Personal Digital Assistant,个人数字助手)、可穿戴设备、掌上电脑PPC(Pocket PC)、平板电脑、智能车机、智能电视、智能音箱等。服务器12可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心。终端11与服务器12通过有线或无线网络建立通信连接。
本领域技术人员应能理解上述终端11和服务器12仅为举例,其他现有的或今后可能出现的终端或服务器如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
基于上述图1所示的实施环境,本申请实施例提供一种页面检测方法,以该方法应用于终端11为例。如图2所示,本申请实施例提供的方法可以包括如下步骤:
在步骤201中,获取待检测页面对应的待检测图像和负样本对应的梯度直方图信息。
其中,负样本基于加载失败的页面对应的图像训练得到,负样本对应的梯度直方图信息用于指示负样本中的不同位置的区域对应的梯度直方图。
待检测页面是指终端安装的应用程序或网页中的任一页面,例如,当终端安装的应用程序为地图类应用程序时,待检测页面可以是指该地图类应用程序的首页面,也可以是指该地图类应用程序使用过程中的导航页面等。
待检测页面对应的待检测图像可以是指对待检测页面中的可视区域进行截图后得到的图像,该图像可以为RGB(Red Green Blue,红绿蓝)图像。可选地,终端可以安装有页面检测***,终端获取待检测页面对应的待检测图像的过程可以为:响应于待检测页面的检测指令,终端调用页面检测***对待检测页面的可视区域进行截图,得到待检测页面对应的待检测图像。待检测页面的检测指令可以在显示待检测页面时自动触发,也可以由用户手动触发,本申请实施例对此不加以限定。
可选地,页面检测***可以基于页面检测SDK(Software Development Kit,软件开发工具包)构建得到。需要说明的是,本申请实施例对页面导航***的启动时机不加以限定,只要在被调用之前启动即可,例如,页面导航***可以在终端启动某一应用程序或网页时启动,也可以在检测到待检测页面的检测指令时启动等。
负样本为页面加载失败情况下的样本,用于检测待检测图像是否加载失败。需要说明的是,负样本可以是指各个待检测页面通用的负样本,也可以是指针对待检测页面对应的某一应用程序或网页的负样本,无论是通用的负样本还是针对某一应用程序或网页的负样本,相比于相关技术中在检测每个页面时均获取该页面对应的加载成功时的标准图像(正样本),本申请实施例可以提供较少数量的样本,页面检测的效果较好。
可选地,负样本可以基于加载失败的页面对应的图像训练得到。加载失败的页面可以是指局部加载失败的页面、形状加载失败的页面以及图层加载失败的页面中的一种或多种。训练得到负样本的过程可以由终端执行,也可以由服务器执行,本申请实施例对此不加以限定。本申请实施例以训练得到负样本的过程由服务器执行为例进行说明。
服务器基于加载失败的页面对应的图像训练得到负样本,加载失败的页面对应的图像可以由应用程序或网页的业务方上传至服务器,也可以由应用程序或网页的使用用户上传至服务器,本申请实施例对此不加以限定。在得到加载失败的页面对应的图像后,服务器对加载失败的页面对应的图像进行训练,得到负样本,本申请实施例对训练过程不加以限定。示例性地,对加载失败的页面对应的图像进行训练的过程可以为:提取各个图像的特征,基于各个图像的特征进行训练,得到融合多个图像的特征的图像作为负样本。可选地,在对加载失败的页面对应的图像进行训练的过程中,还可以对图像进行聚类,然后针对每类图像分别进行训练,得到每类图像对应的负样本。聚类的标准可以为加载失败原因、加载失败区域等,本申请实施例对此不加以限定。
在训练得到负样本后,服务器可以获取负样本对应的梯度直方图信息,负样本对应的梯度直方图信息用于指示负样本中的不同位置的区域对应的梯度直方图。需要说明的是,负样本的数量可能为一个或多个,不同的负样本可能对应不同的加载失败原因、不同的加载失败区域、不同的缩放等级等。当负样本的数量为多个时,服务器分别获取每个负样本对应的梯度直方图信息。
可选地,梯度直方图信息可以是指负样本对应的整个梯度直方图,整体梯度直方图的尺寸与负样本的尺寸一致,在该整个梯度直方图中可以截取出负样本中的不同位置的区域对应的梯度直方图。梯度直方图信息还可以是指负样本中的各个单位区域对应的梯度直方图,将多个单位区域对应的梯度直方图进行串联,即可得到负样本中的不同位置的区域对应的梯度直方图。
可选地,负样本对应的整个梯度直方图可以基于负样本中的各个单位区域对应的梯度直方图得到。基于负样本中的各个单位区域对应的梯度直方图得到负样本对应的整个梯度直方图的方式包括但不限于以下三种:
方式1:将负样本中的各个单位区域对应的梯度直方图直接按照顺序进行连接,得到负样本对应的整个梯度直方图。
在此种方式1下,得到负样本对应的整个梯度直方图的效率较高。
方式2:将负样本中的各个单元区域对应的梯度直方图进行归一化处理,将归一化处理后的各个单元区域对应的梯度直方图按照顺序进行连接,得到负样本对应的整个梯度直方图。
在此种方式2下,可以一定程度上消除光照的影响。
方式3:将负样本中的单元区域合并成较大的块,按照块对该块内的单元区域对应的梯度直方图进行归一化处理,将归一化处理后的各个单元区域对应的梯度直方图按照顺序进行连接,得到负样本对应的整个梯度直方图。
在此种方式3下,把各个单元区域组合成大的、空间上连通的块。不同的块之间是互有重叠的,这样可以使得每个单元区域的梯度直方图会以不同的结果多次出现在负样本对应的整个梯度直方图中。根据此种方式3得到的负样本对应的整个梯度直方图更贴近负样本真实的特征。
无论基于负样本中的各个单位区域对应的梯度直方图得到负样本对应的整个梯度直方图的方式为上述哪种方式,在得到负样本对应的整个梯度直方图之前,均需要先获取负样本中的各个单位区域对应的梯度直方图。可选地,本申请实施例中的梯度直方图可以是指可视化后的梯度直方图,以便于进行直观比对。
负样本的本质为图像,接下来介绍获取一张图像中的各个单位区域对应的梯度直方图的过程。梯度直方图可以是指HOG(Histogram of Oriented Gradient,方向梯度直方图)。可选地,获取一张图像中的各个单位区域对应的梯度直方图的过程可以包括以下3个步骤:
(1)对图像进行预处理。
预处理的目的为将图像进行归一化,以降低图像局部的阴影和光照变化所造成的影响。可选地,对图像进行预处理的方式可以是指对图像进行伽马矫正。
(2)计算图像中的每个像素点的梯度。
每个像素点的梯度包括每个像素点的梯度幅值和梯度方向,每个像素点的梯度幅值和梯度方向可以基于每个像素点的水平方向梯度和垂直方向梯度计算得到。因此,在计算每个像素点的梯度之前,需要先计算每个像素点的水平方向梯度和垂直方向梯度。每个像素点的水平方向梯度可以基于公式1计算得到,像素点的垂直方向梯度可以基于公式2计算得到:
Gx(x,y)=H(x+1,y)-H(x-1,y)(公式1)
Gy(x,y)=H(x,y+1)-H(x,y-1)(公式2)
其中,Gx(x,y)表示坐标为(x,y)的像素点的水平方向梯度;Gy(x,y)表示坐标为(x,y)的像素点的垂直方向梯度;H(x+1,y)表示坐标为(x+1,y)的像素点的像素值;H(x-1,y)表示坐标为(x-1,y)的像素点的像素值;H(x,y+1)表示坐标为(x,y+1)的像素点的像素值;H(x,y-1)表示坐标为(x,y-1)的像素点的像素值。
计算得到每个像素点的水平方向梯度和垂直方向梯度的实现过程可以为:利用[-1,0,1]梯度算子对图像做卷积运算,得到水平方向梯度(以向右为正方向);利用[-1,0,1]T梯度算子对图像做卷积运算,得到垂直方向梯度(以向上为正方向)。
在计算得到每个像素点的水平方向梯度和垂直方向梯度后,可以分别利用公式3和公式4计算每个像素点的梯度幅值和梯度方向,从而得到每个像素点的梯度。
其中,G(x,y)表示坐标为(x,y)的像素点的梯度幅值;Gx(x,y)表示坐标为(x,y)的像素点的水平方向梯度;Gy(x,y)表示坐标为(x,y)的像素点的垂直方向梯度;α(x,y)表示坐标为(x,y)的像素点的梯度方向。
需要说明的是,对于RGB图像,会在每个像素点的三个通道上都计算梯度(梯度幅值和梯度方向)。将三个通道上最大的梯度幅值作为像素点的梯度幅值,将最大的梯度幅值对应的梯度方向作为像素点的梯度方向。
(3)为每个单位区域构建梯度直方图。
将预处理后的图像分割成若干个单位区域,每个单位区域由多个像素点构成,例如,每个单位区域由6*6个像素点构成。采用方向块的方式统计每个单位区域包含的像素点的梯度幅值和梯度方向,从而为每个单位区域构建梯度直方图。
可选地,采用方向块的方式统计每个单位区域包含的像素点的梯度幅值和梯度方向,从而为每个单位区域构建梯度直方图的过程可以为:将360度的梯度方向切割为9个方向块,对单位区域内每个像素点用梯度幅值和梯度方向在直方图中进行加权投影(映射到固定的角度范围),得到这个单位区域的梯度直方图(方向梯度直方图)。在对单位区域内每个像素点用梯度幅值和梯度方向在直方图中进行加权投影的过程中,梯度方向用于定位方向块,梯度幅值用于作为投影的权值。
例如,将360度的梯度方向切割为9个方向块的结果可以为:0度到20度以及180度到200度表示方向块1,20度到40度以及200度到220度表示方向块2,160度到180度以及340度到360度表示方向块9。在对单位区域内每个像素点用梯度幅值和梯度方向在直方图中进行加权投影的过程中,如果单位区域内的某个像素点的梯度方向为30度,则为方向块2的计数增加该像素点的梯度幅值。
在得到每个单位区域的梯度直方图的数值表示结果后,可以将数值表示结果进行可视化,将可视化的结果作为每个单位区域对应的梯度直方图。
在得到每个单位区域对应的梯度直方图后,无论梯度直方图信息是指负样本对应的整个梯度直方图,还是指负样本中的各个单位区域对应的梯度直方图,服务器均可以得到负样本对应的梯度直方图信息。
可选地,终端获取负样本对应的梯度直方图信息的过程可以:终端调用页面检测***从服务器拉取负样本对应的梯度直方图信息。
需要说明的是,本申请实施例对获取待检测页面对应的待检测图像和负样本对应的梯度直方图信息的先后顺序不加以限定。示例性地,可以先获取负样本对应的梯度直方图信息,再获取待检测页面对应的待检测图像,以保证在获取待检测页面对应的待检测图像后立即进行检测;还可以先获取待检测页面对应的待检测图像,再获取负样本对应的梯度直方图信息,以减少终端的占用内存。
在步骤202中,对待检测图像进行区域划分,得到待检测区域,确定待检测区域对应的梯度直方图。
在得到待检测图像后,对待检测图像进行区域划分,得到待检测区域,以通过对待检测区域的检测来判断待检验页面是否加载失败。此种方式相比于直接对整个待检测图像进行检测,可以细化检测粒度,提高判断待检测页面是否加载失败的准确率。
可选地,对待检测图像进行区域划分的次数可以为一次,也可以为多次,每次区域划分均针对整个待检测图像进行划分。需要说明的是,一个划分过程可以是指等分过程,也可以是指非等分过程,本申请实施例对此不加以限定。当一次划分过程为等分过程时,该次划分后得到相同尺寸的待检测区域,当一次划分过程为非等分过程时,该次划分后得到不同尺寸的待检测区域。本申请实施例以每次划分过程均为等分过程为例进行说明。
可选地,对待检测区域进行等分的过程可以为:按照参考粒度对待检测图像进行区域划分。参考粒度用于指示如何对待检测图像进行等分,可选地,参考粒度可以指示将待检测图像的长和宽分别等分为几等份,例如,参考粒度可以为2*2,在此种参考粒度下,将待检测图像的长和宽分别等分为2等份。
待检测区域的数量和尺寸由参考粒度确定。需要说明的是,参考粒度可以为一种粒度,也可以为多种粒度。当参考粒度为一种粒度时,对待检测图像进行一次区域划分,得到一种尺寸的待检测区域,这一种尺寸的待检测区域的数量由该一种参考粒度确定。例如,假设参考粒度为2*2这一种粒度,则按照该粒度对待检测图像的长和宽分别等分成2份后,得到4个尺寸为待检测图像尺寸的1/4的待检测区域。
当参考粒度为多种粒度时,根据每种粒度分别对待检测图像进行一次区域划分,每次区域划分后均得到一种尺寸的待检测区域。以参考粒度为两种粒度为例,这两种粒度分为为第一粒度和第二粒度,在此种情况下,对待检测图像进行区域划分,得到待检测区域的过程可以为:对待检测图像分别按照第一粒度和第二粒度进行区域划分,得到第一尺寸的待检测区域和第二尺寸的待检测区域。可选地,第一粒度可以为较粗的粒度,第二粒度可以为较细的粒度。例如,第一粒度为2*2,第二粒度为4*4。在此种情况下,第一尺寸大于第二尺寸。可选地,任一第一尺寸的待检测区域可以由至少两个第二尺寸的待检测区域构成。例如,当第一粒度为2*2,第二粒度为4*4时,任一第一尺寸的待检测区域由4个第二尺寸的待检测区域构成。
当参考粒度为多种粒度时,可以实现通过多粒度的检测来判断待检测页面是否加载失败。可选地,多种粒度可以按照由粗到细依次排列,粗的粒度对应大尺寸的待检测区域,细的粒度对应小尺寸的待检测区域。按照由粗到细依次排列的多种粒度分别进行区域划分后,可以得到尺寸由大到小的待检测区域。需要说明的是,由于按照每种粒度均对整个待检测图像进行区域划分,所以每种尺寸的待检测区域均构成整个待检测图像。
在得到待检测区域后,确定待检测区域对应的梯度直方图,每个待检测区域均对应有梯度直方图。可选地,确定待检测区域对应的梯度直方图的方式包括但不限于以下两种:
方式一:提取待检测图像对应的梯度直方图,将待检测图像对应的梯度直方图中与待检测区域同样位置的梯度直方图作为待检测区域对应的梯度直方图。
方式二:提取待检测图像中的单位区域对应的梯度直方图,将构成待检测区域的单位区域的梯度直方图连接起来得到待检测区域对应的梯度直方图。
方式一中的待检测图像对应的梯度直方图可以基于方式二中的待检测图像中的单位区域对应的梯度直方图得到。提取待检测图像中的单位区域对应的梯度直方图的过程以及基于待检测图像中的单位区域对应的梯度直方图得到待检测图像对应的梯度直方图的实现过程可以参见步骤201中服务器获取负样本对应的梯度直方图信息的过程,此处不再赘述。
例如,待检测图像以及待检测图像对应的梯度直方图可以如图3所示。图3中的(1)为待检测图像,图3中的(2)为图3中的(1)所示的待检测图像对应的梯度直方图。根据图3中的(2)可知,矩形框301和矩形框302中的梯度较小,在基于梯度直方图对待检测区域进行检测的过程中,可以确定矩形框301和矩形框302对应的待检测区域加载失败。
可选地,对于对待检测图像分别按照第一粒度和第二粒度进行区域划分,得到第一尺寸的待检测区域和第二尺寸的待检测区域的情况,待检测区域包括第一尺寸的待检测区域和第二尺寸的待检测区域。此时,确定待检测区域对应的梯度直方图的过程为:确定第一尺寸的待检测区域对应的梯度直方图和第二尺寸的待检测区域对应的梯度直方图。
在步骤203中,将待检测区域对应的梯度直方图与候选梯度直方图进行匹配,候选梯度直方图为候选区域对应的梯度直方图,候选区域为满足匹配条件的负样本中的与待检测区域处于对应位置的区域。
在得到待检测区域对应的梯度直方图后,基于待检测区域对应的梯度直方图对待检测区域进行检测,进而根据待检测区域的检测结果判断待检测页面是否加载失败。
在基于待检测区域对应的梯度直方图对待检测区域进行检测的过程中,将待检测区域对应的梯度直方图与候选梯度直方图进行匹配。其中,候选梯度直方图为满足匹配条件的负样本中的与待检测区域处于对应位置的候选区域对应的梯度直方图。需要说明的是,待检测区域的数量为多个,在此步骤203的实现过程中,基于每个待检测区域对应的梯度直方图分别对每个待检测区域进行检测。
当只有一种尺寸的待检测区域时,将每个待检测区域依次进行检测,直至任一待检测区域对应的梯度直方图匹配成功,执行步骤204。当有多种不同尺寸的待检测区域时,可以先对大尺寸的待检测区域依次进行检测,若任一大尺寸的待检测区域对应的梯度直方图匹配成功,执行步骤204;若各个大尺寸的待检测区域对应的梯度直方图均匹配失败,则对每个较小尺寸的待检测区域进行检测,循环上述过程,直至任一待检测区域对应的梯度直方图匹配成功,执行步骤204。需要说明的是,在任一待检测区域对应的梯度直方图匹配成功时,可以停止对其他未检测的待检测区域的检测过程,也可以继续完成对其他未检测的待检测区域的检测过程,本申请实施例对此不加以限定。
无论何种尺寸的待检测区域,对任一待检测区域进行检测的过程均为:将待检测区域对应的梯度直方图与候选梯度直方图进行匹配。其中,候选梯度直方图为满足匹配条件的负样本中的与待检测区域处于对应位置的区域对应的梯度直方图。接下来以对任一待检测区域的检测过程为例进行说明。
每个负样本中均具有与待检测区域处于对应位置的区域。当负样本与待检测图像的尺寸相同时,与待检测区域处于对应位置的区域可以是指与待检测区域处于相同位置的区域;当负样本与待检测图像的尺寸不同时,与待检测区域处于对应位置的区域可以是指在负样本中的相对位置与待检测区域在待检测图像中的相对位置一致的区域。将与待检测区域处于对应位置的区域作为候选区域。
在对待检测区域进行检测之前,需要先确定满足匹配条件的负样本,以根据满足匹配条件的负样本进一步确定用于进行匹配的候选区域对应的梯度直方图。
负样本的数量可能为多个,这多个负样本中可能存在不适合用于对待检测区域进行检测的负样本,所以需要先确定适合用于对待检测区域进行检测的负样本。可选地,适合用于对待检测区域进行检测的负样本包括但不限于以下特征:与待检测区域处于对应位置的区域加载失败;缩放等级与待检测页面相同。
在筛选出适合用于对待检测区域进行检测的负样本后,可以根据适合用于对待检测区域进行检测的负样本,确定满足匹配条件的负样本。可选地,根据适合用于对待检测区域进行检测的负样本,确定满足匹配条件的负样本的方式可以为:将全部适合用于对待检测区域进行检测的负样本作为满足匹配条件的负样本。可选地,各个负样本可以预先设置有优先级,根据适合用于对待检测区域进行检测的负样本,确定满足匹配条件的负样本的方式还可以为:将优先级靠前的一个或多个适合用于对待检测区域进行检测的负样本作为满足匹配条件的负样本。
在确定满足匹配条件负样本后,可以将满足匹配条件的负样本中的候选区域对应的梯度直方图作为候选梯度直方图,然后将待检测区域对应的梯度直方图与候选梯度直方图进行匹配。需要说明的是,对于任一待检测区域而言,满足匹配条件的负样本可能有一个或多个。当满足匹配条件的负样本有多个时,每个满足匹配条件的负样本中的候选区域均对应一个候选梯度直方图,将待检测区域对应的梯度直方图分别与每个候选梯度直方图进行匹配。
上述过程以一个待检测区域为例介绍了确定满足匹配条件的负样本的过程,需要说明的是,不同的待检测区域对应的满足匹配条件的负样本可能相同,也可能不同,本申请实施例对此不加以限定。
对于任一待检测区域而言,在与候选梯度直方图进行匹配的过程中,可以计算待检测区域对应的梯度直方图和候选梯度直方图之间的相似度,进而根据相似度判断待检测区域对应的梯度直方图是否匹配成功。可选地,计算两个梯度直方图之间的相似度的方式可以为:基于欧式距离计算两个梯度直方图之间的相似度。
对于满足匹配条件的负样本有多个的情况,将待检测区域对应的梯度直方图分别与每个候选梯度直方图进行匹配的过程中,可以得到多个相似度,然后可以计算多个相似度的平均相似度,根据平均相似度判断待检测区域对应的梯度直方图是否匹配成功。
可选地,根据相似度判断待检测区域对应的梯度直方图是否匹配成功的过程为:响应于相似度超过相似度阈值,确定待检测区域对应的梯度直方图匹配成功;响应于相似度不超过相似度阈值,确定待检测区域对应的梯度直方图匹配失败。相似度阈值可以为预先设置的固定阈值,全部待检测区域的匹配过程均通过与该固定阈值进行比对。相似度阈值还可以根据负样本设置,不同的负样本对应不同的相似度阈值。根据负样本设置相似度阈值的方式可以为:根据负样本的噪声情况确定该负样本对应的相似度阈值。
对于不同负样本各自对应相似度阈值的情况,当满足匹配条件的负样本的数量为一个时,将计算得到的相似度与该满足匹配条件的负样本对应的相似度阈值进行比对;当满足匹配条件的负样本的数量为多个时,可以计算多个满足匹配条件的负样本对应的相似度阈值的平均相似度阈值,然后将计算得到的平均相似度与平均相似度阈值进行比对。
上述过程介绍了对一个待检测区域进行检测的过程。需要说明的是,对所有待检测区域进行检测的过程均可以根据上述过程实现,此处不再赘述。
可选地,对于待检测区域包括第一尺寸的待检测区域和第二尺寸的待检测区域的情况,当第一尺寸大于第二尺寸时,候选梯度直方图包括第一候选梯度直方图和第二候选梯度直方图。将待检测区域对应的梯度直方图与候选梯度直方图进行匹配的过程可以包括:将第一尺寸的待检测区域对应的梯度直方图与第一候选梯度直方图进行匹配;响应于第一尺寸的待检测区域对应的梯度直方图均匹配失败,将第二尺寸的待检测区域对应的梯度直方图与第二候选梯度直方图进行匹配。
第一候选梯度直方图是指用于与第一尺寸的待检测区域对应的梯度直方图进行匹配的候选梯度直方图,第二候选梯度直方图是指用于与第二尺寸的待检测区域对应的梯度直方图进行匹配的候选梯度直方图。需要说明的是,每个第一尺寸的待检测区域均对应一个第一候选梯度直方图,每个第二尺寸的待检测区域均对应一个第二候选梯度直方图。先对大尺寸的待检测区域进行检测,当大尺寸的待检测区域的梯度直方图均匹配失败时,再对小尺寸的待检测区域进行检测,此种方式既能实现多粒度的检测过程,又能提高检测效率。
对待检测区域进行检测的结果包括以下两种:
1、任一待检测区域对应的梯度直方图匹配成功。
需要说明的是,此处的任一待检测区域可以是指任一尺寸的任一待检测区域。由于检测过程中将待检测区域对应的梯度直方图与满足匹配条件的负样本中的候选区域对应的梯度直方图进行匹配,满足匹配条件的负样本中的候选区域加载失败,所以,当任一待检测区域对应的梯度直方图匹配成功时,说明待检测图像中的该任一待检测区域加载失败,此时,执行步骤204。
2、待检测区域对应的梯度直方图均匹配失败。
当待检测区域对应的梯度直方图均匹配失败时,可以认为在基于梯度直方图进行的分区域检测层面,待检测图像中的各个待检测区域均未加载失败。此时,可以在基于梯度直方图进行的分区域检测层面确定待检测页面未加载失败。需要说明的是,对于待检测区域中包括多种尺寸的待检测区域的情况,此处的待检测区域对应的梯度直方图均匹配失败是指全部尺寸的全部待检测区域对应的梯度直方图均匹配失败。
可选地,在待检测区域对应的梯度直方图均匹配失败的情况下,包括但不限于以下三种处理过程:
处理过程一:响应于待检测区域对应的梯度直方图均匹配失败,确定待检测页面加载成功。
在此种处理过程中,当在基于梯度直方图进行的分区域检测层面确定待检测页面未加载失败时,即认为待检测页面加载成功。在此种处理过程一下,通过分区域进行检测完成判断待检测页面是否加载失败的整个页面检测过程,与相关技术中直接对整个待检测图像进行检测的方式相比,检测粒度较细。
处理过程二:响应于待检测区域对应的梯度直方图均匹配失败,对待检测图像进行边缘检测;响应于边缘检测的结果指示待检测图像中不存在目标形状,确定待检测页面加载失败。
当在基于梯度直方图进行的分区域检测层面确定待检测页面未加载失败时,可以在形状检测层面对待检测图像进行进一步检测,以提高判断待检测页面是否加载失败的准确率。在形状检测层面对待检测图像进行检测的过程为:对待检测图像进行边缘检测,根据边缘检测的结果判断待检测图像中是否存在目标形状。
边缘检测是图像处理和计算机视觉中的一种分析图像的方法,边缘检测的目的是识别出图像中亮度变化明显的点,边缘检测后表现出来的往往是轮廓。对待检测图像进行边缘检测的方法可以为Sobel(索贝尔)边缘检测方法、Laplacian(拉普拉斯算子)边缘检测方法或Canny(坎尼)边缘检测方法,不同的边缘检测方法的检测效果可能不同,但均可以起到边缘检测的作用,本申请实施例对采用哪种边缘检测方法对待检测图像进行边缘检测不加以限定。
在对待检测图像进行边缘检测后,可以得到边缘检测的结果,然后终端可以对边缘检测的结果进行分析处理,以根据边缘检测的结果判断待检测图像中是否存在目标形状。目标形状是指待检测页面中应该包括的基本形状。目标形状可以根据待检测页面对应的应用程序或网页进行设置,本申请实施例对此不加以限定。示例性地,当待检测页面对应的应用程序为地图类应用程序时,待检测页面中应该包括的目标形状可以设置为直线。目标形状的数量可以为一个或多个,当目标形状的数量为一个时,这一个目标形状可以具有不同的层次。示例性地,对于地图类应用程序中的待检测页面,目标形状可以设置为直线。直线可以具有普通道路层次,以及导航路线层次。
可选地,对边缘检测的结果进行分析处理的方式可以为:对边缘检测的结果进行霍夫变换。霍夫变换是从图像中识别几何形状的基本方法之一,主要用来从图像中分离出具有某种相同特征的几何形状(如,直线,圆等)。霍夫变换的算法流程大致为:给定边缘检测的结果和待辨别的目标形状,霍夫变换算法将图像空间中的边缘检测特征点映射到参数空间进行投票,通过检测累计结果的局部极值点得到一个符合某特定形状的点的集合。若根据霍夫变换算法进行处理后可以得到目标形状,说明边缘检测的结果指示待检测图像中存在目标形状;若根据霍夫变换算法进行处理后无法得到目标形状,说明边缘检测的结果指示待检测图像中不存在目标形状。
可选地,对于目标形状包括两种层次的直线的情况,对边缘检测的结果进行霍夫变换的过程可以为:先对边缘检测的结果进行预处理,屏蔽某一层次的直线,然后再对边缘检测的结果进行霍夫变换,以判断是否存在另外一层次的直线。可选地,不同层次的直线可以对应不同的颜色,屏蔽某一层次的直线的方式可以为:将边缘检测的结果中的与某一层次的直线的颜色相同的颜色屏蔽。
例如,对于待检测页面为地图类应用程序中的地图页面的情况,该待检测页面对应的目标形状可以包括普通道路层次的直线和导航路线层次的直线。在对该地图页面对应的待检测图像进行形状检测的过程中,可以得到如4所示的图像。在图4中,图4中的(1)表示将边缘检测的结果中的普通道路层次的直线屏蔽后的图像,将图4中的(1)所示的图像进行霍夫变换后,可以得到如图4中的(2)所示的图像,根据如图4中的(2)所示的图像可知待检测图像中存在导航路线层次的直线。
在对边缘检测结果进行分析处理后,可以得到两种结果:
结果一:边缘检测的结果指示待检测图像中不存在目标形状。
在此种结果一下,说明待检测图像中缺失应该存在的目标形状,此时,可以确定待检测页面加载失败。也就是说,响应于边缘检测的结果指示待检测图像中不存在目标形状,确定待检测页面加载失败。
结果二:边缘检测的结果指示待检测图像中存在目标形状。
在此种结果二下,说明待检测图像中不缺失应该存在的目标形状,此时,可以认为在基于梯度直方图进行的分区域检测层面以及形状检测层面,均确定待检测页面均未加载失败。此时,可以直接认为待检测页面加载成功,也可以进一步进行其他层面的检测,以根据其他层面的检测结果更精细地判断待检测页面是否加载失败。本申请实施例对其他层面的检测过程不加以限定。示例性地,其他层面的检测可以是指图层层面的检测。
可选地,图层层面的检测过程可以为:响应于边缘检测的结果指示待检测图像中存在目标形状,根据待检测页面对应的至少一个标准图层的颜色值,对待检测图像进行二值化操作;响应于根据任一标准图层的颜色值对待检测图像进行二值化操作后得到的图像不满足颜色条件,确定待检测页面加载失败。
在执行图层层面的检测过程之前,需要先获取待检测页面对应的至少一个标准图层的颜色值。待检测页面由至少一个标准图层构成,不同标准图层用于显示不同覆盖物。例如,当待检测页面为地图页面时,地图页面对应的标准图层可以包括Marker(标志)图层、Polylin(多线段)图层、手绘图层和Text(文本)图层中的一个或多个图层。
每个标准图层对应一个颜色值。需要说明的是,待检测页面对应的标准图层的数量以及每个标准图层的颜色值可以根据待检测页面对应的应用程序或网页确定,来源于不同应用程序或网页的待检测页面可能对应不同的标准图层,本申请实施例对此不加以限定。
可选地,待检测页面对应的至少一个标准图层的颜色值可以在安装待检测页面对应的应用程序或网页时就已经存储在终端本地,此时,终端可以直接在本地提取待检测页面对应的至少一个标准图层的颜色值。可选地,待检测页面对应的至少一个标准图层的颜色值还可以存储在服务器中,终端从服务器拉取待检测页面对应的至少一个标准图层的颜色值。
在获取待检测页面对应的至少一个标准图层的颜色值后,根据待检测页面对应的至少一个标准图层的颜色值,对待检测图像进行二值化操作。需要说明的是,由于不同的标准图层的颜色值不同,所以在根据待检测页面对应的至少一个标准图层的颜色值,对待检测图像进行二值化操作的过程中,分别根据每个标准图层的颜色值,对待检测图像进行一次二值化操作。
根据每个标准图层的颜色值,对待检测图像进行一次二值化操作后,会得到一张仅有白色和标准图层的颜色值对应的颜色中的至少一种颜色的图像。在根据每个标准图层的颜色值,对待检测图像进行一次二值化操作后,检测根据该标准图层的颜色值对待检测图像进行二值化操作后得到的图像是否满足颜色条件。可选地,满足颜色条件可以指示图像中具有该标准图层的颜色值对应的颜色。由于不同的标准图层的颜色值不同,所以在根据不同标准图层的颜色值对待检测图像进行二值化操作的过程中,二值化操作后得到的图像需要满足的颜色条件不同。
在根据标准图层的颜色值,对待检测图像进行二值化操作后,可以得到两种结果:
一、根据任一标准图层的颜色值对待检测图像进行二值化操作后得到的图像不满足颜色条件。
在此种结果下,可以认为待检测图像中缺失该任一标准图层对应的覆盖物。示例性地,当任一标准图层为文字标注图层时,假设该文字标注图层的颜色值对应的颜色为红色,当根据文字标注图层的颜色值对待检测图像进行二值化操作后得到的图像中仅具有白色时,说明待检测图像中缺失文字标注图层对应的文字标注覆盖物。例如,如图5所示,图5中的(1)表示待检测图像,在根据文字标注图层的颜色值对如图5中的(1)所示的待检测图像进行二值化操作后可以得到如图5中的(2)所示的图像。由于图5中的(2)所示的图像中仅具有白色,所以根据图5中的(2)所示的图像可以确定待检测图像中缺失文字标注图层对应的文字标注覆盖物。
响应于根据任一标准图层的颜色值对待检测图像进行二值化操作后得到的图像不满足颜色条件,确定待检测页面加载失败。
二:根据标准图层的颜色值对待检测图像进行二值化操作后得到的图像均满足颜色条件。
在此种结果下,可以认为待检测图像中包含各个标准图层对应的覆盖物。在此种结果下,可以认为在基于梯度直方图进行的分区域检测层面、形状检测层面以及图层检测层面,均确定待检测页面均未加载失败。此时,可以直接确定待检测页面加载成功,也就是说,响应于根据待检测页面对应的标准图层的颜色值对待检测图像进行二值化操作后得到的图像均满足颜色条件,确定待检测页面加载成功。当然,还可以进一步进行其他层面的检测,本申请实施例对此不加以限定。
在基于梯度直方图进行的分区域检测层面确定待检测页面未加载失败时,进一步进行形状层面的检测;在形状检测层面依然确定待检测页面未加载失败时,进一步进行图层层面的检测。此种三种层面的检测过程,可以有效提高判断待检测页面是否加载失败的准确率。
处理过程三:响应于待检测区域对应的梯度直方图均匹配失败,根据待检测页面对应的至少一个标准图层对应的至少一个标准图层的颜色值,对待检测图层进行二值化操作;响应于根据任一标准图层的颜色值对待检测图像进行二值化操作后得到的图像不满足颜色条件,确定待检测页面加载失败。
当在基于梯度直方图进行的分区域检测层面确定待检测页面未加载失败时,可以在图层检测层面对待检测图像进行进一步检测,以提高判断待检测页面是否加载失败的准确率。在图层检测层面对待检测图像进行检测的过程为:根据待检测页面对应的至少一个标准图层对应的至少一个标准图层的颜色值,对待检测图层进行二值化操作,根据二值化操作后得到的图像是否满足颜色条件,判断待检测页面是否加载失败。
在图层检测层面对待检测图像进行检测的结果包括两种:
A、根据任一标准图层的颜色值对待检测图像进行二值化操作后得到的图像不满足颜色条件。
在此种结果下,可以认为待检测图像中缺失该任一标准图层对应的覆盖物。响应于根据任一标准图层的颜色值对待检测图像进行二值化操作后得到的图像不满足颜色条件,确定待检测页面加载失败。
B、根据标准图层的颜色值对待检测图像进行二值化操作后得到的图像均满足颜色条件。
在此种结果下,可以认为待检测图像中包含各个标准图层对应的覆盖物。在此种结果下,可以认为在基于梯度直方图进行的分区域检测层面以及图层检测层面,均确定待检测页面均未加载失败。此时,可以直接确定待检测页面加载成功,也可以进一步进行其他层面的检测,以根据其他层面的检测结果更精细地判断待检测页面是否加载失败。本申请实施例对其他层面的检测过程不加以限定。示例性地,其他层面的检测可以是指形状层面的检测。
可选地,形状层面的检测过程可以为:响应于根据标准图层的颜色值对待检测图像进行二值化操作后得到的图像均满足颜色条件,对待检测图像进行边缘检测;响应于边缘检测的结果指示待检测图像中不存在目标形状,确定待检测页面加载失败。该过程的实现过程可以参见处理过程二,此处不再赘述。
在基于梯度直方图进行的分区域检测层面确定待检测页面未加载失败时,进一步进行图层层面的检测;在图层检测层面依然确定待检测页面未加载失败时,进一步进行形状层面的检测。此种三种层面的检测过程,同样可以有效提高判断待检测页面是否加载失败的准确率。
在步骤204中,响应于任一待检测区域对应的梯度直方图匹配成功,确定待检测页面加载失败。
当任一待检测区域对应的梯度直方图匹配成功时,说明该待检测区域的梯度直方图与满足匹配条件的负样本中的候选区域对应的候选梯度直方图相似度较大,由于满足匹配条件的负样本的候选区域加载失败,所以此时说明待检测图像中的该任一待检测区域加载失败,由于存在待检测区域加载失败,所以认为待检测页面加载失败。
可选地,对于待检测区域包括第一尺寸的待检测区域和第二尺寸的待检测区域的情况,响应于任一待检测区域对应的梯度直方图匹配成功,确定待检测页面加载失败,包括以下两种情况:
情况1:响应于任一第一尺寸的待检测区域对应的梯度直方图匹配成功,确定待检测页面加载失败。
在此种情况1下,存在第一尺寸的待检测区域对应的梯度直方图匹配成功,说明存在第一尺寸的待检测区域加载失败的情况,无需对第二尺寸的待检测区域进行检测即可确定待检测页面加载失败。
情况2:响应于第一尺寸的待检测区域对应的梯度直方图均匹配失败,任一第二尺寸的待检测区域对应的梯度直方图匹配成功,确定待检测页面加载失败。
当全部第一尺寸的待检测区域对应的梯度直方图均匹配失败时,对第二尺寸的待检测区域进行检测,若任一第二尺寸的待检测区域对应的梯度直方图匹配成功,说明存在第二尺寸的待检测区域加载失败的情况,此时确定待检测页面加载失败。
当待检测区域包括多种尺寸的待检测区域时,先执行最大尺寸的待检测区域的检测过程;当最大尺寸的待检测区域对应的梯度直方图全部匹配失败时,再执行次大尺寸的待检测区域的检测过程;以此类推,当次小尺寸的待检测区域对应的梯度直方图全部匹配失败时,再执行最小尺寸的待检测区域的检测过程。当当待检测区域包括N(不小于1的整数)种尺寸的待检测区域时,任一待检测区域对应的梯度直方图匹配成功包括N种情况:
情况1:任一最大尺寸的待检测区域对应的梯度直方图匹配成功。
情况2:最大尺寸的待检测区域对应的梯度直方图均匹配失败,任一次大尺寸的待检测区域对应的梯度直方图匹配成功。
情况N:除最小尺寸外的其他尺寸的待检测区域对应的梯度直方图均匹配失败,任一最小尺寸的待检测区域对应的梯度直方图匹配成功。
当存在上述N种情况中的任一中情况时,确定待检测页面加载失败。
可选地,在确定待检测页面加载失败后,终端可以采集设备信息,然后将设备信息和待检测图像上传至服务器。设备信息用于指示终端当前的状态,包括但不限于当前设备堆栈信息、当前设备内存信息、当前设备连接的外部设备信息和当前设备CPU(CentralProcessing Unit,中央处理器)信息。需要说明的是,确定待检测页面加载失败的情况除包括步骤204中涉及的情况外,还可以包括步骤203中的处理过程二和处理过程三中涉及的情况。
将设备信息和待检测图像上传至服务器后,服务器可以基于设备信息和待检测图像分析导致待检测页面加载失败的原因。在分析出加载失败的原因后,服务器可以将上传的信息进行分类统计,还可以向终端发送预警信息,该预警信息用于告知终端页面加载失败的原因。可选地,对于在任一待检测区域对应的梯度直方图匹配成功时,继续完成对其他未检测的待检测区域的检测过程的情况,在确定待检测页面加载失败时,终端可以确定全部加载失败的区域,然后可以将加载失败的区域在待检测图像中进行标记,然后将带标记的待检测图像与设备信息一同上传至服务器,以便于服务器进行快速的分类统计。
可选地,服务器在将上传的信息分类统计后,可以基于上传的加载失败页面对应的待检测图像对负样本进行更新,以便于后续利用新的负样本进行更准确的检测。
可选地,在服务器向终端发送预警信息后,终端可以接收服务器发送的预警信息,在显示页面显示预警信息。显示页面可以是指待检测页面,也可是指由待检测页面跳转至的其他页面,本申请实施例对此不加以限定。在显示页面显示预警信息后,终端的使用用户可以及时获知导致页面加载失败的原因,然后采取解决措施消除导致页面加载失败的不良因素。
示例性地,对于待检验页面为地图类应用程序中的地图地面的情况,导致地图页面加载失败的原因可能为:终端内存不足、地图类应用程序的初始化方式错误、终端没有接入网络、地图移动到了非支持区域(如,非洲等)。不同的原因可能对应不同的解决措施。例如,当预警信息指示导致页面加载失败的原因为终端内存不足时,终端的使用用户可以通过清理已占用内存来消除导致页面加载失败的不良因素;当预警信息指示导致页面加载失败的原因为地图类应用程序的初始化方式错误时,终端的使用用户可以通过重启地图类应用程序来消除导致页面加载失败的不良因素;当预警信息指示导致页面加载失败的原因为终端没有接入网络时,终端的使用用户可以通过连接网络来消除导致页面加载失败的不良因素;当预警信息指示导致页面加载失败的原因为地图移动到了非支持区域时,终端的使用用户可以通过将地图移动到支持区域来消除导致页面加载失败的不良因素。
示例性地,整个页面检测过程可以如图6所示。终端的应用程序或网页启动,页面检测***启动,页面检测***从服务器拉取负样本对应的梯度直方图信息;用户点击进入应用程序或网页的待检测页面,待检测页面加载完成;调用页面检测***截取待检测页面的可视区域作为待检测图像;确定待检测图像划分出的待检测区域对应的梯度直方图;将待检测区域对应的梯度直方图与满足匹配条件的负样本中的候选区域对应的候选梯度直方图进行匹配。判断待检测区域对应的梯度直方图是否均匹配失败;当任一待检测区域对应的梯度直方图匹配成功时,确定待检测页面加载失败;当待检测区域对应的梯度直方图均匹配失败时,对待检测图像进行边缘检测;判断待检测图像中是否存在目标形状。
当待检测图像中不存在目标形状时,确定待检测页面加载失败;当待检测图像中存在目标形状时,根据待检测页面对应的标准图层的颜色值对待检测图像进行二值化操作;判断二值化操作后得到的图像是否均满足颜色条件。当二值化操作后得到的任一图像不满足颜色条件时,确定待检测页面加载失败;当二值化操作后得到的图像均满足颜色条件时,确定待检测页面加载成功。在确定待检测页面加载失败时,终端采集设备信息,将设备信息和待检测图像上传至服务器。
在本申请实施例中,终端可以自动判断待检测页面是否加载失败。终端不仅可以检测出局部加载失败的情况,还可以检测出形状加载失败以及图层加载失败的情况,检测更加全面,判断待检测页面是否加载失败的准确率较高。在确定待检测页面加载失败后,及时将设备信息和待检测图像上传至服务器进行分析处理,有利于及时解决加载失败的问题,尽快恢复应用程序或网页的正常服务,页面检测的效果较好。此外,本申请实施例提供的方法不限制页面类型,应用范围更加广泛。
在本申请实施例中,将待检测图像划分成待检测区域,将待检测区域对应的梯度直方图与负样本中的候选区域对应的候选梯度直方图进行匹配,当任一待检测区域对应的梯度直方图匹配成功时,确定待检测页面加载失败。在此种页面检测的过程中,分别对每个待检测区域进行检测,检测粒度较细,能够识别出由于某一区域加载失败而导致待检测页面加载失败的情况,此外,梯度直方图涉及的信息较丰富,基于梯度直方图进行检测,可以提高判断页面是否加载失败的准确率,页面检测的效果较好。
参见图7,本申请实施例提供了一种页面检测装置,该装置包括:
获取模块701,用于获取待检测页面对应的待检测图像和负样本对应的梯度直方图信息,负样本基于加载失败的页面对应的图像训练得到,负样本对应的梯度直方图信息用于指示负样本中的不同位置的区域对应的梯度直方图;
划分模块702,用于对待检测图像进行区域划分,得到待检测区域;
第一确定模块703,用于确定待检测区域对应的梯度直方图;
匹配模块704,用于将待检测区域对应的梯度直方图与候选梯度直方图进行匹配,候选梯度直方图为候选区域对应的梯度直方图,候选区域为满足匹配条件的负样本中的与待检测区域处于对应位置的区域;
第二确定模块705,用于响应于任一待检测区域对应的梯度直方图匹配成功,确定待检测页面加载失败。
可选地,划分模块702,还用于对待检测图像分别按照第一粒度和第二粒度进行区域划分,得到第一尺寸的待检测区域和第二尺寸的待检测区域;
第一确定模块703,还用于确定第一尺寸的待检测区域对应的梯度直方图和第二尺寸的待检测区域对应的梯度直方图。
可选地,第一尺寸大于第二尺寸,候选梯度直方图包括第一候选梯度直方图和第二候选梯度直方图,匹配模块704,还用于将第一尺寸的待检测区域对应的梯度直方图与第一候选梯度直方图进行匹配;响应于第一尺寸的待检测区域对应的梯度直方图均匹配失败,将第二尺寸的待检测区域对应的梯度直方图与第二候选梯度直方图进行匹配。
可选地,第二确定模块705,还用于响应于任一第一尺寸的待检测区域对应的梯度直方图匹配成功,确定待检测页面加载失败;或者,响应于第一尺寸的待检测区域对应的梯度直方图均匹配失败、任一第二尺寸的待检测区域对应的梯度直方图匹配成功,确定待检测页面加载失败。
可选地,参见图8,该装置还包括:
边缘检测模块706,用于响应于待检测区域对应的梯度直方图均匹配失败,对待检测图像进行边缘检测;
第二确定模块705,还用于响应于边缘检测的结果指示待检测图像中不存在目标形状,确定待检测页面加载失败。
可选地,获取模块701,还用于获取待检测页面对应的至少一个标准图层的颜色值;
参见图8,该装置还包括:
操作模块707,用于响应于边缘检测的结果指示待检测图像中存在目标形状,根据待检测页面对应的至少一个标准图层的颜色值,对待检测图像进行二值化操作;
第二确定模块705,还用于响应于根据任一标准图层的颜色值对待检测图像进行二值化操作后得到的图像不满足颜色条件,确定待检测页面加载失败。
可选地,获取模块701,还用于获取待检测页面对应的至少一个标准图层的颜色值;
操作模块707,还用于响应于待检测区域对应的梯度直方图均匹配失败,根据待检测页面对应的至少一个标准图层的颜色值,对待检测图像进行二值化操作;
第二确定模块705,还用于响应于根据任一标准图层的颜色值对待检测图像进行二值化操作后得到的图像不满足颜色条件,确定待检测页面加载失败。
可选地,参见图8,该装置还包括:
采集模块708,用于采集设备信息;
上传模块709,用于将设备信息和待检测图像上传至服务器。
在本申请实施例中,将待检测图像划分成待检测区域,将待检测区域对应的梯度直方图与负样本中的候选区域对应的候选梯度直方图进行匹配,当任一待检测区域对应的梯度直方图匹配成功时,确定待检测页面加载失败。在此种页面检测的过程中,分别对每个待检测区域进行检测,检测粒度较细,能够识别出由于某一区域加载失败而导致待检测页面加载失败的情况,此外,梯度直方图涉及的信息较丰富,基于梯度直方图进行检测,可以提高判断页面是否加载失败的准确率,页面检测的效果较好。
需要说明的是,上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图9是本申请实施例提供的一种服务器的结构示意图,该服务器可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器(Central Processing Units,CPU)901和一个或多个存储器902,其中,该一个或多个存储器902中存储有至少一条程序代码,该至少一条程序代码由该一个或多个处理器901加载并执行,以实现上述各个方法实施例提供的页面检测方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
图10是本申请实施例提供的一种终端的结构示意图。该终端可以是:智能手机、平板电脑、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端包括有:处理器1001和存储器1002。
处理器1001可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1001可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1001也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1001可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1001还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1002中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1001所执行以实现本申请中方法实施例提供的页面检测方法。
在一些实施例中,终端还可选包括有:***设备接口1003和至少一个***设备。处理器1001、存储器1002和***设备接口1003之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1003相连。具体地,***设备包括:射频电路1004、触摸显示屏1005、摄像头组件1006、音频电路1007、定位组件1008和电源1009中的至少一种。
***设备接口1003可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器1001和存储器1002。在一些实施例中,处理器1001、存储器1002和***设备接口1003被集成在同一芯片或电路板上;在一些其他实施例中,处理器1001、存储器1002和***设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1004用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1004包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1004还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1005用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时,显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时,显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1005可以为一个,设置在终端的前面板;在另一些实施例中,显示屏1005可以为至少两个,分别设置在终端的不同表面或呈折叠设计;在再一些实施例中,显示屏1005可以是柔性显示屏,设置在终端的弯曲表面上或折叠面上。甚至,显示屏1005还可以设置成非矩形的不规则图形,也即异形屏。显示屏1005可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1006用于采集图像或视频。可选地,摄像头组件1006包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1007可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1001进行处理,或者输入至射频电路1004以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1001或射频电路1004的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1007还可以包括耳机插孔。
定位组件1008用于定位终端的当前地理位置,以实现导航或LBS(Location BasedService,基于位置的服务)。定位组件1008可以是基于美国的GPS(Global PositioningSystem,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源1009用于为终端中的各个组件进行供电。电源1009可以是交流电、直流电、一次性电池或可充电电池。当电源1009包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端还包括有一个或多个传感器1010。该一个或多个传感器1010包括但不限于:加速度传感器1011、陀螺仪传感器1012、压力传感器1013、指纹传感器1014、光学传感器1015以及接近传感器1016。
加速度传感器1011可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1011可以用于检测重力加速度在三个坐标轴上的分量。处理器1001可以根据加速度传感器1011采集的重力加速度信号,控制触摸显示屏1005以横向视图或纵向视图进行用户界面的显示。加速度传感器1011还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1012可以检测终端的机体方向及转动角度,陀螺仪传感器1012可以与加速度传感器1011协同采集用户对终端的3D动作。处理器1001根据陀螺仪传感器1012采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1013可以设置在终端的侧边框和/或触摸显示屏1005的下层。当压力传感器1013设置在终端的侧边框时,可以检测用户对终端的握持信号,由处理器1001根据压力传感器1013采集的握持信号进行左右手识别或快捷操作。当压力传感器1013设置在触摸显示屏1005的下层时,由处理器1001根据用户对触摸显示屏1005的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1014用于采集用户的指纹,由处理器1001根据指纹传感器1014采集到的指纹识别用户的身份,或者,由指纹传感器1014根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1001授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1014可以被设置在终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo时,指纹传感器1014可以与物理按键或厂商Logo集成在一起。
光学传感器1015用于采集环境光强度。在一个实施例中,处理器1001可以根据光学传感器1015采集的环境光强度,控制触摸显示屏1005的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1005的显示亮度;当环境光强度较低时,调低触摸显示屏1005的显示亮度。在另一个实施例中,处理器1001还可以根据光学传感器1015采集的环境光强度,动态调整摄像头组件1006的拍摄参数。
接近传感器1016,也称距离传感器,通常设置在终端的前面板。接近传感器1016用于采集用户与终端的正面之间的距离。在一个实施例中,当接近传感器1016检测到用户与终端的正面之间的距离逐渐变小时,由处理器1001控制触摸显示屏1005从亮屏状态切换为息屏状态;当接近传感器1016检测到用户与终端的正面之间的距离逐渐变大时,由处理器1001控制触摸显示屏1005从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图10中示出的结构并不构成对终端的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机设备,该计算机设备包括处理器和存储器,该存储器中存储有至少一条程序代码。该至少一条程序代码由一个或者一个以上处理器加载并执行,以实现上述任一种页面检测方法。
在示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由计算机设备的处理器加载并执行,以实现上述任一种页面检测方法。
可选地,上述计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-OnlyMemory,CD-ROM)、磁带、软盘和光数据存储设备等。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
需要说明的是,本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (8)
1.一种页面检测方法,其特征在于,所述方法包括:
获取待检测页面对应的待检测图像和负样本对应的梯度直方图信息,所述负样本基于加载失败的页面对应的图像训练得到,所述负样本对应的梯度直方图信息用于指示负样本中的不同位置的区域对应的梯度直方图;
对所述待检测图像进行区域划分,得到待检测区域,确定所述待检测区域对应的梯度直方图;
将所述待检测区域对应的梯度直方图与候选梯度直方图进行匹配,所述候选梯度直方图为候选区域对应的梯度直方图,所述候选区域为满足匹配条件的负样本中的与所述待检测区域处于对应位置的区域;
响应于任一待检测区域对应的梯度直方图匹配成功,确定所述待检测页面加载失败;
所述对所述待检测图像进行区域划分,得到待检测区域,确定所述待检测区域对应的梯度直方图,包括:
对所述待检测图像分别按照第一粒度和第二粒度进行区域划分,得到第一尺寸的待检测区域和第二尺寸的待检测区域;
确定所述第一尺寸的待检测区域对应的梯度直方图和所述第二尺寸的待检测区域对应的梯度直方图;
所述第一尺寸大于所述第二尺寸,所述候选梯度直方图包括第一候选梯度直方图和第二候选梯度直方图,所述将所述待检测区域对应的梯度直方图与候选梯度直方图进行匹配,包括:
将所述第一尺寸的待检测区域对应的梯度直方图与第一候选梯度直方图进行匹配;
响应于第一尺寸的待检测区域对应的梯度直方图均匹配失败,将所述第二尺寸的待检测区域对应的梯度直方图与第二候选梯度直方图进行匹配。
2.根据权利要求1所述的方法,其特征在于,所述响应于任一待检测区域对应的梯度直方图匹配成功,确定所述待检测页面加载失败,包括:
响应于任一第一尺寸的待检测区域对应的梯度直方图匹配成功,确定所述待检测页面加载失败;或者,
响应于第一尺寸的待检测区域对应的梯度直方图均匹配失败、任一第二尺寸的待检测区域对应的梯度直方图匹配成功,确定所述待检测页面加载失败。
3.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
响应于所述待检测区域对应的梯度直方图均匹配失败,对所述待检测图像进行边缘检测;
响应于边缘检测的结果指示所述待检测图像中不存在目标形状,确定所述待检测页面加载失败。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取待检测页面对应的至少一个标准图层的颜色值;
响应于边缘检测的结果指示所述待检测图像中存在目标形状,根据所述待检测页面对应的至少一个标准图层的颜色值,对所述待检测图像进行二值化操作;
响应于根据任一标准图层的颜色值对所述待检测图像进行二值化操作后得到的图像不满足颜色条件,确定所述待检测页面加载失败。
5.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
获取待检测页面对应的至少一个标准图层的颜色值;
响应于所述待检测区域对应的梯度直方图均匹配失败,根据所述待检测页面对应的至少一个标准图层的颜色值,对所述待检测图像进行二值化操作;
响应于根据任一标准图层的颜色值对所述待检测图像进行二值化操作后得到的图像不满足颜色条件,确定所述待检测页面加载失败。
6.根据权利要求1所述的方法,其特征在于,所述确定所述待检测页面加载失败之后,所述方法还包括:
采集设备信息;
将所述设备信息和所述待检测图像上传至服务器。
7.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现如权利要求1至6任一所述的页面检测方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现如权利要求1至6任一所述的页面检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010392403.0A CN111582184B (zh) | 2020-05-11 | 2020-05-11 | 页面检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010392403.0A CN111582184B (zh) | 2020-05-11 | 2020-05-11 | 页面检测方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111582184A CN111582184A (zh) | 2020-08-25 |
CN111582184B true CN111582184B (zh) | 2024-02-20 |
Family
ID=72118757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010392403.0A Active CN111582184B (zh) | 2020-05-11 | 2020-05-11 | 页面检测方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111582184B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113077437B (zh) * | 2021-03-31 | 2023-07-25 | 上海晨兴希姆通电子科技有限公司 | 工件质量检测方法及其*** |
CN114185624A (zh) * | 2021-12-30 | 2022-03-15 | 深圳前海微众银行股份有限公司 | 报表加载更新检测方法、装置、设备与存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049751A (zh) * | 2013-01-24 | 2013-04-17 | 苏州大学 | 一种改进的加权区域匹配高空视频行人识别方法 |
WO2018033155A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 视频图像的处理方法、装置和电子设备 |
CN110163287A (zh) * | 2019-05-24 | 2019-08-23 | 三亚中科遥感研究所 | 一种中尺度涡检测方法及装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5756322B2 (ja) * | 2011-04-08 | 2015-07-29 | 任天堂株式会社 | 情報処理プログラム、情報処理方法、情報処理装置および情報処理システム |
US20150154659A1 (en) * | 2013-12-03 | 2015-06-04 | Yahoo! Inc. | System and method for displaying transitional mobile ads during network page download latency time |
CN107273031B (zh) * | 2017-06-23 | 2020-10-16 | 阿里巴巴(中国)有限公司 | 信息流页面加载方法及装置 |
-
2020
- 2020-05-11 CN CN202010392403.0A patent/CN111582184B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103049751A (zh) * | 2013-01-24 | 2013-04-17 | 苏州大学 | 一种改进的加权区域匹配高空视频行人识别方法 |
WO2018033155A1 (zh) * | 2016-08-19 | 2018-02-22 | 北京市商汤科技开发有限公司 | 视频图像的处理方法、装置和电子设备 |
CN110163287A (zh) * | 2019-05-24 | 2019-08-23 | 三亚中科遥感研究所 | 一种中尺度涡检测方法及装置 |
Non-Patent Citations (1)
Title |
---|
老实和尚 ; .保护应用程序的一种方法――模拟Windows PE加载器,从内存资源中加载DLL.程序员.2008,(07),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111582184A (zh) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070056B (zh) | 图像处理方法、装置、存储介质及设备 | |
CN110807361B (zh) | 人体识别方法、装置、计算机设备及存储介质 | |
CN110059685B (zh) | 文字区域检测方法、装置及存储介质 | |
CN110222789B (zh) | 图像识别方法及存储介质 | |
CN110490179B (zh) | 车牌识别方法、装置及存储介质 | |
CN110839128B (zh) | 拍照行为检测方法、装置及存储介质 | |
CN112749613B (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
CN109886208B (zh) | 物体检测的方法、装置、计算机设备及存储介质 | |
CN110490186B (zh) | 车牌识别方法、装置及存储介质 | |
CN110570460A (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
CN113627413B (zh) | 数据标注方法、图像比对方法及装置 | |
CN113378705B (zh) | 车道线检测方法、装置、设备及存储介质 | |
CN111754386A (zh) | 图像区域屏蔽方法、装置、设备及存储介质 | |
CN110647881A (zh) | 确定图像对应的卡片类型的方法、装置、设备及存储介质 | |
CN110705614A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
CN111582184B (zh) | 页面检测方法、装置、设备及存储介质 | |
CN110738185B (zh) | 表单对象的识别方法、装置及存储介质 | |
CN111586279A (zh) | 确定拍摄状态的方法、装置、设备及存储介质 | |
CN110728167A (zh) | 文本检测方法、装置及计算机可读存储介质 | |
CN110163192B (zh) | 字符识别方法、装置及可读介质 | |
CN111931712A (zh) | 人脸识别方法、装置、抓拍机及*** | |
CN112053360A (zh) | 图像分割方法、装置、计算机设备及存储介质 | |
CN111444749B (zh) | 路面导向标志的识别方法、装置及存储介质 | |
CN113343709B (zh) | 意图识别模型的训练方法、意图识别方法、装置及设备 | |
CN112990424B (zh) | 神经网络模型训练的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |