CN108369647B - 基于图像的质量控制 - Google Patents

基于图像的质量控制 Download PDF

Info

Publication number
CN108369647B
CN108369647B CN201780004785.1A CN201780004785A CN108369647B CN 108369647 B CN108369647 B CN 108369647B CN 201780004785 A CN201780004785 A CN 201780004785A CN 108369647 B CN108369647 B CN 108369647B
Authority
CN
China
Prior art keywords
image
document
particular feature
feature
visible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780004785.1A
Other languages
English (en)
Other versions
CN108369647A (zh
Inventor
K·斯佐斯塔克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108369647A publication Critical patent/CN108369647A/zh
Application granted granted Critical
Publication of CN108369647B publication Critical patent/CN108369647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本文描述的技术的各方面检测网页或其他文档内的可见异常。该技术通过标识导致异常的数据和/或编程错误来提高计算精度。通过对文档的部分进行图像分析来检测异常。最初，标识网页的与特定特征相关联的一部分，然后将该部分转换为数字图像。数字图像可以捕捉网站，就像例如在网络浏览器应用中显现给查看网站的用户那样。然后相对于特征的已建立特征模式分析图像，来确定图像是否落在正常范围之外。当网页的一部分的图像落在正常范围之外时，可以将通知传送给与网页相关联的人员，例如***管理员。

Description

基于图像的质量控制
背景技术
现代网页可以通过实时组合来自多个源的数据来生成。可以为个人网页创建几乎无限量的变化，这使得质量控制非常困难。例如，网页上的表格可以用来自一个或多个知识库的数据填充，以对查询进行响应。图像和广告可以从其他源被呈现。搜索引擎可能会以多种格式生成搜索结果。在每种情况下，在源数据和表示指令之间的不匹配都可能导致网页上的显示异常。例如，一张表可能会显示多个空白字段，因为底层数据库没有特定字段的数据。在另一例子中，可能将太多或太少的空间分配给表中的字段。捕捉和修复这些错误仍然是一个挑战。
发明内容
提供本“发明内容”是为了以简化的形式介绍将在以下详细描述中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在孤立地用作确定所要求保护的主题的范围的辅助手段。
本文描述的技术的各方面检测网页或其他文档内的可见异常。该技术通过识别导致异常的数据和/或编程错误来提高计算精度。通过对文档的部分进行图像分析来检测异常。最初，识别网页的与特定特征相关联的一部分，然后将其转换为数字图像。数字图像可以捕捉网站，就如同例如在网络浏览器应用中显现给查看网站的用户那样。然后根据特征的已建立特征模式分析图像，以确定图像是否落在正常范围之外。当网页的一部分的图像落在正常范围之外时，可以将通知传送给与网页相关联的人员，例如***管理员。
在一个方面，该技术用于分析具有自动改变的内容的动态网站。例如，该技术可用于分析搜索结果网页的一个或多个特征。搜索结果网页是通过将从一个或多个源选择的数据与显示模板组合来动态生成的。显示模板对于每个页面可以是相似的，但是对于每个页面，选择的数据可能是唯一的。给定用于选择和排列搜索结果的因素的组合，可以构建大量独特的搜索结果页面。事先对每种可能性进行质量检查是不现实的。
附图说明
下面参考附图详细描述本申请中描述的技术的各方面，其中：
图1是适用于实现本文描述的技术的各方面的示例性计算环境的框图；
图2是描绘根据本文描述的技术的方面的具有适于测试的多个输出特征的示例性搜索结果页面的图；
图3是描绘根据本文描述的技术的方面的具有不足数据的表格的图；
图4是描绘根据本文描述的技术的方面的具有充足数据的表格的图；
图5是描绘根据本文描述的技术的方面的具有过量列宽的表格的图；
图6是描绘根据本文描述的技术的方面的通过组合多个图像而生成的平均图像的图；
图7是描绘根据本文描述的技术的方面的通过组合多个图像而生成的平均图像的倒像的图；
图8是描绘根据本文描述的技术的方面的使用图像分析检测显示异常的方法的流程图的图；
图9是描绘根据本文描述的技术的方面的使用图像分析检测显示异常的方法的流程图的图；
图10是描绘根据本文描述的技术的方面的使用图像分析来检测显示异常的方法的流程图的图；以及
图11是适用于实现本文描述的技术的各方面的示例性计算环境的框图。
具体实施方式
本申请的技术在此以特异性被描述以满足法定要求。然而，描述本身并不意图限制本专利的范围。而是，发明人已经设想到，所要求保护的主题还可以结合其他当前或未来的技术以其他方式来体现，以包括不同的步骤或与本文档中描述的步骤类似的步骤的组合。此外，虽然术语“步骤”和/或“框”在本文中可以用于暗示所采用的方法的不同元素，但是这些术语不应该被解释为暗示在此公开的各个步骤之中或之间的任何特定次序，除非和除了当明确描述了各个步骤的次序。
本文描述的技术的各方面检测网页或其他文档内的可见异常。该技术通过识别导致异常的数据和/或编程错误来提高计算精度。通过对文档的部分进行图像分析来检测异常。最初，识别与特定特征相关联的网页的一部分，然后将其转换为数字图像。数字图像可以捕捉网站，就如同例如在网络浏览器应用中显示给查看网站的用户那样。然后根据特征的已建立特征模式分析图像，以确定图像是否落在正常范围之外。当网页的一部分的图像落在正常范围之外时，可以将通知传送给与网页相关联的人员，例如***管理员。
在一个方面，该技术用于分析具有自动改变的内容的动态网站。例如，该技术可用于分析搜索结果网页的一个或多个特征。搜索结果网页是通过将从一个或多个源选择的数据与显示模板组合来动态生成的。显示模板对于每个页面可以是相似的，但是对于每个页面，选择的数据可能是唯一的。给定用于选择和排列搜索结果的因素的组合，可以构建大量独特的搜索结果页面。事先对每种可能性进行质量检查是不现实的。
搜索结果网页可以包括多个特征，例如付费搜索结果，正常搜索结果，具有深度链接的搜索结果，关于人、地点或事物的信息的知识库呈现，图像，评论部分，评价部分和词语定义部分。在特定情况下可以触发特定特征，并且单独的搜索结果页面可以显示由不同特征提供的内容。例如，词语定义特征可以通过提交以“…的定义”开始的查询来触发。除非满足触发，否则定义特征不会出现在搜索结果页面上。搜索结果网页的每个特征都可以由特定功能或程序生成。该功能可以识别相关信息并将信息填充到显示模板中，以使信息显示在搜索结果网页上。该技术的各方面可以针对特征的其他实例单独评估每个特征。
显示错误可能具有许多不同的原因，包括模板错误和信息错误。例如，可能知识库不包括关于针对包含于特征的显示模板中的一个或多个字段的特定实体的信息。在这种情况下，当特征被显示在搜索结果页面上时，关联的显示字段可能为空。在另一例子中，人的图像可以包括不同人、动物或一些其他物体的图像。换句话说，图像可以与查询中的实体相关联，但实际上不属于搜索结果。在另一例子中，模板可以提供比呈现信息所需的空间更多的空间，从而产生大量浪费的空间。技术的各方面可以检测到这些奇异性，并生成可以警告***管理员需要调查可能的错误的通知。
现在转到图1，提供了适用于实现本文描述的技术的各方面的计算环境100。计算环境100包括搜索数据中心110，广域网150(例如互联网)，以及多个用户设备(例如，第一用户设备160、第二用户设备162和第N用户设备164)。非常普遍，人们可以通过用户设备输入查询。查询通过广域网150被传送到搜索数据中心110。产品搜索引擎120可以接收查询，并且为用户输出搜索结果页面，其通过广域网150上被传送到运行于用户设备上的web浏览器。用户设备随后输出搜索结果网页以显示给用户。
搜索数据中心110可以包括更多数目的计算设备和计算存储设备。数据中心中的计算机在地理位置上可以是分布式的，或者可以位于特定位置，例如位于单个建筑物中。搜索数据中心110包括搜索引擎120的生产版本、搜索日志130、质量引擎140和通知存储170。非常一般地，生产搜索引擎120接收查询并生成搜索结果页面。数据中心可以包括一个或多个非生产搜索引擎(未示出)，其正被测试但不向客户呈现结果。搜索日志130存储查询、响应于查询而生成的搜索结果以及其他信息，例如用户与搜索结果的交互。搜索记录132可以包括查询134以及响应于查询134而生成的在搜索结果页面上所示的内容136的记录。诸如点击、悬停、停留时间和其他特性的用户交互数据也可以被存储为查询记录的一部分。搜索日志130可以包括数百万或数亿个搜索记录。虽然被描述为单个文件，但数据可以以数据流或其他格式存储。然而，数据被存储，最终结果是查询可以与搜索结果页面上的结果以及用户与通过分析搜索记录132的那些结果的交互相关联。
生产搜索引擎120包括查询输入界面121、结果生成器122、搜索结果页面生成器123、站点索引124、知识库125、知识库特征生成器126和图像特征生成器128。
查询输入界面121从终端用户设备接收查询。查询输入部件可以通过搜索页面上输出的搜索框接收查询输入。查询输入界面121可以提供如拼写校正和查询完成之类的服务。查询输入界面121将查询提交给结果生成器122。结果排序器使用查询来生成相关搜索结果，例如网页、文档和搜索结果的其他分量，然后根据相关性对它们排序。结果生成器122可以使用站点索引124来识别相关结果。网站索引124可以由网络爬虫或从网页提取关键字并将它们组织成可搜索索引的方法来生成。网站索引124中的关键字可以与查询输入中的关键字匹配。
知识库125可以包括事实的语料库和这些事实之间的关系。例如，知识库可以包括多个人、地点、事物以及与这些人、地点或事物相关联的事实。知识库125还可以包括那些人、地点或事物的图像或到图像的链接。例如，知识库125可以包括关于各种山脉、溪流、城市、名人、政治家和其他知名人士的信息。
知识库特征生成器126生成知识库特征，例如图2中的知识库特征250，用于搜索结果网页。特征可以采用多种不同的形式，而知识库特征只是一个例子。在一方面，搜索结果页面可以包括响应于给定查询的多个特征。可以基于阈值触发标准来确定是否响应于特定查询而生成特定特征。例如，似乎在查找关于人、地点或事物的信息的查询可以触发一特征，该特征在搜索结果网页上提供知识库输出。知识库输出可以提供来自知识库的关于该人的信息。这种类型的特征可以与显示模板相关联，其中模板内的不同字段可以填充有来自知识库的信息。例如，特定的字段可以被指定用于生日、家乡、职业或其他相关信息。
图像特征生成器128生成图像的显示，例如图2中的图像特征230。当查询包括其图片可用的人、地点或事物时，可以触发图像特征。
质量引擎140可以针对异常或奇异性分析所生成的搜索结果页面。在一个实例中，作为输入，质量引擎140可以分析先前生成的搜索结果页面；搜索结果页面在生成时被存储用于分析。在另一实例中，质量引擎140通过生产搜索引擎运行来自查询日志的查询，以生成可针对异常进行分析的搜索结果页面。无论哪种方式，输入都是可显示的搜索结果页面。
特征提取器142识别显示页面的与特征相关联的一部分。例如，特征可以生成关于名人的信息表。特征提取器142将识别显示网页的与该特征相关联的一部分。换言之，识别网页中的这样的部分，用户将在所述部分中查看包括名人事实的表格。在一个方面，特征提取器运行xpath函数来识别特征区域的边界。特征提取器142基于边界捕捉特征区域的图像，就像其显现给用户那样。
位图生成器144可以将由特征生成器捕捉的图像转换为可被图像分析部件146逐像素地用于分析的位图(如果图像最初未被捕捉为位图)。
图像分析部件146可以对位图或原始图像执行一个或多个不同的操作以检测异常。在一个实例中，图像分析部件146分析多个图像或位图以确定特征的基线或正常范围。每个操作或分析过程都可以聚焦于图像的特定方面。
例如，在一个操作中，确定包括背景的图像的百分比。作为该过程的一部分，可以确定图像的背景颜色，然后可以将每个像素分类为是否为背景颜色。以这种方式，图像内的一定百分比的像素可以被分类为背景。可以通过确定平均百分比背景，然后计算与平均值的标准偏差来完成确定百分比范围。在一个方面，正常范围由比平均百分比高一个标准偏差和低一个标准偏差的背景百分比限定。
图3和4示出了可以使用背景分析进行评估的表格。表格300包括由于缺少信息而产生的视觉异常。可以看出，表格300中的几个单元是空白的。相反，表格400中的所有单元都包括文本或数据。在该技术的一个方面中，在表格上执行分析以确定背景颜色的百分比。分析可以首先确定背景颜色，然后对图像中与背景颜色匹配的像素的数目进行计数。百分比可以通过将与背景颜色匹配的像素的数目除以图像中的像素的总数目来确定。可以看出，与背景颜色匹配的像素的百分比在表格300中比在表格400中高。如果形成基线背景百分比的表格与表格400更类似，则表格300可以落在根据特定特征生成的表格的正常范围之外。然后可以为表格300生成异常通知。异常是到查询或从中提取表格300的文档的链接。
一旦计算出正常范围，就可以将各个图像与该范围进行比较。落在正常范围之外的图像可以被分类为异常，并用于生成错误通知，其被存储在通知存储170中。作为通知的一部分，图像或屏幕捕捉可以与查询一起被包含，甚至整个搜索结果网页。程序员或其他人员然后可以查看所有通知以确认存在异常并调查异常的原因。
作为另一例子，图像的一方面可以是图像内识别出的最大矩形。每个图像中的最大矩形可以用平均值来识别，然后在所有图像中进行计算。在一个方面，Hough变换用于识别图像内的矩形。可以计算和比较每个矩形的尺寸，以识别最大的矩形。如上所述，可以识别最大矩形的正常范围，并且可以对包括具有大于正常范围的尺寸的矩形的任何图像进行标记以用于通知。包括阈值尺寸以上的矩形表示数据可能从表格中丢失，或者在显示模板内指定的字段的大小与该字段中的实际数据量之间存在不匹配。例如，大的显示字段可以与只有几个字符长的数据相关联。
现在转到图5，示出了矩形比较分析。表格500可以从搜索结果页面或其他文档中被捕捉。在一个方面，与表格500相关联的特征与创建图像的文档的其余部分隔离。在这种情况下，执行分析以识别仅包括图像内的背景颜色像素的最大矩形。矩形的尺寸可以与由生成表格500的相同特征生成的表格的图像内的矩形的正常范围进行比较。如果矩形510的尺寸在由特征生成的表格的图像内找到的最大矩形的正常范围之外，则可以生成通知。尺寸可以用总面积、长度、高度、对角线或一些其他测量进行测量。注意，与矩形510相关联的异常可能是一列或多列中缺少数据或者是在可用数据与为该数据分配的空间之间不匹配。换句话说，分配给年份数据的列看起来比呈现该数据所需要的更宽。
其他类型的图像分析可以由图像分析部件146来执行。现在转向图6和图7，示出了根据本技术的一方面的平均图像分析。图6示出了通过对从表格特征获取的多个图像进行平均而生成的平均图像600。例如，平均图像600可以是组合每个图像的结果。平均图像600可以通过一种或多种技术来生成。在一种技术中，第一图像以50％的不透明度被添加到第二图像。第三图像以33％不透明度被添加到第一图像和第二图像的组合。每个新图像以1/n不透明度被添加，其中n等于输入到平均图像的总图像。在另一种技术中，通过计算跨所有图像捕捉的每个像素的平均像素颜色来生成组合。例如，如果特定像素(10,150)在图像的一半中为黑色，而在另一半中为白色，那么特定像素的平均颜色将为正好在白色和黑色之间的灰色。对每个像素重复该过程。
可以看出，合成图像包括具有大致相同灰度阴影的若干行610、612、614和616。相比之下，行618、620和622更亮。在一个实例中，行的暗度可以用来建立正常范围。例如，可以使用行612的颜色来建立正常行。对从正常颜色阈值以上的行贡献非背景像素的图像可以被指定为异常。如果适用，则可以将图像链接到从中提取图像的文档和用于形成文档的查询。
对于一些实现方式，当创建平均图像的负值时，异常对于人眼更加明显。图7示出了平均图像600的负图像700。负图像700示出了行622包括来自多个图像中的单个图像的文本。
现在转到图2，示出了根据本技术的一方面可以由本文所述的用于视觉异常的技术进行分析的示例性搜索结果页面200。如前所述，搜索结果网页是可以通过识别相关数据然后通过将该数据拟合到视觉模板中显示数据而生成的文档的一个示例。在可用数据和模板之间的不匹配可能会产生视觉异常。
搜索结果页面200包括多个特征。每个特征都可以由程序生成，该程序取回相关数据，然后根据视觉模板生成数据的表示。特征包括付费广告特征212，深度链接搜索结果特征214，标准搜索结果222、224和226，图像特征230，地图特征240以及知识库特征250。
可以通过识别希望响应于查询210而呈现付费搜索结果的广告商来生成付费广告特征212。然后可以通过从广告商或广告商的网页取回信息来生成付费广告特征212。付费广告特征212可以通过从广告商的网页取回信息并构建付费搜索结果来动态生成。
深度链接搜索结果特征214示出了主页221以及可以通过主页221访问的同一站点内的若干深度链接的页面。深度链接的页面包括PLAN YOUR VISIT(计划您的访问)页面215，SCHEDULE OF ENVENTS(事件安排)页面216，PARK FEES(停车费用)页面217，NATIONALPARK SERVICE(国家公园服务)页面218，DIRECTIONS(指示)页面219以及OPERATING HOURS(营业时间)页面220。
图像特征230从图像数据库取回响应于搜索查询210的图像。图像可以用描述图像内容的元数据标记，在这种情况下为Mount Rushmore。该技术的各方面可以将此特征中呈现的图像彼此进行比较。可以标出异常值作进一步分析。
地图特征240示出了围绕Mount Rushmore的位置以及附近道路的地图。该技术的各方面可以捕捉地图的图像，并将其与其他地图的图像进行比较以检测差异。
知识库特征250包括Mount Rushmore的事实和数字。Mount Rushmore可以包含于将事实和数字与各种人、地点或事物相关联的知识库中。每个事实都可以具有标签和关联的变量。变量上的标签可以被组合成显示模板以生成知识库特征250。可以基于先前参考图3-7描述的技术来评估知识库特征。
如上所述，本技术的各方面可以捕捉特定特征的图像，并且执行图像分析，其以允许将图像的可见特性与特征的基线或正常范围进行比较。可以通过针对特征的统计显著样本为特征的可见特性进行平均来生成基线或正常范围。一旦建立了正常范围，就可以标记出落在范围之外的特征的各个实例以用于进一步分析。
现在转到图8，提供了通过图像分析来检测显示异常的方法800。文档可以是搜索结果页面。在一个方面，该特征仅负责文档中的可见内容的一部分。单个文档可以包括由多个特征生成的内容。可以通过取回相关数据并生成可见表示来自动生成特征。
在步骤810处，标识文档的区域，特定特征被显示在该区域中。该区域可以通过运行xpath函数来标识，该xpath函数标识特征被输出在显示器上何处。
在步骤820处，生成该区域的图像。该图像可以通过仅捕捉该区域图像的截屏功能来生成。截屏可以采用多种格式。在一个示例中，截屏是位图文件。在另一例子中，截屏在分析之前被转换为位图。
在步骤830处，通过对图像的图像分析测量可见特性来计算图像的可见特性的分数。分数可以是直接测量的量，例如，图像内作为背景颜色的像素的数目。在这个例子中，像素颜色是可见特性。分数也可以从测量中导出，例如作为背景颜色的、图像中的总像素的百分比。分数可以是图像内最大矩形的尺寸。在这个例子中，可见特性可以是矩形。分数可以是置信度因子或相似性分数。置信度分数可以是特定分类是否应用于图像的指示。在这个例子中，可见特性是特定的分类类别，例如包括建筑物、人等。相似性分数可以测量图像与另一图像的相似程度。在这个例子中，可见特性是另一图像。
在步骤840处，通过确定分数在特定特征的正常范围之外，来确定在图像内存在可见的异常。可见的异常可能是由于缺乏数据或数据尺寸与被提供以呈现数据的空间不匹配所致。数据不匹配的例子可以包括参考图3-7描述的那些。
在步骤850处，生成指示在文档内存在可见异常的通知。通知可以被存储和取回以供分析员或涉及该文档的其他人进一步评估。通知可以标识文档、用于检测异常的图像分析、用于创建特征的数据源、特征、区域的图像等中的一个或多个。
现在转到图9，提供了检测多特征文档中的视觉异常的方法。在一个方面，该特征仅负责文档中的可见内容的一部分。单个文档可以包括由多个特征生成的内容。可以通过取回相关数据并生成可见表示来自动生成特征。
在步骤910处，对于包括特定特征的多个文档中的每一个文档，生成将文档内的特定特征描绘为该特定特征对于查看该文档的用户将出现的图像，由此形成多个图像。
在步骤920处，通过对图像的图像分析测量多个图像中的每个图像的可见特性，来计算特定特征的可见特性的正常范围。
在步骤930处，标识显示特定特征的特定文档的区域。该区域可以通过运行xpath函数来标识，该xpath函数标识特征被输出在显示器上何处。
在步骤940处，生成特定文档内的特定特征的特定图像。截屏可以采用多种格式。在一个示例中，截屏是位图文件。在另一例子中，截图在分析之前被转换为位图。
在步骤950处，通过对特定图像的图像分析测量可见特性来计算特定图像的可见特性的分数。分数可以是直接测量的量，例如，图像内的作为背景颜色的像素的数目。在这个例子中，像素颜色是可见特性。分数也可以从测量中导出，例如作为背景颜色的、图像中的总像素的百分比。分数可以是图像中最大矩形的尺寸。在这个例子中，可见特性可以是矩形。分数可以是置信度因子或相似性分数。置信度分数可以是特定分类是否应用于图像的指示。在这个例子中，可见特性是特定的分类类别，例如包括建筑物、人等。相似性分数可以测量图像与另一图像的相似程度。在这个例子中，可见特性是另一图像。
在步骤960处，通过确定分数在特定特征的正常范围之外来确定在特定图像内存在可见异常。可见异常可能是由于缺乏数据或在数据的尺寸与被提供以呈现数据的空间之间的不匹配所致。数据不匹配的例子可以包括参照图3-7描述的那些。
在步骤970处，生成在特定文档内存在可见异常的通知。通知可以被存储和取回以供分析员或涉及该文档的其他人员进一步评估。通知可以标识文档、用于检测异常的图像分析、用于创建特征的数据源、特征、区域的图像等中的一个或多个。
现在转到图10，提供了检测多特征文档中的视觉异常的方法1000。单个文档可以包括由多个特征生成的内容。可以通过取回相关数据并生成可见表示来自动生成特征。
在步骤1010处，标识搜索结果页面的显示特定特征的区域。搜索结果页面包括显示响应于搜索查询的内容的多个特征。该区域可以通过运行xpath函数来标识，该xpath函数标识特征被输出在显示器上何处。
在步骤1020处，生成显示特定特征的区域的图像。该图像捕捉特定特征，就像该特定特征将显现给用户那样。图像可以采用多种格式。在一个示例中，截屏是位图文件。在另一示例中，截屏在分析之前被转换为位图。
在步骤1030处，通过对图像的图像分析测量可见特性来计算图像的可见特性的分数。分数可以是直接测量的量，例如，作为背景颜色的、图像内的像素的数目。在这个例子中，像素颜色是可见特性。分数也可以从测量中导出，例如作为背景颜色的、图像中的总像素的百分比。分数可以是图像中最大矩形的尺寸。在这个例子中，可见特性可以是矩形。分数可以是置信度因子或相似性分数。置信度分数可以是特定分类是否应当应用于图像的指示。在这个例子中，可见特性是特定的分类类别，例如包括建筑物、人等。相似性分数可以测量图像与另一图像的相似程度。在这个例子中，可见特性是另一图像。
在步骤1040处，通过确定分数在特定特征的正常范围之外，来确定在图像内存在异常。可见异常可能是由于缺乏数据或数据尺寸与被提供以呈现数据的空间之间的不匹配所致。数据不匹配的例子可以包括参照图3-7描述的那些。
在步骤1050处，生成指示在搜索结果页面内存在可见异常的通知。通知可以被存储和取回以供分析员或涉及该文档的其他人员进一步评估。通知可以标识文档、用于检测异常的图像分析、用于创建特征的数据源、特征、区域的图像等中的一个或多个。
示例性的操作环境
一般参考附图，并且首先特别参考图11，示出了用于实现这里描述的技术的各方面的示例性操作环境，并且该环境一般地被指定为计算设备1100。计算设备1100仅仅是合适的计算环境的一个示例，并且不旨在暗示对本文所述的技术的使用范围的限制。计算设备1100也不应被解释为具有与所示部件的任何一个或组合相关的任何依赖性或要求。
这里描述的技术可以在计算机代码或机器可用指令的一般上下文中被描述，其包括由计算机或其他机器(例如个人数据助理或其他手持设备)执行的诸如程序部件的计算机可执行指令。通常，程序部件(包括例程、程序、对象、部件、数据结构等)是指执行特定任务或实现特定抽象数据类型的代码。这里描述的技术可以在各种***配置中实施，包括手持设备、消费电子件、通用计算机、专用计算设备等。本文描述的技术的各方面还可以分布式计算环境中实施，在分布式计算环境中通过经由通信网络链接的远程处理设备来执行任务。
继续参考图11，计算设备1100包括直接或间接耦合以下设备的总线1110：存储器1112，一个或多个处理器1114，一个或多个呈现部件1116，输入/输出(I/O)端口1118，I/O部件1120以及说明性电源1122。总线1110表示可以是一个或多个总线(例如地址总线、数据总线或其组合)的物体。虽然为了清楚起见图11的各个框以线条示出，但实际上，描绘各种部件并不那么清楚，并且隐喻地，线条更准确地是灰色和模糊的。例如，可以将诸如显示设备的呈现部件看作是I/O部件。而且，处理器具有存储器。本发明人认识到，这是本领域的性质，并重申图11的图仅仅是说明可结合本文所述技术的一个或多个方面使用的示例性计算设备。在诸如“工作站”、“服务器”、“膝上型计算机”、“手持设备”等的类别之间没有进行区分，因为所有这些都在图11的范围内，并且指的是“计算机”或“计算设备”。计算设备1100可以是PC、平板计算机、智能手机、虚拟现实头饰、增强现实头饰、游戏控制台等。
计算设备1100通常包括各种计算机可读介质。计算机可读介质可以是可由计算设备1100访问的任何可用介质，并且包括易失性和非易失性介质、可移除和不可移除介质。通过示例而非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储信息(例如，计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质。
计算机存储介质包括RAM，ROM，EEPROM，闪存或其他存储技术，CD-ROM，数字多功能盘(DVD)或其他光盘存储设备，磁带盒，磁带，磁盘存储设备或其他磁存储设备。计算机存储介质不包括传播的数据信号。
通信介质通常在调制数据信号(例如，载波或其他传输机制)中体现计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息输送介质。术语“调制数据信号”是指这样的信号，该信号的特性中的一个或多个被设置或改变，以将信息编码到该信号中。通过示例而非限制，通信介质包括有线介质(例如，有线网络或直连线连接)以及无线介质(例如声学、RF、红外线和其他无线介质)。上述任何组合也应包含在计算机可读介质的范围内。
存储器1112包括易失性和/或非易失性存储器形式的计算机存储介质。存储器1112可以是可移除的、不可移除的或其组合。示例性存储器包括固态存储器、硬驱动、光盘驱动等。计算设备1100包括一个或多个处理器1114，其从诸如总线1110、存储器1112或I/O部件1120的各种实体读取数据。呈现部件1116将数据指示呈现给用户或其他设备。示例性呈现部件1116包括显示设备、扬声器、打印部件、振动部件等。I/O端口1118允许计算设备1100在逻辑上耦合到其他设备，包括I/O部件1120，其中一些可以是内置的。
说明性I/O部件包括麦克风、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、打印机、显示设备、无线设备、控制器(例如触笔、键盘和鼠标)、自然用户界面(NUI)等。在各方面中，提供笔式数字转换器(未示出)和伴随的输入仪器(也未示出，但其可包括，仅作为示例，笔或触笔)以便数字地捕捉用户手写输入。在笔式数字转换器和处理器1114之间的连接可以是直接的或者经由利用本领域中已知的串行端口、并行端口和/或其他接口和/或***总线的耦合。此外，数字转换器输入部件可以是与诸如显示设备之类的输出部件分开的部件，或者在一些方面中，数字转换器的可用输入区域可以与显示设备的显示区域共存，与显示设备集成，或者可以作为覆盖或以其他方式附加到显示设备的单独设备而存在。预期任何和所有这些变化及其任何组合都在本文描述的技术的各方面的范围内。
NUI处理由用户生成的空中手势、语音或其他生理输入。适当的NUI输入可以被解释为用于与计算设备1100相关联地呈现的墨迹笔划。这些请求可以被传输到适当的网络元件以用于进一步处理。NUI实现屏幕上和屏幕附近的语音识别、触摸和触笔识别、面部识别、生物识别、手势识别，以及与计算设备1100上的显示相关联的空中手势、头和眼睛跟踪以及触摸识别的任意组合。计算设备1100可以配备有深度相机，例如立体相机***、红外相机***、RGB相机***以及这些的组合，用于手势检测和识别。另外，计算设备1100可以配备有能够检测运动的加速度计或陀螺仪。加速度计或陀螺仪的输出可被提供给计算设备1100的显示器以呈现沉浸式增强现实或虚拟现实。
计算设备1100可以包括无线电设备1124。无线电设备发送和接收无线电通信。计算设备1100可以是适于通过各种无线网络接收通信和媒体的无线终端。计算设备1100可以经由无线协议进行通信，所述无线协议例如是码分多址(“CDMA”)、全球移动***(“GSM”)或时分多址(“TDMA”)以及其它，以与其他设备进行通信。无线电通信可以是近程连接、远程连接，或近程和远程无线电信连接的组合。当我们提到“近”和“远”类型的连接时，我们并不是指两个设备之间的空间关系。相反，我们通常将近程和远程称为连接的不同类别或类型(即，主要连接和次要连接)。近程连接可以包括到设备(例如，移动热点)的
Figure BDA0001696496730000161
连接，其提供对无线通信网络(例如使用802.11协议的WLAN连接)的访问。到另一计算设备的蓝牙连接是近程连接的第二示例。远程连接可以包括使用CDMA、GPRS、GSM、TDMA和802.16协议中的一个或多个的连接。
实施例
实施例1、一种计算设备，包括：至少一个处理器；以及其上存储有计算机可执行指令的存储器，所述计算机可执行指令基于所述至少一个处理器的执行将所述计算设备配置为通过被配置为执行以下操作来通过图像分析来检测显示异常：标识文档的区域，特定特征被显示在该区域中；生成所述区域的图像；通过分析图像测量图像的可见特性来计算可见特性的分数；通过确定分数在特定特征的正常范围之外来确定图像内存在可见的异常；以及生成在文档内存在可见异常的通知。
实施例2、根据实施例1所述的计算设备，其中所述可见特性是所述图像内与所述特定特征的背景颜色匹配的像素的百分比。
实施例3、根据前述实施例之一所述的计算设备，其中所述可见特性是所述图像内的仅包括所述特定特征的背景颜色的像素的最大矩形的尺寸。
实施例4、根据前述实施例之一所述的计算设备，其中所述可见特性是所述图像包括人脸的置信度分数。
实施例5、根据前述实施例之一所述的计算设备，其中所述文档是响应于由用户提交的查询而生成的搜索结果页面。
实施例6、根据前述实施例之一所述的计算设备，其中所述特定特征是通过从描述包含于所述查询内的实体的知识库中提取事实而生成的知识库特征。
实施例7、根据前述实施例之一所述的计算设备，其中所述特定特征在表格中呈现数据。
实施例8、一种检测多特征文档中的视觉异常的方法，包括：对于包括特定特征的多个文档中的每个文档，生成图像，所述图像与文档内的特定特征将会显现给查看文档的用户一样描绘所述特定特征，从而形成多个图像；通过对多个图像中的每个图像的图像分析测量该图像的可见特性，来计算特定特征的可见特性的正常范围；标识显示特定特征的特定文档的区域；生成所述特定文档内的特定特征的特定图像；通过对特定图像的图像分析测量可见特性来计算特定图像的可见特性的分数；通过确定分数在特定特征的正常范围之外来确定特定图像内存在可见异常；以及生成在所述特定文档内存在可见异常的通知。
实施例9、根据实施例8所述的方法，其中所述文档是响应于搜索查询而生成的搜索结果页面。
实施例10、根据实施例8或9所述的方法，其中所述通知包括搜索查询。
实施例11、根据实施例8、9或10所述的方法，其中特定特征通过将与所述搜索查询相关的数据与用于所述特定特征的显示模板进行组合来生成。
实施例12、根据实施例8、9、10或11所述的方法，其中所述方法还包括：通过使用xpath函数来确定特定特征在所述文档内的位置。
实施例13、根据实施例8、9、10、11或12所述的方法，其中所述可见特性是在所述特定图像内与所述特定特征的背景颜色匹配的像素的百分比。
实施例14、根据实施例8、9、10、11、12或13所述的方法，其中所述可见特性是所述特定图像内的仅包括所述特定特征的背景颜色的像素的最大矩形的尺寸。
实施例15、根据实施例8、9、10、11、12、13或14所述的方法，其中所述方法还包括：从查询日志中取回所述多个文档。
实施例16、一种检测多特征文档中的视觉异常的方法，包括：标识搜索结果页面的显示特定特征的区域，其中所述搜索结果页面包括响应于搜索查询而显示内容的多个特征；生成所述区域的图像，所述图像捕捉特定特征，就像所述特定特征将显现给用户那样；通过对图像的图像分析测量图像的可见特性来计算可见特性的分数；通过确定分数在特定特征的正常范围之外来确定图像内存在可见异常；并且生成在搜索结果页面内存在可见异常的通知。
实施例17、根据实施例16所述的方法，其中所述可见特性是所述图像内的仅包括所述特定特征的背景颜色的像素的最大矩形的尺寸。
实施例18、根据实施例16或17所述的方法，其中所述可见特性是所述图像内与所述特定特征的背景颜色匹配的像素的百分比。
实施例19、根据实施例16、17或18所述的方法，其中搜索结果页面的显示特定特征的区域是使用xpath函数来标识的。
实施例20、根据实施例16、17、18或19所述的方法，其中所述特定特征是通过将与所述搜索查询相关的数据与所述特定特征的显示模板组合而生成的。
已经描述了该技术的各方面是说明性的而不是限制性的。应该理解的是，特定特征和子组合是有用的，并且可以在不参考其他特征和子组合的情况下使用。这由权利要求的范围所预见并且在权利要求的范围内。

Claims (21)

1.一种计算设备，包括：
至少一个处理器；以及
其上存储有计算机可执行指令的存储器，所述计算机可执行指令基于所述至少一个处理器的执行将所述计算设备配置为通过被配置为执行以下操作来通过图像分析来检测显示异常：
对于包括特定特征的多个文档中的每个文档，生成图像，所述图像与文档内的所述特定特征将会显现给查看所述文档的用户一样描绘所述特定特征，从而形成多个图像；
通过以下操作计算所述特定特征的可见特性的正常范围：通过对所述多个图像中的每个图像的图像分析来测量所述图像的所述可见特性；
标识特定文档的区域，所述区域显示所述特定特征；
生成所述特定文档内的所述特定特征的特定图像；
通过以下操作计算所述特定图像的所述可见特性的分数：通过对所述特定图像的所述图像分析来测量所述可见特性，其中所述可见特性是所述特定图像内的仅包括所述特定特征的背景颜色的像素的最大矩形的尺寸；
通过确定所述分数在所述特定特征的所述正常范围之外来确定可见异常存在于所述特定图像内；以及
生成所述可见异常存在于所述特定文档内的通知。
2.根据权利要求1所述的计算设备，其中所述可见特性是所述特定图像内与所述特定特征的背景颜色匹配的像素的百分比。
3.根据权利要求1所述的计算设备，其中所述多个文档中的每个文档是响应于搜索查询而生成的搜索结果页面。
4.根据权利要求3所述的计算设备，其中所述通知包括所述搜索查询。
5.根据权利要求3所述的计算设备，其中所述特定特征通过将与所述搜索查询相关的数据与用于所述特定特征的显示模板进行组合而被生成。
6.根据权利要求3所述的计算设备，其中所述计算设备还被配置为：通过使用xpath函数来确定所述特定文档内的所述特定特征的位置。
7.根据权利要求1所述的计算设备，其中所述计算设备还被配置为：从查询日志中取回所述多个文档。
8.一种检测多特征文档中的视觉异常的方法，包括：
对于包括特定特征的多个文档中的每个文档，生成图像，所述图像与文档内的所述特定特征将会显现给查看所述文档的用户一样描绘所述特定特征，从而形成多个图像；
通过以下操作计算所述特定特征的可见特性的正常范围：通过对所述多个图像中的每个图像的图像分析来测量所述图像的所述可见特性；
标识特定文档的区域，所述区域显示所述特定特征；
生成所述特定文档内的所述特定特征的特定图像；
通过以下操作计算所述特定图像的所述可见特性的分数：通过对所述特定图像的所述图像分析来测量所述可见特性，其中所述可见特性是所述特定图像内的仅包括所述特定特征的背景颜色的像素的最大矩形的尺寸；
通过确定所述分数在所述特定特征的所述正常范围之外来确定可见异常存在于所述特定图像内；以及
生成所述可见异常存在于所述特定文档内的通知。
9.根据权利要求8所述的方法，其中所述多个文档中的每个文档是响应于搜索查询而生成的搜索结果页面。
10.根据权利要求9所述的方法，其中所述通知包括所述搜索查询。
11.根据权利要求9所述的方法，其中所述特定特征通过将与所述搜索查询相关的数据与用于所述特定特征的显示模板进行组合而被生成。
12.根据权利要求9所述的方法，其中所述方法还包括：通过使用xpath函数来确定所述特定文档内的所述特定特征的位置。
13.根据权利要求8所述的方法，其中所述可见特性是在所述特定图像内与所述特定特征的背景颜色匹配的像素的百分比。
14.根据权利要求9所述的方法，其中所述方法还包括：从查询日志中取回所述多个文档。
15.一种或多种计算机存储介质，当由计算设备执行时，使所述计算设备执行检测多特征文档中的视觉异常的方法，所述方法包括：
对于包括特定特征的多个文档中的每个文档，生成图像，所述图像与文档内的所述特定特征将会显现给查看所述文档的用户一样描绘所述特定特征，从而形成多个图像；
通过以下操作计算所述特定特征的可见特性的正常范围：通过对所述多个图像中的每个图像的图像分析来测量所述图像的所述可见特性；
标识特定文档的区域，所述区域显示所述特定特征；
生成所述特定文档内的所述特定特征的特定图像；
通过以下操作计算所述特定图像的所述可见特性的分数：通过对所述特定图像的所述图像分析来测量所述可见特性，其中所述可见特性是所述特定图像内的仅包括所述特定特征的背景颜色的像素的最大矩形的尺寸；
通过确定所述分数在所述特定特征的所述正常范围之外来确定可见异常存在于所述特定图像内；以及
生成所述可见异常存在于所述特定文档内的通知。
16.根据权利要求15所述的介质，其中所述多个文档中的每个文档是响应于搜索查询而生成的搜索结果页面。
17.根据权利要求16所述的介质，其中所述通知包括所述搜索查询。
18.根据权利要求16所述的介质，其中所述特定特征通过将与所述搜索查询相关的数据与用于所述特定特征的显示模板进行组合而被生成。
19.根据权利要求16所述的介质，其中所述方法还包括：通过使用xpath函数来确定所述特定文档内的所述特定特征的位置。
20.根据权利要求16所述的介质，其中所述方法还包括：从查询日志中取回所述多个文档。
21.根据权利要求15所述的介质，其中所述可见特性是在所述特定图像内与所述特定特征的背景颜色匹配的像素的百分比。
CN201780004785.1A 2016-01-29 2017-01-18 基于图像的质量控制 Active CN108369647B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/010,901 US10043070B2 (en) 2016-01-29 2016-01-29 Image-based quality control
US15/010,901 2016-01-29
PCT/US2017/013840 WO2017132012A1 (en) 2016-01-29 2017-01-18 Image-based quality control

Publications (2)

Publication Number Publication Date
CN108369647A CN108369647A (zh) 2018-08-03
CN108369647B true CN108369647B (zh) 2022-08-05

Family

ID=57960842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780004785.1A Active CN108369647B (zh) 2016-01-29 2017-01-18 基于图像的质量控制

Country Status (4)

Country Link
US (1) US10043070B2 (zh)
EP (1) EP3408797B1 (zh)
CN (1) CN108369647B (zh)
WO (1) WO2017132012A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10062015B2 (en) * 2015-06-25 2018-08-28 The Nielsen Company (Us), Llc Methods and apparatus for identifying objects depicted in a video using extracted video frames in combination with a reverse image search engine
US10346702B2 (en) 2017-07-24 2019-07-09 Bank Of America Corporation Image data capture and conversion
US10192127B1 (en) * 2017-07-24 2019-01-29 Bank Of America Corporation System for dynamic optical character recognition tuning

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1713182A (zh) * 2004-06-23 2005-12-28 微软公司 数据透视中的异常检测
CN1756147A (zh) * 2004-09-30 2006-04-05 微软公司 通过边缘电子邮件服务器实施权限管理
CN1776716A (zh) * 2004-04-27 2006-05-24 微软公司 使用多尺度取向片段的多图像匹配
CN102158622A (zh) * 2010-01-22 2011-08-17 佳能株式会社 图像读取装置及其控制方法
CN102422261A (zh) * 2009-05-06 2012-04-18 微软公司 对所引起的异常的通知
CN102742260A (zh) * 2010-02-11 2012-10-17 微软公司 通用平台视频图像稳定化
CN102779245A (zh) * 2011-05-12 2012-11-14 李朝荣 基于图像处理技术的网页异常检测方法
CN103020110A (zh) * 2011-10-28 2013-04-03 微软公司 创建并维护所浏览的文档的图像
US8667127B2 (en) * 2009-03-24 2014-03-04 Amazon Technologies, Inc. Monitoring web site content

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600732A (en) 1994-12-08 1997-02-04 Banctec, Inc. Document image analysis method
JP4401590B2 (ja) * 2000-06-19 2010-01-20 キヤノン株式会社 画像データ処理方法及び画像データ処理装置
TW563345B (en) * 2001-03-15 2003-11-21 Canon Kk Image processing for correcting defects of read image
US20080215313A1 (en) * 2004-08-13 2008-09-04 Swiss Reinsurance Company Speech and Textual Analysis Device and Corresponding Method
CN101292259B (zh) * 2005-08-23 2012-07-11 株式会社理光 用于混合介质环境中的图像匹配的方法和***
JP4664327B2 (ja) * 2007-05-16 2011-04-06 株式会社日立ハイテクノロジーズ パターン検査方法
US8208183B2 (en) * 2008-11-19 2012-06-26 Xerox Corporation Detecting image quality defects by measuring images printed on image bearing surfaces of printing devices
JP5724311B2 (ja) * 2010-11-15 2015-05-27 富士ゼロックス株式会社 画像処理装置、画像処理システム、及び画像処理プログラム
US8494983B2 (en) * 2010-11-16 2013-07-23 Microsoft Corporation Object-sensitive image search
US9639614B2 (en) 2011-10-04 2017-05-02 Microsoft Technology Licensing, Llc Maximizing content item information on a search engine results page
US20130110827A1 (en) * 2011-10-26 2013-05-02 Microsoft Corporation Relevance of name and other search queries with social network feature
JP5813611B2 (ja) * 2012-09-28 2015-11-17 富士フイルム株式会社 画像評価装置、画像評価方法、及びプログラム
US20140181070A1 (en) * 2012-12-21 2014-06-26 Microsoft Corporation People searches using images
JP6232999B2 (ja) * 2013-03-15 2017-11-22 株式会社リコー 画像検査装置、画像検査システム及び画像検査方法
JP2015194484A (ja) * 2014-03-18 2015-11-05 株式会社リコー 画像検査装置、画像形成システム及び画像検査プログラム
JP6548393B2 (ja) * 2014-04-10 2019-07-24 キヤノンメディカルシステムズ株式会社 医用画像表示装置および医用画像表示システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1776716A (zh) * 2004-04-27 2006-05-24 微软公司 使用多尺度取向片段的多图像匹配
CN1713182A (zh) * 2004-06-23 2005-12-28 微软公司 数据透视中的异常检测
CN1756147A (zh) * 2004-09-30 2006-04-05 微软公司 通过边缘电子邮件服务器实施权限管理
US8667127B2 (en) * 2009-03-24 2014-03-04 Amazon Technologies, Inc. Monitoring web site content
CN102422261A (zh) * 2009-05-06 2012-04-18 微软公司 对所引起的异常的通知
CN102158622A (zh) * 2010-01-22 2011-08-17 佳能株式会社 图像读取装置及其控制方法
CN102742260A (zh) * 2010-02-11 2012-10-17 微软公司 通用平台视频图像稳定化
CN102779245A (zh) * 2011-05-12 2012-11-14 李朝荣 基于图像处理技术的网页异常检测方法
CN103020110A (zh) * 2011-10-28 2013-04-03 微软公司 创建并维护所浏览的文档的图像

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于服务的网络钓鱼综合防范体系的研究;王亚沁;《中国职协2014年度优秀科研成果获奖论文集（中册）》;20141201;1-9 *

Also Published As

Publication number Publication date
CN108369647A (zh) 2018-08-03
EP3408797B1 (en) 2020-03-18
US10043070B2 (en) 2018-08-07
US20170220857A1 (en) 2017-08-03
EP3408797A1 (en) 2018-12-05
WO2017132012A1 (en) 2017-08-03

Similar Documents

Publication Publication Date Title
US10824801B2 (en) Interactively predicting fields in a form
US11244208B2 (en) Two-dimensional document processing
US10726212B2 (en) Presenting translations of text depicted in images
KR101856120B1 (ko) 이미지로부터 상가 발견
US9239833B2 (en) Presenting translations of text depicted in images
US10452915B1 (en) Systems and methods for depicting vehicle information in augmented reality
US9298685B2 (en) Automatic creation of multiple rows in a table
EP3066584A2 (en) Presenting translations of text depicted in images
US20190347289A1 (en) Establishment anchoring with geolocated imagery
CN108369647B (zh) 基于图像的质量控制
CN109582859B (zh) 保险推送方法、装置、计算机设备及存储介质
US11386263B2 (en) Automatic generation of form application
CN112801099A (zh) 一种图像处理方法、装置、终端设备及介质
Noskov et al. Open-data-driven embeddable quality management services for map-based web applications
KR20220014015A (ko) 상품 텍스트 정보 분석 및 매칭 방법
CN114138214B (zh) 一种自动生成打印文件的方法、装置和电子设备
US20240205348A1 (en) Display system, display method, and display program for displaying a cotent of electronic document
CN115240212A (zh) 图像检测方法、装置、设备和存储介质
CN115686320A (zh) 应用分析报告生成方法、装置、计算机设备和存储介质
US20170132487A1 (en) Mobile image analysis unit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant