CN107111618A - 将图像的缩略图链接到网页 - Google Patents
将图像的缩略图链接到网页 Download PDFInfo
- Publication number
- CN107111618A CN107111618A CN201580053406.9A CN201580053406A CN107111618A CN 107111618 A CN107111618 A CN 107111618A CN 201580053406 A CN201580053406 A CN 201580053406A CN 107111618 A CN107111618 A CN 107111618A
- Authority
- CN
- China
- Prior art keywords
- webpage
- image
- thumbnail
- content
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9558—Details of hyperlinks; Management of linked annotations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/134—Hyperlinking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明揭示一种通过电子装置执行的用于链接图像的缩略图与至少一个网页的方法。在此方法中,可以在存储单元中存取包括至少一个文本区域的图像。可以在图像中被检测到至少一个文本区域,且可以识别在至少一个文本区域中的至少一个字符串。另外,所述方法可以包括从多个网页中选择至少一个网页并且链接图像的缩略图和至少一个网页。
Description
相关申请的交叉参考
本申请主张2015年4月17日递交的标题为“图像到网页的链接”的第62/062,715号美国临时专利申请以及标题为“图像到网页的链接缩略图”的第14/690,163号美国专利申请的优先权,所述专利申请的全部内容以引用的方式并入本文中。
技术领域
本发明大体上涉及图像处理,且更确切地说涉及处理在电子装置中包含文本对象的图像。
背景技术
近年来,例如智能电话、可佩带计算机、平板计算机等电子装置的使用已变得普遍。此类电子装置通常配备有可以由用户使用以捕获并且存储多种类型的场景和对象的照片的相机或相机模块。一旦照片已经被捕获和存储,则此类电子装置可以允许用户根据他或她的偏好查看和编辑照片。
常规的电子装置还可以提供通过有线或无线通信网络与外部服务器或装置通信的功能。举例来说,用户可以操作此类电子装置以为了信息而浏览互联网并且在电子装置上显示信息。在显示此类信息时,用户可以捕获所显示的信息的图像并且在电子装置中存储图像。另外,用户可以使用此类电子装置以通过通信网络从外部装置或服务器中接收可包含文本的多个图像(例如,照片)以用于存储。
在存储此类图像之后,用户可以随后在电子装置上选择和查看图像。在查看图像之后,用户可能为了与图像相关的信息而想要搜索互联网。然而,在此类情况下,用户通常需要通过使用来自图像的信息在互联网上手动地执行搜索操作来获得信息。手动地执行此类搜索操作对用户来说可能是不方便的且费时的。
发明内容
本发明涉及链接图像的缩略图与具有与图像内容相似的内容的至少一个网页。
根据本发明的一个方面,公开了由用于链接图像的缩略图与至少一个网页的电子装置来执行的方法。在此方法中,可以在存储单元中存取包括至少一个文本区域的图像。至少一个文本区域可以在图像中被检测到,且可以识别在至少一个文本区域中的至少一个字符串。基于至少一个字符串,随后可搜索多个网页。可以从多个网页中选择至少一个网页,且可以链接图像的缩略图与至少一个网页。本发明还描述与此方法有关的设备、装置、装置的组合以及计算机可读媒体。
根据本发明的另一方面,公开了用于链接图像的缩略图与至少一个网页的电子装置。电子装置包括文本区域检测单元、文本识别单元、网页搜索单元、网页选择单元和图像链接单元。文本区域检测单元可经配置以在存储单元中存取包含至少一个文本区域的图像并且检测图像中的至少一个文本区域。另外,文本识别单元可经配置以在至少一个文本区域中识别至少一个字符串。网页搜索单元可经配置以基于至少一个字符串搜索多个网页,并且网页选择单元可经配置以从多个网页中选择至少一个网页。图像链接单元可经配置以链接图像的缩略图与至少一个网页。
附图说明
在结合附图阅读时将参考以下详细描述理解本发明的实施例。
图1说明根据本发明的一个实施例的可经配置以存储和存取多个图像的电子装置。
图2描绘了根据本发明的一个实施例在电子装置中从相应地与多个图像相关联的多个缩略图中选择缩略图并且访问与所选择的缩略图相关联的网页的流程图。
图3是根据本发明的一个实施例经配置以链接图像的缩略图与具有与图像内容相似的内容的至少一个网页的电子装置的框图。
图4说明根据本发明的一个实施例的由电子装置来执行的方法的流程图,所述方法用于链接具有内容的图像的缩略图与具有与图像内容相似的内容的至少一个网页。
图5描述了根据本发明的一个实施例的网页搜索单元的框图,所述网页搜索单元经配置以从文本识别单元接收图像的至少一个文本区域中的一或多个字符串,并且基于字符串搜索多个网页。
图6是根据本发明的一个实施例的网页选择单元的框图,所述网页选择单元经配置以接收与缩略图相关联的图像中的内容以及多个网页的内容,并且从多个网页中选择一或多个网页。
图7说明根据本发明的一些实施例的特征提取单元的框图,所述特征提取单元经配置以从图像中提取第一特征,并且从已经搜索的多个网页中提取多个第二特征。
图8是根据本发明的一个实施例的由电子装置执行的方法的流程图,所述方法用于基于图像的至少一个文本区域中的至少一个字符串搜索多个网页并且从多个网页中选择至少一个网页。
图9描绘了根据本发明的一个实施例的电子装置,所述电子装置经配置以访问网页并且捕获网页的图像以用于将图像的缩略图链接到网页。
图10是根据本发明的一个实施例的由电子装置执行的方法的流程图,所述方法用于捕获网页的图像并且将图像的缩略图链接到网页。
图11说明了无线通信***中的移动装置的框图,在所述无线通信***中本发明的方法和设备可以根据一些实施例来实施,所述方法和设备用于链接图像的缩略图与针对图像已经搜索且选择的至少一个网页。
图12是说明根据一些实施例来实施的服务器***的框图,所述服务器***可以是先前描述的服务器中的任一个,用于搜索和提供包括一或多个对象、分类器数据库、字符信息数据库、词典数据库等的多个图像。
具体实施方式
现在将对各种实施例详细进行参考,在附图中说明所述实施例的实例。在以下详细描述中,阐述众多具体细节以便提供对本发明的透彻理解。然而,对于所属领域的一般技术人员将显而易见的是,可在无这些具体细节的情况下实践本发明。在其它情况下,尚未详细描述众所周知的方法、程序、***和组件,以便不会不必要地混淆各种实施例的各方面。
图1说明根据本发明的一个实施例的可经配置以存储和存取多个图像140、150和160的电子装置120。图像140、150和160可以由图像传感器捕获并且存储在电子装置120的存储单元中或者通过通信网络从外部装置接收。如本文中所说明,电子装置120可为配备有有图像处理能力的任何合适的装置,例如,智能电话、数码相机(例如,DSLR相机)、可佩带计算机(例如,智能眼镜、智能表等)、个人计算机、膝上型计算机、平板计算机、游戏装置等。尽管电子装置120被说明为包括图像140、150和160,但是可以在电子装置120的存储单元中存储任何合适数量的图像或从外部装置接收此类图像。
图像140、150和160可以包括例如文本对象(例如,包括文本的对象)和非文本对象(例如,并不包括文本的对象)的一或多个对象。在图1中,图像140、150和160中的每一个可以包括具有至少一个文本区域的文本对象(例如,文档、网页或文档等)。举例来说,图像140可以包括具有多个文本区域142和144的文章,所述文本区域可以相应地包括字符串“HEADLINE1”(例如,标题、大标题等)和“BODY1”(例如,正文、内容、短语、句子、段落等)。类似地,图像150可以包括具有多个文本区域152和154的文章,所述文本区域可以相应地包括字符串“HEADLINE2”和“BODY2”。类似地,图像160可以包括具有多个文本区域162和164的杂志的封面,所述文本区域可以相应地包括字符串“MAGAZINE”和“AUTHOR”。尽管图像140、150和160被说明为例如文章和杂志的文档,但是它们可以是包括或示出文本的任何对象或项目的图像,例如,网页或文档、街道标牌、地图、菜单等等。
电子装置120可经配置以存取包括具有文本的至少一个对象的文本图像140到160,并且在图像140到160上执行文本识别以识别图像140到160中的每一个中的至少一个字符串。在一个实施例中,电子装置120可以检测图像140到160中的每一个中的至少一个文本区域,并且识别在至少一个文本区域中的每一个中的至少一个字符串。举例来说,电子装置120可以检测图像140中的文本区域142和144,并且相应地识别文本区域142和144中的字符串“HEADLINE1”和“BODY1”。
在识别图像140到160中的每一个的至少一个字符串之后,电子装置120可经配置以基于至少一个所识别的字符串搜索多个网页。在一个实施例中,电子装置120可以通过从多个词语中选择至少一个词语产生搜索查询,所述词语可以包含于图像140到160中的每一个中的至少一个字符串中。举例来说,电子装置120可以使用任何合适的统计建模方法(例如,词语n元语法、词语直方图或类似物)来确定在图像140的至少一个字符串中所识别的词语的出现的次数,并且基于出现的次数从词语中选择至少一个词语。在从图像140中的至少一个字符串中选择至少一个词语之后,电子装置120可以使用至少一个所选择的词语作为搜索查询以使用任何合适的搜索引擎来搜索多个网页,所述搜索引擎是由通信网络内部提供或外部提供的。如本文所使用,术语“网页”可指代与地址(例如,URL)相关联的任何网络文档并且可以包括文本、图像、地图、视频、或其任何组合,所述地址可使用浏览器应用程序通过互联网或内联网访问。基于搜索,电子装置120可以检索多个网页,所述网页中的每一个可以与图像140、150和160中的每一个的搜索查询中的一或多个词语相关联。
在针对图像140到160中的每一个所检索到的网页中,电子装置120可以从已经产生的搜索查询中选择具有与图像内容相似的内容的至少一个网页。如本文所使用,术语“内容”可指代任何包含于图像或网页中的数据或信息,并且也可以指示图像或网页中的对象(例如,文本对象、非文本对象等)的布局、特性或布置。举例来说,图像或网页的内容可以包括一或多个文本对象的词语、字符大小、笔画宽度、位置、类型等。术语“相似”或“相似度”可指代可预先确定的图像与网页的内容之间的相似度的程度或值,所述程度或值超过相似度的特定程度或值。在一个实施例中,如参考图7中的参考标号720、730和740详细描述的,图像与网页之间的相似度可以通过执行自然语言处理来确定,例如,句法分析、词汇分析和/或语义分析。举例来说,电子装置120可以搜索与图像140中的字符串“HEADLINE1”相关联的多个网页,并且在网页中选择具有最高相似度的网页。额外地或替代地,电子装置120可以访问多个网页并且选择具有超过阈值相似度值的相似度的程度或值的特定数量的网页。
在针对图像140到160中的每一个选择至少一个网页之后,电子装置120可经配置以链接图像140到160中的每一个的缩略图与至少一个网页。在一个实施例中,电子装置120可以产生原始图像140、150和160的多个缩略图,并且在电子装置120的显示屏上显示缩略图。如本文所使用,术语“缩略图”可指代缩小尺寸的图像或原始图像的一部分。在一个实施例中,如果针对图像已经搜索和选择的至少一个网页的数量为一个,那么电子装置120可以将图像的缩略图或例如所识别的字符串的缩略图的一部分链接到网页。在另一实施例中,如果已经搜索和选择了两个或大于两个网页,那么电子装置120可以产生所选择的网页的列表,所述网页可随后被链接到图像的缩略图或例如所识别的字符串的缩略图的一部分。以此方式,图1中的图像140、150和160的每一个缩略图或每一个缩略图的一部分(例如,字符串)可以被链接到一或多个网页。根据一些实施例,图像的缩略图或缩略图中所识别的字符串可以通过以缩略图的元数据形式将网页的链接信息(例如,一或多个URL或类似物)标记到缩略图而被链接到一或多个网页。
一旦图像的缩略图或缩略图中的一部分已经被链接到一或多个网页,则可以选择缩略图以***到缩略图的一或多个网页。图2说明根据本发明的一个实施例在图1中的电子装置120中从相应地与图像140、150和160相关联的多个缩略图240、250和260中选择缩略图250,并且访问与所选择的缩略图250相关联的网页220。首先,电子装置120可以在电子装置120的显示屏210上显示多个缩略图240、250和260。在缩略图240、250和260中,电子装置120的用户可以选择包括多个文本区域252和254的缩略图250。在一个实施例中,用户可以在可以是触敏屏的显示屏210上选择缩略图250或缩略图250的一部分(例如,在文本区域252或254中的字符串)。
在显示屏210上选择缩略图250或缩略图250的一部分之后,电子装置120可以访问已经通过通信网络链接到缩略图250的网页220,并且在显示屏210上显示网页220。由于已经基于与缩略图250的相似度选择且链接网页220,所以网页220的内容可以基本上与缩略图250的内容相似并且包括缩略图250的字符串“HEADLINE2”和“BODY2”。替代地,如果多个网页被选择且链接到缩略图250,那么电子装置120可以显示与缩略图250相关联的网页的列表。从网页的列表中,用户可以选择网页中的一个以访问所选择的网页。
图3是根据本发明的一个实施例经配置以链接图像的缩略图与具有与图像内容相似的内容的至少一个网页的电子装置120的框图。电子装置120可以包括图像传感器310、存储单元320、I/O单元330、通信单元340和处理器350。处理器350可以包括缩略图产生单元352、文本区域检测单元354、文本识别单元356、网页搜索单元358、网页选择单元360、网页捕获单元362和图像链接单元364。电子装置120可以经由通信网络370通过通信单元340与存储一或多个图像的多个外部装置(例如,服务器或类似物)进行通信。
图像传感器310可经配置以捕获例如文本对象或非文本对象的对象的图像。图像传感器310可以为可用于捕获、感测和/或检测可包括文本的对象的图像的任何合适的装置。额外地或替代地,可以经由I/O单元330从外部装置中或经由通信网络370通过通信单元340接收包括文本的对象的图像。
存储单元320可经配置以存储包括文本的一或多个图像、图像的一或多个缩略图以及图像和缩略图的元数据。图像和缩略图中的每一个可以包括一或多个文本区域,所述文本区域中的每一个包括文本,例如,至少一个字符串。如本文所使用,图像或图像的缩略图的元数据可以指示描述图像或缩略图的数据或与图像或缩略图相关的数据,并且包括图像或缩略图的大小信息、色深信息、分辨率信息、时间信息、配置信息等等。在一个实施例中,可以通过处理器350存取在存储单元320中的包括文本的图像和缩略图以将图像的缩略图链接到与图像中的文本相关联的至少一个网页。在此情况下,至少一个网页的链接信息(例如,URL或类似物)可以存储为图像或缩略图的元数据。元数据可以允许用户110响应于缩略图的选择而访问至少一个网页。存储单元320可以为远程或本地存储装置,且可以使用任何合适的存储装置或存储器装置来实施,例如RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除可编程只读存储器)、快闪存储器或SSD(固态驱动器)。
存储单元320还可以存储分类器数据库,所述分类器数据库可以对文本和/或非文本进行分类以用于识别场景的图像中的一或多个文本区域。在一个实施例中,分类器数据库可以包括用于多种语言(例如,英语、法语等等)的多个概率模型,所述概率模型可用于确定给定文本与所述语言中的一个相关联的概率。另外,存储单元320可以存储可用于识别与多种语言相关联的至少一个字符串的字符信息数据库。对于每一种语言,字符信息数据库可以包括在语言中使用的多个字符的图案或几何数据、表示语言中的多个字符的符号的图像和/或与语言中的每一个体符号相关联的至少一个特征。为了识别至少一个字符串(例如,词语),存储单元320还可以存储可包括多个词语的多种语言的词典数据库。另外,存储单元320可以存储多个预先确定类型的字符串,例如,电话号码、公司名称、个人名称、地址、电子邮件等。
I/O单元330可经配置以从电子装置120的用户中接收命令和/或为用户输出信息。在一个实施例中,I/O单元330可以从用户110接收命令或输入以选择图像的多个缩略图中的一个,所述缩略图可以在I/O单元330中的显示屏210(图2中所说明)上显示。举例来说,用户110可以在可以是触敏屏的显示屏210上触控包括文本的缩略图的一部分以选择缩略图。一旦在显示屏210上选择缩略图,则与所选择缩略图链接的网页可以显示在显示屏210上。在一些实施例中,I/O单元330可以从用户接收命令或输入以捕获网页的图像,所述网页当前正在显示屏210上显示。如本文中所说明,I/O单元330可以是能够接收命令和/或输出信息的任何合适的装置。在一个实施例中,I/O单元330可以包括输入单元(例如,触摸屏、按钮、小键盘、触控板或类似物)和输出单元(例如,显示屏210、扬声器、振动器或类似物)。
处理器350可经配置以将图像链接到具有与图像内容相似的内容的至少一个网页以用于响应于选择图像的缩略图而访问至少一个网页。为了链接图像与至少一个网页,存储单元320可以存储图像和/或映射到至少一个网页的链接信息的图像的缩略图。举例来说,至少一个网页的链接信息可以与缩略图相关联且存储为缩略图的元数据。响应于缩略图的选择,可以经由I/O单元330输出至少一个网页。
处理器350中的缩略图产生单元352可经配置以从存储单元320中接收包括至少一个文本区域的一或多个图像,并且产生图像的一或多个缩略图。在一个实施例中,缩略图产生单元352可以调整图像大小以产生图像的缩略图。举例来说,图像的缩略图可以通过减小图像的大小来产生。替代地,缩略图产生单元352可以裁剪图像的一部分以产生图像的缩略图。图像的所产生的缩略图可随后存储在与图像以及缩略图和/或图像的元数据相关联的存储单元320中。
处理器350中的文本区域检测单元354可经配置以从存储单元320中接收包含至少一个文本区域的一或多个图像,并且检测每一个图像中的至少一个文本区域。给定具有至少一个文本区域的图像,可使用任何合适的文本候选提取方案(例如,斑点聚集方法、基于边缘的方法、基于连接的组件的方法、基于纹理的方法或类似物)来检测图像中的一或多个候选文本区域。在一个实施例中,文本区域检测单元354可以将所检测的候选文本区域中的一或多个识别为图像中的一或多个文本区域。
在一些实施例中,在检测图像中的候选文本区域之后,文本区域检测单元354可以从每一个候选文本区域中提取特征的集合。文本区域检测单元354可随后基于来自存储单元320的分类器数据库产生与每一个候选文本区域相关联的用于特征的集合的分类评分。替代地,可以经由通信网络370通过通信单元340从外部装置接收分类器数据库。基于与候选文本区域相关联的分类评分,文本区域检测单元354可以识别图像中的至少一个文本区域。举例来说,如果图像中用于候选文本区域的分类评分超过了预定阈值评分,那么候选文本区域可以被识别为图像中的文本区域。可以提供如所识别的图像中的至少一个文本区域到处理器350中的文本识别单元356。
另外,在识别一或多个图像中的至少一个文本区域之后,文本区域检测单元354可以确定表征图像中的至少一个文本区域的文本区域信息。在一个实施例中,通过确定至少一个文本区域的字符大小、笔画宽度、布局(例如,位置)等,文本区域检测单元354可以产生用于至少一个文本区域的文本区域信息。可随后将文本区域信息提供到处理器350中的网页搜索单元358和网页选择单元360中的每一个。
处理器350中的文本识别单元356可经配置以从文本区域检测单元354中接收包括至少一个字符串的至少一个文本区域,并且在至少一个文本区域上执行文本识别以识别至少一个文本区域中的至少一个字符串。在一个实施例中,文本识别单元356可以访问存储单元320中的字符信息数据库以用于识别至少一个字符串。可基于字符信息数据库使用任何合适的字符识别方案(例如,矩阵匹配、特征匹配等)来识别至少一个字符串。
在一个实施例中,文本识别单元356可以识别至少一个文本区域中的至少一个字符串,方法是将从至少一个文本区域中所识别的字符信息与字符信息数据库进行比较。举例来说,文本识别单元356可以识别至少一个文本区域中的图案或符号,并且将图案或符号与来自字符信息数据库的多个字符的图案或几何数据进行比较。在此情况下,如果确定一或多个所识别的图案或符号与特定字符的图案或几何数据之间的相似度值超过了预定阈值,那么图案或符号可被识别为特定字符。所识别的字符可随后被识别为至少一个文本区域中的至少一个字符串。
文本识别单元356可经配置以从至少一个文本区域中的所识别的至少一个字符串中检测一或多个词语。在一些实施例中,文本识别单元356可以检测字符串作为至少一个文本区域中的词语,方法是检测任何合适的字符、符号或可在脚本中分隔或区分词语的空格。举例来说,当字符串以空格结尾时可以检测到文本区域中的词语。可以将至少一个文本区域中的词语与词典数据库进行比较,所述词典数据库包括可以从存储单元320中存取的多个词语。如果在文本区域中所检测到的词语与词典数据库中的词语中的一个相同或与词典数据库中的词语中的一个相似,那么词语可随后被确定为至少一个文本区域中的至少一个字符串中的词语。
网页搜索单元358可经配置以从文本识别单元356中接收图像中的至少一个字符串并且基于至少一个字符串搜索多个网页。在此过程中,网页搜索单元358可以从至少一个字符串中产生搜索查询,并且基于搜索查询接收网页。根据一个实施例,网页搜索单元358可以从文本区域检测单元354中接收图像中的至少一个文本区域的文本区域信息,并且基于文本区域信息(例如,至少一个文本区域的字符大小、笔画宽度、位置等)从至少一个字符串中产生搜索查询。举例来说,搜索查询可以基于文本区域信息通过从可包括多个词语的至少一个字符串中选择至少一个词语来产生。
在一些实施例中,为了产生搜索查询,网页搜索单元358可以基于图像中每一个词语出现的次数使用任何合适的统计建模方法(例如,词语n元语法、词语直方图等)从可包含于至少一个字符串中的多个词语中选择至少一个词语。额外地或替代地,网页搜索单元358可以确定多个词语是否指示预先确定类型的字符串,例如,电话号码、公司名称、个人名称、地址、电子邮件等。如果一或多个词语对应于预先确定类型的字符串,那么可以选择此类词语并且用作搜索查询。使用搜索查询,网页搜索单元358可以访问和接收与图像相关联的网页,所述网页可以通过由通信网络370内部提供或外部提供的任何合适的搜索引擎搜索和/或可以存储在存储单元320中。
网页选择单元360可经配置以接收与图像中的至少一个字符串相关联的网页并且从网页中选择至少一个网页。在一个实施例中,网页选择单元360可以确定图像的内容是否与网页的内容相似以从网页中选择至少一个网页。举例来说,网页选择单元360可以提取指示图像中的至少一个文本区域的第一特征和指示网页中的文本的多个第二特征。网页选择单元360可以将第一特征与每一个第二特征进行比较以确定图像与相关联的网页之间的相似度。基于相似度,可以选择网页中的至少一个以链接到图像的缩略图。
根据一个实施例,网页选择单元360可以基于图像内容中的至少一个字符串以及网页内容中的一或多个词语来确定图像与网页之间的至少一个相似度。在此过程中,网页选择单元360可以解析每一个网页中的词语以及包含于图像中的至少一个字符串中的一或多个词语。如参考图7中的参考标号720、730和740详细描述的,图像中的词语和网页可用于基于自然语言处理(例如,句法分析、词汇分析和/或语义分析)来确定至少一个相似度。额外地或替代地,网页选择单元360可以基于图像中的至少一个文本区域的文本区域信息与网页的文本区域信息(例如,布局、笔画宽度、字符大小等)确定至少一个相似度。在此情况下,网页选择单元360可以从文本区域检测单元354中接收至少一个文本区域的文本区域信息,并且确定每一个网页中的文本的文本区域信息以比较与每一个网页相关联的文本区域信息以及与图像相关联的文本区域信息。
在一些实施例中,网页选择单元360可以基于图像内容与网页内容之间的至少一个相似度将至少一个排名分配到网页。可随后基于至少一个排名选择至少一个网页。举例来说,可以按与网页相关联的至少一个相似度的顺序对网页进行排序。网页选择单元360可以将与针对图像所选择的至少一个网页相关联的链接信息(例如,至少一个URL)提供到处理器350中的图像链接单元364。此外,网页选择单元360可以从存储单元320中检索图像的缩略图并且将它提供到图像链接单元364。
网页捕获单元362可经配置以捕获在I/O单元330的显示屏210上显示的网页的图像,并且获取与网页相关联的链接信息(例如,URL)。在一个实施例中,电子装置120的用户可以通过任何合适的搜索引擎访问且显示一或多个网页,并且经由I/O单元330提供命令以将当前正在显示屏210上显示的网页捕获为图像。在接收捕获图像的命令之后,网页捕获单元362可以基于所显示的网页获取网页的链接信息。在此情况下,链接信息可以包括指示网页的地址(例如,URL地址)。此外,可以将所捕获的图像提供到缩略图产生单元352以用于产生图像的缩略图。随后,可将图像和/或缩略图以及网页的链接信息提供到图像链接单元364。
图像链接单元364可经配置以从网页选择单元360中接收图像的缩略图以及与图像链接的至少一个网页的链接信息以用于将缩略图链接到至少一个网页。替代地,如果图像和至少一个网页是从网页选择单元360中接收的,那么图像链接单元364可以从存储单元320中检索图像的缩略图。至少一个网页的链接信息可以存储为缩略图的元数据以用于响应于缩略图的选择而访问至少一个网页。如果针对图像接收了多个网页的链接信息,那么图像链接单元364可以产生包括链接信息(例如,每一个网页的URL地址)的网页的列表。在此情况下,可以响应于缩略图的选择而显示网页的列表。当网页的列表显示在显示屏210上时,用户可以从列表中选择网页中的一个以访问所选择的网页。
在一些实施例中,图像链接单元364可以将与图像相关联的至少一个网页链接到图像的一部分。举例来说,图像的一部分可以包括与搜索查询相关联的至少一个字符串,所述搜索查询是为了针对图像搜索网页的列表而产生的。额外地或替代地,图像链接单元364可以将针对图像可以被搜索和选择的网页的一部分链接到图像的缩略图。在此情况下,网页的一部分可以包括与图像中的内容相似的内容。
根据另一实施例,图像链接单元364可以从网页捕获单元362中接收网页的所捕获的图像和/或图像的缩略图以及网页的链接信息(例如,URL)。网页的链接信息可以元数据的形式标记到图像的缩略图,并且所标记的图像可以存储在存储单元320中。在此情况下,可以响应于选择用网页的链接信息标记的缩略图而访问网页。
图4说明根据本发明的一个实施例的由电子装置120来执行的方法400的流程图,所述方法用于链接具有内容的图像的缩略图与具有与图像内容相似的内容的至少一个网页。最初,在410处,电子装置120中的处理器350可以从存储单元320或外部存储器装置中存取包括至少一个文本区域的图像,所述文本区域包括至少一个字符串。在420处,处理器350中的文本区域检测单元354可以使用任何合适的文本提取方案(例如,斑点聚集方法、基于边缘的方法、基于连接的组件的方法、基于纹理的方法或类似物)来检测图像中的至少一个文本区域。
在430处,处理器350中的文本识别单元356可以使用任何合适的字符识别方案(例如,矩阵匹配、特征匹配等)来识别至少一个文本区域中的至少一个字符串。在440处,处理器350中的网页搜索单元358可以从文本识别单元356中接收至少一个字符串并且基于至少一个字符串搜索多个网页。在一个实施例中,可以基于可从至少一个字符串中产生的搜索查询搜索多个网页。
网页搜索单元358可以将多个网页提供到网页选择单元360。在450处,作为响应,网页选择单元360可以从多个网页中选择至少一个网页。在一个实施例中,网页选择单元360可以确定图像的内容是否与网页的内容相似以从网页中选择至少一个网页。在460处,处理器350中的图像链接单元364可以链接图像的缩略图与所选择的至少一个网页。举例来说,至少一个网页的链接信息可以存储为图像的缩略图的元数据以用于响应于缩略图的选择而访问至少一个网页。
图5说明根据本发明的一个实施例的网页搜索单元358的框图,所述网页搜索单元经配置以从文本识别单元356中接收图像的至少一个文本区域中的一或多个字符串并且基于字符串搜索多个网页。每一个网页可指代与经由互联网或内联网访问的URL地址相关联的任何网络文档,并且可以包括文本、图像、地图、视频、音频或其组合。在所说明的实施例中,网页搜索单元358可以包括词语分析单元510、查询产生单元520和网页提取单元530。
在网页搜索单元358中,词语分析单元510可以解析可包含于至少一个字符串中的多个词语。根据一个实施例,词语分析单元510可以对每一个词语出现的次数进行计数。举例来说,可以通过使用任何合适的统计建模方法(例如,词语n元语法、词语直方图等)来计算每个词语出现的次数。在此过程中,词语分析单元510可以确定图像中的两个或大于两个词语是否为相似词语或等效词语(例如,同义词、相似词语等),所述相似词语或等效词语作为单个词语来计数以用于确定出现的次数。额外地或替代地,词语分析单元510可以确定图像中的词语的一或多个类型(例如,电话号码、公司名称、个人名称、地址、电子邮件等)。可随后将图像中的词语的出现的次数和/或类型提供到网页搜索单元358中的查询产生单元520。
在接收图像中的词语的出现的次数和/或类型之后,查询产生单元520可以通过从词语中选择至少一个词语来产生一或多个搜索查询。在一个实施例中,查询产生单元520可以在多个词语之中选择至少一个词语,所述词语出现的比预先确定的出现次数多。根据另一实施例,可以选择具有预先确定的最高出现次数的词语并且将其用作一或多个搜索查询。在一些情况下,如果图像中的每个词语的类型被确定为对应于预先确定的类型(例如,电话号码、公司名称、个人名称、地址、电子邮件地址或类似物),那么可以选择此类词语并且将此类词语包含于一或多个搜索查询中。
根据一些实施例,查询产生单元520还可以从文本区域检测单元354中接收图像中的至少一个文本区域(例如,至少一个文本区域中的字符大小、笔画宽度、位置或类似物)的文本区域信息,并且基于文本区域信息从图像中的词语中选择至少一个词语作为一或多个搜索查询。举例来说,如果文本区域中的一或多个词语中的每一个的字符大小大于预先确定的大小,那么可以选择词语以用于产生一或多个搜索查询。可以将针对图像产生的搜索查询提供到网页搜索单元358中的网页提取单元530。
在从查询产生单元520中接收图像的搜索查询之后,网页提取单元530可以搜索与搜索查询相关联的多个网页。对于每一个搜索查询,网页提取单元530可以使用任何合适的引擎来搜索一或多个网页,所述引擎可以是通过通信网络370内部提供或外部提供的。额外地或替代地,多个网页可以存储在存储单元320中,所述网页可通过网页提取单元530存取和搜索。尽管网页搜索单元358被说明为基于一或多个搜索查询搜索多个网页,但是网页搜索单元358可以基于一或多个搜索查询来仅搜索一个网页。
图6说明了根据本发明的一个实施例的网页选择单元360的框图,所述网页选择单元经配置以接收与缩略图相关联的图像中的内容以及多个网页的内容,并且从多个网页中选择一或多个网页。图像的内容可以包括图像中的至少一个文本区域的可从文本区域检测单元354中接收的文本区域信息和至少一个文本区域中的可从文本识别单元356中接收的一或多个字符串。在所说明的实施例中,网页选择单元360可以包括特征提取单元610、相似度确定单元620、排名分配单元630和网页输出单元640。网页选择单元360可以从网页搜索单元358中接收多个网页,并且选择可以被链接到图像的缩略图的一或多个网页。可随后将所选择的网页提供到图像链接单元364以用于链接图像的缩略图与所选择的网页。
特征提取单元610可经配置以从文本区域检测单元354中接收图像中的至少一个文本区域的文本区域信息并且从文本识别单元356中接收至少一个文本区域中的一或多个字符串。另外,特征提取单元610可以接收已经从网页搜索单元358中被搜索出的多个网页。基于文本区域信息或字符串中的至少一者,特征提取单元610可以提取指示图像中的至少一个文本区域的第一特征。此外,可以提取指示每一个所接收到的网页中的文本的第二特征。可将与图像相关联的第一特征和与所接收到的网页相关联的第二特征提供到相似度确定单元620。在一个实施例中,可基于图像和网页中的文本区域信息和/或字符串相应地产生第一特征和第二特征。举例来说,第一特征可以表示为包括指示图像的文本区域信息和/或字符串的多个值的特征向量。类似地,第二特征可以表示为包括指示网页的文本区域信息和/或字符串的多个值的特征向量。
在接收与图像相关联的第一特征和与网页相关联的第二特征之后,相似度确定单元620可以确定第一特征与每一个第二特征之间的相似度。在一个实施例中,相似度确定单元620可以确定第一特征与每一个第二特征之间的相似度,方法是确定第一特征与第二特征之间的距离(例如,欧几里得距离)。可随后将网页的第二特征与图像的第一特征的相似度提供到排名分配单元630。
排名分配单元630可以从相似度确定单元620中接收网页和与图像的第一特征的相关联的相似度。在一个实施例中,可以根据与网页相关联的相似度将排名分配到每一个网页。举例来说,排名分配单元630可以为了图像访问特定数量的网页并且基于图像与每一个网页之间的相似度将排名分配到每一个网页。在此情况下,可以选择多个最高排名网页(例如,第一到第五最高排名网页)并且将网页与相关联的排名一起提供到网页选择单元360中的网页输出单元640。尽管排名分配单元630被描述为访问特定数量的网页并且选择多个最高排名网页,但是它可以访问任何合适数量的网页并且选择任何合适数量的最高排名网页。
网页输出单元640可以从排名分配单元630中接收已经基于网页的排名选择的网页以及相关联的排名。在一个实施例中,网页输出单元640可以在所接收到的网页之中选择特定数量的最高排名网页。替代地,网页输出单元640可以从相似度确定单元620中接收已经针对图像搜索的网页与图像之间的相似度,并且选择具有超过阈值相似度(其可以是预先确定的)的相似度的一或多个网页。可随后将所选择的网页提供到处理器350中的图像链接单元364。在一些实施例中,网页输出单元640还可以将与所选择的网页相关联的排名提供到图像链接单元364。
图7说明了根据本发明的一个实施例的特征提取单元610的框图,所述特征提取单元经配置以从图像中提取第一特征并且从已经搜索的多个网页中提取多个第二特征。特征提取单元610可以从文本识别单元356中接收图像中的至少一个文本区域中的一或多个字符串并且从网页搜索单元358中接收多个网页。此外,可以从文本区域检测单元354中接收图像的文本区域信息。特征提取单元610可以包括句法分析单元720、词汇分析单元730、语义分析单元740、文本区域分析单元710和特征产生单元750。
文本区域分析单元710可经配置以检测来自从网页搜索单元358中接收的网页的一或多个文本区域并且识别文本区域中的一或多个字符串。此外,文本区域分析单元710可以确定来自网页中的所检测到的文本区域的文本区域信息。举例来说,文本区域信息可以包括网页中的所检测到的文本区域的字符大小、笔画宽度、布局(例如,位置)等。可以将网页的文本区域中的字符串提供到句法分析单元720、词汇分析单元730和语义分析单元740。另外,可以将网页的文本区域的文本区域信息提供到特征产生单元750以用于产生网页的第二特征。
句法分析单元720可经配置以接收且解析网页的字符串和图像的字符串。在一个实施例中,句法分析单元720可以识别图像的字符串中的多个词语和网页的字符串中的多个词语。替代地,可以从文本识别单元356中接收图像的字符串中的多个词语。基于图像中的所识别的词语,句法分析单元720可以确定图像中的所识别的词语的总长度(例如,字符、音素或音节的总数)。此外,可以确定每一个网页中的所识别的词语的总长度(例如,字符、音素或音节的总数)。额外地或替代地,句法分析单元720可以确定图像中的一或多个特定词语是否包含于每一个网页的词语中。可以将解析结果提供到特征产生单元750,所述解析结果包括词语的总长度、特定词语是否包含于每一个网页中,或类似物。
词汇分析单元730可经配置以接收图像的字符串和网页的字符串,并且确定来自图像和网页的字符串的符记(例如,字符的有意义的集合)的多个次序。在一个实施例中,词汇分析单元730可以确定从图像的符记中提取的一或多个词汇群组是否对应于从每一个网页的符记中提取的一或多个词汇群组。举例来说,词汇群组可以指示特定句子结构(例如,形成有意义的句子的词语的排布)、特定词语的集合等。可以将词汇分析结果提供到特征产生单元750,所述词汇分析结果包括图像中的符记的词汇群组是否对应于每一个网页中的符记的词汇群组,或类似物。
语义分析单元740可经配置以接收图像的字符串和网页的字符串,并且在图像的字符串和每一个网页的字符串上执行语义分析。在此过程中,语义分析单元740可以识别图像的字符串中的多个词语和每一个网页的字符串中的多个词语。在识别词语之后,语义分析单元740可以通过使用任何合适的统计建模方法(例如,词语n元语法、词语直方图、词语出现矩阵等)来确定图像中的每一个词语出现的次数和每一个网页中的每一个词语出现的次数。额外地或替代地,语义分析单元740可以确定图像和网页中的所识别的词语是否指示预先确定的类型的字符串,例如,电话号码、公司名称、个人名称、地址、电子邮件或类似物。可以将语义分析结果提供到特征产生单元750,所述语义分析结果包括图像和网页中的每一个词语出现的次数、图像和网页中的词语是否指示预先确定的类型的字符串,或类似物。
特征产生单元750可经配置以从句法分析单元720、词汇分析单元730和语义分析单元740中相应地接收解析结果、词汇分析结果和语义分析结果。另外,特征产生单元750还可以从文本区域检测单元354中接收图像的文本区域信息并且从文本区域分析单元710中接收网页的文本区域信息。在一个实施例中,基于图像的解析结果、词汇分析结果、语义分析结果和文本区域信息中的至少一者,可以从图像中产生第一特征。类似地,基于网页的解析结果、词汇分析结果、语义分析结果和文本区域信息中的至少一者,可以从网页中产生第二特征。在此过程中,基于图像和网页中的一或多个对应的分析结果和/或文本区域信息,可以产生第一特征和第二特征。特征提取单元610可以将第一特征和第二特征提供到相似度确定单元620以用于确定第一特征与每一个第二特征之间的相似度。尽管特征提取单元610包括句法分析单元720、词汇分析单元730、语义分析单元740和文本区域分析单元710,但是可以使用此类分析单元中的任一者或组合或任何其它合适的分析方法。
图8说明了根据本发明的一个实施例的通过电子装置120执行的方法800的流程图,所述方法用于基于图像的至少一个文本区域中的至少一个字符串搜索多个网页并且从多个网页中选择至少一个网页。最初,在810处,网页搜索单元358可以从文本识别单元356中接收图像的至少一个字符串。在820处,可以基于可从图像的至少一个字符串中产生的一或多个搜索查询搜索多个网页。
在830处,网页选择单元360可以确定图像的内容与每一个所搜索的网页的内容之间的相似度。在此情况下,图像的内容可以包括图像中的至少一个文本区域的可从文本区域检测单元354中接收的文本区域信息和至少一个文本区域中的可从文本识别单元356中接收的至少一个字符串。此外,网页选择单元360可以确定每一个网页的一或多个文本区域中的一或多个字符串和相关联的网页的文本区域的文本区域信息。每一个网页的字符串和相关联的网页的文本区域信息可以包含于网页的内容中。
在840处,方法800可以确定图像与每一个网页之间的相似度是否大于或等于可以预先确定的阈值相似度。对于每一个网页,如果确定图像与网页之间的相似度大于或等于阈值相似度(即,在850处的“是”),那么方法可以进行到850以产生包括网页的网页的列表。否则的话(即,在840处的“否”),则在860处网页选择单元360可以将网页过滤掉。
图9说明了根据本发明的一个实施例的电子装置120,所述电子装置经配置以访问网页并且捕获网页的图像以用于将图像的缩略图链接到网页。用户910可以运行电子装置120以经由通信网络370使用任何合适的搜索引擎访问一或多个网页。如图所示,可以经由通信网络370访问包括文本的网页920并且在显示屏210上显示网页920。举例来说,网页920可以包括具有多个文本区域930、940和950的文章,所述文本区域可以相应地包括指示网页920的地址(例如,URL地址等)的字符串“WWW.BCDNEWS.COM/456”、字符串“HEADLINE”(例如,标题、大标题等)和字符串“BODY”(例如,正文、内容等)。
在一个实施例中,用户910可以运行电子装置120以在电子装置120中捕获且存储网页920的图像。举例来说,所捕获的图像可以包括文本区域930、940和950中的至少一者。在此情况下,网页捕获单元362可以从网页920的元数据(例如,HTML标签等)中获取URL地址“WWW.BCDNEWS.COM/456”。替代地,可以通过文本区域检测单元354检测包括URL地址的文本区域930,并且可以通过文本识别单元356识别文本区域930中的URL地址。另外,电子装置120中的缩略图产生单元352可以产生网页920的图像的缩略图。
电子装置120可经配置以将网页的所捕获的图像的缩略图链接到网页。在一个实施例中,网页的URL地址可以被标记到图像的缩略图且被存储为缩略图的元数据。在所说明的实施例中,网页920的URL地址“www.BCDnews.com/456”可以存储为网页920的图像的缩略图的元数据。在存储网页图像的缩略图的元数据之后,电子装置120可以响应于接收输入以选择图像的缩略图而在显示屏210上显示网页920。
图10是根据本发明的一个实施例的通过电子装置120执行的方法1000的流程图,所述方法用于捕获网页的图像并且将图像的缩略图链接到网页。最初,在1010处,处理器350中的网页捕获单元362可以捕获网页的图像,所述网页可以在显示屏210上显示。在1020处,处理器350中的缩略图产生单元352可以产生网页图像的缩略图且将网页图像的缩略图存储在存储单元320中。
在1030处,网页捕获单元362可以从网页的元数据(例如,HTML标签等)中获取与网页相关联的地址(例如,URL地址)。在1040处,与网页相关联的地址可以被标记到网页图像的所产生的缩略图。在此情况下,与网页相关联的地址可以存储为缩略图的元数据。替代地,处理器350中的图像链接单元364可以将与网页相关联的地址存储为网页的图像的元数据,而不是在1020处产生网页的缩略图。在存储网页的图像、网页图像的缩略图和包括网页的URL地址的缩略图的元数据之后,在1050处,电子装置120可以接收输入以访问和选择网页图像的缩略图使得可以将网页输出到电子装置120。尽管方法1000被说明为在1030处获得与网页相关联的URL地址之前在1020处产生图像的缩略图,但是可以在获得与网页相关联的URL地址时或在获得与网页相关联的URL地址之后产生图像的缩略图。
图11说明了在无线通信***中的移动装置1100的框图,在所述无线通信***中本发明的方法和设备可以根据一些实施例来实施,所述方法和设备用于链接图像的缩略图与为了图像而已经搜索且选择的至少一个网页。移动装置1100可为蜂窝式电话、智能电话、可佩带计算机、智能表、智能眼镜、平板个人计算机、终端、手持机、个人数字助理(PDA)、无线调制解调器、无绳电话、平板计算机等等。无线通信***可为CDMA***、GSM***、W-CDMA***、LTE***、LTE高级***等等。
移动装置1100可能能够经由接收路径和发射路径提供双向通信。在接收路径上,基站发射的信号可被天线1112接收,并且被提供给接收器(RCVR)1114。接收器1114可调节并数字化所接收的信号,并将经调节且经数字化的数字信号提供到数字区段以供进一步处理。在发射路径上,发射器(TMTR)1116可从数字区段1120接收待发射的数据,处理并调节所述数据,且产生经调制信号,所述经调制信号经由天线1112发射到基站。接收器1114和发射器1116可为可支持CDMA、GSM、W-CDMA、、LTE、高级LTE等等收发器的部分。
数字区段1120可以包括各种处理、接口和存储器单元,例如,举例来说,调制解调器处理器1122、精简指令集计算机/数字信号处理器(RISC/DSP)1124、控制器/处理器1126、内部存储器1128、通用音频/视频编码器1132、通用音频解码器1134、图形/显示处理器1136和外部总线接口(EBI)1138。调制解调器处理器1122可执行用于数据发射和接收的处理,例如,编码、调制、解调和解码。RISC/DSP 1124可执行移动装置1100的通用和专门处理。控制器/处理器1126可执行数字区段1120内的各种处理和接口单元的操作。内部存储器1128可存储用于数字区段1120内的各种单元的数据和/或指令。
通用音频/视频编码器1132可对来自音频/视频源1142、麦克风1144、图像传感器1146等的输入信号执行编码。通用音频解码器1134可执行对经译码音频数据的解码,且可将输出信号提供到扬声器/头戴式耳机1148。图形/显示处理器1136可执行对可呈现到显示单元1150的图形、视频、图像和文本的处理。EBI 1138可促进数据在数字区段1120与主存储器1152之间的传送。
数字区段1120可用一或多个处理器、DSP、微处理器、RISC等来实施。还可在一或多个专用集成电路(ASIC)和/或一些其它类型的集成电路(IC)上制造数字区段1120。
图12是说明根据一些实施例来实施的服务器***1200的框图,所述服务器***可以是先前描述的服务器中的任一个,用于搜索和提供包括一或多个对象、分类器数据库、字符信息数据库、词典数据库等的多个图像。服务器***1200可以包括一或多个处理单元(例如,CPU)1202、一或多个网络或其它通信网接口、存储器1212,以及用于互连这些组件的一或多个通信总线1214。服务器***1200还可包含具有显示装置和键盘的用户接口(未示出)。
存储器1212可为任何合适的存储器,例如,高速随机存取存储器,(例如,DRAM、SRAM、DDR RAM或其它随机存取固态存储器装置)。存储器1212可包含或可替代地为非易失性存储器(例如,一或多个磁盘存储裝置、光盘存储装置、快闪存储器裝置,或其它非易失性固态存储装置)。在一些实施例中,存储器1212可以包括离CPU 1202远程定位和/或远程定位于多处的一或多个存储装置。
由存储器1212表示的上述存储器装置中的任一者可存储对应于用于执行和/或实行先前描述的过程、操作和方法中的任一者的一组指令的任何数量的模组或程序。举例来说,存储器1212可以包括操作***1216,其经配置以存储包括用于处置各种基本***服务且用于执行硬件相关任务的程序的指令。存储器1212的网络通信模块1218可用于经由一或多个通信网络接口1210(有线或无线)和一或多个通信网络(例如,因特网、其它广域网、局域网、城域网等)将服务器***1200连接到其它计算机。
存储器1212还可包括数据库1220,所述数据库经配置以包括具有一或多个对象(例如,文本对象和非文本对象)的多个图像的图像数据库、分类器数据库、字符信息数据库、词典数据库等。操作***1216可以通过不同图像更新图像数据库,所述图像可以通过网络通信模块1218来接收和/或捕获。操作***1216还可以经由网络通信模块1218将图像提供到多个电子装置。此外,分类器数据库、字符信息数据库、词典数据库可以提供到多个电子装置以用于检测图像的至少一个文本区域和/或识别至少一个文本区域中的一或多个字符串。
一般来说,本文中所描述的任何装置可表示各种类型的装置,例如,无线电话、蜂窝式电话、膝上型计算机、无线多媒体装置、无线通信个人计算机(PC)卡、PDA、外部或内置调制解调器、通过无线通道通信的装置等。装置可具有各种名称,例如,存取终端(AT)、存取单元、订户单元、移动台、移动装置、移动单元、移动电话、移动设备、远程站、远程终端、远程单元、用户装置、用户设备、手持式装置等。本文中描述的任何装置均可具有用于存储指令和数据的存储器以及硬件、软件、固件或其组合。
本文中描述的技术可通过各种装置来实施。举例来说,这些技术可以在硬件、固件、软件或其组合中实施。所属领域的一般技术人员将进一步了解,结合本文中的揭示内容描述的各种说明性逻辑块、模块、电路和算法步骤可实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此可互换性,上文已大体上关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。此类功能性是实施为硬件还是软件取决于具体应用及施加于整个***的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述的功能性,但此类实施决策不应被解释为引起偏离本发明的范围。
对于硬件实施方案,用以执行所述技术的处理单元可实施在以下各者内:一或多个ASIC、DSP、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子装置、经设计以执行本文中所描述的功能的其它电子单元、计算机或其组合。
因此,结合本文中的揭示内容描述的各种说明性逻辑块、模块和电路可以用通用处理器、DSP、ASIC、FPGA或经设计以执行本文中描述的功能的其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行。通用处理器可以是微处理器,但在替代方案中,处理器可以是任何处理器、控制器、微控制器或状态机。处理器也可以实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器,或任何其它此类配置。
如果在软件中实施,那么功能可以存储在计算机可读媒体处。计算机可读媒体包括计算机存储媒体与通信媒体两者,所述通信媒体包括促进将计算机程序从一个位置传递到另一个位置的任何媒体。存储媒体可以是可以由计算机存取的任何可供使用的媒体。借助于实例而非限制,此类计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用于携载或存储呈指令或数据结构形式的所需程序代码且可由计算机存取的任何其它媒体。如本文所使用,磁盘和光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘用激光以光学方式再现数据。上述的组合应包含于计算机可读媒体的范围内。举例来说,计算机可读存储媒体可以是包括可由处理器执行的指令的非暂时性计算机可读存储装置。因此,计算机可读存储媒体可能不是信号。
提供本发明的先前描述以使得所属领域的技术人员能够制造或使用本发明。所属领域的技术人员将易于明白对本发明的各种修改,且本文中定义的一般原理在不脱离本发明的范围的情况下适用于其它变体。因此,本发明并非意图限于本文中所描述的实例,而应符合与本文中所揭示的原理及新颖特征相一致的最广泛范围。
尽管利用在一或多个独立计算机***的情形下的目前揭示的标的物的方面来提及示例性实施方案,但所述标的物不受如此限制,而是实际上可结合任何计算环境(例如,网络或分布式计算环境)来实施。此外,当前揭示的标的物的方面可在多个处理芯片或装置中实施或跨越多个处理芯片或装置实施,且可类似地跨越多个装置影响存储。此类装置可以包括PC、网络服务器和手持式装置。
尽管已经以特定地针对结构特征和/或方法动作的语言来描述标的物,但应理解,所附权利要求书中所定义的标的物未必限于上文描述的具体特征或动作。实际上,上文描述的具体特征和动作是被揭示作为实施权利要求书的实例形式。
应了解,不必将上述所识别模块或程序(即,指令集)实施为单独软件程序、程序或模块,且因此可在各种实施例中组合或以其它方式重新布置这些模块的各种子集。另外,存储器1212可存储上文未描述的额外的模块和数据结构。
<本发明的方面>
在下文中,将另外陈述本发明的一些方面。
(实例1)根据本发明的一方面,提供一种用于链接图像的缩略图与至少一个网页的方法,所述方法包括:存取存储单元中的图像,其中所述图像包括至少一个文本区域;检测图像中的至少一个文本区域;识别至少一个文本区域中的至少一个字符串;基于所述至少一个字符串搜索多个网页;从多个网页中选择至少一个网页;以及链接图像的缩略图和至少一个网页。
(实例2)实例1的方法进一步包括:接收指示缩略图的选择的输入;访问与所述缩略图链接的至少一个网页;以及在电子装置上输出所述至少一个网页。
(实例3)在实例1或2的方法中,访问所述至少一个网页包括访问存储在电子装置中或经由网络搜索的至少一个网页。
(实例4)在实例1到3中的任一个的方法中,搜索多个网页包括从至少一个字符串中产生搜索查询;以及基于所述搜索查询接收多个网页。
(实例5)在实例1到4中的任一个的方法中,所述至少一个字符串包括多个词语。在此实例中,从至少一个字符串中产生搜索查询包括基于图像中多个词语的字符大小、笔画宽度、位置、类型和出现的次数中的至少一者从多个词语中选择至少一个词语。
(实例6)在实例1到5中的任一个的方法中,链接缩略图和至少一个网页包括链接至少一个网页以及与缩略图中的至少一个文本区域相关联的至少一部分。
(实例7)在实例1到6中的任一个的方法中,从多个网页中选择至少一个网页包括从多个网页中选择具有与图像的内容相似的内容的至少一个网页。
(实例8)在实例1到7中的任一个的方法中,选择具有与图像的内容相似的内容的至少一个网页包括:基于图像的内容与多个网页的内容之间的相似度将至少一个排名分配到多个网页;以及基于所述至少一个排名选择至少一个网页。
(实例9)在实例1到8中的任一个的方法中,选择具有与图像的内容相似的内容的至少一个网页包括:提取指示图像中的至少一个文本区域的第一特征以及指示多个网页中的文本的多个第二特征;以及基于第一特征和多个第二特征选择至少一个网页。
(实例10)在实例1到9中的任一个的方法中,链接图像的缩略图和至少一个网页包括链接至少一个网页的一部分到图像的缩略图。在此实例中,至少一个网页的一部分中的内容与图像中的内容相似。
(实例11)根据本发明的另一方面,提供一种用于链接图像的缩略图和至少一个网页的电子装置,所述电子装置包括:文本区域检测单元,其经配置以存取存储单元中的图像,其中所述图像包括至少一个文本区域,并且检测图像中的至少一个文本区域;文本识别单元,其经配置以识别至少一个文本区域中的至少一个字符串;网页搜索单元,其经配置以基于至少一个字符串搜索多个网页;网页选择单元,其经配置以从多个网页中选择至少一个网页;以及图像链接单元,其经配置以链接图像的缩略图和至少一个网页。
(实例12)实例11的电子装置进一步包括I/O单元,所述I/O单元经配置以接收指示缩略图的选择的输入并且在电子装置上输出至少一个网页。在此实例中,通过电子装置访问与缩略图链接的至少一个网页。
(实例13)在实例11或12的电子装置中,所述电子装置经配置以访问存储在电子装置中或经由网络搜索的至少一个网页。
(实例14)在实例11到13中的任一个的电子装置中,网页搜索单元包括:查询产生单元,其经配置以从至少一个字符串中产生搜索查询;以及网页提取单元,其经配置以基于搜索查询接收多个网页。
(实例15)在实例11到14中的任一个的电子装置中,至少一个字符串包括多个词语。在此实例中,查询产生单元经配置以基于图像中多个词语的字符大小、笔画宽度、位置、类型和出现的次数中的至少一者从多个词语中选择至少一个词语。
(实例16)在实例11到15中的任一个的电子装置中,图像链接单元经配置以链接至少一个网页以及与缩略图中的至少一个文本区域相关联的至少一部分。
(实例17)在实例11到16中的任一个的电子装置中,网页选择单元经配置以从多个网页中选择具有与图像的内容相似的内容的至少一个网页。
(实例18)在实例11到17中的任一个的电子装置中,网页选择单元包括:排名分配单元,其经配置以基于图像的内容与多个网页的内容之间的相似度将至少一个排名分配到多个网页;以及网页输出单元,其经配置以基于所述至少一个排名选择至少一个网页。
(实例19)在实例11到18中的任一个的电子装置中,网页选择单元包括:特征提取单元,其经配置以提取指示图像中的至少一个文本区域的第一特征以及指示多个网页中的文本的多个第二特征;以及网页输出单元,其经配置以基于第一特征和多个第二特征选择至少一个网页。
(实例20)在实例11到19中的任一个的电子装置中,图像链接单元经配置以将至少一个网页的一部分链接到图像的缩略图。在此实例中,至少一个网页的一部分中的内容与图像中的内容相似。
(实例21)根据本发明的再一方面,提供一种用于将图像的缩略图链接到网页的电子装置,所述电子装置包括:用于存取存储单元中的图像的装置,其中所述图像包括至少一个文本区域;用于检测图像中的至少一个文本区域的装置;用于识别至少一个文本区域中的至少一个字符串的装置;用于基于至少一个字符串搜索多个网页的装置;用于从多个网页中选择至少一个网页的装置;以及用于链接图像的缩略图和至少一个网页的装置。
(实例22)在实例21的电子装置中,所述用于搜索多个网页的装置包括:用于从至少一个字符串中产生搜索查询的装置;以及用于基于搜索查询接收多个网页的装置。
(实例23)在实例21或22的电子装置中,所述至少一个字符串包括多个词语。在此实例中,用于从至少一个字符串中产生搜索查询的装置包括用于基于图像中多个词语的字符大小、笔画宽度、位置、类型和出现的次数中的至少一者从多个词语中选择至少一个词语的装置。
(实例24)在实例21到23中的任一个的电子装置中,用于从多个网页中选择至少一个网页的装置包括用于从多个网页中选择具有与图像的内容相似的内容的至少一个网页。
(实例25)在实例21到24中的任一个的电子装置中,用于选择具有与图像的内容相似的内容的至少一个网页的装置包括用于基于图像的内容与多个网页的内容之间的相似度将至少一个排名分配到多个网页的装置;以及用于基于所述至少一个排名选择至少一个网页的装置。
(实例26)根据本发明的又一方面,提供一种非暂时性计算机可读储存媒体,所述非暂时性计算机可读储存媒体包括指令,所述指令使得电子装置的至少一个处理器执行包括以下项的操作:存取存储单元中的图像,其中所述图像包括至少一个文本区域;检测图像中的至少一个文本区域;识别至少一个文本区域中的至少一个字符串;基于至少一个字符串搜索多个网页;从多个网页中选择至少一个网页;以及链接图像的缩略图和至少一个网页。
(实例27)实例26的非暂时性计算机可读储存媒体进一步包括指令,所述指令使得所述电子装置的至少所述处理器执行包括以下项的操作:从至少一个字符串中产生搜索查询;以及基于搜索查询接收多个网页。
(实例28)在实例26或27的非暂时性计算机可读储存媒体中,至少一个字符串包括多个词语,并且从至少一个字符串中产生搜索查询包括基于图像中多个词语的字符大小、笔画宽度、位置、类型和出现的次数中的至少一者从多个词语中选择至少一个词语。
(实例29)在实例26到28中的任一个的非暂时性计算机可读储存媒体中,从多个网页中选择至少一个网页包括从多个网页中选择具有与图像的内容相似的内容的至少一个网页。
(实例30)在实例26到29中的任一个的非暂时性计算机可读储存媒体中,选择具有与图像的内容相似的内容的至少一个网页包括基于图像的内容与多个网页的内容之间的相似度将至少一个排名分配到多个网页;以及基于所述至少一个排名选择至少一个网页。
Claims (30)
1.一种通过电子装置执行的用于链接图像的缩略图与至少一个网页的方法,所述方法包括:
存取存储单元中的所述图像,其中所述图像包括至少一个文本区域;
检测所述图像中的所述至少一个文本区域;
识别所述至少一个文本区域中的至少一个字符串;
基于所述至少一个字符串搜索多个网页;
从所述多个网页中选择所述至少一个网页;以及
链接所述图像的所述缩略图与所述至少一个网页。
2.根据权利要求1所述的方法,其进一步包括:
接收指示所述缩略图的选择的输入;
访问与所述缩略图链接的所述至少一个网页;以及
在所述电子装置上输出所述至少一个网页。
3.根据权利要求2所述的方法,其中访问所述至少一个网页包括访问存储在所述电子装置中或经由网络搜索的所述至少一个网页。
4.根据权利要求1所述的方法,其中搜索所述多个网页包括:
从所述至少一个字符串中产生搜索查询;以及
基于所述搜索查询接收所述多个网页。
5.根据权利要求4所述的方法,其中所述至少一个字符串包括多个词语,并且
其中从所述至少一个字符串中产生所述搜索查询包括基于所述图像中所述多个词语的字符大小、笔画宽度、位置、类型和出现的次数中的至少一者从所述多个词语中选择至少一个词语。
6.根据权利要求1所述的方法,其中链接所述缩略图与所述至少一个网页包括链接所述至少一个网页以及与所述缩略图中的所述至少一个文本区域相关联的至少一部分。
7.根据权利要求1所述的方法,其中从所述多个网页中选择所述至少一个网页包括从所述多个网页中选择具有与所述图像的内容相似的内容的所述至少一个网页。
8.根据权利要求7所述的方法,其中选择具有与所述图像的所述内容相似的内容的所述至少一个网页包括:
基于所述图像的所述内容与所述多个网页的内容之间的相似度将至少一个排名分配到所述多个网页;以及
基于所述至少一个排名选择所述至少一个网页。
9.根据权利要求7所述的方法,其中选择具有与所述图像的所述内容相似的内容的所述至少一个网页包括:
提取指示所述图像中的所述至少一个文本区域的第一特征以及指示所述多个网页中的文本的多个第二特征;以及
基于所述第一特征和所述多个第二特征选择所述至少一个网页。
10.根据权利要求1所述的方法,其中链接所述图像的所述缩略图与所述至少一个网页包括链接所述至少一个网页的一部分到所述图像的所述缩略图,并且
其中所述至少一个网页的所述一部分中的内容与所述图像中的内容相似。
11.一种用于链接图像的缩略图与至少一个网页的电子装置,所述电子装置包括:
文本区域检测单元,其经配置以存取存储单元中的所述图像,其中所述图像包括至少一个文本区域,并且检测所述图像中的所述至少一个文本区域;
文本识别单元,其经配置以识别所述至少一个文本区域中的至少一个字符串;
网页搜索单元,其经配置以基于所述至少一个字符串搜索多个网页;
网页选择单元,其经配置以从所述多个网页中选择所述至少一个网页;以及
图像链接单元,其经配置以链接所述图像的所述缩略图与所述至少一个网页。
12.根据权利要求11所述的电子装置,其进一步包括I/O单元,所述I/O单元经配置以接收指示所述缩略图的选择的输入并且在所述电子装置上输出所述至少一个网页,其中通过所述电子装置访问与所述缩略图链接的所述至少一个网页。
13.根据权利要求12所述的电子装置,其中所述电子装置经配置以访问存储在所述电子装置中或经由网络搜索的所述至少一个网页。
14.根据权利要求11所述的电子装置,其中所述网页搜索单元包括:
查询产生单元,其经配置以从所述至少一个字符串中产生搜索查询;以及
网页提取单元,其经配置以基于所述搜索查询接收所述多个网页。
15.根据权利要求14所述的电子装置,其中所述至少一个字符串包括多个词语,并且
其中所述查询产生单元经配置以基于所述图像中所述多个词语的字符大小、笔画宽度、位置、类型和出现的次数中的至少一者从所述多个词语中选择至少一个词语。
16.根据权利要求11所述的电子装置,其中所述图像链接单元经配置以链接所述至少一个网页以及与所述缩略图中的所述至少一个文本区域相关联的至少一部分。
17.根据权利要求11所述的电子装置,其中所述网页选择单元经配置以从所述多个网页中选择具有与所述图像的内容相似的内容的所述至少一个网页。
18.根据权利要求17所述的电子装置,其中所述网页选择单元包括:
排名分配单元,其经配置以基于所述图像的所述内容与所述多个网页的内容之间的相似度将至少一个排名分配到所述多个网页;以及
网页输出单元,其经配置以基于所述至少一个排名选择所述至少一个网页。
19.根据权利要求17所述的电子装置,其中所述网页选择单元包括:
特征提取单元,其经配置以提取指示所述图像中的所述至少一个文本区域的第一特征以及指示所述多个网页中的文本的多个第二特征;以及
网页输出单元,其经配置以基于所述第一特征和所述多个第二特征选择所述至少一个网页。
20.根据权利要求11所述的电子装置,其中所述图像链接单元经配置以将所述至少一个网页的一部分链接到所述图像的所述缩略图,并且
其中所述至少一个网页的所述一部分中的内容与所述图像中的内容相似。
21.一种用于链接图像的缩略图与至少一个网页的电子装置,所述电子装置包括:
用于存取存储单元中的所述图像的装置,其中所述图像包括至少一个文本区域;
用于检测所述图像中的所述至少一个文本区域的装置;
用于识别所述至少一个文本区域中的至少一个字符串的装置;
用于基于所述至少一个字符串搜索多个网页的装置;
用于从所述多个网页中选择所述至少一个网页的装置;以及
用于链接所述图像的所述缩略图与所述至少一个网页的装置。
22.根据权利要求21所述的电子装置,其中所述用于搜索所述多个网页的装置包括:
用于从所述至少一个字符串中产生搜索查询的装置;以及
用于基于所述搜索查询接收所述多个网页的装置。
23.根据权利要求22所述的电子装置,其中所述至少一个字符串包括多个词语,并且
其中所述用于从所述至少一个字符串中产生所述搜索查询的装置包括用于基于所述图像中所述多个词语的字符大小、笔画宽度、位置、类型和出现的次数中的至少一者从所述多个词语中选择至少一个词语的装置。
24.根据权利要求21所述的电子装置,其中所述用于从所述多个网页中选择所述至少一个网页的装置包括用于从所述多个网页中选择具有与所述图像的内容相似的内容的至少一个网页。
25.根据权利要求24所述的电子装置,其中所述用于选择具有与所述图像的所述内容相似的内容的所述至少一个网页的装置包括:
用于基于所述图像的所述内容与所述多个网页的内容之间的相似度将至少一个排名分配到所述多个网页的装置;以及
用于基于所述至少一个排名选择所述至少一个网页的装置。
26.一种非暂时性计算机可读储存媒体,所述非暂时性计算机可读储存媒体包括指令,所述指令使得电子装置的至少一个处理器执行包括以下项的操作:
存取存储单元中的图像,其中所述图像包括至少一个文本区域;
检测所述图像中的所述至少一个文本区域;
识别所述至少一个文本区域中的至少一个字符串;
基于所述至少一个字符串搜索多个网页;
从所述多个网页中选择所述至少一个网页;以及
链接所述图像的缩略图与所述至少一个网页。
27.根据权利要求26所述的非暂时性计算机可读储存媒体,其进一步包括指令,所述指令使得所述电子装置的至少所述处理器执行包括以下项的操作:
从所述至少一个字符串中产生搜索查询;以及
基于所述搜索查询接收所述多个网页。
28.根据权利要求27所述的非暂时性计算机可读储存媒体,其中所述至少一个字符串包括多个词语,并且
其中从所述至少一个字符串中产生所述搜索查询包括基于所述图像中所述多个词语的字符大小、笔画宽度、位置、类型和出现的次数中的至少一者从所述多个词语中选择至少一个词语。
29.根据权利要求26所述的非暂时性计算机可读储存媒体,其中从所述多个网页中选择所述至少一个网页包括从所述多个网页中选择具有与所述图像的内容相似的内容的所述至少一个网页。
30.根据权利要求29所述的非暂时性计算机可读储存媒体,其中选择具有与所述图像的所述内容相似的内容的所述至少一个网页包括:
基于所述图像的所述内容与所述多个网页的内容之间的相似度将至少一个排名分配到所述多个网页;以及
基于所述至少一个排名选择所述至少一个网页。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201462062715P | 2014-10-10 | 2014-10-10 | |
US62/062,715 | 2014-10-10 | ||
US14/690,163 | 2015-04-17 | ||
US14/690,163 US10152540B2 (en) | 2014-10-10 | 2015-04-17 | Linking thumbnail of image to web page |
PCT/US2015/052157 WO2016057238A1 (en) | 2014-10-10 | 2015-09-25 | Linking thumbnail of image to web page |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107111618A true CN107111618A (zh) | 2017-08-29 |
CN107111618B CN107111618B (zh) | 2021-07-27 |
Family
ID=54292932
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580053406.9A Active CN107111618B (zh) | 2014-10-10 | 2015-09-25 | 将图像的缩略图链接到网页 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10152540B2 (zh) |
EP (1) | EP3204872A1 (zh) |
JP (1) | JP2017535850A (zh) |
CN (1) | CN107111618B (zh) |
WO (1) | WO2016057238A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111727440A (zh) * | 2017-10-30 | 2020-09-29 | 脸谱公司 | 基于多部分标识符来确定数字目的地的***和方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160104052A1 (en) * | 2014-10-10 | 2016-04-14 | Qualcomm Incorporated | Text-based thumbnail generation |
US10303720B2 (en) * | 2016-04-11 | 2019-05-28 | Oath Inc. | Content subject suggestions |
JP2017220112A (ja) * | 2016-06-09 | 2017-12-14 | キヤノン株式会社 | データ管理システム、制御方法、およびプログラム |
CN107247790B (zh) * | 2017-06-16 | 2020-06-02 | 北京小米移动软件有限公司 | 新建邮件的方法和装置 |
JP7135446B2 (ja) * | 2018-05-30 | 2022-09-13 | 京セラドキュメントソリューションズ株式会社 | 電子機器 |
US20220318334A1 (en) * | 2021-04-06 | 2022-10-06 | Zmags Corp. | Multi-link composite image generator for electronic mail (e-mail) messages |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012075315A1 (en) * | 2010-12-01 | 2012-06-07 | Google Inc. | Identifying matching canonical documents in response to a visual query |
CN102567337A (zh) * | 2010-12-15 | 2012-07-11 | 盛乐信息技术(上海)有限公司 | 一种通过链接快速识别网页类型的方法及*** |
CN102959545A (zh) * | 2010-06-29 | 2013-03-06 | 微软公司 | 导航到流行的搜索结果 |
Family Cites Families (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7685426B2 (en) * | 1996-05-07 | 2010-03-23 | Digimarc Corporation | Managing and indexing content on a network with image bookmarks and digital watermarks |
US6613100B2 (en) * | 1997-11-26 | 2003-09-02 | Intel Corporation | Method and apparatus for displaying miniaturized graphical representations of documents for alternative viewing selection |
US6665838B1 (en) * | 1999-07-30 | 2003-12-16 | International Business Machines Corporation | Web page thumbnails and user configured complementary information provided from a server |
NZ525601A (en) * | 2000-10-03 | 2004-11-26 | Ronald Neville Langford | Method of locating a web page by utilising visual images relating to the web page |
US7680324B2 (en) | 2000-11-06 | 2010-03-16 | Evryx Technologies, Inc. | Use of image-derived information as search criteria for internet and other search engines |
US6964025B2 (en) * | 2001-03-20 | 2005-11-08 | Microsoft Corporation | Auto thumbnail gallery |
US20030018667A1 (en) * | 2001-07-18 | 2003-01-23 | Eastman Kodak Company | Website using images as a navigational tool for user-created photopages on the internet |
JP2004240750A (ja) * | 2003-02-06 | 2004-08-26 | Canon Inc | 画像検索装置 |
US8185604B2 (en) * | 2003-11-25 | 2012-05-22 | Forrester Glenn C | Methods and systems for retrieving information over a computer network |
US7299222B1 (en) * | 2003-12-30 | 2007-11-20 | Aol Llc | Enhanced search results |
US7751805B2 (en) | 2004-02-20 | 2010-07-06 | Google Inc. | Mobile image-based information retrieval system |
US7363279B2 (en) * | 2004-04-29 | 2008-04-22 | Microsoft Corporation | Method and system for calculating importance of a block within a display page |
US8385589B2 (en) | 2008-05-15 | 2013-02-26 | Berna Erol | Web-based content detection in images, extraction and recognition |
US8489583B2 (en) | 2004-10-01 | 2013-07-16 | Ricoh Company, Ltd. | Techniques for retrieving documents using an image capture device |
US7765231B2 (en) | 2005-04-08 | 2010-07-27 | Rathus Spencer A | System and method for accessing electronic data via an image search engine |
US7844590B1 (en) * | 2005-06-16 | 2010-11-30 | Eightfold Logic, Inc. | Collection and organization of actual search results data for particular destinations |
US8166010B2 (en) * | 2005-07-26 | 2012-04-24 | Taptu Limited | Processing and sending search results over a wireless network to a mobile device |
US8566712B1 (en) * | 2006-01-04 | 2013-10-22 | Google Inc. | Image management |
US20070226321A1 (en) | 2006-03-23 | 2007-09-27 | R R Donnelley & Sons Company | Image based document access and related systems, methods, and devices |
JP4688739B2 (ja) * | 2006-05-02 | 2011-05-25 | 株式会社ソニー・コンピュータエンタテインメント | 情報表示装置 |
US7779370B2 (en) * | 2006-06-30 | 2010-08-17 | Google Inc. | User interface for mobile devices |
US20080027928A1 (en) * | 2006-07-19 | 2008-01-31 | Larson Michael D | QuickView - combination of system and software components which enables search engine users to quickly identifiying relevant search returned results using visual images as references |
GB0624577D0 (en) * | 2006-12-08 | 2007-01-17 | Skype Ltd | Communication Systems |
US7707198B2 (en) * | 2006-12-12 | 2010-04-27 | Yahoo! Inc. | Harvesting of media objects from searched sites without a user having to enter the sites |
KR20080099487A (ko) * | 2007-05-09 | 2008-11-13 | 엘지전자 주식회사 | 이동통신 단말기 및 그 제어방법 |
US8191012B2 (en) * | 2007-08-30 | 2012-05-29 | Daylife, Inc. | Method and system for creating theme, topic, and story-based cover pages |
US8306969B2 (en) * | 2008-09-23 | 2012-11-06 | Microsoft Corporation | Linking search queries to rich media themes |
US20100095219A1 (en) * | 2008-10-15 | 2010-04-15 | Maciej Stachowiak | Selective history data structures |
US10210179B2 (en) * | 2008-11-18 | 2019-02-19 | Excalibur Ip, Llc | Dynamic feature weighting |
US20100131488A1 (en) * | 2008-11-26 | 2010-05-27 | Yahoo! Inc. | Digital Images of Web Pages |
CN101414307A (zh) * | 2008-11-26 | 2009-04-22 | 阿里巴巴集团控股有限公司 | 提供图片搜索的方法和服务器 |
US9195898B2 (en) | 2009-04-14 | 2015-11-24 | Qualcomm Incorporated | Systems and methods for image recognition using mobile devices |
US9384214B2 (en) * | 2009-07-31 | 2016-07-05 | Yahoo! Inc. | Image similarity from disparate sources |
US9323784B2 (en) * | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
CN102782680B (zh) * | 2010-02-26 | 2016-01-20 | 乐天株式会社 | 信息处理装置、信息处理方法、记录了信息处理程序的记录介质 |
US20120016741A1 (en) * | 2010-07-19 | 2012-01-19 | Google Inc. | Targeting content without keywords |
KR20120021061A (ko) | 2010-08-31 | 2012-03-08 | 삼성전자주식회사 | 특정 영역에서 키워드를 추출하는 검색 서비스 제공방법 및 이를 적용한 디스플레이 장치 |
US20130275577A1 (en) * | 2010-12-14 | 2013-10-17 | Suk Hwan Lim | Selecting Content Within a Web Page |
US8358843B2 (en) * | 2011-01-31 | 2013-01-22 | Yahoo! Inc. | Techniques including URL recognition and applications |
US8660358B1 (en) * | 2011-02-18 | 2014-02-25 | Google Inc. | Rank-based image piling |
US9348939B2 (en) * | 2011-03-18 | 2016-05-24 | International Business Machines Corporation | Web site sectioning for mobile web browser usability |
US8782077B1 (en) * | 2011-06-10 | 2014-07-15 | Google Inc. | Query image search |
US8411112B1 (en) * | 2011-07-08 | 2013-04-02 | Google Inc. | Systems and methods for generating an icon |
US9367638B2 (en) * | 2011-07-26 | 2016-06-14 | Microsoft Technology Licensing, Llc | Surfacing actions from social data |
US20130086112A1 (en) * | 2011-10-03 | 2013-04-04 | James R. Everingham | Image browsing system and method for a digital content platform |
US9934316B2 (en) * | 2011-10-26 | 2018-04-03 | Oath Inc. | Contextual search on digital images |
US9104785B2 (en) * | 2012-04-16 | 2015-08-11 | International Business Machines Corporation | Presenting unique search result contexts |
US20130339840A1 (en) * | 2012-05-08 | 2013-12-19 | Anand Jain | System and method for logical chunking and restructuring websites |
US9218546B2 (en) * | 2012-06-01 | 2015-12-22 | Google Inc. | Choosing image labels |
US9158857B2 (en) * | 2012-06-05 | 2015-10-13 | Google Inc. | Identifying landing pages for images |
US8880959B2 (en) | 2012-06-15 | 2014-11-04 | International Business Machines Corporation | Transaction diagnostic block |
JP5950758B2 (ja) * | 2012-08-23 | 2016-07-13 | キヤノン株式会社 | 画像形成装置、画像形成装置の制御方法およびプログラム |
US8990194B2 (en) * | 2012-11-02 | 2015-03-24 | Google Inc. | Adjusting content delivery based on user submissions of photographs |
US9081410B2 (en) * | 2012-11-14 | 2015-07-14 | Facebook, Inc. | Loading content on electronic device |
US9305025B2 (en) * | 2012-12-14 | 2016-04-05 | Google Inc. | Content selection based on image content |
US20140188927A1 (en) * | 2012-12-28 | 2014-07-03 | Google Inc. | Presenting recommended content in search pages |
US9256795B1 (en) * | 2013-03-15 | 2016-02-09 | A9.Com, Inc. | Text entity recognition |
US9305094B2 (en) * | 2013-08-03 | 2016-04-05 | International Business Machines Corporation | Real-time shared web browsing among social network contacts |
US9342567B2 (en) * | 2013-08-23 | 2016-05-17 | International Business Machines Corporation | Control for persistent search results and iterative searching |
JP5850895B2 (ja) * | 2013-09-20 | 2016-02-03 | ヤフー株式会社 | 検索システム、検索方法、端末装置および検索プログラム |
US20150113375A1 (en) * | 2013-10-23 | 2015-04-23 | Panton Incorporated | Search Driven Navigation for User Interface to Application Program |
US9460062B2 (en) * | 2013-12-30 | 2016-10-04 | Adobe Systems Incorporated | Local rendering of an object as an image |
US20160004698A1 (en) * | 2014-07-06 | 2016-01-07 | International Business Machines Corporation | System and method for modifying and ranking searches with actions based on prior search results and actions |
US20160019620A1 (en) * | 2014-07-15 | 2016-01-21 | Google Inc. | Dynamic image sitelinks |
US10275563B2 (en) * | 2014-09-23 | 2019-04-30 | Crestron Electronics, Inc. | System and method for modeling a lighting control system |
-
2015
- 2015-04-17 US US14/690,163 patent/US10152540B2/en active Active
- 2015-09-25 EP EP15778826.6A patent/EP3204872A1/en not_active Ceased
- 2015-09-25 WO PCT/US2015/052157 patent/WO2016057238A1/en active Application Filing
- 2015-09-25 JP JP2017518305A patent/JP2017535850A/ja active Pending
- 2015-09-25 CN CN201580053406.9A patent/CN107111618B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102959545A (zh) * | 2010-06-29 | 2013-03-06 | 微软公司 | 导航到流行的搜索结果 |
WO2012075315A1 (en) * | 2010-12-01 | 2012-06-07 | Google Inc. | Identifying matching canonical documents in response to a visual query |
CN102567337A (zh) * | 2010-12-15 | 2012-07-11 | 盛乐信息技术(上海)有限公司 | 一种通过链接快速识别网页类型的方法及*** |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111727440A (zh) * | 2017-10-30 | 2020-09-29 | 脸谱公司 | 基于多部分标识符来确定数字目的地的***和方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2016057238A1 (en) | 2016-04-14 |
JP2017535850A (ja) | 2017-11-30 |
EP3204872A1 (en) | 2017-08-16 |
CN107111618B (zh) | 2021-07-27 |
US20160103915A1 (en) | 2016-04-14 |
US10152540B2 (en) | 2018-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2017272149B2 (en) | Identifying matching canonical documents in response to a visual query | |
CN107111618A (zh) | 将图像的缩略图链接到网页 | |
CN102053991B (zh) | 用于多语言文档检索的方法及*** | |
US8805079B2 (en) | Identifying matching canonical documents in response to a visual query and in accordance with geographic information | |
CN111291210B (zh) | 图像素材库生成方法、图像素材推荐方法及相关装置 | |
US9176986B2 (en) | Generating a combination of a visual query and matching canonical document | |
US20120128251A1 (en) | Identifying Matching Canonical Documents Consistent with Visual Query Structural Information | |
CN109271542A (zh) | 封面确定方法、装置、设备及可读存储介质 | |
CN102402584A (zh) | 多语言文本中的语言识别 | |
CN106980664B (zh) | 一种双语可比较语料挖掘方法及装置 | |
CN107301195A (zh) | 生成用于搜索内容的分类模型方法、装置和数据处理*** | |
CN107491465A (zh) | 用于搜索内容的方法和装置以及数据处理*** | |
CN107145497A (zh) | 基于图像和内容的元数据选择与内容匹配的图像的方法 | |
CN112818200A (zh) | 基于静态网站的数据爬取及事件分析方法及*** | |
CN105808615A (zh) | 一种基于分词权重的文档索引生成方法和装置 | |
CN109657043B (zh) | 自动生成文章的方法、装置、设备及存储介质 | |
CN104778232B (zh) | 一种基于长查询的搜索结果的优化方法和装置 | |
JP5484113B2 (ja) | 文書画像関連情報提供装置、及び文書画像関連情報取得システム | |
KR20210120203A (ko) | 웹 페이지에 기반한 메타데이터 생성방법 | |
CN107766398A (zh) | 用于使图像与内容项目匹配的方法、装置和数据处理*** | |
CN107609094B (zh) | 数据消歧方法、装置及计算机设备 | |
CN103377199B (zh) | 信息处理装置和信息处理方法 | |
CN115186240A (zh) | 基于关联性信息的社交网络用户对齐方法、装置、介质 | |
CN114328884A (zh) | 一种图文去重方法及装置 | |
CN113220824A (zh) | 数据检索方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |