CN112131424A - 一种分布式图像分析方法及*** - Google Patents

一种分布式图像分析方法及*** Download PDF

Info

Publication number
CN112131424A
CN112131424A CN202011004464.1A CN202011004464A CN112131424A CN 112131424 A CN112131424 A CN 112131424A CN 202011004464 A CN202011004464 A CN 202011004464A CN 112131424 A CN112131424 A CN 112131424A
Authority
CN
China
Prior art keywords
image
images
index
distributed
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011004464.1A
Other languages
English (en)
Inventor
黄海阳
裴来辉
黎惟春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tianwei Big Data Technology Co ltd
Original Assignee
Shenzhen Tianwei Big Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tianwei Big Data Technology Co ltd filed Critical Shenzhen Tianwei Big Data Technology Co ltd
Priority to CN202011004464.1A priority Critical patent/CN112131424A/zh
Publication of CN112131424A publication Critical patent/CN112131424A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出了一种分布式图像分析方法及***,涉及图像分析处理领域。一种分布式图像分析方法包括:获取多个候选图像并进行分类标记;在多个候选图像中确定索引图像并进行特征提取得到特征值;根据索引图像的特征值与数据库中的其余图像进行相似度比较并进行排序和输出;根据输出结果确定相似图像,并对相似图像进行解码生成图像文件。其能够从数据库中多个候选图像集合中逐一选定索引图像,对索引图像进行特征提取,分别于相邻的两张候选图像进行比对和排序,达到分布式图像分析的目的,提高了分析能力。此外本发明还提出了一种分布式图像分析***,包括:获取模块、提取模块、相似度比较模块以及输出模块。

Description

一种分布式图像分析方法及***
技术领域
本发明涉及图像分析处理领域,具体而言,涉及一种分布式图像分析方法及***。
背景技术
随着社交网络、电子商务、移动互联网等的不断发展,数据需要存储、处理的规模越来越大,单机***已无法满足日益增长的需求。Google、Alibaba等互联网公司成功催生了云计算和大数据这两大热门领域,云计算和大数据都是构建在分布式存储之上的应用。云存储的核心是后端的大规模分布式存储***,大数据不仅需要存储海量的数据,还要通过合适的框架和工具对这些数据进行分析,得到其中有用的部分,如果没有分布式的存储就谈不上对大数据进行分析。
虽然分布式***的研究已经进行了很多年,但直到近些年,互联网大数据的兴起才使得分布式***大规模地应用在工程实践中。分布式***是利用多台计算机协同解决单台计算机所不能解决的计算、存储问题,分布式***与单机***最大的区别就在于问题的规模。它是由多个节点组成的***,往往将一台服务器或者服务器上的一个进程称为一个节点,这些节点一般不是孤立的,而是通过网络来互相通信,传递信息。
另外,由于移动终端的快速发展,智能手机存储了大量的图片、文本和视频等信息,智能手机也可以看作是一个独立的节点,智能手机之间通过基站或者相互之间通过分布式协作来提高数据处理能力。
传统的最近邻算法在处理大规模图像分析问题时,样本数据的特征维度可达成千上万维,如此的“维度灾难”会导致存储空间消耗大和检索速度慢的问题,在庞大的数据库中多个图像中进行分析其中一张图像是较为困难的。
发明内容
本发明的目的在于提供一种分布式图像分析方法,其能够通过从数据库中多个候选图像集合中逐一选定索引图像,并对索引图像进行特征提取,且获取该索引图像对应有对象频次,该对象频次用于指示该结果对象被拍摄的次数,分别于相邻的两张候选图像进行比对和排序,达到分布式图像分析的目的,提高分析能力。
本发明的另一目的在于提供一种分布式图像分析***,其能够运行一种分布式图像分析方法。
本发明的实施例是这样实现的:
第一方面,本申请实施例提供一种分布式图像分析方法,其包括获取多个候选图像并进行分类标记;在多个候选图像中确定索引图像并进行特征提取得到特征值;根据索引图像的特征值与数据库中的其余图像进行相似度比较并进行排序和输出;根据输出结果确定相似图像,并对相似图像进行解码生成图像文件。
在本发明的一些实施例中,上述获取多个候选图像并进行分类标记包括:对数据库中所有图像进行特征提取,得到每一图像的特征值,候选图像为存储在数据库中的全部图像。
在本发明的一些实施例中,上述还包括对数据库中全部图像的特征值进行图像碰撞分析,得到每个图像的置信度;获取置信度符合预设置信度阈值的图像作为候选图像。
在本发明的一些实施例中,上述在多个候选图像中确定索引图像并进行特征提取得到特征值包括:通过图像分析算法获取每一候选图像的图像质量;选取候选图像中图像质量最高的图像作为索引图像。
在本发明的一些实施例中,上述根据索引图像的特征值与数据库中的其余图像进行相似度比较并进行排序和输出包括:索引图像通过索引节点进行提取特征;将特征值保存到HBase数据库表中,供后续检索使用;
在本发明的一些实施例中,上述还包括对输入的索引图像计算其与指定HBase数据库表中其余图像的相似度,并进行排序和输出。
在本发明的一些实施例中,上述根据输出结果确定相似图像,并对相似图像进行解码生成图像文件包括:输出结果负责对所有索引节点返回的结果进行归并排序。
在本发明的一些实施例中,上述还包括:从HBase数据库表中读取图像编码,生成原始图像;将解码后的到的图像生成图像文件并返回图像路径。
第二方面,本申请实施例提供一种分布式图像分析***,其包括获取模块,用于获取多个候选图像并进行分类标记;提取模块,用于在多个候选图像中确定索引图像并进行特征提取得到特征值;相似度比较模块,用于根据索引图像的特征值与数据库中的其余图像进行相似度比较并进行排序和输出;输出模块,用于根据输出结果确定相似图像,并对相似图像进行解码生成图像文件。
在本发明的一些实施例中,上述包括:用于存储计算机指令的至少一个存储器;与所述存储器通讯的至少一个处理器,其中当所述至少一个处理器执行所述计算机指令时,所述至少一个处理器使所述***执行:获取模块、提取模块、相似度比较模块以及输出模块。
相对于现有技术,本发明的实施例至少具有如下优点或有益效果:
通过从数据库中多个候选图像集合中逐一选定索引图像,并对索引图像进行特征提取,且获取该索引图像对应有对象频次,该对象频次用于指示该结果对象被拍摄的次数,分别于相邻的两张候选图像进行比对和排序,达到分布式图像分析的目的,提高了分析能力。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种分布式图像分析方法步骤示意图;
图2为本发明实施例提供的一种分布式图像分析方法详细步骤示意图;
图3为本发明实施例提供的一种分布式图像分析***模块示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的各个实施例及实施例中的各个特征可以相互组合。
实施例1
请参阅图1,图1为本发明实施例提供的一种分布式图像分析方法步骤示意图,其如下所示:
步骤S100,获取多个候选图像并进行分类标记;
具体的,在多个节点的数据库中选取多个图像为候选图像,并对候选图像进行分类标记。
在一些实施方式中,假设共有N个节点,每个节点对应一个数据库Ni,Ni表示第i个节点的数据库,在不同节点中的数据库是相互独立的,并且不同的节点间不希望共享信息,每个数据库中有n个样本,同时每个数据库中都有M种类别标记,对不同的样本打上不同的标记。
步骤S110,在多个候选图像中确定索引图像并进行特征提取得到特征值;
在一些实施方式中,通过图像分析算法对多个候选图像中确定的索引图像进行特征提取,得到每一张索引图像的特征值,该图像分析算法的具体计算流程为现有技术,本发明实施例不在赘述。
例如,已经接收到A/B/C/D/E五个索引图像,通过特征提取,在索引图像A中得到第一特征值,在索引图像B中得到第二特征值,在索引图像C中得到第三特征值,在索引图像D中得到第四的特征值,在索引图像E中得到第五特征值。
步骤S120,根据索引图像的特征值与数据库中的其余图像进行相似度比较并进行排序和输出;
在一些实施方式中,在Hadoop集群上部署Spark,利用YARN调度Spark任务容器。本发明中的节点包括索引节点、检索节点、以及输出节点。其中索引节点负责对输入的索引图像提取特征值,并保存到指定的HBase表中,供后续检索使用;检索节点则负责对输入的待检索图像计算其与指定HBase表中所存储图像的相似度,并进行排序和输出;输出节点则负责对所有检索节点返回的结果进行归并排序,并从HBase中读取图像编码,然后生成原始图像,再将检索到的图像进行排序并按排序的顺序输出。
步骤S130,根据输出结果确定相似图像,并对相似图像进行解码生成图像文件;
在一些实施方式中,对指定的索引图像,首先对该图像进行BASE64编码得到编码结果,并将编码后的字符串作为输入分发到已启动的检索节点Ri,并从ZooKeeper中获取该索引节点对应的索引表。然后对B进行解码,并对解码后的图像提取视觉特征向量,然后计算其与索引表中保存的图像特征的相似度,然后根据相似度进行排序,将排序后的前索引表结果发送到输出节点,输出节点收到的检索结果进行归并排序,保留结果,并根据键值及其对应的索引表读取图像编码,解码生成图像文件并返回图像路径。
实施例2
请参阅图2,图2为本发明实施例提供的一种分布式图像分析方法详细步骤示意图,其如下所示:
步骤S200,获取多个候选图像并进行分类标记;
具体的,在多个节点的数据库中选取多个图像为候选图像,并对候选图像进行分类标记。
在一些实施方式中,假设共有N个节点,每个节点对应一个数据库Ni,Ni表示第i个节点的数据库,在不同节点中的数据库是相互独立的,并且不同的节点间不希望共享信息,每个数据库中有n个样本,同时每个数据库中都有M种类别标记,对不同的样本打上不同的标记。
步骤S210,对数据库中所有图像进行特征提取,得到每一图像的特征值,候选图像为存储在数据库中的全部图像;
在一些实施方式中,对数据库中之前存储的所有的图像都进行特征提取,得到所有图像信息的特征值,例如,数据库中有1-100张图像,对应第一至第一百个特征值,候选图像为数据库中的全部图像,所以候选图像的特征值即为数据库中所有的图像的特征值集合。
步骤S220,对数据库中全部图像的特征值进行图像碰撞分析,得到每个图像的置信度;
在一些实施方式中,数据库中的候选图像包括索引图像,该索引图像记录有结果对象,该索引图像对应有对象频次,该对象频次用于指示该结果对象被拍摄的次数;具体地,该索引图像的文件名称中记录有该对象频次的信息。
例如,通过图像碰撞分析得到的结果集中包括A和B两个结果集,A结果集中包括一张索引图像甲,B结果集中包括有一张索引图像乙,分别记录了两个结果对象,其中,索引图像甲对应被拍摄的次数为100次,索引图像乙被拍摄的次数为200次。
步骤S230,获取置信度符合预设置信度阈值的图像作为候选图像;
在一些实施方式中,通过预设的置信度阈值,判断候选图像之间是否记录有相同的结果对象。
例如,预设置信度的值为90%,则判断候选图像A和候选图像B共同记录有结果对象i,候选图像B和候选图像C共同记录有候选对象m,此时,即可获知,i被拍摄的总频次为110次,m被拍摄的总频次为220次。
本实施例中,该预设值是用户设定的,其作用是,当两个候选图像之间的置信度大于或等于该预设值时,确定该两个候选图像记录有同一个结果对象,此时获取该两个候选图像所对应的对象频次,即得到该结果对象被拍摄的次数,上述说明只是便于理解,实际工作中,可以不仅仅是两个候选图像之间的置信度大于阈值,也可以是多个候选图像之间的置信度大于阈值。
步骤S240,在多个候选图像中确定索引图像并进行特征提取得到特征值;
在一些实施方式中,通过图像分析算法对多个候选图像中确定的索引图像进行特征提取,得到每一张索引图像的特征值,该图像分析算法的具体计算流程为现有技术,本发明实施例不在赘述。
例如,已经接收到A/B/C/D/E五个索引图像,通过特征提取,在索引图像A中得到第一特征值,在索引图像B中得到第二特征值,在索引图像C中得到第三特征值,在索引图像D中得到第四的特征值,在索引图像E中得到第五特征值。
步骤S250,通过图像分析算法获取每一候选图像的图像质量;
在一些实施方式中,图像分析算法为一种公知的算法,此处不再赘述,通过图像分析算法,能够得到被图像的图像质量,图像质量包括图像拍摄时的光线条件,是否被遮挡,以及被拍摄对象为人时,该对象是否侧脸或低头等,图像质量越高,该图像所记录的拍摄对象越清晰,越可靠。
例如,对100个记录有A的候选图像执行图像分析算法,得到每个记录有A的候选图像的图像质量;由于每次拍摄时,对A的拍摄角度、拍摄光线、脸部遮挡等拍摄条件有所不同,每个记录有A的候选图像的图像质量都会有所不同。
步骤S260,选取候选图像中图像质量最高的图像作为索引图像;
在一些实施方式中,选取图像质量最高的候选图像作为索引图像,该索引图像最能够代表候选图像所共同记录的结果对象,有利于提高第二服务器进行第二次图像碰撞分析的准确度。
例如,在100个记录有A的候选图像中,选取图片质量最高的图像作为代表A的索引图像,由于该索引图像为图像质量最高的候选图像,拍摄时光线条件最好,A不会出现侧脸、低头等情况,面部不会被遮挡,从而确保在执行第二次图像碰撞分析时的准确性。
步骤S270,根据索引图像的特征值与数据库中的其余图像进行相似度比较并进行排序和输出;
在一些实施方式中,在Hadoop集群上部署Spark,利用YARN调度Spark任务容器。本发明中的节点包括索引节点、检索节点、以及输出节点。其中索引节点负责对输入的索引图像提取特征值,并保存到指定的HBase表中,供后续检索使用;检索节点则负责对输入的待检索图像计算其与指定HBase表中所存储图像的相似度,并进行排序和输出;输出节点则负责对所有检索节点返回的结果进行归并排序,并从HBase中读取图像编码,然后生成原始图像,再将检索到的图像进行排序并按排序的顺序输出。
步骤S280,索引图像通过索引节点进行提取特征;
在一些实施方式中,根据目标指令所预设的目标时间段和/或目标摄像机标识对存储图像进行特征提取,得到存储图像的特征值。
例如,目标指令包含目标时间段和目标摄像机标识,提取2020年12月1日0时至2020年12月7日24时这个时间段内,目标摄像机标识为1至100的摄像机所拍摄的存储图像,进行特征提取。
步骤S290,将特征值保存到HBase数据库表中,供后续检索使用;
在一些实施方式中,在Hadoop分布式***集群上部署Spark集群,利用YARN资源管理器调度Spark集群的Spark任务容器,Hadoop分布式***集群中的工作节点包括索引节点、检索节点、以及输出节点;其中,索引节点负责对输入的图像提取特征,并保存到指定的HBase数据库表中,供后续检索使用。
步骤S300,对输入的索引图像计算其与指定HBase数据库表中其余图像的相似度,并进行排序和输出;
步骤S310,根据输出结果确定相似图像,并对相似图像进行解码生成图像文件;
在一些实施方式中,对指定的索引图像,首先对该图像进行BASE64编码得到编码结果,并将编码后的字符串作为输入分发到已启动的检索节点Ri,并从ZooKeeper中获取该索引节点对应的索引表。然后对B进行解码,并对解码后的图像提取视觉特征向量,然后计算其与索引表中保存的图像特征的相似度,然后根据相似度进行排序,将排序后的前索引表结果发送到输出节点,输出节点收到的检索结果进行归并排序,保留结果,并根据键值及其对应的索引表读取图像编码,解码生成图像文件并返回图像路径。
步骤S320,输出结果负责对所有索引节点返回的结果进行归并排序;
在一些实施方式中,每个索引节点启动时,首先通过ZooKeeper加锁,然后在索引节点子树中添加自己,查找未分配的索引表,并保存到索引分配子树中。完成上述操作后解锁。在索引节点及索引分配子树中添加的节点均为临时节点,当对应的索引节点失效时,临时节点会自动删除。同时Spark会检测到节点失效并重新分配和启动索引节点,该索引节点会重新在ZooKeeper添加自己并获取索引表,从而保证了节点失效的情况下能够迅速恢复,并重新进行排序。
步骤S330,从HBase数据库表中读取图像编码,生成原始图像;
在一些实施方式中,对指定的图像序列,首先对每个图像进行BASE64编码得到编码结果,并将编码后的字符串作为输入分发到已启动的索引节点,并从ZooKeeper中获取该索引节点对应的索引表。然后利用MD5对输入的图像编码计算图像的键值,同时对编码结果进行解码,并对解码后的图像提取视觉特征向量。
例如,将RGB空间图像分为8x8=64块。从每一个分块中选择一种颜色作为该分块的显著颜色。可以使用任何一种显著颜色提取算法,通常本发明使用每一分块的平均颜色作为该分块的典型颜色,因为该方法简单并且其在通常情况下足够准确。并将每一分块用一像素显著颜色表示,生成8x8像素大小的小图像,从而逐步生成原始图像。
步骤S340,将解码后的到的图像生成图像文件并返回图像路径;
在一些实施方式中,对解码后的图像提取视觉特征向量X,然后计算其与索引表中保存的图像特征的相似度,如果两幅图像相同,则相似度为100%;如果两幅图像相似,则相似度接近100%。然后根据相似度进行排序,将排序后的前索引表组结果发送到输出节点,输出节点收到的检索结果进行归并排序,保留前前索引表组结果,并根据键值及其对应的索引表读取图像编码B,解码生成图像文件并返回图像路径。
实施例3
请参阅图3,图3为本发明实施例提供的一种分布式图像分析***模块示意图,其包括:
获取模块,用于获取多个候选图像并进行分类标记;
提取模块,用于在多个候选图像中确定索引图像并进行特征提取得到特征值;
相似度比较模块,用于根据索引图像的特征值与数据库中的其余图像进行相似度比较并进行排序和输出;
输出模块,用于根据输出结果确定相似图像,并对相似图像进行解码生成图像文件。
还包括存储器、处理器和通信接口,该存储器、处理器和通信接口相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器可用于存储软件程序及模块,处理器通过执行存储在存储器内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口可用于与其他节点设备进行信令或数据的通信。
其中,存储器可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器可以是一种集成电路芯片,具有信号处理能力。该处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可以理解,图3所示的仅为示意,还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述,本申请实施例提供的一种分布式图像分析方法及***,通过从数据库中多个候选图像集合中逐一选定索引图像,并对索引图像进行特征提取,且获取该索引图像对应有对象频次,该对象频次用于指示该结果对象被拍摄的次数,分别于相邻的两张候选图像进行比对和排序,达到分布式图像分析的目的,提高了分析能力。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种分布式图像分析方法,其特征在于,包括如下步骤:
获取多个候选图像并进行分类标记;
在多个候选图像中确定索引图像并进行特征提取得到特征值;
根据索引图像的特征值与数据库中的其余图像进行相似度比较并进行排序和输出;
根据输出结果确定相似图像,并对相似图像进行解码生成图像文件。
2.如权利要求1所述的一种分布式图像分析方法,其特征在于,所述获取多个候选图像并进行分类标记包括:
对数据库中所有图像进行特征提取,得到每一图像的特征值,候选图像为存储在数据库中的全部图像。
3.如权利要求2所述的一种分布式图像分析方法,其特征在于,还包括:
对数据库中全部图像的特征值进行图像碰撞分析,得到每个图像的置信度;
获取置信度符合预设置信度阈值的图像作为候选图像。
4.如权利要求1所述的一种分布式图像分析方法,其特征在于,所述在多个候选图像中确定索引图像并进行特征提取得到特征值包括:
通过图像分析算法获取每一候选图像的图像质量;
选取候选图像中图像质量最高的图像作为索引图像。
5.如权利要求1所述的一种分布式图像分析方法,其特征在于,所述根据索引图像的特征值与数据库中的其余图像进行相似度比较并进行排序和输出包括:
索引图像通过索引节点进行提取特征;
将特征值保存到HBase数据库表中,供后续检索使用。
6.如权利要求5所述的一种分布式图像分析方法,其特征在于,还包括:
对输入的索引图像计算其与指定HBase数据库表中其余图像的相似度,并进行排序和输出。
7.如权利要求1所述的一种分布式图像分析方法,其特征在于,所述根据输出结果确定相似图像,并对相似图像进行解码生成图像文件包括:
输出结果负责对所有索引节点返回的结果进行归并排序。
8.如权利要求7所述的一种分布式图像分析方法,其特征在于,还包括:
从HBase数据库表中读取图像编码,生成原始图像;
将解码后的到的图像生成图像文件并返回图像路径。
9.一种分布式图像分析***,其特征在于,包括:
获取模块,用于获取多个候选图像并进行分类标记;
提取模块,用于在多个候选图像中确定索引图像并进行特征提取得到特征值;
相似度比较模块,用于根据索引图像的特征值与数据库中的其余图像进行相似度比较并进行排序和输出;
输出模块,用于根据输出结果确定相似图像,并对相似图像进行解码生成图像文件。
10.如权利要求9所述的一种分布式图像分析***,其特征在于,包括:
用于存储计算机指令的至少一个存储器;
与所述存储器通讯的至少一个处理器,其中当所述至少一个处理器执行所述计算机指令时,所述至少一个处理器使所述***执行:获取模块、提取模块、相似度比较模块以及输出模块。
CN202011004464.1A 2020-09-22 2020-09-22 一种分布式图像分析方法及*** Pending CN112131424A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011004464.1A CN112131424A (zh) 2020-09-22 2020-09-22 一种分布式图像分析方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011004464.1A CN112131424A (zh) 2020-09-22 2020-09-22 一种分布式图像分析方法及***

Publications (1)

Publication Number Publication Date
CN112131424A true CN112131424A (zh) 2020-12-25

Family

ID=73842526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011004464.1A Pending CN112131424A (zh) 2020-09-22 2020-09-22 一种分布式图像分析方法及***

Country Status (1)

Country Link
CN (1) CN112131424A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1551017A (zh) * 2003-05-08 2004-12-01 ���ְ�˹��ʽ���� 图像检索装置、方法、程序及存储有该程序的存储介质
CN103984778A (zh) * 2014-06-06 2014-08-13 北京金山网络科技有限公司 一种视频检索方法及***
CN105022752A (zh) * 2014-04-29 2015-11-04 中国电信股份有限公司 图像检索方法与装置
CN105205169A (zh) * 2015-10-12 2015-12-30 中国电子科技集团公司第二十八研究所 一种分布式图像索引与检索方法
US20180300358A1 (en) * 2015-09-16 2018-10-18 Hangzhou Hikvision Digital Technology Co., Ltd. Image Retrieval Method and System
KR102090739B1 (ko) * 2019-10-21 2020-03-18 주식회사 휴머놀러지 영상의 유사도 분석을 위해 영상 영역 격자 다분할을 이용하는 지능형 이동 감시 시스템 및 그 감시방법
CN111343416A (zh) * 2018-12-18 2020-06-26 华为技术有限公司 一种分布式图像分析方法、***及存储介质
US20200250420A1 (en) * 2017-10-18 2020-08-06 Yamaha Corporation Image analysis method, image analysis device, and program

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1551017A (zh) * 2003-05-08 2004-12-01 ���ְ�˹��ʽ���� 图像检索装置、方法、程序及存储有该程序的存储介质
CN105022752A (zh) * 2014-04-29 2015-11-04 中国电信股份有限公司 图像检索方法与装置
CN103984778A (zh) * 2014-06-06 2014-08-13 北京金山网络科技有限公司 一种视频检索方法及***
US20180300358A1 (en) * 2015-09-16 2018-10-18 Hangzhou Hikvision Digital Technology Co., Ltd. Image Retrieval Method and System
CN105205169A (zh) * 2015-10-12 2015-12-30 中国电子科技集团公司第二十八研究所 一种分布式图像索引与检索方法
US20200250420A1 (en) * 2017-10-18 2020-08-06 Yamaha Corporation Image analysis method, image analysis device, and program
CN111343416A (zh) * 2018-12-18 2020-06-26 华为技术有限公司 一种分布式图像分析方法、***及存储介质
KR102090739B1 (ko) * 2019-10-21 2020-03-18 주식회사 휴머놀러지 영상의 유사도 분석을 위해 영상 영역 격자 다분할을 이용하는 지능형 이동 감시 시스템 및 그 감시방법

Similar Documents

Publication Publication Date Title
US11132555B2 (en) Video detection method, server and storage medium
EP3709184B1 (en) Sample set processing method and apparatus, and sample querying method and apparatus
CN105653700B (zh) 视频检索方法及***
CN108881947B (zh) 一种直播流的侵权检测方法及装置
Ayed et al. MapReduce based text detection in big data natural scene videos
CN111651636A (zh) 视频相似片段搜索方法及装置
CN116049397B (zh) 基于多模态融合的敏感信息发现并自动分类分级方法
US9665773B2 (en) Searching for events by attendants
CN114041165A (zh) 一种视频相似检测的方法、装置及设备
CN110110113A (zh) 图像搜索方法、***及电子装置
Wang et al. Duplicate discovery on 2 billion internet images
CN108268510B (zh) 一种图像标注方法和装置
CN112465020A (zh) 训练数据集的生成方法及装置、电子设备、存储介质
CN110826365B (zh) 一种视频指纹生成方法和装置
CN111353062A (zh) 一种图像检索方法、装置以及设备
CN111723227B (zh) 基于人工智能和互联网的数据分析方法及云计算服务平台
CN111914920A (zh) 一种基于稀疏编码的相似性图像检索方法及***
CN116883740A (zh) 相似图片识别方法、装置、电子设备和存储介质
CN112131424A (zh) 一种分布式图像分析方法及***
CN115146103A (zh) 图像检索方法、装置、计算机设备、存储介质和程序产品
CN112214639B (zh) 视频筛选方法、视频筛选装置及终端设备
CN114332745A (zh) 一种基于深度神经网络的近重复视频大数据清洗方法
CN112069331A (zh) 一种数据处理、检索方法、装置、设备及存储介质
CN111143626A (zh) 团伙识别方法、装置、设备及计算机可读存储介质
JP2015130041A (ja) 画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination