CN103605667B - 一种图像自动标注算法 - Google Patents

一种图像自动标注算法 Download PDF

Info

Publication number
CN103605667B
CN103605667B CN201310514942.7A CN201310514942A CN103605667B CN 103605667 B CN103605667 B CN 103605667B CN 201310514942 A CN201310514942 A CN 201310514942A CN 103605667 B CN103605667 B CN 103605667B
Authority
CN
China
Prior art keywords
image
training
selecting
samples
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310514942.7A
Other languages
English (en)
Other versions
CN103605667A (zh
Inventor
章东平
李艳洁
杨力
芦亚飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201310514942.7A priority Critical patent/CN103605667B/zh
Publication of CN103605667A publication Critical patent/CN103605667A/zh
Application granted granted Critical
Publication of CN103605667B publication Critical patent/CN103605667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像自动标注算法，包括步骤：步骤（1）图像数据集特征提取：通过对数据集中的图像进行特征提取来获得图像的底层信息；步骤（2）图像训练集选择：通过选择最权威、最标准的数据集进行图像自动标注算法的训练，该数据集要含有多种特征和最丰富的图像资源，从数据集选取n个数据作为训练样本，其中部分样本已标注，其余样本无标注；步骤（3）图像标注算法训练：通过对得到的样本进行特征选择，并采用约束项来优化标注结果；步骤（4）图像自动标注：通过选择阈值，对预测标签进行处理。本发明的基于稀疏结构特征选择的图像标注方法实现了对图像自动标注，具有开创性意义。

Description

一种图像自动标注算法
技术领域
本发明涉及一种图像自动标注的方法，属于图像检索、分类和识别领域。
背景技术
随着数码相机和其他电子设备越来越流行，图像的数量正在迅速增加。因此，如何有效地管理和检索网络多媒体信息成为一个迫切需要解决的问题。在过去的几十年里，有大量的研究基于内容的图像检索，却受于语义鸿沟的限制，不能完全满足用户的需求。用户习惯于使用关键字进行查询，但人工标注是一个非常费力的工作，从而催生了图像自动标注的发展。图像自动标注是反映语义内容让计算机自动添加图像并标注没有标记的图像，它的关键是实现了图像的语义检索领域的研究。
发明内容
为了解决在大数据图像标注的过程中所耗费的人力和对无标签数据结构的充分利用等问题，本发明提供一种图像自动标注算法，包括步骤：
步骤（1）图像数据集特征提取：通过对数据集中的图像进行特征提取来获得图像的底层信息；
步骤（2）图像训练集选择：通过选择最权威、最标准的数据集进行图像自动标注算法的训练，该数据集要含有多种特征和最丰富的图像资源，从数据集选取n个数据作为训练样本，其中部分样本已标注，其余样本无标注；
步骤（3）图像标注算法训练：通过对得到的样本进行特征选择，并采用约束项来优化标注结果；
步骤（4）图像自动标注：通过选择阈值，对预测标签进行处理。
进一步的，步骤（1）中选用的特征类型包括：颜色直方图、逐块颜色矩、边缘方向直方图、颜色相关图、脸部特征、小波纹理和基于SIFT描述词袋。
进一步的，所述步骤（2）中对图像训练集选择具体为：
1）共选取n个样本，其中m个样本有标签。从每个样本中选取上述三种特征作为该样本的一个特征向量，记为，为特征向量的维数；
2）是标签矩阵，是标签类的数目，其中个样本有标签。若属于第类，则，否则为零；若没有标签，则为全0的向量；
进一步的，所述步骤（3）对图像标注算法训练具体为：
1）构建线性回归函数为，是训练集，
是标签集， 是投影矩阵； 定义为有n个全为1的列向量。是偏置量， 是原始特征的维数， 是训练数据的数目 和 是标签类的数目；是为了特征选择从到的映射矩阵。训练模型定义为：，是一个逻辑损失函数，是正则化参数；
2）定义一个预测矩阵为：，其中满
；
3）采用拉普拉斯构图的流形学习方法：
损失函数最小化定义为：，定义了一个拉普拉斯矩阵为：，其中是一个对角矩阵，定义式为：， 是权值函数，与 和的关系是：
；
4）为了提高标签符合度，即在测试过程中，使预测的标签更匹配原始标签：优化项为：，定义了一个对角矩阵，其中若有标签，则，若没有标签，则；
5）由式，即最小二乘表达式可写为：
，其中和表示有标签的训练数据和它们原始真实标签。若使用半监督的学习方法，即n个样本中有m个有标签，则最小二乘残差可表示为：；
6）由于训练数据量较大，所以要较有效的表示图像内容是用
很少的数据来捕获感兴趣目标，所用稀疏表示的定义如下：；
7）预测标签理想值为0或1，即：。综上所
述，最优化的目标函数表达式为：；
8）最优化的目标函数表达式中所用参数有、、，其中参
数和可从中通过实验测试选取，可通过实验测得最优解得到；
通过迭代法求解上述的最优化问题，得到矩阵、、b。
进一步的，所述步骤（4）中图像自动标注具体为：选择阈值T，对进行阈值处理，即得检测图像的标签，通过阈值后所得的标签为：
其中，，为检测的样本数。
本发明的基于稀疏结构特征选择的图像标注方法实现了对图像自动标注，具有开创性意义。
附图说明
图1是本发明的图像标注方法流程图；
图2是图像标注算法结构示意图；
图3是图像标注研究的图像示例示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，基于稀疏结构特征选择的图像标注方法，包括如下步骤：
步骤（1）图像数据集特征提取：通过对数据集中的图像进行特征提取来获得图像的底层信息。选用的特征类型包括：颜色直方图、逐块颜色矩、边缘方向直方图、颜色相关图、脸部特征、小波纹理和基于SIFT描述词袋。
步骤（2）图像训练集选择：通过选择最权威、最标准的数据集进行图像自动标注算法的训练，该数据集要含有多种特征和最丰富的图像资源。从数据集选取n个数据作为训练样本，其中部分样本已标注，其余样本无标注。
步骤（3）图像标注算法训练：通过对得到的样本进行特征选择，并采用约束项来优化标注结果。
步骤（4）图像自动标注：通过选择阈值，对预测标签进行处理。
所述步骤（2）中对图像训练集选择的步骤为：
1）共选取n个样本，其中m个样本有标签。从每个样本中选取上述三种特征作为该样本的一个特征向量，记为，为特征向量的维数。
2）是标签矩阵，是标签类的数目，其中个样本有标签。若属于第类，则，否则为零；若没有标签，则为全0的向量。
所述步骤（3）对图像标注算法训练的步骤为：
9）构建线性回归函数为，是训练集，
是标签集， 是投影矩阵。 定义为有n个全为1的列向量。是偏置量， 是原始特征的维数， 是训练数据的数目 和 是标签类的数目。 是为了特征选择从到的映射矩阵。训练模型定义为：，是一个逻辑损失函数，是正则化参数。
10）定义一个预测矩阵为：，其中满
。
11）采用拉普拉斯构图的流形学习方法：
损失函数最小化定义为：，定义了一个拉普拉斯矩阵为：，其中是一个对角矩阵，定义式为：， 是权值函数，与 和的关系是：
12）为了提高标签符合度，即在测试过程中，使预测的标签更匹配原始标签。优化项为：，定义了一个对角矩阵，其中若有标签，则，若没有标签，则。
13）由式，即最小二乘表达式可写为：
，其中和表示有标签的训练数据和它们原始真实标签。若使用半监督的学习方法，即n个样本中有m个有标签，则最小二乘残差可表示为：。
14）由于训练数据量较大，所以要较有效的表示图像内容是用
很少的数据来捕获感兴趣目标，所用稀疏表示的定义如下：。
15）预测标签理想值为0或1，即：。综上所述，最优化的目标函数表达式为：
16）最优化的目标函数表达式中所用参数有、、，其中参
数和可从中通过实验测试选取，可通过实验测得最优解得到。
通过迭代法求解上述的最优化问题，得到矩阵、、b。
所述步骤（4）中图像自动标注，其特征是：选择阈值T，对进行阈值处理，即得检测图像的标签。通过阈值后所得的标签为：
其中，，为检测的样本数。

Claims (4)

1.一种图像自动标注算法，包括步骤：
步骤（1）图像数据集特征提取：通过对数据集中的图像进行特征提取来获得图像的底层信息；
步骤（2）图像训练集选择：通过选择最权威、最标准的数据集进行图像自动标注算法的训练，该数据集要含有多种特征和最丰富的图像资源，从数据集选取n个数据作为训练样本，其中部分样本已标注，其余样本无标注；
步骤（3）图像标注算法训练：通过对得到的样本进行特征选择，并采用约束项来优化标注结果；
步骤（4）图像自动标注：通过选择阈值，对预测标签进行处理；
所述步骤（3）对图像标注算法训练具体为：
构建线性回归函数为，是训练集，
是标签集， 是投影矩阵； 定义为有n个全为1的列向量；
是偏置量， 是原始特征的维数， 是训练数据的数目 和 是标签类的数目； 是为了特征选择从到的映射矩阵；
训练模型定义为：，是一个逻辑损失函数，是正则化参数；
定义一个预测矩阵为：，其中满足
；
采用拉普拉斯构图的流形学习方法：
损失函数最小化定义为：，定义了一个拉普拉斯矩阵为：，其中是一个对角矩阵，定义式为：， 是权值函数，与 和的关系是：
；
为了提高标签符合度，即在测试过程中，使预测的标签更匹配原始标签：优化项为：，定义了一个对角矩阵，其中若有标签，则，若没有标签，则；
由式，即最小二乘表达式可写为：
，其中和表示有标签的训练数据和它们原始真实标签；
若使用半监督的学习方法，即n个样本中有m个有标签，则最小二乘残差可表示为：；
由于训练数据量较大，所以要较有效的表示图像内容是用
很少的数据来捕获感兴趣目标，所用稀疏表示的定义如下： ；
预测标签理想值为0或1，即：；
综上所述，最优化的目标函数表达式为：；
最优化的目标函数表达式中所用参数有、、，其中参
数和可从中通过实验测试选取，可通过实验测得最优解得到；
通过迭代法求解上述的最优化的目标函数，得到矩阵、、b。
2.如权利要求1所述的图像自动标注算法，其特征在于：步骤（1）中选用的特征类型包括：颜色直方图、逐块颜色矩、边缘方向直方图、颜色相关图、脸部特征、小波纹理和基于SIFT描述词袋。
3.如权利要求2所述的图像自动标注算法，其特征在于：所述步骤（2）中对图像训练集选择具体为：
1） 共选取n个样本 ，其中m个样本有标签；
从每个样本中选取上述特征类型中的三种特征作为该样本的一个特征向量，记为，为特征向量的维数；
2） 是标签矩阵，是标签类的数目，其中个样本有标签；
若属于第类，则，否则为零；若没有标签，则为全0的向量。
4.如权利要求1所述的图像自动标注算法，其特征在于：所述步骤（4）中图像自动标注具体为：选择阈值T，对进行阈值处理，即得检测图像的标签，通过阈值后所得的标签为：
其中，，为检测的样本数。
CN201310514942.7A 2013-10-28 2013-10-28 一种图像自动标注算法 Active CN103605667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310514942.7A CN103605667B (zh) 2013-10-28 2013-10-28 一种图像自动标注算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310514942.7A CN103605667B (zh) 2013-10-28 2013-10-28 一种图像自动标注算法

Publications (2)

Publication Number Publication Date
CN103605667A CN103605667A (zh) 2014-02-26
CN103605667B true CN103605667B (zh) 2017-02-08

Family

ID=50123892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310514942.7A Active CN103605667B (zh) 2013-10-28 2013-10-28 一种图像自动标注算法

Country Status (1)

Country Link
CN (1) CN103605667B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942561B (zh) * 2014-03-20 2017-03-29 杭州禧颂科技有限公司 一种基于主动学习的图像标注方法
CN103955527B (zh) * 2014-05-09 2017-02-22 合肥工业大学 基于连续数标号子空间学习的检索重排序方法
US9910939B2 (en) * 2014-09-25 2018-03-06 Livermore Software Technology Corp. Characterization of graphical representation of numerical simulation results
CN104346456B (zh) * 2014-10-31 2017-09-08 海南大学 基于空间依赖性度量的数字图像多语义标注方法
CN104331712B (zh) * 2014-11-24 2017-08-25 齐齐哈尔格林环保科技开发有限公司 一种藻类细胞图像自动分类方法
CN105701502B (zh) * 2016-01-06 2020-11-10 福州大学 一种基于蒙特卡罗数据均衡的图像自动标注方法
CN107886104A (zh) * 2016-09-30 2018-04-06 法乐第(北京)网络科技有限公司 一种图像的标注方法
CN107886105A (zh) * 2016-09-30 2018-04-06 法乐第(北京)网络科技有限公司 一种图像的标注装置
CN107590167A (zh) * 2017-01-18 2018-01-16 南京邮电大学 一种基于归纳型矩阵补全的大规模社交图像自动标注算法
JP6819448B2 (ja) * 2017-04-28 2021-01-27 トヨタ自動車株式会社 画像送信プログラム、及び、画像送信装置
CN107169532B (zh) * 2017-06-14 2020-07-03 北京航空航天大学 一种基于小波分析和半监督学习的车联网油耗数据质量评估方法
CN107909114B (zh) * 2017-11-30 2020-07-17 深圳地平线机器人科技有限公司 训练有监督机器学习的模型的方法和装置
CN108537269B (zh) * 2018-04-04 2022-03-25 中山大学 一种弱交互式的物体检测深度学习方法及其***
CN108961243A (zh) * 2018-07-05 2018-12-07 广东工业大学 一种基于机器学习的篡改视频标注方法及装置
CN110705335B (zh) * 2018-07-10 2024-06-18 北京京东尚科信息技术有限公司 一种样本图片的标注方法和装置
CN109359558B (zh) * 2018-09-26 2020-12-25 腾讯科技（深圳）有限公司 图像标注方法、目标检测方法、装置及存储介质
CN109583325B (zh) * 2018-11-12 2023-06-27 平安科技（深圳）有限公司 人脸样本图片标注方法、装置、计算机设备及存储介质
CN113449632B (zh) * 2021-06-28 2023-04-07 重庆长安汽车股份有限公司 一种基于融合感知的视觉与雷达感知算法优化方法、***及汽车
CN113592029A (zh) * 2021-08-17 2021-11-02 大连大学附属中山医院 一种小样本条件下医学图像自动标注方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7814040B1 (en) * 2006-01-31 2010-10-12 The Research Foundation Of State University Of New York System and method for image annotation and multi-modal image retrieval using probabilistic semantic models
CN101916376A (zh) * 2010-07-06 2010-12-15 浙江大学 基于局部样条嵌入的正交半监督子空间图像分类方法
CN103116893A (zh) * 2013-03-15 2013-05-22 南京大学 基于多示例多标记学习的数字图像标注方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7814040B1 (en) * 2006-01-31 2010-10-12 The Research Foundation Of State University Of New York System and method for image annotation and multi-modal image retrieval using probabilistic semantic models
CN101916376A (zh) * 2010-07-06 2010-12-15 浙江大学 基于局部样条嵌入的正交半监督子空间图像分类方法
CN103116893A (zh) * 2013-03-15 2013-05-22 南京大学 基于多示例多标记学习的数字图像标注方法

Also Published As

Publication number Publication date
CN103605667A (zh) 2014-02-26

Similar Documents

Publication Publication Date Title
CN103605667B (zh) 一种图像自动标注算法
CN102414680B (zh) 利用跨域知识的语义事件检测
Cheng et al. Salientshape: group saliency in image collections
Murray et al. A deep architecture for unified aesthetic prediction
Guillaumin et al. Tagprop: Discriminative metric learning in nearest neighbor models for image auto-annotation
Monay et al. Modeling semantic aspects for cross-media image indexing
JP5351958B2 (ja) デジタルコンテンツ記録のための意味論的イベント検出
US20170024384A1 (en) System and method for analyzing and searching imagery
US20080162561A1 (en) Method and apparatus for semantic super-resolution of audio-visual data
CN108268875B (zh) 一种基于数据平滑的图像语义自动标注方法及装置
Feng et al. Transductive multi-instance multi-label learning algorithm with application to automatic image annotation
Kuric et al. ANNOR: Efficient image annotation based on combining local and global features
CN103942214B (zh) 基于多模态矩阵填充的自然图像分类方法及装置
CN115344733A (zh) 基于深度哈希的数字藏品检索方法及***
de Boer et al. Automatic analysis of online image data for law enforcement agencies by concept detection and instance search
Mallick et al. Video retrieval using salient foreground region of motion vector based extracted keyframes and spatial pyramid matching
Saravanan et al. Efficient image retrieval using indexing technique
Tang et al. One person labels one million images
Yu et al. Automatic image captioning system using integration of N-cut and color-based segmentation method
Feng et al. Adaptive all-season image tag ranking by saliency-driven image pre-classification
Oida et al. Development of presentation slide retrieval system based on visual information
Freytag et al. Interactive image retrieval for biodiversity research
Namala et al. Efficient feature based video retrieval and indexing using pattern change with invariance algorithm
Xu et al. The low-rank decomposition of correlation-enhanced superpixels for video segmentation
Sahertian et al. Automatic Image Annotation Using CMRM with Scene Information

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant