CN107730564A - 一种基于显著性的图像编辑方法 - Google Patents
一种基于显著性的图像编辑方法 Download PDFInfo
- Publication number
- CN107730564A CN107730564A CN201710878214.2A CN201710878214A CN107730564A CN 107730564 A CN107730564 A CN 107730564A CN 201710878214 A CN201710878214 A CN 201710878214A CN 107730564 A CN107730564 A CN 107730564A
- Authority
- CN
- China
- Prior art keywords
- image
- mrow
- msubsup
- color
- msup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Color Image Communication Systems (AREA)
Abstract
本发明公开了一种基于显著性的图像编辑方法，其具体步骤是：(1)、输入原始图像和需要改变的原始区域掩膜；(2)、利用Gist特征描述向量和颜色直方图，计算它们的距离来衡量原始图像和其相似图像的差异性，从而选出NC幅候选图像；(3)、用显著性模型计算候选图像的显著性图，将候选图像中高显著性区域的颜色转移给原始图像中的掩膜区域，生成NC幅颜色转移后的图像(4)、对于中的每一幅图像，用显著性模型计算显著性图，记作最后根据每一幅显著性图的值，选出最好的效果图，作为输出图像FI。本发明利用相似图像进行区域间的颜色转移，对原始图像进行编辑，既能够保证原始图像的真实性，又能够有效改变目标区域的颜色，达到改变目标区域的显著性的效果。
Description
技术领域
本发明涉及图像，视频处理技术领域，具体地说是涉及一种利用显著性进行图像间颜色转移的图像操作方法。
背景技术
随着互联网和多媒体技术的蓬勃发展，显著性检测受到了越来越广泛的关注，它可以用来检测一张图像的显著区域。显著性检测被用在很多应用中，例如显著性物体分割和检测，基于内容的图像或视频压缩和内容感知的图像或视频重定位等等。
现有技术中，2014年，Mateescu等人利用改变色调的方法来实现目标增强，具体做法是根据目标区域和其余区域的色调分布的差异性调整色调，这个方法直接改变了物体的颜色而忽略了改变过后的颜色是否真实。2016年，Roey等人利用显著性来进行目标增强，他计算出一幅图像中的高显著性区域，利用patchmatch的方法将目标区域的颜色替换为高显著性区域的颜色，达到了目标增强的效果，但是由于这种方法可以替换的颜色只能来源于同一张图片，所以当这张图片只包含一种颜色集的时候，这个方法就失效了。而且，由于没有用到语义信息，这种方法也不能够保证颜色转移后物体的真实性。
发明内容
本发明的目的在于针对已有目标增强的技术中存在的缺陷，提出一种基于显著性的图像编辑方法，该方法利用显著性检测对一幅图像进行编辑，能够保持物体的真实性的同时改变它的颜色以实现改变目标区域的显著性，比如目标增强的效果。
为了达到上述目的，本发明采用的技术方案如下：
一种基于显著性的图像编辑方法，具体步骤如下：
(1)、输入原始图像I，和需要改变的区域掩膜M；
(2)、利用Gist特征和颜色直方图，计算原始图像与其相似图像的相似度，从而得到NC幅候选图像；
(3)、利用显著性模型计算出候选图像的显著性图，将候选图像中显著性区域高的颜色转移给原始图像中的掩膜区域，生成NC幅颜色转移后的图像
(4)、对于每一幅颜色转移后的图像，用显著性模型RBD来计算它们的显著性图，记作根据每一幅显著性图的选出最好的效果图，作为输出图像FI。
上述步骤(2)所述获取候选图像的具体步骤如下：
(2-1)、对于原始图像，计算它与同一标签下其他照片的Gist特征和颜色直方图的距离；
(2-2)、选出NC幅距离最小的候选图像，NC取3，它们之间的距离由下式计算：
其中χ2(·)代表卡方距离，代表计算出的与原始图像距离最大的NC幅候选图像，和代表Ci第i幅候选图像的RGB和Lab颜色空间的颜色直方图，代表候选图像的Gist特征描述向量，相应的，和代表原始图像I的RGB和Lab颜色空间的颜色直方图，代表原始图像I的Gist特征描述向量。
所述步骤(3)中的在原始图像和候选图像之间进行区域级的颜色转移，具体步骤如下：
(3-1)、首先，对于步骤(2)中的每一幅候选图像，用显著性模型RBD来获取相应的显著性图，根据一个预定义的阈值τ1来获得高显著性区域，这个高显著性区域用H来表示，其中τ1取0.1；
(3-2)、将原始图像和候选图像都从RGB空间转换为CIELab颜色空间；对于CIELab颜色空间的每一个通道，计算原始图像的目标区域和候选图像的高显著性区域的均值和标准差；
(3-3)、对于每一幅候选图像，都与原始图像进行区域间的颜色转移，由下式计算：
其中σM和μM代表原始图像中目标区域的标准差和均值，同样的，和代表候选图像Ci中高显著性区域的标准差和均值，颜色转移后的图像记作
所述步骤(4)中的对结果进行优化的方法，具体步骤如下：
(4-1)、对于进行过颜色转移的图像用显著性模型RBD分别计算出它们相应的显著性图
(4-2)、对于中的每一幅显著性图，计算它的并选出具有最高的候选图像，由下式计算：
FI:＝TIi*
最后选出的图像记作FI。
本发明与现有的技术相比，具有如下优点：
本发明利用相似图像进行区域间的颜色转移，对原始图像进行编辑，既能够保证原始图像的真实性，又能够有效改变目标区域的颜色，达到改变目标区域的显著性的效果。
附图说明
图1是本发明的基于显著性的图像编辑的流程图。
图2(a)是本发明步骤(1)输入的原始图像。
图2(b)是本发明步骤(1)输入的目标区域掩膜。
图3是本发明步骤(2-2)中获得的候选图像。
图4是本发明步骤(3-1)中获得的候选图像的显著性图。
图5是本发明步骤(3-3)中得到进行颜色转移后的图像。
图6是本发明步骤(4-1)中得到的进行颜色转移后的图像的显著性图。
图7是本发明步骤(4-2)中得到的输出图像。
具体实施方式
下面结合附图对本发明的实施例作进一步详细说明。
本发明进行的仿真实验是在CPU为4.0GHz、内存为16G的PC测试平台上编程实现。
如图1所示，本发明的基于显著性的图像编辑方法，其具体步骤如下：
(1)、输入原始图像I，和需要改变的区域掩膜M，如图2(a)、图2(b)所示；
(2)、利用Gist特征和颜色直方图，计算原始图像和其相似图像的相似度，从而得到NC幅候选图像；
(2-1)、对于原始图像，计算它与同一标签下其他照片的Gist特征和颜色直方图的距离；
(2-2)、选出NC幅距离最小的候选图像，NC取3，选出的候选图像如图3所示，它们之间的距离由下式计算：
其中χ2(·)代表卡方距离，代表计算出的与原始图像距离最大的NC幅候选图像，和代表Ci第i幅候选图像的RGB和Lab颜色空间的颜色直方图，代表候选图像的Gist特征描述向量，相应的，和代表原始图像I的RGB和Lab颜色空间的颜色直方图，代表原始图像I的Gist特征描述向量；
(3)、利用显著性模型计算出候选图像的显著性图，将候选图像中显著性区域高的颜色转移给原始图像中的掩膜区域，生成NC幅颜色转移后的图像
(3-1)、首先，对于步骤(2)中的每一幅候选图像，用显著性模型RBD来获取相应的显著性图，如图4所示，根据一个预定义的阈值τ1来获得高显著性区域，这个高显著性区域用H来表示，其中τ1取0.1；
(3-2)、将原始图像和候选图像都从RGB空间转换为CIELab颜色空间。对于CIELab颜色空间的每一个通道，计算原始图像的目标区域和候选图像的高显著性区域的均值和标准差；
(3-3)、对于每一幅候选图像，都与原始图像进行区域间的颜色转移，由下式计算：
其中σM和μM代表原始图像中目标区域的标准差和均值，同样的，和代表候选图像Ci中高显著性区域的标准差和均值，颜色转移后的图像记作如图5所示；
(4)、对于每一幅颜色转移后的图像，用显著性模型RBD来计算它们的显著性图，记作根据每一幅显著性图的选出最好的效果图，作为输出图像FI。
(4-1)、对于进行过颜色转移的图像用显著性模型RBD分别计算出它们相应的显著性图如图6所示；
(4-2)、对于中的每一幅显著性图，计算它的并选出具有最高的候选图像，由下式计算：
FI:＝TIi*
最后选出的图像记作FI，如图7所示。
从上述仿真实验结果可以看出，利用相似图像进行区域间的颜色转移，对原始图像进行编辑，既能够保证原始图像的真实性，又能够有效改变目标区域的颜色。
Claims (4)
1.一种基于显著性的图像编辑方法，其特征在于，具体步骤如下：
(1)、输入原始图像I，和需要改变的区域掩膜M；
(2)、利用Gist特征和颜色直方图，计算原始图像与其相似图像的相似度，从而得到NC幅候选图像；
(3)、利用显著性模型计算出候选图像的显著性图，将候选图像中显著性区域高的颜色转移给原始图像中的掩膜区域，生成NC幅颜色转移后的图像
(4)、对于每一幅颜色转移后的图像，用显著性模型RBD来计算它们的显著性图，记作根据每一幅显著性图的选出最好的效果图，作为输出图像FI。
2.根据权利要求1所述的基于显著性的图像编辑方法，其特征在于，上述步骤(2)所述获取候选图像的具体步骤如下：
(2-1)、对于原始图像，计算它与同一标签下其他照片的Gist特征和颜色直方图的距离；
(2-2)、选出NC幅距离最小的候选图像，NC取3，它们之间的距离由下式计算：
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
<mi>t</mi>
<mrow>
<mo>(</mo>
<mi>I</mi>
<mo>,</mo>
<msup>
<mi>C</mi>
<mi>i</mi>
</msup>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mi>&chi;</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>H</mi>
<mi>I</mi>
<msub>
<mi>S</mi>
<mn>1</mn>
</msub>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>H</mi>
<msup>
<mi>C</mi>
<mi>i</mi>
</msup>
<msub>
<mi>S</mi>
<mn>1</mn>
</msub>
</msubsup>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>&chi;</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>H</mi>
<mi>I</mi>
<msub>
<mi>S</mi>
<mn>2</mn>
</msub>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>H</mi>
<msup>
<mi>C</mi>
<mi>i</mi>
</msup>
<msub>
<mi>S</mi>
<mn>2</mn>
</msub>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mn>2</mn>
</mfrac>
<mo>+</mo>
<msup>
<mi>&chi;</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>H</mi>
<mi>I</mi>
<mi>G</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>H</mi>
<msup>
<mi>C</mi>
<mi>i</mi>
</msup>
<mi>G</mi>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
其中χ2(·)代表卡方距离，代表计算出的与原始图像距离最大的NC幅候选图像，和代表Ci第i幅候选图像的RGB和Lab颜色空间的颜色直方图，代表候选图像的Gist特征描述向量，相应的，和代表原始图像I的RGB和Lab颜色空间的颜色直方图，代表原始图像I的Gist特征描述向量。
3.根据权利要求1所述的基于显著性的图像编辑方法，其特征在于，所述步骤(3)中的在原始图像和候选图像之间进行区域级的颜色转移，具体步骤如下：
(3-1)、首先，对于步骤(2)中的每一幅候选图像，用显著性模型RBD来获取相应的显著性图，根据一个预定义的阈值τ1来获得高显著性区域，这个高显著性区域用H来表示，其中τ1取0.1；
(3-2)、将原始图像和候选图像都从RGB空间转换为CIELab颜色空间；对于CIELab颜色空间的每一个通道，计算原始图像的目标区域和候选图像的高显著性区域的均值和标准差；
(3-3)、对于每一幅候选图像，都与原始图像进行区域间的颜色转移，由下式计算：
<mrow>
<msubsup>
<mi>I</mi>
<mi>M</mi>
<mo>*</mo>
</msubsup>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>I</mi>
<mi>M</mi>
</msub>
<mo>-</mo>
<msub>
<mi>&mu;</mi>
<mi>M</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>*</mo>
<mfrac>
<msubsup>
<mi>&sigma;</mi>
<mi>H</mi>
<mi>i</mi>
</msubsup>
<msub>
<mi>&sigma;</mi>
<mi>M</mi>
</msub>
</mfrac>
<mo>+</mo>
<msubsup>
<mi>&mu;</mi>
<mi>H</mi>
<mi>i</mi>
</msubsup>
</mrow>
其中σM和μM代表原始图像中目标区域的标准差和均值，同样的，和代表候选图像Ci中高显著性区域的标准差和均值，颜色转移后的图像记作
4.根据权利要求1所述的基于显著性的图像编辑方法，其特征在于，所述步骤(4)中的对结果进行优化的方法，具体步骤如下：
(4-1)、对于进行过颜色转移的图像用显著性模型RBD分别计算出它们相应的显著性图
(4-2)、对于中的每一幅显著性图，计算它的并选出具有最高的候选图像，由下式计算：
<mrow>
<mi>i</mi>
<mo>*</mo>
<mo>=</mo>
<munder>
<mrow>
<mi>arg</mi>
<mi> </mi>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
</mrow>
<mi>i</mi>
</munder>
<msubsup>
<mi>F</mi>
<mi>&beta;</mi>
<mi>w</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
FI:＝TIi*
最后选出的图像记作FI。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710878214.2A CN107730564A (zh) | 2017-09-26 | 2017-09-26 | 一种基于显著性的图像编辑方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710878214.2A CN107730564A (zh) | 2017-09-26 | 2017-09-26 | 一种基于显著性的图像编辑方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107730564A true CN107730564A (zh) | 2018-02-23 |
Family
ID=61206886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710878214.2A Pending CN107730564A (zh) | 2017-09-26 | 2017-09-26 | 一种基于显著性的图像编辑方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107730564A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080722A (zh) * | 2019-12-11 | 2020-04-28 | 中山大学 | 一种基于显著性检测的颜色迁移方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1890691A (zh) * | 2003-12-05 | 2007-01-03 | 英国电讯有限公司 | 图像处理 |
| CN104504692A (zh) * | 2014-12-17 | 2015-04-08 | 上海大学 | 基于区域对比度的图像中显著对象的提取方法 |
| CN104766287A (zh) * | 2015-05-08 | 2015-07-08 | 哈尔滨工业大学 | 一种基于显著性检测的模糊图像盲复原方法 |
-
2017
- 2017-09-26 CN CN201710878214.2A patent/CN107730564A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1890691A (zh) * | 2003-12-05 | 2007-01-03 | 英国电讯有限公司 | 图像处理 |
| CN104504692A (zh) * | 2014-12-17 | 2015-04-08 | 上海大学 | 基于区域对比度的图像中显著对象的提取方法 |
| CN104766287A (zh) * | 2015-05-08 | 2015-07-08 | 哈尔滨工业大学 | 一种基于显著性检测的模糊图像盲复原方法 |
Non-Patent Citations (4)
| Title |
|---|
| 孙永宣: "集成学习下的图像分析关键问题研究", 《中国博士学位论文全文数据库信息科技辑（月刊）》 * |
| 晏资余: "基于全局与局部相似性检索的图像自适应修复方法", 《中国优秀硕士学位论文全文数据库信息科技辑（月刊）》 * |
| 蒋鹏: "图像内容显著性检测的理论和方法研究", 《中国博士学位论文全文数据库信息科技辑（月刊）》 * |
| 蔡连杰: "图像色彩迁移技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑（月刊）》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080722A (zh) * | 2019-12-11 | 2020-04-28 | 中山大学 | 一种基于显著性检测的颜色迁移方法及*** |
| CN111080722B (zh) * | 2019-12-11 | 2023-04-21 | 中山大学 | 一种基于显著性检测的颜色迁移方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chien et al. | Color image enhancement with exact HSI color model | |
| EP2849425A1 (en) | Color video processing system and method, and corresponding computer program | |
| CN104112081B (zh) | 色域边界描述方法 | |
| US8655060B2 (en) | Night-scene light source detecting device and night-scene light source detecting method | |
| CN105761202B (zh) | 一种彩色图像颜色迁移方法 | |
| CN108205671A (zh) | 图像处理方法及装置 | |
| JP2014002497A (ja) | 電子機器の捺印シンボル検査装置、及びその方法 | |
| CN106327537A (zh) | 一种图像预处理方法及装置 | |
| CN105426816A (zh) | 一种处理人脸图像的方法及装置 | |
| CN110781877A (zh) | 一种图像识别方法、设备及存储介质 | |
| CN107730564A (zh) | 一种基于显著性的图像编辑方法 | |
| CN111598858A (zh) | 一种基于迁移学习的橡胶手套的检测方法及*** | |
| CN109472257A (zh) | 一种字符版面确定方法及装置 | |
| CN108710881B (zh) | 神经网络模型、候选目标区域生成方法、模型训练方法 | |
| CN101344928B (zh) | 用于确定图像区域和对图像进行分类的方法和设备 | |
| Nakajima et al. | A novel color image processing scheme in HSI color space with negative image processing | |
| CN111242836B (zh) | 目标图像生成以及广告图像生成的方法、装置和设备 | |
| CN113658157B (zh) | 一种基于hsv空间的颜色分割方法及装置 | |
| CN106780574B (zh) | 一种图像的无纹理区域匹配方法 | |
| Henderson et al. | An application of gaussian mixtures: Colour segmenting for the four legged league using hsi colour space | |
| Atasoy et al. | Webcam based real-time robust optical mark recognition | |
| CN106780426A (zh) | 一种基于色彩特征模型的集成电路板多形态焊点定位方法 | |
| CN113705571B (zh) | 基于rgb阈值去红章的方法、装置、可读介质及电子设备 | |
| KR101807824B1 (ko) | 적외선 흡수 특성을 갖는 텍스트 문서를 이용하는 증강현실 시스템 및 그의 구현 방법 | |
| JP2002108847A (ja) | 文書認識装置及び文書認識方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180223 |