CN102646273A - 一种基于重要性检测的图像collage的自动生成与智能管理方法 - Google Patents
一种基于重要性检测的图像collage的自动生成与智能管理方法 Download PDFInfo
- Publication number
- CN102646273A CN102646273A CN2011104461304A CN201110446130A CN102646273A CN 102646273 A CN102646273 A CN 102646273A CN 2011104461304 A CN2011104461304 A CN 2011104461304A CN 201110446130 A CN201110446130 A CN 201110446130A CN 102646273 A CN102646273 A CN 102646273A
- Authority
- CN
- China
- Prior art keywords
- image
- importance
- collage
- angle
- intelligent management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 title abstract description 6
- 238000010422 painting Methods 0.000 claims description 20
- 238000005457 optimization Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 239000003086 colorant Substances 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 7
- 230000008092 positive effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003796 beauty Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于重要性检测的图像collage的自动生成和智能管理方法，其特征在于该方法包括以下步骤：(1)重要性图检测：采用色彩检测、景深分析、构图分析等步骤，提取图像的重要性区域；(2)智能摆放：根据上一步骤得到的重要性图，使用我们的算法在画布上摆放图像，摆放的过程保证重要部分不被遮挡；(3)角度多样性：通过user-study，支持角度多样性对collage美观起到的积极作用。因此，我们给予摆放后的每一张图像一个服从一定分布的角度。本发明生成的拚帖(collage)包含的信息量大，使得用户得到的整体信息最大化。同时生成的collage基本填满画布，使得画布的利用率非常高。
Description
技术领域
本发明涉及一种基于重要性检测的图像collage的自动生成和智能管理方法。
背景技术
随着数字相机的发展，越来越多的数字相册被广泛应用，比如Google的Picasa和Yahoo的Flickr；由于有大量的图像，随之就产生了一个问题，如何有效的展示这些图像目前有许多产品，如提供一些简单的图像幻灯片放映的方式。然而，这些方式不仅放弃了语义信息，而且效果也是不尽人意的。基于上述，我们提出了一种基于重要性检测的图像collage的自动生成和智能管理方法。
发明内容
本发明要解决的技术问题是如何使得生成的collage包含尽可能多的信息，也即使得用户得到的整体信息最大化以及如何使得画布的利用率(图像填满)尽可能高。为此本发明采用以下技术方案，该方法包括以下步骤：
(1)重要性图检测：
按步骤(1.1)至(1.3)提取图像的重要性区域：
(11)颜色重要性检测：根据颜色的空间分布，以及不同颜色间的相对重要性，计算得到反映每个像素重要性度的初始重要性图；
(1.2)景深分析：对输入图像进行景深分析，若图像为长景深图像，则直接进入步骤(1.3)；若图像为浅景深图像，计算图像的焦点，根据焦点位置，修正上一个步骤得到的重要性图；
(1.3)构图分析：对图像进行构图分析，根据图像的结构特征，进一步修正重要性图；
(2)智能摆放：根据上一步骤得到的重要性图，使用我们的算法在画布上摆放图像，摆放的过程保证重要部分不被遮挡：
(2.1)索引选定图像：对于原始图像集合Im(1，...，n)，通过索引的选择确定某一张图像，其中n为图像的个数；
(2.2)确定图像在画布上的大小：定义 其中W，H是画布的宽和高，w，h是图像的宽和高，n为图像的个数；通过上述定义的比率，将放在画布上的图像乘以这个比率，确定图像在画布上的大小；
(2.3)摆放图像：首先在画布的中心位置放一张图像，然后以此图像为中心，向四周扩散摆放，每放一张图像，调用遮挡算法检测重要性区域有没有被遮挡；如果被遮挡，通过改变当前图像的位置和大小进行调整；
(3)角度多样性：
(3.1)角度确定：把图像的编号(1，...，n)作为唯一确定图像的索引，根据索引的奇偶性，使图像的角度服从μ＝±10，δ＝5高斯分布；
(3.2)角度旋转：以图像的中心为定点做旋转，定义图像旋转的状态集合{-1，0，1}，-1表示图像逆时针旋转，0表示旋转角度为0，1表示图像顺时针旋转；
(3.3)图像角度自优化：图像经步骤(3.2)旋转一定角度之后，稍稍改变图像的大小，将图像周围的空白覆盖；
(3.4)图像间角度优化：观察任意两张图像的位置关系，如果该两张图像的重叠部分和图像间的空白较多，对其中一张图像再做一次角度旋转。
本发明的一种基于重要性检测的图像collage的自动生成和智能管理方法，生成的拚帖(collage)包含的信息量大，使得用户得到的整体信息最大化。同时生成的collage图像基本填满画布，使得画布的利用率非常高。
作为本发明的进一步改进，将步骤(1)提取出的图像的重要性区域用矩形信息表示。所述的矩形信息包括左上的顶点坐标，以及矩形的宽度和高度。一般情况下，我们得到的图像重要性区域矩形会偏小，因此，可以适当扩大该矩形区域的信息，扩大比例为图像长宽的5％。
作为本发明的再进一步的改进，通过user-study，支持角度多样性对collage美观起到积极作用。因此，我们给予摆放后的每一张图像一个服从一定分布的角度。由于要旋转图像，在摆放的过程中，我们适当扩大重要性区域的大小，这样 在旋转以后仍然保证实际重要性区域不被遮挡。对于给定的角度，我们根据索引奇偶性让其分别服从期望对称的高斯分布，从而既保证了角度多样性，又有对称美。
作为本发明的再进一步的改进，本发明还提供一种智能管理模式：经过前面步骤(3)生成的collage，仍有可能不尽人满意的地方，这是需要我们通过人工的方式对某些差强人意的地方进行修改。具体来说，提供用户交互修改collage的工具，使用户可以方便地修改图像，比如调整图像的大小、位置、旋转角度以及色调等信息，调整信息凸显重要性图等，使得collage更符合用户的需求，更具有美观的效果。
作为本发明的更进一步的改进，本发明还提供一种智能浏览模式：通过为用户提供一系列的操作欣赏智能生成的collage的整体效果。
附图说明
图1为本发明的总体流程图。
图2为检测出重要性重要区域的一个图像，其中矩形信息框包含的区域为重要性区域。
图3为本发明所提供的方法制作的示意图，其中(a)为原始图像集合，(b)为智能生成并优化后的collage。
图4为本发明所提供的方法制作的一个具体例子，其中(a)为原始图像集合，(b)为智能生成并优化后的collage。
图5为任意两个图像的位置关系图。
图6为对图像间角度优化过程的示意图。
具体实施方式
首先定义接下来说明中要用到的缩写：原始图像集Ii＝{1，...，n}，重要性图集Si＝{1，...，n}，
图1是本发明的基本流程图，发明以一些列图像为输入，经过一系列处理，得到一幅传达信息最大化的具有一定观赏效果的拼贴，下面对本发明的各个流程进行详细说明：
1.重要性图检测
这里我们输入一系列原始图像集合，通过色彩检测、景深分析、构图分析等步骤，提取图像的重要性区域，用矩形表示，为了后面角度旋转方便，我们这里扩大重要性区域的面积，扩大比例为图像长宽的5％，从而保证图像旋转之后重要部分不被遮挡。
所述的色彩检测、景深分析和构图分析步骤如下：
(11)颜色重要性检测：根据颜色的空间分布，以及不同颜色间的相对重要性，计算得到反映每个像素敏感度的初始重要性图；
(1.2)景深分析：对输入图像进行景深分析，若图像为长景深图像，则直接进入步骤(1.3)；若图像为浅景深图像，计算图像的焦点，根据焦点位置，修正上一个步骤得到的重要性图；
(1.3)构图分析：对图像进行构图分析，根据图像的结构特征，进一步修正重要性图
2.智能摆放
对于原始图像集合Ii(1，...，n)，索引唯一确定，通过索引的选择，我们可以确定某一张图像。为了使得图像在画布上有一个合适的大小，我们定义 
其中W，H是画布的宽和高，w，h是图像的宽和高，n为图像的个数。通过上述定义的比率，我们将放在画布上的图像乘以这个比率，就可以确定图像在画布上的大小。
在摆放的过程中，首先在画布的中心位置(局部随机)放一张图像，然后以此图像为中心，向四周扩散摆放，每放一张图像，调用遮挡算法检测重要性区域部分有没有被遮挡。如果被遮挡，我们通过改变当前图像的位置、大小等信息来调整。遮挡算法的简单描述就是判断当前图像重要性区域的顶点是否落在已摆放图像所在的区域，若是则遮挡，否则没有遮挡。
3.角度多样性
(1)角度确定：我们把图像的编号(1，...，n)作为唯一确定图像的索引，根据索引的奇偶性，使图像的角度服从μ＝±10，δ＝5高斯分布，这样使得图像的角度既能保证多样性，有可以保持一种简单的对称美。
(2)角度旋转：这里角度的旋转是以图像的中心为定点做的旋转，我们定义图像旋转的状态集合{-1，0，1}，-1表示图像逆时针旋转，0表示旋转角度为0，1表示图像顺时针旋转。由于在旋转角度时，图像已经在画布上摆放完毕，旋转角度产生之后，就会在四个角部分会出现一些空白，为了保证这些空白尽可能的少，我们做后面2方面的优化。
(3)图像角度自优化：
图像经上述旋转一定角度之后，对于某一张图像本身而言，我们要保证图像周围的空白尽可能少，我们稍稍改变图像的大小，使得将周围的空白覆盖。
(4)图像间角度优化：
参照图5，根据前面定义的角度旋转的状态，我们观察任意两张图像的位置关系有以下几种情况：
对于图5(a)和(b)中的情况，空白和遮挡部分在接受范围内；而对于图5(c)中的情况，我们将按图6所示的方法进行调整：即将图像2沿该图像中心顺时针旋转一定角度，使图像1和图像2之间的夹角变小，这样处理的结果使得两图像之间的重叠部分和空白面积减少。
4.智能管理：对于自动生成的collage，总是难免有些地方差强人意，我们提供一些人工的方式来更改前面的collage，用户可以更改图像的位置、大小、旋转角度、图层、色调等，图3是最终生成的collage的效果图。
5.智能浏览：对于前面生成的collage，用户可以根据自己喜欢的方式对collage进行欣赏。
应该理解到的是：上述实施例只是对本发明的说明，而不是对本发明的限制，任何不超出本发明实质精神范围内的发明创造，均落入本发明的保护范围之内。
Claims (7)
1.一种基于重要性检测的图像collage的自动生成和智能管理方法，其特征在于该方法包括以下步骤：
(1)重要性检测：
按步骤(1.1)至(1.3)提取图像的重要性区域：
(11)颜色重要性检测：根据颜色的空间分布，以及不同颜色间的相对重要性，计算得到反映每个像素敏感度的初始重要性图；
(1.2)景深分析：对输入图像进行景深分析，若图像为长景深图像，则直接进入步骤(1.3)；若图像为浅景深图像，计算图像的焦点，根据焦点位置，修正上一个步骤得到的重要性图；
(1.3)构图分析：对图像进行构图分析，根据图像的结构特征，进一步修正重要性图；
(2)智能摆放：图像
(2.1)索引选定图像：对于原始图像集合Ii(i＝1，...，n)，通过索引的选择确定某一张图像，其中n为图像的个数；
(2.2)确定图像在画布上的大小：定义
其中W，H是画布的宽和高，w，h是图像的宽和高，n为图像的个数；通过上述定义的比率，将放在画布上的图像乘以这个比率，确定图像在画布上的大小；
(2.3)摆放图像：首先在画布的中心位置放一张图像，然后以此图像为中心，向四周扩散摆放，每放一张图像，调用遮挡算法检测重要性区域有没有被遮挡；如果被遮挡，通过改变当前图像的位置和大小进行调整；
(3)角度多样性：图像
(3.1)角度确定：把图像的编号(1，...，n)作为唯一确定图像的索引，根据索引的奇偶性，使图像的角度服从μ＝±10，δ＝5高斯分布；
(3.2)角度旋转：以图像的中心为定点做旋转，定义图像旋转的状态集合{-1，0，1}，-1表示图像逆时针旋转，0表示旋转角度为0，1表示图像顺时针旋转；
(3.3)图像角度自优化：图像经步骤(3.2)旋转一定角度之后，稍稍改变图像的大小，将图像周围的空白覆盖；
(3.4)图像间角度优化：观察任意两张图像的位置关系，如果该两张图像的重叠部分和图像间的空白较多，对其中一张图像再做一次角度旋转。
2.根据权利要求1所述的一种基于重要图检测的图像collage的自动生成和智能管理方法，其特征在于将步骤(1)提取出的图像的重要性区域用矩形信息表示。
3.根据权利要求2所述的一种基于重要图检测的图像collage的自动生成和智能管理方法，其特征在于所述的矩形信息包括左上的顶点坐标，以及矩形的宽度和高度。
4.根据权利要求2所述的一种基于重要图检测的图像collage的自动生成和智能管理方法，其特征在于将所述的图像重要性区域矩形扩大至1-1.05倍。
5.根据权利要求1所述的一种基于重要图检测的图像collage的自动生成和智能管理方法，其特征在于步骤(2.3)所述的遮挡算法是指：循环判断当前图像重要性区域是否落在其它图像所占区域，若是，则表示遮挡，否则，即没有遮挡。
6.根据权利1所述的一种基于重要图检测的图像collage的自动生成和智能管理方法，其特征在于对于步骤(3)生成的拚帖，提供用户交互修改collage的工具，，通过人工方式调整图像的大小、位置、旋转角度以及色调，调整图层信息，对图像进行进一步修改。
7.根据权利1-6任何一项所述的一种基于重要图检测的图像collage的自动生成和智能管理方法，其特征在于，对于步骤(3)生成的拚帖，提供一种智能浏览的方式，该智能浏览的方式包括一些简单的用户操作，用户选择自己喜欢的方式对拚帖进行浏览。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011104461304A CN102646273A (zh) | 2012-03-29 | 2012-03-29 | 一种基于重要性检测的图像collage的自动生成与智能管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011104461304A CN102646273A (zh) | 2012-03-29 | 2012-03-29 | 一种基于重要性检测的图像collage的自动生成与智能管理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102646273A true CN102646273A (zh) | 2012-08-22 |
Family
ID=46659085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011104461304A Pending CN102646273A (zh) | 2012-03-29 | 2012-03-29 | 一种基于重要性检测的图像collage的自动生成与智能管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102646273A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105376480A (zh) * | 2014-08-19 | 2016-03-02 | 卡西欧计算机株式会社 | 图像提取装置以及图像提取方法 |
| CN109829486A (zh) * | 2019-01-11 | 2019-05-31 | 新华三技术有限公司 | 图像处理方法和装置 |
-
2012
- 2012-03-29 CN CN2011104461304A patent/CN102646273A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105376480A (zh) * | 2014-08-19 | 2016-03-02 | 卡西欧计算机株式会社 | 图像提取装置以及图像提取方法 |
| CN105376480B (zh) * | 2014-08-19 | 2018-08-03 | 卡西欧计算机株式会社 | 图像提取装置、图像提取方法以及计算机可读取的存储介质 |
| CN109829486A (zh) * | 2019-01-11 | 2019-05-31 | 新华三技术有限公司 | 图像处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8849043B2 (en) | System for matching artistic attributes of secondary image and template to a primary image | |
| US8538986B2 (en) | System for coordinating user images in an artistic design | |
| US8274523B2 (en) | Processing digital templates for image display | |
| US8212834B2 (en) | Artistic digital template for image display | |
| US8854395B2 (en) | Method for producing artistic image template designs | |
| US8849853B2 (en) | Method for matching artistic attributes of a template and secondary images to a primary image | |
| US20110029914A1 (en) | Apparatus for generating artistic image template designs | |
| US20110029860A1 (en) | Artistic digital template for image display | |
| WO2017097143A1 (zh) | 一种界面切换动画的设置方法及装置 | |
| US20110029562A1 (en) | Coordinating user images in an artistic design | |
| US20110025694A1 (en) | Method of making an artistic digital template for image display | |
| US8332427B2 (en) | Method of generating artistic template designs | |
| US20110026836A1 (en) | Context coordination for an artistic digital template for image display | |
| CN103139478A (zh) | 一种主副画面实时渲染的拍照方法 | |
| CN114241159A (zh) | 基于近景摄影测量法的三维重建与pbr贴图的制作方法 | |
| CN109992266A (zh) | 一种界面元素的处理方法和装置 | |
| CN110706151A (zh) | 一种面向视频的非均匀风格迁移方法 | |
| CN107197171A (zh) | 一种添加智能软件光源的数码拍照处理方法 | |
| CN102646273A (zh) | 一种基于重要性检测的图像collage的自动生成与智能管理方法 | |
| CN106445284A (zh) | 画面显示方法和装置 | |
| CN104978445B (zh) | 一种图片组合的方法及装置 | |
| CN111784817A (zh) | 阴影的展示方法和装置、存储介质、电子装置 | |
| Myodo et al. | Automatic comic-like image layout system preserving image order and important regions | |
| CN106446053A (zh) | 显示图片资源的方法和装置 | |
| TW201913351A (zh) | 視圖組件的佈局方法及設備 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120822 |