CN110569378A - 拼图搭配组合数据库的建立方法以及拼图方法、存储介质 - Google Patents

Abstract

本发明公开了一种拼图搭配组合数据库的建立方法、及拼图方法、存储介质，所述拼图方法包括：获取待拼图测试图像，基于待拼图测试图像的图像数量及图像排序、各图像主体类别及主体个数和主体类别标识，通过枚举法得到所有待拼图测试图像的排序组合；通过网站获取搭配内容；形成搭配组合，建立拼图搭配组合数据库，获取用户待拼图图像排序组合；将用户待拼图图像排序组合在所述拼图搭配组合数据库进行比对，得到用户待拼图图像排序组合对应的搭配组合，获取该搭配组合的搭配内容，形成拼图发送给用户终端。本发明通过比对拼图搭配组合数据库得到用户待拼图图像的搭配内容，实现用户拼图操作简单、拼图效果新颖有趣、用户体验良好的效果。

Description

拼图搭配组合数据库的建立方法以及拼图方法、存储介质

技术领域

本发明涉及图像处理领域，具体涉及一种拼图搭配组合数据库的建立方法以及拼图方法、存储介质。

背景技术

随着科技不断发展，电子设备功能越来越多，不仅能够拍摄图片，还能通过分享软件一次性对外分享多张拍摄图片。市面的分享软件，普遍自带拼图模板功能，用户只需选择拼图模板和挑选待分享图片，软件便可根据模板固定的显示区域和边界形状调整待分享图片的尺寸、位置，并将其叠加到模板上，最终形成拼图，给用户的分享带来良好的视觉效果。

然而市面分享软件也存在以下不足：1)用户操作耗时、繁琐。拼图模板种类多样，挑选合适或者喜欢的模板需要耗费大量时间；此外，拼图操作除了需要自选拼图模板和待分享图片，还需要自选模板背景，若预览时不喜欢默认的图片排序，还需手动逐一调整排序。2)拼图效果缺乏创意、惊喜。拼图模板是用户自选，是已知的，只满足了一次性分享多张图片的需求，其拼图效果死板，用户的使用热情受到约束。3)用户体验有待提高。拼图的前提条件必须是拼图模板的显示区域数量与待分享图片的数量一致，一旦用户更改待分享图片数量，则需重新选择拼图模板，操作不够灵活，用户体验差。

因此，市面需要一种操作简单、拼图效果新颖有趣、用户体验良好的拼图方式。

发明内容

鉴于以上技术问题，本发明的目的在于提供一种拼图搭配组合数据库的建立方法以及拼图方法、存储介质，解决现有拼图方法拼图效果缺乏创意、惊喜且用户操作耗时、繁琐以及体验差的问题。

本发明采用技术方案为：

一种拼图搭配组合数据库的建立方法，包括：

获取待拼图测试图像，基于待拼图测试图像的图像数量及图像排序、各图像主体类别及主体个数和主体类别标识，通过枚举法得到所有待拼图测试图像的排序组合；

获取搭配内容；所述搭配内容为文字内容；

基于待拼图测试图像的排序组合中各图像主体标识与搭配内容的关联性，形成搭配组合；其中，一个待拼图测试图像的排序组合对应一个搭配组合；

将每次形成的搭配组合保存在数据库中，形成拼图搭配组合数据库。

一种拼图方法，包括：

接收用户通过终端上传的待拼图图像，获取用户待拼图图像排序组合；将所述用户待拼图图像排序组合在所述拼图搭配组合数据库进行比对，得到用户待拼图图像排序组合对应的搭配组合，并获取该搭配组合的搭配内容，形成拼图发送给用户终端。

进一步的，所述搭配内容包括以下中的一种或多种：微故事情节对白、网红金句、诗歌和段子。

进一步的，所述主体类别为以下中的一种：人、宠物、物件或景观。

进一步的，获取用户待拼图图像排序组合的步骤包括：

获取待拼图图像的图像数量及图像排序；

通过图像主体模型识别图像主体，得到各图像主体类别及主体个数；

在图像主体类别为宠物、物件或景观时，通过图像主体模型识别主体类别标识；

在图像主体类别为人时，通过面部表情模型识别主体类别标识；

基于待拼图测试图像的图像数量及图像排序、各图像主体类别及主体个数和主体类别标识，得到用户待拼图图像排序组合。

进一步的，当图像主体类别为人时，所述主体类别标识为以下中的一种：高兴、伤心、害怕、愤怒、厌恶、惊讶或轻蔑。

进一步的，当图像主体类别为宠物、物件或景观时，所述主体类别标识为图像主体种类名称。

进一步的，所述待拼图测试图像的个数为4-6。

一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现所述拼图搭配组合数据库的建立方法或拼图方法。

相比现有技术，本发明的有益效果在于：

本发明通过基于待拼图测试图像的图像数量及图像排序、各图像主体类别及主体个数和主体类别标识，得到待拼图测试图像的排序组合，并寻找排序组合的搭配内容，形成待拼图测试图像的排序组合与搭配内容的搭配组合，在用户上传待拼图图像时，通过比对得到用户待拼图图像的搭配内容，实现用户拼图操作简单、拼图效果新颖有趣、用户体验良好的效果。

附图说明

图1为本发明拼图方法的流程示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

实施例：

本发明拼图搭配组合数据库的建立方法，包括：

获取待拼图测试图像，基于待拼图测试图像的图像数量及图像排序、各图像主体类别及主体个数和主体类别标识，通过枚举法得到所有待拼图测试图像的排序组合；

获取搭配内容；所述搭配内容为文字内容；

基于待拼图测试图像的排序组合中各图像主体标识与搭配内容的关联性，形成搭配组合；其中，一个待拼图测试图像的排序组合对应一个搭配组合；

将每次形成的搭配组合保存在数据库中，形成拼图搭配组合数据库。

本发明拼图方法，请参考图1所示，具体的，包括：

步骤S100:获取待拼图测试图像，基于待拼图测试图像的图像数量及图像排序、各图像主体类别及主体个数和主体类别标识，通过枚举法得到所有排序组合。

待拼图测试图像的获取有多种可实行的方式，如可以从相隔预设时间内拍摄的一组照片中获取连续的所需要的数量的图像。如将预设时间设置为10秒。另一种是可实施的方式中，也可以从拍摄的图像中选择若干数量的图像作为待拼图测试图像，选择的规则可以包括人为的筛选。如测试人员根据一定的准则选取的图像。示例性的，如选取图像主体清楚、图像主体的各个表情清晰等，或者图像主体表情组合有趣等。

待拼图测试图像其他可实现的方式中还包括可从网站去获取，例如，通过网站大量收集人、宠物、物件、景观类型的静态图像；并将待拼图测试图像进行排序，通过枚举，对待拼图测试图像进行各种顺序排序；所述图像数量，是指每次待拼图测试图像数量，本实例设定的数量区间是[4，6]，即：每次待拼图测试图像数量最少是4张，最多是6张。该数量区间可根据日后需求灵活调整，基于满足用户更改待分享图片数量进行调整，可实现用户体验好。

所述图像主体类别，是指每张待拼图测试图像所属的主体种类，本实例设定的主体类别包含：人、物以及景，一张图像对应一个图像主体类别。其中，“人”是主体类别，其对象是人，该主体类别具体的包含：高兴、伤心、害怕、愤怒、厌恶、惊讶以及轻蔑这7种面部表情。

若一图像主体类别是“人”，其面部表情是“高兴”，则该图像主体标识是：人(高兴)。“物”主体类别，其对象是宠物、物品，如：狗、凳子、杯子等。“景”主体类别，其对象是景象，该主体类别包含：山、水、树、花、草、天这6种自然景观，若一图像主体类别是“景”，其自然景观是“山”，则该图像主体标识是：景(山)。

所述所属主体个数，是指每张待拼图测试图像所属图像主体类别包含的主体个数，可以是单个，也可以是多个。如：一张一只小狗在草地上奔跑的图像，其图像主体类别是“物”，其主体个数是1。如：一张双人图像，其图像主体类别是“人”，其主体个数是2。

所述排序组合，是一种基于待拼图测试图像数量、各图像主体类别及其所属主体个数，对图像进行一定顺序排列的组合形式。如：待拼图测试图像数量是4，其图像主体类别均是“人”，其类别所属主体个数均是1，其排序组合之一是【人(伤心)、人(惊讶)、人(高兴)、人(愤怒)】或者【人(惊讶)、人(伤心)、人(愤怒)、人(高兴)】等。如：待拼图测试图像数量是4，其图像主体类别包含“景”、“人”，即部分图像主体类别是“景”，部分图像主体类别是“人”，其类别所属主体个数包含1、2，其排序组合之一是【景(天)、人(伤心)、景(树)、人(伤心)+人(害怕)】]或者【景(天)、景(树)、人(伤心)+人(害怕)、人(伤心)】等。

步骤S200:得到排序组合备选的搭配内容。

搭配内容的获取有多种可实施的方式。一种可实施的示例性方式包括接收输入设备输入的内容，如鼠标，键盘输入的内容，或者扫描设备如扫描仪输入的扫描图像，并通过现有的图像识别技术，识别扫描图像中的文字内容，并形成一段段的对白、诗歌、段子等。

另一种常用的实施方式中，可通过网站大量收集微故事情节对白、网红金句、诗歌、段子等，作为排序组合备选的搭配内容。例如，收集与“人(厌恶)”关联的搭配内容可以是“好累，不想上班。”或者“今天又只有青菜！”或者“怎么又看到你呢！”等，可使用户拼图效果新颖有趣。

所述微故事，是指以超短篇幅，达到情节和智慧高度浓缩的故事。所述段子，是指相声作品中一节或一段的艺术内容，或者是融入独特内涵的声乐类节目、文学作品。

步骤S300:基于排序组合中各图像主体标识与搭配内容的关联性，形成搭配组合。

通过枚举法得到了所有排序组合，通过网站收集得到了大量的排序组合备选搭配内容。根据排序组合中各图像主体标识与搭配内容的关联性，把排序组合中各图像与所属搭配内容绑定，形成搭配组合。

通过枚举法列举的所有排序组合，其数量不是太庞大，为了提高绑定的准确性，根据排序组合中各图像主体标识与搭配内容的关联性，将排序组合中各图像与所属搭配内容绑定可通过后台管理人员人工绑定。

所述搭配组合，是由排序组合和所属搭配内容组成。一个排序组合，对应多个搭配内容，但对应一个搭配组合。

如：一排序组合是【人(厌恶)、人(惊讶)、人(高兴)、人(轻蔑)】，其中：

与“人(厌恶)”关联的搭配内容可以是“好累，不想上班。”或者“今天又只有青菜！”或者“怎么又看到你呢！”等；

与“人(惊讶)”关联的搭配内容可以是“听说老板下个月全体加薪。”或者“听说你减肥成功，瘦了20斤。”等；

与“人(高兴)”关联的搭配内容可以是“太好了，可以买限量版游戏机了！”或者“终于可以去一趟说走就走的旅游了。”等；

与“人(轻蔑)”关联的搭配内容可以是“这逗B，真会玩！”或者“只是听说而已，认真你就输了。”等；

这样，该排序组合【人(厌恶)、人(惊讶)、人(高兴)、人(轻蔑)】可对应多个搭配内容，但对应的搭配组合是一个，是根据故事情节编排，排序组合与所属搭配内容形成的搭配组合，对应的搭配组合是唯一的，如【人(厌恶)→好累，不想上班。人(惊讶)→听说老板下个月全体加薪。人(高兴)→太好了，可以买限量版游戏机了！人(轻蔑)→只是听说而已，认真你就输了。】。

步骤S400:基于各搭配组合建立拼图搭配组合数据库。

基于排序组合与搭配内容的绑定关系，得到了所有搭配组合，均存储在本地服务器上，建立拼图搭配组合数据库。

上述建立拼图搭配组合数据库的过程可以通过多次重复实施，从而不断丰富数据库中的拼图搭配组合。

步骤S500:接收用户通过终端上传的待拼图图像，获取用户待拼图图像排序组合，基于用户待拼图图像排序组合比对所述拼图搭配组合数据库，得到与用户待拼图图像排序组合对应的搭配组合，并获取该搭配组合的搭配内容，形成拼图，通过终端显示拼图。用户可保存、分享，达到具有故事情节的拼图效果。

具体的，用户通过终端上传4-6张待拼图图像。所述终端，是指用户日常普遍使用的手机、触控屏等硬件设备。所述待拼图图像，可通过终端拍摄获取，也可通过终端自带相册获取。

获取用户待拼图图像排序组合后，在已建的拼图搭配组合数据库中查找、比对与该排序组合内容一致的搭配组合；由于搭配组合是由排序组合和搭配内容组成，即：只需把用户图像排序组合与搭配组合中的排序组合内容比对便可。基于匹配的搭配组合中排序组合各图像与所属搭配内容的绑定关系，把搭配内容分别叠加到对应的用户图像上，形成拼图。

获取用户待拼图图像排序组合是通过识别模型得到的，具体步骤如下:

程序接收用户上传待拼图图像，得到各待拼图图像排序；通过图像主体模型识别图像主体，得到各图像主体类别；

若已识别图像主体类别是“景”或“物”时，通过图像主体模型识别，识别图像主体种类名称，即识别出主体类别标识，识别出景是天还是树或其他景和物等，例如识别出景(天)或景(树)；

若已识别图像主体类别是“人”，还需要通过面部表情模型识别该图像表情，得到该图像面部表情,即主体类别标识，例如：人(厌恶)、人(惊讶)、人(高兴)、人(轻蔑)。基于待拼图的图像数量及图像排序、各图像主体类别及主体个数和主体类别标识，得到用户图像排序组合。如：【人(厌恶)、人(惊讶)、人(高兴)、人(轻蔑)】。

所述图像主体模型，是通过机器学习方法实现的。建立模型，把人、宠物、物件、景观类型的静态图像作为输入图像，把输入图像、图像主体种类名称、图像主体类别传输给模型反复训练，得出各类型图像关键特征点，从而实现基于关键特征点识别图像主体及其类别的效果。本实例是一张图像对应一个图像主体类别，所述图像主体模型，通过现成的图像主体识别技术，结合相关的主体特征关键点计算方法，从而达到图像主体及其类别的识别效果。

所述图像主体模型建立以及识别主体类别标识的过程具体如下：

1.通过网站大量收集人、宠物、物件、景观类型的静态图像，一张图像对应一种类型。

2.根据人、宠物、物件、景观类型的种类，对图像进行分类，建立样本数据库；其中，样本数据库图像分为训练图像和测试图像；

3.建立模型，把数据库训练图像、图像主体种类名称、图像主体类别传输给模型反复训练；

4.当模型反复训练的次数达到***设置，如20万次，则把数据库测试图像传输给模型测试；

5.通过损失函数计算模型测试的准确率，损失函数是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损失函数求解和评估模型。在本发明中，当通过损失函数计算模型测试的准确率达到***设置，如80％，则把模型投入现场识别。若已识别的一张图像存在多个主体类别，则需根据判断规则得到该图像最终的一个主体类别，判断规则如下：1)主体占据当前图像总面积是否超过1/3，若是，视为图像主体，否则忽略；2)图像主体类别优先级：人〉物〉景。

如：一张已识别的图像，其识别主体有人、山，即同时存在的图像主体类别是“人”和“景”，若人、山两者占据当前图像总面积都超过1/3，则再根据图像主体类别优先级，得到该图像最终的主体类别是“人”。

这里，部分图像主体类别是“人”，其类别所属主体个数包含1、2，是指：如待拼图图像数量是4，其中图像a是一张单人照，该图像主体类别是“人”，且该类别所属主体个数是1，因为只有一个人；图像b是一张双人照，该图像主体类别是“人”，且该类别所属主体个数是2，因为有两个人；也就是说，“其类别所属主体个数”是指一张图像中同一个主体类别下所包含的主体个数，并不是说一张图像允许对应多个主体类别；一张图像只能对应一个主体类别，若一张图像存在多个主体类别，则必须通过判断规则得到该图像最终的一个主体类别。即建立的图像主体模型中，输入图像的主体类别只可以是一个，不可以多个。

所述面部表情模型，是通过机器学习方法实现的。建立模型，把人的高兴、伤心、害怕、愤怒、厌恶、惊讶以及轻蔑这7种面部表情类型的静态图像作为输入图像，把输入图像、图像表情名称传输给模型反复训练，得出各表情类型图像关键特征点，从而实现基于关键特征点识别人面部表情的效果。

面部表情模型建立以及识别过程具体如下：

1.通过网站大量收集各种面部表情的静态图像，具体的，大量收集人的高兴、伤心、害怕、愤怒、厌恶、惊讶以及轻蔑这7种面部表情的静态图像。

2.根据面部表情类别特征对上述图像分类；具体的，所述面部表情特征，是指面部各器官(如：眼睛、眉毛、嘴巴等)所表现的变化特征。如伤心时，眼睛眯起，眉毛收紧，嘴角下拉。不同面部表情，其面部表情特征不同。

通过现成人脸识别技术识别图像人脸，得到已识别人脸各器官关键特征点相对位移的变化，如伤心时，眼睛眯起，眉毛收紧，嘴角下拉。

3.基于上述图像分类，建立面部表情样本数据库；其中，样本数据库图像分为训练图像和测试图像；

4.建立模型，把收集图像、图像表情各器官关键特征点的相对位移、图像表情类别的训练图像传输给模型反复训练，从而达到人面部表情的识别效果。当模型反复训练的次数达到***设置，如20万次，则把数据库测试图像传输给模型测试；

5.通过损失函数计算模型测试的准确率，当准确率达到***设置，如80％，则把模型投入现场识别。

当然，人脸识别、面部表情识别以及图像主体识别技术发展比较成熟，可采用现成技术，通过相关的特征关键点计算方法，便可以实现识别效果。

本发明还提供一种计算机存储介质，其上存储有计算机程序，本发明的方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在该计算机存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机存储介质不包括电载波信号和电信信号。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (9)

1.一种拼图搭配组合数据库的建立方法，其特征在于，包括：

获取待拼图测试图像，基于待拼图测试图像的图像数量及图像排序、各图像主体类别及主体个数和主体类别标识，通过枚举法得到所有待拼图测试图像的排序组合；

获取搭配内容；所述搭配内容为文字内容；

基于待拼图测试图像的排序组合中各图像主体标识与搭配内容的关联性，形成搭配组合；其中，一个待拼图测试图像的排序组合对应一个搭配组合；

将每次形成的搭配组合保存在数据库中，形成拼图搭配组合数据库。

2.一种拼图方法，其特征在于：接收用户通过终端上传的待拼图图像，获取用户待拼图图像排序组合；将所述用户待拼图图像排序组合在如权利要求1所述拼图搭配组合数据库进行比对，得到用户待拼图图像排序组合对应的搭配组合，并获取该搭配组合的搭配内容，形成拼图发送给用户终端。

3.根据权利要求2所述的拼图方法，其特征在于，所述搭配内容包括以下中的一种或多种：微故事情节对白、网红金句、诗歌和段子。

4.根据权利要求2所述的拼图方法，其特征在于，所述主体类别为以下中的一种：人、宠物、物件或景观。

5.根据权利要求4所述的拼图方法，其特征在于，获取用户待拼图图像排序组合的步骤包括：

获取待拼图图像的图像数量及图像排序；

通过图像主体模型识别图像主体，得到各图像主体类别及主体个数；

在图像主体类别为宠物、物件或景观时，通过图像主体模型识别主体类别标识；

在图像主体类别为人时，通过面部表情模型识别主体类别标识；

基于待拼图测试图像的图像数量及图像排序、各图像主体类别及主体个数和主体类别标识，得到用户待拼图图像排序组合。

6.根据权利要求5所述的拼图方法，其特征在于，当图像主体类别为人时，所述主体类别标识为以下中的一种：高兴、伤心、害怕、愤怒、厌恶、惊讶或轻蔑。

7.根据权利要求5所述的拼图方法，其特征在于，当图像主体类别为宠物、物件或景观时，所述主体类别标识为图像主体种类名称。

8.根据权利要求2所述的拼图方法，其特征在于，所述待拼图测试图像的个数为4-6。

9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1所述拼图搭配组合数据库的建立方法或如权利要求2-7任一项所述拼图方法。