CN103076879A - 基于人脸信息的多媒体交互方法及装置及终端 - Google Patents

Abstract

本发明公开了一种基于生物特征信息的多媒体交互方法及装置及终端，其中方法包括：在终端中预先将联系人的生物特征信息与该联系人的联系信息进行关联并存储；在当前多媒体资料中提取生物特征信息，并将提取到的生物特征信息与之前存储的生物特征信息进行匹配，如果确定匹配成功则调出与该生物特征信息对应的联系人的联系信息进行交互；本发明相比之前的交互方式，该方式简单、有效，界面友好，效率较高，大大提升了***的友好性。

Description

基于人脸信息的多媒体交互方法及装置及终端

技术领域

本发明涉及通信技术领域，尤其涉及一种基于人脸信息的多媒体交互方法及装置及终端。

背景技术

Human-ComputerInteraction Techniques(人机交互技术)是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。

人机交互技术是随着计算机的出现应运而生的，从最初的手工作业阶段，到现在以虚拟现实技术为代表的人机交互技术，人机交互技术已经经历了很多阶段。人机交互的发展历史表明其由以计算机为中心的复杂交互逐渐向以人为中心的简单、自然的交互。目前的基于多媒体、多通道的人机交互技术已经取得了不少研究成果，比如在文字识别、手势识别、语音识别、语音合成等方面都有不少研究成果和产品问世。

随着电子技术的发展，手机、MP4、平板电脑、数码相机、数码摄像机等便携式终端设备的普及程度越来越高，人们使用这些设备的多媒体记录功能记录了大量的多媒体数据，包括照片、有声以及无声的视频录像等等。在记录的多媒体文件中，内容里有人参与的占有绝大一部分。随着时代的发展，技术的进步，人们生活水平的提高，个人拥有的类似的多媒体资料也越来越多。这些多媒体资料作为生活以及工作中记录或是记忆长期存在，人们在浏览这些资料时，只能从资料上被动的获得信息，而无法进一步与资料上的内容（主要是指资料中的人物）进行交互，使用者若需和多媒体资料上记录的人进行进一步的交流，必须手动借助于另一种资料，如通讯录、备忘录等，获得该联系人的联系方式，进而和该对象进行进一步的联系。

上述方法存在的弊端包括：交互过程不友好，与人机交互发展初期的手工操作基本相当，效率及其低下；当时间久远，已无法回忆出多媒体资料上人物的信息时，进一步的互动就将失败。

发明内容

鉴于上述的分析，本发明旨在提供一种基于人脸信息的多媒体交互方法及装置及终端，用以解决现有技术中存在的人机交互不友好以及交互过程中存在的效率低或者互动失败的问题。

本发明的目的主要是通过以下技术方案实现的：

本发明提供了一种基于生物特征信息的多媒体交互方法，包括：

在终端中预先将联系人的生物特征信息与该联系人的联系信息进行关联并存储，数据可以存储在本地或者服务器上；在当前多媒体资料中提取生物特征信息，并将提取到的生物特征信息与之前存储的生物特征信息进行匹配，如果确定匹配成功则调出与该生物特征信息对应的联系人的联系信息进行交互。

进一步地，如果匹配失败，则根据该生物特征信息到本终端用户相关的网络社交媒体做进一步匹配或者直接请求终端进行存储处理。

进一步地，在经过授权后访问与本终端用户相关的网络社交媒体，将提取到的生物特征信息与该网络社交媒体中存储的联系人的生物特征信息做进一步匹配，如果确定进一步匹配成功则调出与该生物特征信息对应的联系人的联系信息进行交互；如果进一步匹配失败，则请求终端进行编辑存储处理。

进一步地，所述请求终端进行编辑存储处理的步骤具体包括：

请求终端存储该生物特征信息和对应的已知的联系信息，并将该生物特征信息与已知的联系信息进行关联；如果当前不知道该生物特征信息对应的联系信息，则仅存储该生物特征信息作为储备。

进一步地，当匹配成功并调用与该生物特征信息对应的联系人的联系信息时，根据需要对该联系信息进行修改。

其中，所述当前多媒体资料为终端中已有的多媒体资料，或者为终端实时拍摄的多媒体资料。

所述生物特征信息为人脸信息。

本发明还提供了一种基于生物特征信息的多媒体交互装置，包括：

关联存储模块，用于在终端中预先将联系人的生物特征信息与该联系人的联系信息进行关联并存储，存储位置可以在终端本地或者服务器上；

匹配交互模块，用在当前多媒体资料中提取生物特征信息，并将提取到的生物特征信息与之前存储的生物特征信息进行匹配，如果确定匹配成功则调出与该生物特征信息对应的联系人的联系信息进行交互。

进一步地，所述匹配交互模块还用于，如果匹配失败，则对该生物特征信息到与本终端用户相关的网络社交媒体中做进一步匹配或者请求所述关联存储模块进行编辑存储处理。

本发明还提供了一种终端，至少包括上面所述的基于生物特征信息的多媒体交互装置。

本发明有益效果如下：

本发明更进一步的挖掘出图像中的信息，相比之前的交互方式，该方式简单、有效，界面友好，效率较高，大大提升了***的友好性。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

图1为本发明第一方法实施例的流程示意图；

图2为本发明第二方法实施例的流程示意图；

图3为本发明实施例所述装置的结构示意图；

图4为本发明实施例所述终端的结构示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

首先，结合附图1和2对本发明所述方法实施例进行详细说明。

第一方法实施例

如图1所示，图1为本发明第一方法实施例的流程示意图，具体可以包括：

步骤101：在终端中预先将联系人的生物特征信息与该联系人的联系信息进行关联，并将关联之后的数据进行存储，存储位置可以是终端本地或者服务器；

步骤102：在当前多媒体资料中提取生物特征信息，并将提取到的生物特征信息与之前存储的生物特征信息进行匹配，如果确定匹配成功则调出与该生物特征信息对应的联系人的联系信息进行交互。

本发明第一方法实施例通过自动检测多媒体资料中的生物特征信息，将识别到的生物特征信息提取出来与之前存储的生物特征信息进行匹配，从而调出将对应的联系人的联系信息，达到自动跟多媒体资料进行互动的目的。

第二方法实施例

如图2所示，图2为本发明第二方法实施例的流程示意图，具体可以包括如下步骤：

步骤200：采集联系人的生物特征信息；采集方式可以有多种，例如可以通过终端实时采集，也可以通过电脑或网络下载到本终端；

步骤201：在终端中预先将联系人的生物特征信息与该联系人的联系信息进行关联并存储，存储位置可以是终端本地或者服务器；具体的说就是，用户将通过采集设备采集或者互联网或者电脑导入等方式得到的联系人的生物特征信息与该联系人的联系信息进行关联，关联时可以根据实际情况对联系信息进行编辑修改，例如增加新的联系信息或对已有联系信息进行修改等，关联之后进行存储；其中，该联系信息包括：联系人的姓名、职务、单位、电话号码、邮件地址、QQ号码、开心网账号等信息中的一个或多个；用户进行关联的时候可以基于终端原有的联系信息功能软件，例如，在通讯录软件中将联系人的生物特征信息与相应的电话号码进行关联；也可以建立一个总的联系信息数据库，将联系人的生物特征信息与其所有或部分联系信息进行关联；其中，使用者可以使用多种方法建立联系信息数据库，包括：（1）使用者可以在某一时间，根据当前拥有的、已经进行了标记的多媒体资料集中建立数据库；（2）采用功能一中的方法增量的建立数据库；（3）用户在浏览资料的同时标记个人信息，并将标记后的资料实时增量更新到数据库中；

步骤202：用户阅读终端本地或者网络上或者终端实时拍摄的多媒体资料时，如果想跟多媒体资料上的人进行互动，则触发终端在当前多媒体资料中提取该联系人的生物特征信息，并将提取到的生物特征信息与之前预先存储的生物特征信息进行查找匹配；

步骤203：判断匹配是否成功，如果是，执行步骤204；否则执行步骤207；

步骤204：将匹配结果即该联系人的联系信息以互动的方式显示在用户界面上，例如，提示终端用户发消息给此人，或是发邮件给此人；

步骤205：判断终端用户是否需要对该联系人的联系信息进行修改，如果不用修改，执行步骤206，否则转到步骤209；

步骤206：用户根据提示进行操作，进入相应的软件功能模块，例如短信处理软件模块；

步骤207：作为本发明优选的实施例，当根据该联系人的生物特征信息没有在终端匹配到与其对应的联系信息时，可以在经过用户授权后进一步到与终端用户有关的网络社交媒体中查找，即根据该联系人的生物特征信息进一步与网络社交媒体中的生物特征信息进行匹配；

需要说明的是，当根据该联系人的生物特征信息没有在终端匹配到与其对应的联系信息，也可以直接请求终端进行存储，即执行步骤209；

步骤208：判断进一步匹配是否成功，如果是，执行步骤204；否则执行步骤209；

步骤209：请求终端进行存储；具体的说就是，询问用户是否存储该联系人的生物特征信息并与对应的联系信息建立关联，如果是，请求终端存储该生物特征信息和当前已知的联系信息，并将该生物特征信息与联系信息进行关联；

如果当前不知道该生物特征信息对应的联系信息，则可以选择仅存储该生物特征信息作为储备，以便日后编辑使用；

步骤210：用户在完成记录后离线进行多媒体资料阅读，如果还有下个生物特征信息需要匹配，则转到步骤200，重复执行上述过程。

为了便于对本发明所述方法进行理解，以下将以人脸信息为例，给出几个典型的使用本本发明所述方法进行人机交互的使用场景，实际使用过程中包括但不限于这些场景。

使用场景一：

用户A使用终端在进行本地图片的浏览，当用户正在浏览带有人物图像信息的图片时，用户可能想与照片中的人物进行互动。此时，使用人脸检测算法对图像进行人脸进行检测，进而在检测的基础上，对检测到的人脸进行识别和匹配。进行人脸识别的样本库用户A可以进行授权和配置，例如，用户A授权程序可以访问本地的联系人数据库，在这种情况下，程序根据检测到的人脸信息，和用户本地联系人中的头像信息进行匹配，进行当前图像中人物的识别。若识别成功，会在当前的图像浏览界面弹出提示框，给出用户A一些可以操作的选择，例如呼叫照片中的人物，或是发送消息给短消息中的人物。如果检索失败，也会在界面上有相应的提示，例如是否完善联系人信息，或是进一步请求用户的授权，确定是否可以扩大搜索范围，例如用户A可以给程序授权访问人人网主页，可以在用户的好友列表的图片以及头像信息里进一步的进行人物的识别。若识别成功，可以在界面上提示是否和该任务进一步交互，例如显示出该任务最近一段时间的状态更新情况。

使用场景二：

用户A使用手持终端进行图像或者视频拍摄时，可以实时的对当前采集到的图像进行分析。和上一个使用场景类似，首先检测出人脸，并对检测到的人脸信息进行识别。若识别失败，则提示用户是否手动进行多媒体信息资料的标记，以便日后方便的与该多媒体资料进行交互。用户标记的用户信息作为本地人物样本库存在，这个也是用户日后进行图像交互时默认的图像检索样本库。

以上结合附图1和2以及两个具体应用场景对于本发明实施例所述方法进行了详细说明，接下来将结合附图3对本发明实施例所述装置进行详细说明。

如图3所示，图3为本发明实施例所述装置的结构示意图，具体可以包括：关联存储模块和匹配交互模块，其中，

关联存储模块，主要负责在终端中预先将联系人的生物特征信息与该联系人的联系信息进行关联并存储，存储位置可以是终端本地或者服务器；

匹配交互模块，主要负责在当前多媒体资料中提取生物特征信息，并将提取到的生物特征信息与之前存储的生物特征信息进行匹配，如果确定匹配成功则调出与该生物特征信息对应的联系人的联系信息进行交互；如果匹配失败，则对该生物特征信息到与本终端用户相关的网络社交媒体中做进一步匹配或者请求所述关联存储模块进行编辑存储处理。

需要说明的是，对于本发明实施例所述装置的具体实现流程，由于上述方法中已有详细说明，故此处不再赘述。

最后，结合附图4对本发明实施例所述终端进行详细说明。

如图4所示，图4为本发明实施例所述终端的结构示意图，该终端至少包括上述本发明实施例所述装置，该装置包括：关联存储模块和匹配交互模块，其中，

关联存储模块，主要负责在终端中预先将联系人的生物特征信息与该联系人的联系信息进行关联并存储，存储位置可以是终端本地或者服务器；

匹配交互模块，主要负责在当前多媒体资料中提取生物特征信息，并将提取到的生物特征信息与之前存储的生物特征信息进行匹配，如果确定匹配成功则调出与该生物特征信息对应的联系人的联系信息进行交互；如果匹配失败，则对该生物特征信息到与本终端用户相关的网络社交媒体中做进一步匹配或者请求所述关联存储模块进行编辑存储处理。

综上所述，本发明实施例提供了基于人脸信息的多媒体交互方法及装置及终端，与现有技术相比较，本发明更进一步的挖掘出图像中的信息，将一些需要人工干预的事情进行自动化的处理，用户只需要根据***的输出信息做出选择即可。相比之前的交互方式，该方式简单、有效，界面友好，效率较高，大大提升了***的友好性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于生物特征信息的多媒体交互方法，其特征在于，包括：

在终端中预先将联系人的生物特征信息与该联系人的联系信息进行关联并存储；

在当前多媒体资料中提取生物特征信息，并将提取到的生物特征信息与之前存储的生物特征信息进行匹配，如果确定匹配成功则调出与该生物特征信息对应的联系人的联系信息进行交互。

2.根据权利要求1所述的方法，其特征在于，如果匹配失败，则根据该生物特征信息到本终端用户相关的网络社交媒体做进一步匹配或者直接请求终端进行存储处理。

3.根据权利要求2所述的方法，其特征在于，在经过授权后访问与本终端用户相关的网络社交媒体，将提取到的生物特征信息与该网络社交媒体中存储的联系人的生物特征信息做进一步匹配，如果确定进一步匹配成功则调出与该生物特征信息对应的联系人的联系信息进行交互；如果进一步匹配失败，则请求终端进行编辑存储处理。

4.根据权利要求2或3所述的方法，其特征在于，所述请求终端进行编辑存储处理的步骤具体包括：

请求终端存储该生物特征信息和对应的已知的联系信息，并将该生物特征信息与已知的联系信息进行关联；如果当前不知道该生物特征信息对应的联系信息，则仅存储该生物特征信息作为储备。

5.根据权利要求1所述的方法，其特征在于，当匹配成功并调用与该生物特征信息对应的联系人的联系信息时，根据需要对该联系信息进行修改。

6.根据权利要求1所述的方法，其特征在于，所述当前多媒体资料为终端中已有的多媒体资料，或者为终端实时拍摄的多媒体资料。

7.根据权利要求1、2、3或5所述的方法，其特征在于，所述生物特征信息为人脸信息。

8.一种基于生物特征信息的多媒体交互装置，其特征在于，包括：

关联存储模块，用于在终端中预先将联系人的生物特征信息与该联系人的联系信息进行关联并存储；

匹配交互模块，用在当前多媒体资料中提取生物特征信息，并将提取到的生物特征信息与之前存储的生物特征信息进行匹配，如果确定匹配成功则调出与该生物特征信息对应的联系人的联系信息进行交互。

9.根据权利要求8所述的装置，其特征在于，所述匹配交互模块还用于，如果匹配失败，则对该生物特征信息到与本终端用户相关的网络社交媒体中做进一步匹配或者请求所述关联存储模块进行编辑存储处理。

10.一种终端，其特征在于，至少包括权利要求8或9所述的基于生物特征信息的多媒体交互装置。

Images