CN105007553A - 一种移动终端的声音定向传输方法及移动终端 - Google Patents

Abstract

本发明提供了一种移动终端的声音定向传输方法及移动终端，通过预先将用户的耳廓图像存储到移动终端内存中，当移动终端播放声音，则启动图像获取设备获取移动终端前方图像，并对前方图像中是否含有耳廓特征进行识别，若识别到耳廓特征，则将移动终端中存储的所述耳廓图像中的耳廓特征与前方图像中的耳廓特征进行匹配，若匹配成功，则利用视觉传感器获取用户耳朵的相对于移动终端中参量阵扬声器的相对三维空间坐标，启动参量阵扬声器，根据获取的相对三维空间坐标向耳朵方向传输声音信号。本发明通过对用户耳朵进行识别后，对其所在位置进行定位，使用参量阵扬声器对声音进行定向传输，从而减小声音扩散，避免了声音对附近人的干扰。

Description

一种移动终端的声音定向传输方法及移动终端

技术领域

本发明涉及智能终端设备领域，尤其涉及的是一种移动终端的声音定向传输方法及移动终端。

背景技术

随着移动终端，尤其是智能手机的普及，其已经成为用户生活中的必须品，通过移动终端打电话，听音乐，看视频，看新闻等占用了用户的大量时间。

由于移动终端的使用，常常会发生在户外，比如人们出门在外时，常常需要与家人或者好友打电话沟通，或者在旅途中处于无聊想要听听音乐或者看看视频，但是由于身处公共场合，在打电话的时候,涉及私密的对话不想被别人听到，或者在听音乐或者看视频时，都可能会给别人带来干扰，所以移动终端在进行声音信号传输时，由于声音扩散严重，给用户带来困扰。

因此，现有技术有待于进一步的改进。

发明内容

鉴于上述现有技术中的不足之处，本发明的目的在于为用户提供一种移动终端的声音定向传输方法及移动终端，克服现有技术中由于移动终端在进行声音传输时，由于声音扩散严重，在声音传播时，不能对个人隐私进行保护和对附近人带来干扰的问题。

本发明解决技术问题所采用的技术方案如下：

一种移动终端的声音定向传输方法，其中，包括：

A、预先获取用户的耳廓图像，并将所述耳廓图像存储到移动终端内存中；

B、当移动终端开启音频进行声音播放时，同时启动图像获取设备获取移动终端前方图像，并对前方图像中是否含有耳廓特征进行识别，若识别到耳廓特征，则进行步骤C，否则重复本步骤；

C、将移动终端中存储的所述耳廓图像中的耳廓特征与前方图像中的耳廓特征进行匹配，若匹配成功，执行步骤D，否则返回步骤B；

D、利用视觉传感器获取用户耳朵的相对于移动终端中参量阵扬声器的相对三维空间坐标；

E、启动参量阵扬声器，根据获取的相对三维空间坐标向耳朵方向传输声音信号。

所述移动终端的声音定向传输方法，其中，所述步骤A之前还包括：

A01、预先在移动终端中安装参量阵扬声器和视觉传感器。

所述移动终端的声音定向传输方法，其特征在于，所述步骤A之前，还包括：

A02、所述视觉传感器以设置在其前端的图像获取设备的中心点为坐标原点，获取参量阵扬声器的三维空间坐标；

A03、将所述参量阵扬声器的三维空间坐标存储到移动终端内存。

所述移动终端的声音定向传输方法，其中，所述步骤D还包括：

D1、所述视觉传感器以设置在其前端的图像获取设备的中心点为坐标原点，获取用户耳朵的三维空间坐标；

D2、根据用户耳朵的三维空间坐标及预存的所述参量阵扬声器的三维空间坐标，得到参量阵扬声器相对于用户耳朵的相对三维空间坐标。

所述声音定向传输的方法，其中，所述图像获取设备为移动终端的摄像头。

一种声音定向传输的移动终端，其中，包括：

预先存储模块，用于预先获取用户的耳廓图像，并将所述耳廓图像存储到移动终端内存中；

耳廓识别模块，用于当移动终端开启音频进行声音播放时，同时启动图像获取设备获取移动终端前方图像，并对前方图像中是否含有耳廓特征进行识别；

特征匹配模块，用于将移动终端中存储的所述耳廓图像中的耳廓特征与前方图像中的耳廓特征进行匹配，若匹配成功，

坐标获取模块，用于利用视觉传感器获取用户耳朵的相对于移动终端中参量阵扬声器的相对三维空间坐标；

声音传送模块，用于启动参量阵扬声器，根据获取的相对三维空间坐标向耳朵方向传输声音信号。

所述声音定向传输的移动终端，其中，所述移动终端还包括：

预先设置模块，用于预先在移动终端中安装参量阵扬声器和视觉传感器。

所述声音定向传输的移动终端，其中，所述预先设置模块还包括：

第一坐标获取单元，用于视觉传感器以设置在其前端的图像获取设备的中心点为坐标原点，获取参量阵扬声器的三维空间坐标；

坐标存储单元，用于将所述参量阵扬声器的三维空间坐标存储到移动终端内存。

所述声音定向传输的移动终端，其中，所述坐标获取模块还包括：

耳朵坐标获取单元，用于视觉传感器以设置在其前端的图像获取设备的中心点为坐标原点，获取用户耳朵的三维空间坐标；

相对坐标获取单元，用于根据用户耳朵的三维空间坐标及预存的所述参量阵扬声器的三维空间坐标，得到参量阵扬声器相对于用户耳朵的相对三维空间坐标。

所述声音定向传输的移动终端，其中，所述图像获取设备为移动终端的摄像头。

有益效果，本发明提供了一种移动终端的声音定向传输方法及移动终端，通过预先获取用户的耳廓图像，并将所述耳廓图像存储到移动终端内存中，当检测到移动终端有声音播放，则启动图像获取设备获取移动终端前方图像，并对前方图像中是否含有耳廓特征进行识别，若识别到耳廓特征，则将移动终端中存储的所述耳廓图像中的耳廓特征与前方图像中的耳廓特征进行匹配，若匹配成功，则利用视觉传感器获取用户耳朵的相对于移动终端中参量阵扬声器的相对三维空间坐标，启动参量阵扬声器，根据获取的相对三维空间坐标向耳朵方向传输声音信号。本发明通过对用户耳朵进行识别后，对其所在位置进行定位，使用参量阵扬声器对声音进行定向传输，从而减小声音扩散，避免了声音对附近人的干扰。

附图说明

图1是本发明一种移动终端的声音定向传输方法的步骤流程图。

图2是本发明所述摄像头、耳朵和参量阵扬声器的三维坐标空间示意图。

图3是本发明一种声音定向传输的移动终端的原理结构示意图。 

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

为了克服声音在传输时，引发的扩散问题，本发明中使用到参量扬声器、视觉传感器和耳廓识别技术，下面分别对参量阵扬声器、视觉传感器和耳廓识别技术进行说明：

参量阵扬声器基本原理是将音频信号与超声载波信号进行调制，由于高强度超声载波调制信号在空气中传播时产生非线性效应，从而重新生成音频信号，利用超声载波的强指向性得到强指向性的音频信号波束。参量阵扬器的主要特点是具有强指向性，可实现声音在空气中的定向传播，因此参量阵扬声器也称为超强指向性扬声器或音频聚光灯。

视觉传感器在捕获图像之后，视觉传感器将其与内存中存储的基准图像进行比较，以做出分析。可以实现的功能有：定位( 点，圆，线，几何体，甚至不规则斑点)，测量（物体之间 的距离和角度），计数（对圆、线、交点、不规则图形、像素点）瑕疵检测（表面凹陷、磨损、划痕、凸起），字符识别（多角度全视野检测数字和字母）。 立体视觉传感器可以定位物体相对传感器的空间三维坐标。

耳廓识别与指纹一样，每个人的耳朵形状都是独一无二的，甚至同个人身上的两边耳朵也长得不同。科学家通过大规模实验证明耳朵具有独一无二的特征，即使双胞胎的耳朵也只是相似，不完全相同，因此具有唯一性。

耳廓识别的算法有很多种,最具有代表性的早期研究是Alfred Iannarelli提出的基于12个测量段为特征的“Iannarelli***”。Moreno等使用人工神经网络方法提取人耳的复合特征：即提取外耳特征点，人耳图像的耳形和褶皱信息以及人耳图像的宏观特征。Burge和Burger使用分形轮廓进行人耳定位，使用Canny算子提取边缘，并构造边缘曲线的Voronoi图，然后提取相邻曲线的关系来构造特征向量。Hurley, Nixon和Carter使用力场转换方法进行识别。利用势能通道和势能井的位置，就可以描述人耳的特征。王忠礼使用高阶不变矩阵提取人耳图像的特征进行识别。

加利福尼亚大学的Bir Bhanu和Hui Chen使用range传感器获取的range人耳图像带有三维几何形状信息，使用local surface patches(LSP)来描述人耳，提出了基于3D图像的人耳识别方法。

本发明在上述现有技术的前提下提出了一种移动终端的声音定向传输方法，其中，包括：

S1、预先获取用户的耳廓图像，并将所述耳廓图像存储到移动终端内存中。

移动终端首先通过图像获取设备获取用户的耳廓图像，并将用户的耳廓图像存储到内存中，待识别使用。

在本步骤之前还包括：

S01、预先在移动终端中安装参量阵扬声器和视觉传感器。

S02、视觉传感器以设置在其前端的图像获取设备的中心点为坐标原点，获取参量阵扬声器的三维空间坐标；

S03、将所述参量阵扬声器的三维空间坐标存储到移动终端内存。

移动终端中还需要预先安装有参量阵扬声器和视觉传感器，所述参量阵扬声器和视觉传感器相连接，并且视觉传感器的前端设置有图像获取设备，优选的，所述图像获取设备为移动终端的摄像头，视觉传感器直接与移动终端的摄像头建立连接，从中获取图像信息。

进一步的，为了准确的对用户耳朵及参量阵扬声器的位置进行定位，首先需要设置一个坐标原点，如图2所述，在本实施例中，将图像获取设备的中心点设置为坐标原点，获取移动终端中参量阵扬声器的三维空间坐标，由于对于一个移动终端来说，这个坐标为固定的，因此只需要通过视觉传感器测一次该三维空间坐标，并将其进行保存。

S2、当移动终端开启音频进行声音播放时，同时启动图像获取设备获取移动终端前方图像，并对前方图像中是否含有耳廓特征进行识别，若识别到耳廓特征，则进行步骤S3，否则重复本步骤。

当移动终端开启音频设备进行声音播放时，则同时启动摄像头获取其前方的图像，从其前方图像中判断出用户的耳朵是否在前方，并且从众多的耳朵中识别出用户的耳朵。

S3、将移动终端中存储的所述耳廓图像中的耳廓特征与前方图像中的耳廓特征进行匹配，若匹配成功，执行步骤S4，否则返回步骤S2。

若上述步骤中摄像头获取图像中含有耳廓特征，则对所述耳廓特征进行识别，判断是否是用户的耳朵。

具体的，是将前方图像中的耳廓特征与预先存储到移动终端内存中的耳廓特征进行匹配，若匹配成功，则说明前方图像中含有用户耳朵，进行下一步，否则接着获取前方图像，并对前方图像中是否含有用户耳朵进行识别，若含有用户耳朵，则执行下一步，否则返回步骤S2,根据图像获取设备获取的前方图像对前方是否有用户耳朵进行识别。

S4、利用视觉传感器获取用户耳朵的相对于移动终端中参量阵扬声器的相对三维空间坐标。

若识别出用户耳朵，则对其进行定位，具体的，本步骤中首先在视觉传感器中设置图像获取设备的中心点为坐标原点，然后获取用户耳朵的三维空间坐标，根据用户耳朵的三维空间坐标及预存的所述参量阵扬声器的三维空间坐标，得到参量阵扬声器相对于用户耳朵的相对三维空间坐标。

如图2所示为所述摄像头、耳朵和参量阵扬声器的三维坐标空间示意图。

如图所述，在视觉传感器中设置摄像头的中心点为三维空间坐标的坐标原点，从而对用户耳朵和参量阵扬声器的三维空间位置进行定位，从而对用户耳朵与参量阵扬声器的相对位置进行定位。

S5、启动参量阵扬声器，根据获取的相对三维空间坐标向耳朵方向传输声音信号。

在上述步骤中获取到了用户耳朵与参量阵扬声器之间的相对三维空间坐标，则参量阵扬声器根据所述相对三维空间坐标传输声音信号。

为了对本发明所述方法进行更加详细的说明，下面以其具体应用实施例的步骤流程为，做进一步的说明：

H1、首先在移动终端上（比如通信设备或音频播放设备）上安装参量阵扬声器和视觉传感器。

H2、测量设备上装置参量阵扬声器相对于摄像头的三维空间坐标，如图2中所示P(x,y,z)，出厂时将此坐标储存到存储设备中。

H3、用户事先拍摄用户耳廓图像，储存到存储设备中。

H4、设备开始播放音乐或通话，则移动终端启动耳廓识别模块。

H5、启动摄像头拍摄人耳。

H6、检测拍摄图像中是否存在耳廓图像，若存在，将拍摄到的耳廓图像与存储设备中的耳廓图像相匹配。运用目前已有的耳廓识别算法，识别是否为用户的耳廓图像。目前已有的耳廓识别算法有Alfred Iannarelli提出的基于12个测量段为特征的“Iannarelli***”； 加利福尼亚大学的Bir Bhanu和Hui Chen使用range传感器获取的range人耳图像带有三维几何形状信息，使用local surface patches(LSP)来描述人耳，提出了基于3D图像的人耳识别方法。

H7、若匹配不成功，检测到非用户耳廓特征，则继续扫描用户耳廓，执行H5-H7步骤。

H8、若匹配成功，检测到用户耳廓。则启动视觉传感器模块检测人耳空间位置。

视觉传感器模块启动摄像头，拍摄人耳图像，可获得人耳相对于摄像头的三维坐标置，如图2中的用户耳朵三维空间坐标E(x,y,z)。视觉传感器可获得物体空间位置。

H9、获取到人耳空间位置后，启动参量阵扬声器模块，参量阵扬声器模块获取视觉传感器提取的人耳相对于摄像头的三维空间坐标E(x,y,z)。

参量阵扬声器模块获取存储设备中参量阵扬声器相对于摄像头的三维空间坐标P(x,y,z)。计算人耳相对于参量阵扬器的三维空间坐标：

C(x,y,z)=E(x,y,z)-P(x,y,z)

H10、参量阵扬声器根据所述坐标C(x,y,z)将声频信号向用户耳朵方向传播。

本发明在上述方法的基础上，还提供了一种声音定向传输的移动终端，如图3所述，所述移动终端包括：

预先存储模块110，用于预先获取用户的耳廓图像，并将所述耳廓图像存储到移动终端内存中；

耳廓识别模块120，用于当移动终端开启音频进行声音播放时，同时启动图像获取设备获取移动终端前方图像，并对前方图像中是否含有耳廓特征进行识别；

特征匹配模块130，用于将移动终端中存储的所述耳廓图像中的耳廓特征与前方图像中的耳廓特征进行匹配，若匹配成功，

坐标获取模块140，用于利用视觉传感器获取用户耳朵的相对于移动终端中参量阵扬声器的相对三维空间坐标；

声音传送模块150，用于启动参量阵扬声器，根据获取的相对三维空间坐标向耳朵方向传输声音信号。

所述移动终端还包括：

预先设置模块，用于预先在移动终端中安装参量阵扬声器和视觉传感器。

所述预先设置模块还包括：

第一坐标获取单元，用于视觉传感器以设置在其前端的图像获取设备的中心点为坐标原点，获取参量阵扬声器的三维空间坐标；

坐标存储单元，用于将所述参量阵扬声器的三维空间坐标存储到移动终端内存。

所述坐标获取模块还包括：

耳朵坐标获取单元，用于视觉传感器以设置在其前端的图像获取设备的中心点为坐标原点，获取用户耳朵的三维空间坐标；

相对坐标获取单元，用于根据用户耳朵的三维空间坐标及预存的所述参量阵扬声器的三维空间坐标，得到参量阵扬声器相对于用户耳朵的相对三维空间坐标。

所述图像获取设备为移动终端的摄像头。

本发明提供了一种移动终端的声音定向传输方法及移动终端，通过预先获取用户的耳廓图像，并将所述耳廓图像存储到移动终端内存中，当检测到移动终端有声音播放，则启动图像获取设备获取移动终端前方图像，并对前方图像中是否含有耳廓特征进行识别，若识别到耳廓特征，则将移动终端中存储的所述耳廓图像中的耳廓特征与前方图像中的耳廓特征进行匹配，若匹配成功，则利用视觉传感器获取用户耳朵的相对于移动终端中参量阵扬声器的相对三维空间坐标，启动参量阵扬声器，根据获取的相对三维空间坐标向耳朵方向传输声音信号。本发明通过对用户耳朵进行识别后，对其所在位置进行定位，使用参量阵扬声器对声音进行定向传输，从而减小声音扩散，避免了声音对附近人的干扰。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种移动终端的声音定向传输方法，其特征在于，包括：

A、预先获取用户的耳廓图像，并将所述耳廓图像存储到移动终端内存中；

B、当移动终端开启音频进行声音播放时，同时启动图像获取设备获取移动终端前方图像，并对前方图像中是否含有耳廓特征进行识别，若识别到耳廓特征，则进行步骤C，否则重复本步骤；

C、将移动终端中存储的所述耳廓图像中的耳廓特征与前方图像中的耳廓特征进行匹配，若匹配成功，执行步骤D，否则返回步骤B；

D、利用视觉传感器获取用户耳朵的相对于移动终端中参量阵扬声器的相对三维空间坐标；

E、启动参量阵扬声器，根据获取的相对三维空间坐标向耳朵方向传输声音信号。

2.根据权利要求1所述声音定向传输的方法，其特征在于，所述步骤A之前还包括：

A01、预先在移动终端中安装参量阵扬声器和视觉传感器。

3.根据权利要求2所述移动终端的声音定向传输方法，其特征在于，所述步骤A之前，还包括：

A02、所述视觉传感器以设置在其前端的图像获取设备的中心点为坐标原点，获取参量阵扬声器的三维空间坐标；

A03、将所述参量阵扬声器的三维空间坐标存储到移动终端内存。

4.根据权利要求3所述移动终端的声音定向传输方法，其特征在于，所述步骤D还包括：

D1、所述视觉传感器以设置在其前端的图像获取设备的中心点为坐标原点，获取用户耳朵的三维空间坐标；

D2、根据用户耳朵的三维空间坐标及预存的所述参量阵扬声器的三维空间坐标，得到参量阵扬声器相对于用户耳朵的相对三维空间坐标。

5.根据权利要求1-4任一项所述移动终端的声音定向传输方法，其特征在于，所述图像获取设备为移动终端的摄像头。

6.一种声音定向传输的移动终端，其特征在于，包括：

预先存储模块，用于预先获取用户的耳廓图像，并将所述耳廓图像存储到移动终端内存中；

耳廓识别模块，用于当移动终端开启音频进行声音播放时，同时启动图像获取设备获取移动终端前方图像，并对前方图像中是否含有耳廓特征进行识别；

特征匹配模块，用于将移动终端中存储的所述耳廓图像中的耳廓特征与前方图像中的耳廓特征进行匹配，若匹配成功，

坐标获取模块，用于利用视觉传感器获取用户耳朵的相对于移动终端中参量阵扬声器的相对三维空间坐标；

声音传送模块，用于启动参量阵扬声器，根据获取的相对三维空间坐标向耳朵方向传输声音信号。

7.根据权利要求6所述声音定向传输的移动终端，其特征在于，所述移动终端还包括：

预先设置模块，用于预先在移动终端中安装参量阵扬声器和视觉传感器。

8.根据权利要求7所述声音定向传输的移动终端，其特征在于，所述预先设置模块还包括：

第一坐标获取单元，用于视觉传感器以设置在其前端的图像获取设备的中心点为坐标原点，获取参量阵扬声器的三维空间坐标；

坐标存储单元，用于将所述参量阵扬声器的三维空间坐标存储到移动终端内存。

9.根据权利要求8所述声音定向传输的移动终端，其特征在于，所述坐标获取模块还包括：

耳朵坐标获取单元，用于视觉传感器以设置在其前端的图像获取设备的中心点为坐标原点，获取用户耳朵的三维空间坐标；

相对坐标获取单元，用于根据用户耳朵的三维空间坐标及预存的所述参量阵扬声器的三维空间坐标，得到参量阵扬声器相对于用户耳朵的相对三维空间坐标。

10.根据权利要求6-9任一项所述声音定向传输的移动终端，其特征在于，所述图像获取设备为移动终端的摄像头。