CN103491397A - 一种实现自适应环绕声的方法和*** - Google Patents

Abstract

本发明公开了一种实现自适应环绕声的方法和***，该方法包括：利用目标识别技术对房间指定位置和房间内的用户进行识别，利用对焦控制技术控制摄像头采集所识别目标的对焦图像，并记录相应对焦参数；根据上述图像和参数计算出房间相对于摄像头的位置信息以及用户相对于摄像头的位置信息；根据上述计算出的房间和用户的位置信息，计算能够在所述房间内的用户位置处实现环绕声的声束；根据计算出的声束，得到滤波器组的参数，并根据该参数调整扬声器阵列的滤波器组；音频信号经过所述调整参数后的滤波器组滤波后，由扬声器阵列播放，在所述房间内的用户位置处形成环绕声。如此可以免去额外的声学校准过程和校准设备，使用便捷而且不限定用户的位置。

Description

一种实现自适应环绕声的方法和***

技术领域

本发明涉及多媒体播放领域，特别涉及一种实现自适应环绕声的方法和***。

背景技术

随着多媒体技术的发展，使得人们享受多媒体视听功能的多媒体设备的种类也在日新月异。本申请涉及具备摄像头和扬声器阵列，且需要产生环绕声效果的多媒体设备。这里为了方便说明，以智能电视为例进行阐述。

随着电视制造技术和显示技术的进步，家用电视变得更轻薄，画面更清晰明亮，相应的，人们对音频播放***的要求也在提高。

当前，智能电视已有轻薄型的播放***，如Soundbar（条形音箱）等，用扬声器阵列代替原来体积相对庞大,布置较为分散的5.1播放***。扬声器阵列内置数字信号处理芯片，可以完成音效处理。但轻薄型的扬声器阵列的一个缺陷是立体声环绕效果不足。现有的解决方案有Dipole（偶极子）立体声扩展技术和声束形成技术等。Dipole（偶极子）聆听区域较小，对用户的坐姿也有限制，难以在较大区域内产生丰富的环绕声。而声束形成技术可以充分利用厅堂内结构和阵列特性，让扬声器阵列发出的声音形成指向墙壁的声束，利用墙面的多次反射和散射，可以在整个厅堂内产生丰富的环绕声效果。

但是现有的用声束形成在厅堂内产生环绕声的技术，为了确认声束确实打向侧墙，产生了反射和环绕效果，必须经过声学校准过程，因此产生如下问题：第一，在扬声器阵列使用前需要人工校准，过程较为繁琐。第二，需要额外的校准设备，如测量传声器等。第三，用户的聆听位置受限在较狭窄的范围内，如果用户希望在别的位置也有良好的环绕声效果，则需要重新校准。

发明内容

鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种实现自适应环绕声的方法和***。

依据本发明的一个方面，公开了一种实现自适应环绕声的方法，该方法包括：

利用目标识别技术对房间指定位置和房间内的用户进行识别，利用对焦控制技术控制摄像头采集所识别目标的对焦图像，并记录相应对焦参数；

根据所采集的对焦图像以及所记录的相应对焦参数，计算出房间相对于摄像头的位置信息以及计算出用户相对于摄像头的位置信息；

根据计算出的房间相对于摄像头的位置信息、用户相对于摄像头的位置信息以及摄像头与扬声器阵列之间的相对位置关系，计算能够在所述房间内的用户的位置处实现环绕声的声束的路径；

根据计算出的声束的路径，确定扬声器阵列的滤波器组的参数，并用该参数调整扬声器阵列的滤波器组；

音频信号经过所述调整参数后的滤波器组滤波后，由扬声器阵列播放，在所述房间内的用户的位置处形成环绕声。

依据本发明的另一个方面，提供了一种实现自适应环绕声的***，该***包括：摄像头、目标识别和成像单元、位置信息提取单元、声束控制单元和扬声器阵列；

摄像头，用于采集图像；

目标识别和成像单元，用于利用目标识别技术对房间指定位置和房间内的用户进行识别，利用对焦控制技术控制摄像头采集所识别目标的对焦图像，并记录相应对焦参数；

位置信息提取单元，用于根据所采集的对焦图像以及所记录的相应对焦参数，计算出房间相对于摄像头的位置信息以及计算出用户相对于摄像头的位置信息；

声束控制单元，用于根据计算出的房间相对于摄像头的位置信息、用户相对于摄像头的位置信息以及摄像头与扬声器阵列之间的相对位置关系，计算能够在所述房间内的用户的位置处实现环绕声的声束的路径；并根据计算出的声束的路径，确定扬声器阵列的滤波器组的参数，并用该参数调整扬声器阵列的滤波器组；

扬声器阵列，用于利用调整参数后的滤波器组对音频信号滤波后播放，在所述房间内的用户的位置处形成环绕声。

本发明利用目标识别和对焦控制技术，采集房间指定位置和用户的对焦图像，并记录对焦参数，进而计算出房间相对于摄像头位置信息，以及用户相对于摄像头的位置信息，根据这些信息计算能在用户位置处实现环绕声的声束，根据计算出的声束的路径，确定扬声器阵列的滤波器组的参数，调整滤波器组，并将经过调整参数后的滤波器组滤波后的声束由扬声器阵列播放，从而在目标房间内的用户所在的位置处自适应地形成环绕声。本发明的技术方案可以免去额外的声学校准过程和校准设备，无需人工校准，自动计算最适合用户的扬声器阵列声束朝向角度，让用户体验到丰富的环绕声效果，且当用户移动位置时也能够及时地在移动后的位置处自适应地实现环绕声，不限定用户的位置和聆听习惯。

附图说明

图1是本发明一个实施例的一种实现自适应环绕声方法的流程图；

图2是本发明一个实施例的一种实现自适应环绕声方法的原理示意图；

图3是本发明一个实施例的实现环绕声的声束的路径示意图；

图4是本发明一个实施例的待识别目标在摄像头拍摄照片中的位置的示意图；

图5是本发明一个实施例的用户与摄像头镜头之间的距离关系的示意图；

图6是本发明一个实施例的用户与摄像头镜头之间的角度关系的示意图；

图7是本发明一个实施例的左墙角与摄像头镜头之间的距离关系的示意图；

图8是本发明一个实施例的左墙角与摄像头镜头之间的角度关系的示意图；

图9是本发明一个实施例的声束的路径计算示意图；

图10是本发明一个实施例的无法检测到一侧墙角的示意图；

图11是本发明一个实施例的声束可能被用户遮挡的示意图；

图12是本发明实施例中的一种实现自适应环绕声的***的示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1是本发明一个实施例中的一种实现自适应环绕声方法的流程图，参见图1，该方法包括：

步骤S110，利用目标识别技术对房间指定位置和房间内的用户进行识别，利用对焦控制技术控制摄像头采集所识别目标的对焦图像，并记录相应对焦参数。

在本发明的一个实施例中，利用墙边线识别技术（floor-wall boundaryrecognition）识别出墙角和墙边线，然后利用对焦控制技术对墙角和墙边线对焦，并采集墙角和墙边线的对焦图像。在本发明的一个实施例中，对用户进行识别具体是对用户的面部进行识别，即利用人脸识别技术识别出用户的面部，然后利用对焦控制技术对用户的面部对焦，并采集用户的面部的对焦图像。所记录的对焦参数包括：采集对焦图像时的焦距和像距。在本发明的其他实施例中也可以采用可行的其他技术对用户进行识别。

即利用墙边线识别技术识别出左墙角、右墙角、左墙边线中点和右墙边线中点，其中墙边线中点是指该墙边线在对焦图像中出现的那部分的中点；利用人脸识别技术识别出房间内的用户面部；目标识别出后，对目标所在区域进行计算，并依据计算结果驱动对焦马达使摄像头对所识别目标进行精确对焦和清晰成像。

在本发明的实施例中，只采集单个用户面部对焦图像。如果房间内有多个人，以最接近房间中心的人为用户，采集其面部对焦图像。

步骤S120，根据所采集的对焦图像以及所记录的相应对焦参数，计算出房间相对于摄像头的位置信息以及用户相对于摄像头的位置信息。

所述摄像头可以为被动对焦型的摄像头、主动对焦型的摄像头或具有深度感知的摄像头。

在本步骤中：计算出左墙角、右墙角、左墙边线中点和右墙边线中点距离摄像头的物距以及相对于摄像头镜头中轴线的角度，以及计算出左墙边线的方程、右墙边线的方程和对墙边线的方程；以及计算出用户距离摄像头的物距和用户相对于摄像头镜头中轴线的角度。

在本发明的一个实施例中，根据采集用户的面部的对焦图像时所记录的焦距和像距，依据共轭成像原理得到用户距离摄像头的物距；根据用户的面部在对焦图像中的位置，结合摄像头镜头的视角参数，确定用户相对于摄像头镜头中轴线的角度；同理，分别得到左墙角、右墙角、左墙边线中点和右墙边线中点距离摄像头的物距以及相对于摄像头镜头中轴线的角度；根据左墙角和左墙边线中点的坐标信息，依据两点确定一条直线的原理得到左墙边线的方程；根据右墙角和右墙边线中点的坐标信息，依据两点确定一条直线的原理得到右墙边线的方程。这里，根据左墙角和右墙角的坐标，以及左墙边线和右墙边线的方程就可以确定房间相对于摄像头的位置信息。

步骤S130，根据计算出的房间相对于摄像头的位置信息、用户相对于摄像头的位置信息以及摄像头与扬声器阵列之间的相对位置关系，计算能够在所述房间内的用户的位置处实现环绕声的声束的路径。

步骤S140，根据计算出的声束的路径，确定扬声器阵列的滤波器组的参数，并用该参数调整扬声器阵列的滤波器组。

即计算得到声束朝向角后，计算扬声器阵列的滤波器组。

步骤S150，音频信号经过所述调整参数后的滤波器组滤波后，由扬声器阵列播放，在所述房间内的用户所在的位置处形成环绕声。

图1所示的这种方法能够在目标房间内的用户所在的位置处自适应地形成环绕声。且这种方法无需人工校准，对于智能电视来说不需要增加额外的硬件，且当用户移动位置时也能够及时地在移动后的位置处自适应地实现环绕声。

图2是本发明一个实施例的一种实现自适应环绕声方法的原理示意图。如图2所示，本实施例的方法分三大步骤：

第一步，目标识别和成像：该步骤的作用是利用目标识别技术，即分别利用墙边线识别技术和人脸识别技术，对房间指定位置（在本发明的实施例中是左右墙角和左右墙边线中点）和用户面部进行识别，并控制摄像头进行自动对焦，采集相应目标的对焦图像，同时记录采集对焦图像时的对焦参数。

第二步，位置信息计算：位置信息计算包括用户相对于扬声器阵列的位置的计算，房间相对于扬声器阵列的位置信息的计算。

第三步，声束控制：根据第二步计算得出的相关数据，计算能够在所述房间内的用户所在的位置处实现环绕声的声束的路径。根据计算出的声束的路径计算滤波器组的参数，声源信号经过滤波，由扬声器阵列播放，形成环绕声。对每一个扬声器单元，左声道声源经过左声束滤波器组滤波后叠加，右声道声源经右声束滤波器组滤波后叠加，共同叠加后由该扬声器单元播放。

之所以区分左、右声束滤波器组，是因为对每个单元，左声道两个声束是左声源经左声束1滤波器滤波和声束2滤波器滤波，右声道声束是右声源经过右声束1和右声束2两个滤波器滤波。每个滤波器都有独立的意义，权值也不一样，需分开处理，而且左右声源也不一样，因此区分左右滤波器组。

图3是本发明一个实施例的实现环绕声的声束的路径示意图。在本发明的实施例中，能够在房间内的用户的位置处实现环绕声的声束是指在墙面经过一次反射或二次反射后到达用户的位置的声束。具体来说能够在房间内的用户所在的位置处实现环绕声的声束的路径如图3所示，左声道的声源形成两个声束，分别在墙面一次和二次反射，到达用户，右声道也一样。即在本实施例中能够在房间内的用户所在的位置处实现环绕声的声束包括：

左声束1：打向左侧墙，在左侧墙做一次反射后到达用户所在位置的声束；

左声束2：打向左侧墙，在左侧墙做一次反射，又在对面墙做一次反射后到达用户所在位置的声束；

右声束1：打向右侧墙，在右侧墙做一次反射后到达用户所在位置的声束；

右声束2：打向右侧墙，在右侧墙做一次反射，又在对面墙做一次反射后到达用户所在位置的声束。

下面对上述过程进行进一步的详细说明。这里需要提前声明的是：由于智能电视的摄像头和扬声器阵列位置相对固定，摄像头一般位于电视顶端中心，而扬声器阵列位于电视底边，且摄像头和扬声器阵列一般处于同一个垂直直线上，因此在后续的实施例中，认为摄像头和扬声器阵列处于相同的位置，即各目标相对于摄像头的位置与各目标相对于扬声器阵列的位置是相同的。

1.目标识别和对焦成像

图4是本发明一个实施例的待识别目标在摄像头拍摄照片中的位置的示意图。参见图4，在本发明的实施例中，待识别的目标包括：房间的左墙角、右墙角、左墙边线、右墙边线和用户面部。目标识别出后，自动对焦控制装置会对目标所在区域进行计算，依据计算结果驱动对焦马达，使摄像头对目标精确对焦和清晰成像。

利用墙边线识别技术（floor-wall boundary recognition）识别出墙角和墙边线，利用人脸识别技术识别出用户的面部。

利用对焦控制技术，控制摄像头对房间指定位置（如房间左右墙角、左右墙边线中点）和用户面部等各个目标精确对焦，并采集上述左右墙角、左右墙边线和用户面部的对焦图像，对焦成像同时记录对焦参数，用于后续计算房间相对于摄像头的位置和用户在房间中相对于摄像头的位置。

2.位置信息提取

根据所采集的对焦图像以及所记录的相应对焦参数，计算出房间相对于摄像头的位置信息以及用户相对于摄像头的位置信息，分述如下：

2.1用户相对于摄像头的位置信息计算

根据所采集的对焦图像以及所记录的相应对焦参数，可以计算用户到摄像头镜头平面的距离，以及用户相对于摄像头中轴线的角度坐标。

2.1.1用户到摄像头的距离的计算

根据采集用户的面部的对焦图像时所记录的焦距和像距，依据共轭成像原理得到用户距离摄像头的物距。

如果是主动对焦型的摄像头，对焦前会做测距，如红外测距，辅助光测距或者超声测距等，则用户到摄像头镜头的距离是直接可以测量得到的。不需要另外计算。此外对于一些具有深度感知的摄像头，如多镜头的摄像头或者3D摄像头，也可以通过视角差等手段直接确定物距。对于被动对焦型摄像头，则需要通过计算得到物距。计算方式参考图5。

图5是本发明一个实施例的用户与摄像头镜头之间的距离关系的示意图。如图5所示，设用户到镜头平面的距离为l_C，也即物距，精确对焦成像时，成像平面到镜头平面的距离为l'_C也即像距，镜头的焦距为f，焦距是镜头的固有参数，精确对焦时，l'_C也是已知的。则根据共轭成像原理l_C的公式如下式，可以计算得到用户到镜头平面的距离。

$l_C=\frac{1}{\frac{1}{f}-\frac{1}{{l^{\text{'}}}_C}}$

2.1.2用户角度坐标的计算

根据用户的面部在对焦图像中的位置，结合摄像头镜头的视角参数，确定用户相对于摄像头镜头中轴线的角度。

图6是本发明一个实施例的用户与摄像头镜头之间的角度关系的示意图。如图6所示，在得到精确对焦的清晰图片后，使用人脸识别和轮廓提取等图像处理技术，可以在图片中得到用户面部在图片中的位置，结合镜头的视角参数，可以确定用户相对于镜头中轴线的角度，即角度坐标。

设在用户面部的对焦图像中，用户面部中心距离图片左边缘的距离为d_CL,距离右边缘为d_CR，镜头的视角为α，以镜头中轴线指向的角度为0度。用户的面部相对镜头中轴线的角度为β，用户距离电视的距离即物距为l_C。则根据三角函数，在其他参数已知时，可以算出得到用户的面部角度坐标：

$\tan \frac{\mathrm{\α}}{2}=\frac{(d_{\mathrm{CL}}+d_{\mathrm{CR}})/2}{l_C}$

以及

$\tan \mathrm{\β}=\frac{(d_{\mathrm{CR}}-d_{\mathrm{CL}})/2}{l_C}$

则可以得到

$\mathrm{\β}=\arctan \left(\frac{(d_{\mathrm{CR}}-d_{\mathrm{CL}})\tan \frac{\mathrm{\α}}{2}}{d_{\mathrm{CR}}+d_{\mathrm{CL}}}\right)$

2.2房间相对于摄像头的位置信息计算

同理，分别得到左墙角、右墙角、左墙边线中点和右墙边线中点距离摄像头的物距以及相对于摄像头镜头中轴线的角度；根据左墙角和左墙边线中点的坐标信息，依据两点确定一条直线的原理得到左墙边线的方程；根据右墙角和右墙边线中点的坐标信息，依据两点确定一条直线的原理得到右墙边线的方程。

利用墙边线识别(floor-wall boundary recognition)技术和对焦控制技术得到的对焦图像和相应的对焦参数，计算左右墙角和左右墙边线中点到镜头的距离，以及角度坐标。在本发明的其它实施例中也可以计算出墙边线相对于镜头中轴线的夹角。如图4所示，墙边线中点，是指该墙边线在对焦图像中出现的那部分的中点。

这里需要说明的是：确定墙边线方程不一定需要墙边线中点，墙角和墙边线上任一点都可以确定墙边线的方程。在本实施例中取墙边线中点是为了避免照片边缘处的变形和模糊。具体方法是：以左墙边线为例，已知照片上的左墙角的坐标，也检测到左墙边线（可能并非完整墙边线，而是部分），则左墙边线中点距离照片左边缘的距离，恰为左墙角距离左边缘的距离的一半，且在左墙边线上。这样可以计算得到坐标位置，而后精确对焦。

图7是本发明一个实施例的左墙角与摄像头镜头之间的距离关系的示意图。如图7所示，以左墙角和左墙边线中点为例，设左墙角到镜头平面的距离为l_LW，精确对焦成像时，成像平面到镜头平面的距离为l'_LW也即像距，镜头的焦距为f，焦距是镜头的固有参数，根据共轭成像，计算得到左墙角到镜头平面的距离。

$l_{\mathrm{LW}}=\frac{1}{\frac{1}{f}-\frac{1}{{l^{\text{'}}}_{\mathrm{LW}}}}$

在得到精确对焦的清晰图片和识别墙角后，利用镜头参数，可以计算得到左墙角角度坐标。图8是本发明一个实施例的左墙角与摄像头镜头之间的角度关系的示意图。如图8所示，设在左墙角的对焦图像上左墙角距离左边缘的距离为d_LWL，距离右边缘为d_LWR，镜头的视角为α，以镜头中轴线指向的角度为0度。左墙角相对镜头中轴线的角度为γ_L，则可以算出

${\mathrm{\γ}}_L=\arctan \left(\frac{(d_{\mathrm{LWR}}-d_{\mathrm{LWL}})\tan \frac{\mathrm{\α}}{2}}{d_{\mathrm{LWR}}+d_{\mathrm{LWL}}}\right)$

在以摄像头的位置为零点，以摄像头的中轴线为x轴的平面直角坐标系中，左墙角的平面直角坐标为(l_LW,l_LWtanγ_L)。同理，对左墙边线中点，可以求得其相对镜头的距离和角度，设其分别为l_LWM和γ_LM，则左墙边线中点的平面直角坐标为(l_LWM,l_LWMtanγ_LM)，继而根据两点一线的原理，求出左墙边线的方程：y＝kx+c

其中，

$k=\frac{l_{\mathrm{LW}}\tan {\mathrm{\γ}}_L-l_{\mathrm{LWM}}\tan {\mathrm{\γ}}_{\mathrm{LM}}}{l_{\mathrm{LW}}-l_{\mathrm{LWM}}}$

$c=\frac{l_{\mathrm{LW}}\tan {\mathrm{\γ}}_L{l}_{\mathrm{LWM}}-l_{\mathrm{LWM}}\tan {\mathrm{\γ}}_{\mathrm{LM}}{l}_{\mathrm{LW}}}{l_{\mathrm{LW}}-l_{\mathrm{LWM}}}$

同理，可计算出右墙角与右墙边线的方程。

在本实施例中，房间相对于摄像头的位置信息具体为：左右墙角的坐标以及左右墙边线的方程，其中，所采用的坐标系是以摄像头为零点，以摄像头镜头中轴线为x轴，且x轴和y轴确定的平面与水平面平行的直角坐标系，在本实施例中称为基准坐标。

3.声束控制

3.1声束路径的计算

在本发明的一个实施例中，能够在房间内的用户所在的位置处实现环绕声的较佳声束包括如图3所示的：左声束1、左声束2、右声束1和右声束2。

需要根据计算出的房间相对于摄像头的位置信息、用户相对于摄像头的位置信息以及摄像头与扬声器阵列之间的相对位置关系，计算能够在房间内的用户所在的位置处实现环绕声的声束的路径。在本发明的一个实施例中，由于摄像头一般摆放在电视中心位置，与扬声器阵列中心位置接近，而且摄像头的镜头平面，一般也与阵列阵元的平面平行。因此，摄像头测量的位置，可以作为声束方向计算的依据。借助声音传播的原理，可以计算左声束位置。即在本实施例中，由于摄像头和扬声器阵列位于同一条垂直直线上，因此认为摄像头和扬声器阵列处于前述坐标系中的相同的位置，即各个目标相对于摄像头的位置与各个目标相对于扬声器阵列的位置是一致的。

3.1.1左声束1的方程计算

在前述的基准坐标中，摄像头所在的位置为零点，并得到用户所在位置相对于左墙边线的镜像点；根据零点和该镜像点的坐标依据两点确定一条直线的原理得到左声束1的方程，具体为：

根据2.2中的计算可得到左墙边线的方程：y＝kx+c；

设用户在所述基准坐标系中的坐标为(a,b)，用户相对于左墙边线的镜像点为(a₁,b₁)，(a,b)与(a₁,b₁)的连线的垂直平分线就是左墙边线方程。

则左声束1通过零点和用户镜像点(a₁,b₁)，左声束方程为：

$y=\frac{b_1}{a_1}x$

从镜像关系的方程可以知：

$a_1=\frac{2\mathrm{kb}+(1-k^2)a-2\mathrm{kc}}{k^2+1}$

$b_1=b\frac{k^2-1}{k^2+1}+\frac{2a}{k(k^2+1)}+\frac{2c}{k^2+1}$

3.1.2左声束2的方程计算

左声束2的求取方法类似，只是需要计算二次反射，以摄像头所在的位置为零点，并得到用户所在位置相对于对墙边线的镜像点1，根据镜像点1得到该镜像点1相对于左墙边线的镜像点2，根据零点和镜像点2的坐标依据两点确定一条直线的原理，得到左声束2的方程，具体为：

设摄像头对面墙的墙边线（对墙边线）方程为：y＝k₂x+c₂；

左墙边线和用户的定义如前。设用户相对于对墙边线镜像点是(a₂,b₂),(a₂,b₂)相对于左墙边线的镜像点是(a₃,b₃)，如图9所示。图9是本发明一个实施例的声束的路径计算示意图，则左声束2的方程为：

$y=\frac{b_3}{a_3}x$

由于(a₂,b₂)是(a,b)相对于对墙边线y＝k₂x+c₂的镜像点，即y＝k₂x+c₂上任何一个点，到(a₂,b₂)和(a,b)的距离都相等，则从镜像关系的方程式可以得到关系式：

$a_2=\frac{{2k}_{2}b+(1-{k_2}^2)a-{2k}_2{c}_2}{{k_2}^2+1}$

$b_2=b\frac{{k_2}^2-1}{{k_2}^2+1}+\frac{2a}{k_2({k_2}^2+1)}+\frac{{2c}_2}{{k_2}^2+1}$

同理，(a₃,b₃)是(a₂,b₂)相对于左墙边线y＝kx+c的镜像点，则同样根据镜像关系的方程式可以得到：

$a_3=\frac{2k{b}_2+(1-k^2)a_2-2kc}{k^2+1}$

$b_3=b_2\frac{k^2-1}{k^2+1}+\frac{{2a}_2}{k(k^2+1)}+\frac{2c}{k^2+1}$

由此，在左墙边线位置和对墙边线位置，以及用户位置均已知的情况下，可以求得左声束2的方程。

同理，得到右声束1和右声束2的方程。

在本发明的其它实施例中，如果摄像头和扬声器之间存在相对位置差（即在所述基准坐标系中位于不同的点），则需要根据摄像头与扬声器阵列之间的相对位置关系，将房间相对于摄像头的位置信息以及用户相对于摄像头的位置信息，转换为房间相对于扬声器阵列的位置信息以及用户相对于扬声器阵列的位置信息；然后以扬声器阵列所在的位置为零点建立坐标系，并得到该坐标系中用户所在位置相对于左墙边线的镜像点；根据零点和该镜像点的坐标依据两点确定一条直线的原理得到左声束1的方程。以扬声器阵列所在的位置为零点建立坐标系，并得到该坐标系中用户所在位置相对于对墙边线的镜像点，根据用户相对于对墙边线的镜像点可以得到该镜像点相对于左墙边线的镜像点，根据两点确定一线的原理，得到左声束2的方程。同理，得到右声束1和右声束2的方程。

3.2异常情况的处理

实际使用中可能遇到一些异常情况。比如无法完全检测墙角位置，或电视和扬声器阵列摆放在边角位置，或与房间墙面不平行，或者声束可能被用户遮挡等情形。声束的计算会出现一些变化。

图10是本发明一个实施例的无法检测到一侧墙角的示意图。在无法检测一侧墙角位置，也无法计算得到对应墙壁的位置时，如图10所示，则让这一侧两个声束的方向与用户错开一定角度，比如根据经验值可以设为60度和45度，作为这一侧两个声束的默认角度。即当无法采集到左墙角和/或右墙角的图像时，令对应侧的两个声束的方向与用户错开一定角度。如左侧墙边线没有在镜头中出现，则左声束1的角度是用户的方位角加60度，而左声束2是用户方位角加45度，右侧同理。

默认角度下，声束的一次反射点处在侧墙上，设定其与镜头的视角有关，如果镜头内没有拍摄到一边墙角，则墙角与镜头中心连线的角度(相对镜头中轴线)必然是大于视角的，而摄像头的视角，通常也会覆盖对面墙的一半以上宽度。常用的智能电视摄像头，视角范围不超过正负45度，一般在正负30度范围内，因此将默认角度设为不小于45度，则一次反射点将有较大可能处在侧墙上。默认角度的设定还可以有其他方式或者其他数值，如果摄像头的视角较大，则默认角度也会相应加大。如果视角较小，则默认角度也会相应缩小。

图11是本发明一个实施例的异常情况声束可能被用户遮挡的示意图。在声束可能被用户遮挡时，如图11所示，该方向的声束取消。即当所述声束1、声束2、声束3和声束4中的任一个被用户遮挡时，取消该声束。

需要说明的是，用户以外的其他遮挡物不需要取消声束，只有用户遮挡时才取消声束。

3.3滤波器组参数的计算

根据计算出的声束的路径，确定扬声器阵列的滤波器组的参数，并用该参数调整扬声器阵列的滤波器组。

计算得到声束的路径后便知声束相对于扬声器阵列的朝向角，可以计算扬声器阵列的滤波器组。如果扬声器阵列各单元的频响为：

R(θ,f)＝[R₁(θ,f)R₂(θ,f)...R_M(θ,f)]；

其中，f为频率，θ为角度，滤波器组为：

H_L1(θ,f)＝[H_L11(θ,f)H_L12(θ,f)...H_L1M(θ,f)]；

阵元的位置则可以依据声束形成的一般定理计算滤波器组，常见的算法如最小方差无失真响应算法（MVDR）或者延时-相加波束形成算法（Delay-And-Sum）等。

以MVDR为例，滤波器组可以计算如下：

设声束角度为θ_L1，则最理想的声束指向，应该是辐射能量全部集中在θ_L1处，而在其他区域为0。也即理想声束的响应函数为：

$D_{\mathrm{Llopt}}(\mathrm{\θ},f)=\left\{\begin{array}{cc}1& \mathrm{\θ}={\mathrm{\θ}}_{L1}\\ 0& \mathrm{\θ}\≠{\mathrm{\θ}}_{L1}\end{array}\right.$

实际能够形成的声束为D_L1(θ,f)，与理想声束D_Llopt(θ,f)应尽可能接近。

实际声束的方程为：

D_L1(θ,f)＝H_L1(f)R(θ,f)^T

其中，*^T表示对向量做转置运算。

因此最接近理想声束时，应有

$H_{L1}\left(f\right)=\arg \min \frac{\∂\left[\underset{\mathrm{\θ}}{\∫}{|D_{L1}(\mathrm{\θ},f)-D_{\mathrm{Llopt}}(\mathrm{\θ},f)|}^2\right]}{\∂H_{L1}\left(f\right)}$

因此，应该有：

$H_{L1}\left(f\right)=\left[\underset{\mathrm{\θ}}{\∫}{D}_{\mathrm{Llopt}}R{(\mathrm{\θ},f)}^{*}\right]{\left[\underset{\mathrm{\θ}}{\∫}R{(\mathrm{\θ},f)}^{T}R{(\mathrm{\θ},f)}^{*}\right]}^{-1}$

其中，R(θ,f)^*表示对R(θ,f)做共轭运算。

如果是Delay-And-Sum，可以计算如下：

H_L1(f)＝exp{jkd cos(θ_L1)[p₁-p₀p₂-p₀…p_M-p₀]}

H_L1(f)是一个M元的向量，每个元素对应一个扬声器单元的滤波器。对于第i个扬声器单元，其对应的滤波器为H_L1(f)中的第i个元素。

左声束2，右声束1，右声束2对应的滤波器组与H_L1(f)计算类似。

经过以上的步骤，计算得到理想的滤波器组，声源信号经过滤波，由扬声器阵列播放。对每一个扬声器单元，左声道声源经过左声束滤波器组滤波后叠加，右声道声源经右声束滤波后叠加，共同叠加后由该扬声器单元播放。

目前智能电视，会议***等很多多媒体设备都具备摄像头和音视频处理控制芯片，可以支持复杂运算，如目标物识别等。且智能电视的摄像头和扬声器阵列位置相对固定，摄像头一般位于电视顶端中心，而扬声器阵列位于电视底边。因此，利用图像识别技术和自动对焦技术，可以从摄像头拍摄的图像中识别房间的墙边角和用户的位置，再利用摄像头的固有参数，计算用户在房间中的位置和房间信息如房间尺寸等。根据房间信息和用户位置，就可以计算出在达到较佳的环绕效果时，扬声器声束应该朝向的角度，让用户可以听到较佳的环绕声效果。其中，在本发明的一个实施例中较佳的环绕声效果是指：声束在墙面经过一次反射或二次反射后到达用户。

图12是本发明实施例中的一种实现自适应环绕声的***的示意图。如图12所示，该***包括：摄像头1201、目标识别和成像单元1202、位置信息提取单元1203、声束控制单元1204和扬声器阵列1205；

摄像头1201，用于采集图像；

目标识别和成像单元1202，用于利用目标识别技术对房间指定位置和房间内的用户进行识别，利用对焦控制技术控制摄像头采集所识别目标的对焦图像，并记录相应对焦参数；

位置信息提取单元1203，用于根据所采集的对焦图像以及所记录的相应对焦参数，计算出房间相对于摄像头的位置信息以及用户相对于摄像头的位置信息；

声束控制单元1204，用于根据计算出的房间相对于摄像头的位置信息、用户相对于摄像头的位置信息以及摄像头与扬声器阵列之间的相对位置关系，计算能够在所述房间内的用户的位置处实现环绕声的声束的路径；并根据计算出的声束的路径，确定扬声器阵列的滤波器组的参数，并用该参数调整扬声器阵列的滤波器组；

扬声器阵列1205，用于利用调整参数后的滤波器组对音频信号滤波后播放，在所述房间内的用户的位置处形成环绕声。

在本发明的一个实施例中，目标识别和成像单元1202，用于利用墙边线识别技术识别出墙角和墙边线，然后利用对焦控制技术，控制摄像头对墙角和墙边线对焦并采集墙角和墙边线的对焦图像；利用人脸识别技术识别出用户的面部，然后利用对焦控制技术，控制摄像头对用户的面部对焦并采集用户的面部的对焦图像。具体参见前述第1节“目标识别和对焦成像”中的描述。

具体地，目标识别和成像单元1202，利用墙边线识别技术识别出左墙角、右墙角、左墙边线中点和右墙边线中点，其中墙边线中点是指该墙边线在对焦图像中出现的那部分的中点；利用人脸识别技术识别出房间内的用户面部；目标识别出后，对目标所在区域进行计算，并依据计算结果驱动对焦马达使摄像头对所识别目标进行精确对焦和清晰成像。

在本发明的一个实施例中，目标识别和成像单元1202记录的对焦参数包括：采集对焦图像时的焦距和像距；

位置信息提取单元1203，具体用于计算出左墙角、右墙角、左墙边线中点和右墙边线中点距离摄像头的物距以及相对于摄像头镜头中轴线的角度，以及计算出左墙边线的方程、右墙边线的方程和对墙边线的方程；以及计算出用户距离摄像头的物距和用户相对于摄像头镜头中轴线的角度。

具体地，位置信息提取单元1203，用于根据采集用户的面部的对焦图像时所记录的焦距和像距，依据共轭成像原理得到用户距离摄像头的物距；根据用户的面部在对焦图像中的位置，结合摄像头镜头的视角参数，确定用户相对于摄像头镜头中轴线的角度；同理，分别得到左墙角、右墙角、左墙边线中点和右墙边线中点距离摄像头的物距以及相对于摄像头镜头中轴线的角度；根据左墙角和左墙边线中点的坐标信息，依据两点确定一条直线的原理得到左墙边线的方程；根据右墙角和右墙边线中点的坐标信息，依据两点确定一条直线的原理得到右墙边线的方程。具体参见前述第2.1节、2.2节。

在本发明的一个实施例中，所述声束控制单元1204计算的能够在所述房间内的用户所在的位置处实现环绕声的声束，是指在墙面经过一次反射或二次反射后到达所述用户所在位置的声束，包括：

左声束1：打向左侧墙，在左侧墙做一次反射后到达用户所在位置的声束；

左声束2：打向左侧墙，在左侧墙做一次反射，并在对墙做一次反射后到达用户所在位置的声束；

右声束1：打向右侧墙，在右侧墙做一次反射后到达用户所在位置的声束；

右声束2：打向右侧墙，在右侧墙做一次反射，并在对墙做一次反射后到达用户所在位置的声束。

声束控制单元1204，具体用于根据摄像头与扬声器阵列之间的相对位置关系，将房间相对于摄像头的位置信息以及用户相对于摄像头的位置信息，转换为房间相对于扬声器阵列的位置信息以及用户相对于扬声器阵列的位置信息；以扬声器阵列所在的位置为零点，首先得到用户相对于左墙边线的镜像点，然后根据零点和该镜像点的坐标依据两点确定一条直线的原理得到左声束1的方程；以扬声器阵列所在的位置为零点，首先得到用户相对于对墙边线的镜像点1，接着根据镜像点1得到该镜像点1相对于左墙边线的镜像点2，然后根据零点和镜像点2的坐标依据两点确定一条直线的原理，得到左声束2的方程；同理，得到右声束1和右声束2的方程。具体参见前述第3.1节中的相关描述。

声束控制单元1204，进一步用于当无法采集到左墙角和/或右墙角的图像时，令对应侧的两个声束的方向与用户错开一定角度；或者，当所述声束1、声束2、声束3和声束4中的任一个被用户遮挡时，取消该声束。

声束控制单元1204，用于根据视频处理器计算出的声束的路径，依据最小方差无失真响应算法或者延时-相加波束形成算法，确定扬声器阵列的滤波器组的参数。具体参见前述第3.3节中的相关描述。

摄像头1201为被动对焦型的摄像头、主动对焦型的摄像头或具有深度感知的摄像头。

综上所述，本发明的这种技术方案中，由于通过使用目标识别和对焦控制技术，采集房间的指定位置和用户的对焦图像，并记录对焦参数，进而计算出房间相对于摄像头位置信息，以及用户相对于摄像头的位置信息，根据这些信息计算能在用户位置处实现环绕声的声束，根据计算出的声束的路径，确定扬声器阵列的滤波器组的参数，调整滤波器组，并将经过滤波器组滤波后的声束由扬声器阵列播放，在目标房间内的用户所在的位置处自适应地形成环绕声。这种方式无需人工校准，对于已有的多媒体设备来说，不需要增加额外的硬件，免去额外的声学校准过程，自动计算最适合用户的扬声器阵列声束朝向角度，让用户体验到丰富的环绕声效果；且当用户移动位置时也能够及时地在移动后的位置处自适应地实现环绕声。本发明的技术方案可以免去额外的声学校准，设备简单，使用便捷，而且不限定用户的位置和聆听习惯，克服了现有的用声束形成在厅堂内产生环绕声技术的问题，同时使用户感受到较佳的环绕声效果。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种实现自适应环绕声的方法，其特征在于，该方法包括：

利用目标识别技术对房间指定位置和房间内的用户进行识别，利用对焦控制技术控制摄像头采集所识别目标的对焦图像，并记录相应对焦参数；

根据所采集的对焦图像以及所记录的相应对焦参数，计算出房间相对于摄像头的位置信息以及计算出用户相对于摄像头的位置信息；

根据计算出的房间相对于摄像头的位置信息、用户相对于摄像头的位置信息以及摄像头与扬声器阵列之间的相对位置关系，计算能够在所述房间内的用户的位置处实现环绕声的声束的路径；

根据计算出的声束的路径，确定扬声器阵列的滤波器组的参数，并用该参数调整扬声器阵列的滤波器组；

音频信号经过所述调整参数后的滤波器组滤波后，由扬声器阵列播放，在所述房间内的用户的位置处形成环绕声。

2.如权利要求1所述的方法，其特征在于，所述利用目标识别技术对房间指定位置和房间内的用户进行识别，利用对焦控制技术控制摄像头采集所识别目标的对焦图像包括：

利用墙边线识别技术识别出左墙角、右墙角、左墙边线中点和右墙边线中点，其中墙边线中点是指该墙边线在对焦图像中出现的那部分的中点；利用人脸识别技术识别出房间内的用户面部；目标识别出后，对目标所在区域进行计算，并依据计算结果驱动对焦马达使摄像头对所识别目标进行精确对焦和清晰成像；

相应地，

所述计算出房间相对于摄像头的位置信息包括：计算出左墙角、右墙角、左墙边线中点和右墙边线中点距离摄像头的物距以及相对于摄像头镜头中轴线的角度，以及计算出左墙边线的方程、右墙边线的方程和对墙边线的方程；

所述计算出用户相对于摄像头的位置信息包括：计算出用户距离摄像头的物距和用户相对于摄像头镜头中轴线的角度。

3.如权利要求2所述的方法，其特征在于，所述能够在所述房间内的用户的位置处实现环绕声的声束是指在墙面经过一次反射或二次反射后到达所述用户的位置的声束，包括：

左声束1：打向左侧墙，在左侧墙做一次反射后到达用户所在位置的声束；

左声束2：打向左侧墙，在左侧墙做一次反射，又在对面墙做一次反射后到达用户所在位置的声束；

右声束1：打向右侧墙，在右侧墙做一次反射后到达用户所在位置的声束；

右声束2：打向右侧墙，在右侧墙做一次反射，又在对面墙做一次反射后到达用户所在位置的声束。

4.如权利要求3所述的方法，其特征在于，所述根据计算出的房间相对于摄像头的位置信息、用户相对于摄像头的位置信息以及摄像头与扬声器阵列之间的相对位置关系，计算能够在所述房间内的用户的位置处实现环绕声的声束的路径包括：

根据摄像头与扬声器阵列之间的相对位置关系，将房间相对于摄像头的位置信息以及用户相对于摄像头的位置信息，转换为房间相对于扬声器阵列的位置信息以及用户相对于扬声器阵列的位置信息；

以扬声器阵列所在的位置为零点，首先得到用户相对于左墙边线的镜像点，然后根据零点和该镜像点的坐标依据两点确定一条直线的原理得到左声束1的方程；

以扬声器阵列所在的位置为零点，首先得到用户相对于对墙边线的镜像点1，接着根据镜像点1得到该镜像点1相对于左墙边线的镜像点2，然后根据零点和镜像点2的坐标依据两点确定一条直线的原理，得到左声束2的方程；

同理，得到右声束1和右声束2的方程。

5.如权利要求3所述的方法，其特征在于，该方法进一步包括：

当无法采集到左墙角和/或右墙角的图像时，令对应侧的两个声束的方向与用户错开一定角度；

或者，

当所述声束1、声束2、声束3和声束4中的任一个被用户遮挡时，取消该声束。

6.一种实现自适应环绕声的***，其特征在于，该***包括：摄像头、目标识别和成像单元、位置信息提取单元、声束控制单元和扬声器阵列；

摄像头，用于采集图像；

目标识别和成像单元，用于利用目标识别技术对房间指定位置和房间内的用户进行识别，利用对焦控制技术控制摄像头采集所识别目标的对焦图像，并记录相应对焦参数；

位置信息提取单元，用于根据所采集的对焦图像以及所记录的相应对焦参数，计算出房间相对于摄像头的位置信息以及计算出用户相对于摄像头的位置信息；

声束控制单元，用于根据计算出的房间相对于摄像头的位置信息、用户相对于摄像头的位置信息以及摄像头与扬声器阵列之间的相对位置关系，计算能够在所述房间内的用户的位置处实现环绕声的声束的路径；并根据计算出的声束的路径，确定扬声器阵列的滤波器组的参数，并用该参数调整扬声器阵列的滤波器组；

扬声器阵列，用于利用调整参数后的滤波器组对音频信号滤波后播放，在所述房间内的用户的位置处形成环绕声。

7.如权利要求6所述的***，其特征在于，

所述目标识别和成像单元，具体用于利用墙边线识别技术识别出左墙角、右墙角、左墙边线中点和右墙边线中点，其中墙边线中点是指该墙边线在对焦图像中出现的那部分的中点；利用人脸识别技术识别出房间内的用户面部；目标识别出后，对目标所在区域进行计算，并依据计算结果驱动对焦马达使摄像头对所识别目标进行精确对焦和清晰成像；

相应地，

所述位置信息提取单元，具体用于计算出左墙角、右墙角、左墙边线中点和右墙边线中点距离摄像头的物距以及相对于摄像头镜头中轴线的角度，以及计算出左墙边线的方程、右墙边线的方程和对墙边线的方程；以及计算出用户距离摄像头的物距和用户相对于摄像头镜头中轴线的角度。

8.如权利要求7所述的***，其特征在于，所述能够在所述房间内的用户的位置处实现环绕声的声束是指在墙面经过一次反射或二次反射后到达所述用户所在位置的声束，包括：

左声束1：打向左侧墙，在左侧墙做一次反射后到达用户所在位置的声束；

左声束2：打向左侧墙，在左侧墙做一次反射，并在对墙做一次反射后到达用户所在位置的声束；

右声束1：打向右侧墙，在右侧墙做一次反射后到达用户所在位置的声束；

右声束2：打向右侧墙，在右侧墙做一次反射，并在对墙做一次反射后到达用户所在位置的声束；

相应地，

所述声束控制单元，具体用于根据摄像头与扬声器阵列之间的相对位置关系，将房间相对于摄像头的位置信息以及用户相对于摄像头的位置信息，转换为房间相对于扬声器阵列的位置信息以及用户相对于扬声器阵列的位置信息；以扬声器阵列所在的位置为零点，首先得到用户相对于左墙边线的镜像点，然后根据零点和该镜像点的坐标依据两点确定一条直线的原理得到左声束1的方程；以扬声器阵列所在的位置为零点，首先得到用户相对于对墙边线的镜像点1，接着根据镜像点1得到该镜像点1相对于左墙边线的镜像点2，然后根据零点和镜像点2的坐标依据两点确定一条直线的原理，得到左声束2的方程；同理，得到右声束1和右声束2的方程。

9.如权利要求8所述的***，其特征在于，

所述声束控制单元，进一步用于当无法采集到左墙角和/或右墙角的图像时，令对应侧的两个声束的方向与用户错开一定角度；或者，当所述声束1、声束2、声束3和声束4中的任一个被用户遮挡时，取消该声束。

10.如权利要求6所述的***，其特征在于，所述摄像头为被动对焦型的摄像头、主动对焦型的摄像头或具有深度感知的摄像头。

Images