CN113504890A - 基于ToF相机的扬声器组件的控制方法、装置、设备和介质 - Google Patents
基于ToF相机的扬声器组件的控制方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN113504890A CN113504890A CN202110796652.0A CN202110796652A CN113504890A CN 113504890 A CN113504890 A CN 113504890A CN 202110796652 A CN202110796652 A CN 202110796652A CN 113504890 A CN113504890 A CN 113504890A
- Authority
- CN
- China
- Prior art keywords
- depth value
- user
- image
- tof camera
- coordinate information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000712 assembly Effects 0.000 abstract description 46
- 238000000429 assembly Methods 0.000 abstract description 46
- 230000005236 sound signal Effects 0.000 abstract description 13
- 230000000694 effects Effects 0.000 description 26
- 210000005069 ears Anatomy 0.000 description 9
- 230000005669 field effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000001815 facial effect Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000036544 posture Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000001020 rhythmical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005520 electrodynamics Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Studio Devices (AREA)
- Stereophonic System (AREA)
Abstract
一种基于ToF相机的扬声器组件的控制方法、装置、设备和介质，方法包括：S10、使用ToF相机采集使用者的深度值图像，所述ToF相机和所述扬声器组件位于电子设备上，所述扬声器组件的数量至少为两个且设置在所述电子设备的不同位置；S11、根据所述深度值图像获取使用者与电子设备之间的相对位置关系；S12、根据所述相对位置关系对所述扬声器组件进行控制。本发明的基于ToF相机的扬声器组件的控制方法，通过使用ToF相机采集使用者与电子设备之间的相对位置关系，并根据相对位置关系对扬声器组件进行控制，由于ToF相机可以在弱光线或黑暗环境下正常工作，提高扬声器组件声音信号调节的准确性。
Description
技术领域
本申请涉及音频处理技术领域，具体涉及一种基于ToF相机的扬声器组件的控制方法、装置、设备和介质。
背景技术
随着游戏、视频、音频等内容的不断丰富，更高性能的扬声器组件大量应用到终端等各类音视频设备上以便向使用者提供更好的音频服务体验。
现有技术中，使用多使用RGB(颜色***)相机对人体进行检测以便根据使用者位置调节扬声器组件的播放声音，进行自动声音信号调节。但是RGB相机适用于可见光环境，对于弱光线或黑暗环境下RGB相机无法正常工作，导致扬声器组件声音信号调节的准确性偏低。
发明内容
鉴于此，本申请提供一种基于ToF(飞行时间)相机的扬声器组件的控制方法、装置、设备和介质，以解决现有的RGB相机在弱光线或黑暗环境下无法准确检测到使用者位置导致扬声器组件的声音信号的调制准确性偏低的问题。
本申请提供的一种基于ToF相机的扬声器组件的控制方法，包括：S10、使用ToF相机采集使用者的深度值图像，所述ToF相机和所述扬声器组件位于电子设备上，所述扬声器组件的数量至少为两个且设置在所述电子设备的不同位置；S11、根据所述深度值图像获取使用者与电子设备之间的相对位置关系；S12、根据所述相对位置关系对所述扬声器组件进行控制。
可选的，步骤S11具体包括：获取所述深度值图像中的深度值，所述深度值用于表征使用者与电子设备之间的相对位置关系；步骤S12具体包括：获取所述深度值图像中所有深度值的均方差；根据所述均方差对所述扬声器组件进行控制。
可选的，步骤S11还包括：在所述均方差大于第一均方阈值时，根据所述扬声器组件的位置将所述深度值图像划分为若干子深度值图像；获取所述子深度值图像的子深度值；根据所述子深度值与第一距离阈值的比较结果对对应位置的所述扬声器组件进行控制。
可选的，步骤S11具体包括：S110、根据所述深度值图像中的深度值获取对应的所述使用者的第一坐标信息；S111、获取扬声器组件的第二坐标信息；S112、根据所述第一坐标信息和所述第二坐标信息获取所述使用者与所述扬声器组件的相对位置关系。
可选的，步骤S112具体包括：将所述使用者的第一坐标信息划分成若干子坐标信息；根据所述子坐标信息和所述第二坐标信息获取所述使用者与所述扬声器组件的相对位置关系。
可选的，步骤S10具体包括：使用ToF相机采集使用者的轮廓图像；
步骤S11具体包括：将所述轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像；在所述轮廓图像为人物面部图像时，使用ToF相机采集使用者与电子设备之间的相对位置关系。
可选的，所述S11具体还包括：在所述轮廓图像为人物面部图像时，根据所述轮廓图像提取使用者的耳朵图像；根据所述耳朵图像和所述深度值图像获取对应的第三坐标信息；根据所述第三坐标信息和所述第二坐标信息获取所述使用者耳朵与所述扬声器组件的相对位置关系；所述S12具体还包括：根据所述第三坐标信息和所述第二坐标信息获取所述使用者耳朵与所述扬声器组件的相对位置关系对所述扬声器组件进行控制。
可选的，步骤S12具体还包括：根据所述使用者耳朵与所述扬声器组件的相对位置关系对所述扬声器组件进行以下至少一种调节：音频节奏、音量大小、延迟时间和循环次数。
一种基于ToF相机的扬声器组件的控制装置，包括：ToF相机，用于采集使用者的深度值图像；所述ToF相机和所述扬声器组件位于电子设备上，所述扬声器组件的数量至少为两个且设置在所述电子设备的不同位置；位置关系获取模块，用于根据所述深度值图像获取使用者与电子设备之间的相对位置关系；控制模块，用于根据所述相对位置关系对所述扬声器组件进行控制。
可选的，所述位置关系获取模块，还用于获取所述使用者的深度值图像中的深度值，所述深度值用于表征所述使用者与所述电子设备之间的相对位置关系；所述控制模块，还用于获取所述深度值图像中所有深度值的均方差；根据所述均方差对所述扬声器组件进行控制。
可选的，所述控制模块具体包括：图像划分单元，用于在所述均方差大于第一均方阈值时，根据所述扬声器组件的位置将所述深度值图像划分为若干子深度值图像；计算单元，用于获取所述子深度值图像的深度值并将所述深度值与第一距离阈值进行比较；所述控制单元，还用于根据所述深度值与所述第一距离阈值的比较结果对对应位置的所述扬声器组件进行控制。
可选的，所述位置关系获取模块，还用于根据所述深度值图像中的深度值获取对应的所述使用者的第一坐标信息；获取扬声器组件的第二坐标信息；根据所述第一坐标信息和所述第二坐标信息获取所述使用者与所述扬声器组件的相对位置关系。
可选的，所述ToF相机，还用于采集使用者的轮廓图像；所述位置关系获取模块，还用于将所述轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像；在所述轮廓图像为人物面部图像时，使用ToF相机采集使用者与电子设备之间的相对位置关系。
可选的，所述位置关系获取模块，还用于在所述轮廓图像为人物面部图像时，根据所述轮廓图像提取使用者的耳朵图像；根据所述耳朵图像和所述深度值图像获取对应的第三坐标信息；所述位置关系获取模块，还用于根据所述第三坐标信息和所述第二坐标信息获取所述使用者耳朵与所述扬声器组件的相对位置关系；所述控制模块，还用于根据所述第三坐标信息和所述第二坐标信息获取所述使用者耳朵与所述扬声器组件的相对位置关系对所述扬声器组件进行控制。
一种电子设备，所述电子设备包括：存储器、处理器，其中，所述存储器上存储有基于ToF相机的扬声器组件的控制方法的程序，所述基于ToF相机的扬声器组件的控制方法的程序被所述处理器执行时实现上述任一项所述的基于ToF相机的扬声器组件的控制方法的步骤。
一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于ToF相机的扬声器组件的控制方法的步骤。
本发明的基于ToF相机的扬声器组件的控制方法，通过使用ToF相机采集使用者与电子设备之间的相对位置关系，并根据相对位置关系对扬声器组件进行控制，由于ToF相机可以在弱光线或黑暗环境下正常工作，提高扬声器组件声音信号调节的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一实施例的用户与电子设备之间的相对位置关系的示意图；
图2为本发明的一实施例的基于ToF相机的扬声器组件的控制方法的流程图；
图3为本发明的一实施例的基于ToF相机的扬声器组件的控制方法的流程图；
图4为本发明一实施例的像素坐标与空间点的坐标之间的关系图；
图5为本发明一实施例的以ToF相机的光轴为中心原点建立的世界坐标系的示意图；
图6为本发明一实施例的基于ToF相机的扬声器组件的控制装置的结构示意图。
具体实施方式
下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，下述各个实施例及其技术特征可以相互组合。
本实施例的方案可以应用于具有至少两个扬声器组件和ToF相机的电子设备中。比如，该电子设备可以是智能手机、平板电脑、电子书阅读器、移动游戏设备、智慧屏、电视机等。电子设备中包含至少两个扬声器组件。其中，上述至少两个扬声器组件可以设置在电子设备中的不同位置。比如，上述两个扬声器组件可以分别设置在电子设备的顶部和底部。在其他可选的实施例中，电子设备可以包括更多的扬声器组件，扬声器组件还可以分别设置在电子设备的左、右两边，电子设备100的顶部、底部、左边和右边设置的扬声器组件的数量也可以为多个。
每个扬声器组件可以由扬声器单元(speaker box)和控制电路组成，其中，基于发声原理的不同，扬声器单元可以分为动圈式(电动式)、电容式(静电式)、压电式(晶体或陶瓷)、电磁式(压簧式)、电离子式和气动式扬声器等等。控制电路可以包括功率放大器(Power Amplifier，PA)单元以及滤波器单元等等。功率放大器单元可以包括一个或者一个以上的功率放大器。滤波器单元可以包含一个或者一个以上的滤波器(Filter)，比如，滤波器单元可以是由多个滤波器组成的滤波器组合电路。
本实施例的两个扬声器组件的控制原理为：每个扬声器组件可以通过控制电路的控制，在电子设备周围空间中营造出特定的声音效果。比如，根据双耳定律，电子设备的至少两颗扬声器单元音源的位置距离越远，至少两颗扬声器单元各自的声场效果越宽广，使得使用者听到立体声的感觉就越明显。两路音频信号分别经过每一个扬声器组件中的功率放大器对音频信号进行功率放大后再通过滤波器单元处理后，通过扬声器单元发出声音。由于滤波器单元会改变信号的相位和其他特性，比如灵敏度(也称为响度或音量)，通过两组不同的滤波器单元，可以将两路音频信号调试为相位差和部分频率的灵敏度差值比较大的声音信号，比如，通过两路滤波器单元调试之后的两路声音信号中，频率在400Hz至7KHz的灵敏度差值和相位差值较大，由于声音信号的相位和灵敏度差距越大，使用者的主观听感上越容易感觉到立体感和声场的差异化，也就是说，从感官上听上去更像两个或两个以上speaker box发出来的声音。由此可以得出，通过不同的滤波器单元，可以实现不同的声场效果，以扩展电子设备播放声音的声场宽度，提高使用者的听感效果，使得使用者在打游戏或者看电影时能够体验到更好的声音效果。
基于上述内容，研发人员可以根据使用者日常使用电子设备时最常用的姿态，确定使用者所在的位置(比如电子设备的屏幕正前方指定距离处)，根据确定位置为至少两个扬声器组件调试出在该位置处的声场效果较好的控制参数，后续在播放声音时，终端的至少两个扬声器组件按照预先调试好的控制参数发声。
然而，使用者在使用电子设备的过程中，可能有不同的姿势，比如坐着，躺着，侧身，背对屏幕等等，也会在不同的环境下使用电子设备，比如光线充足、光线较暗或黑暗处，导致使用者在使用电子设备过程中，其头部并不总是处在声场效果最高的位置，比如，在某些位置上，使用者可以听出电子设备发出的声音是由两个或两个以上扬声器单元发出的声音(即能够听出有立体声的感官)，而在其他位置上，则听不出立体声。或者是，光线较暗对使用者位置检测不准确，扬声器组件的声音调节的准确性低。
为了解决上述问题，本申请还提供一种对电子设备中的至少两个扬声器组件进行控制的方案。通过该方案，可以为至少两个扬声器组件设置多种扬声器控制参数，其中，每种扬声器控制参数可以使得至少两个扬声器组件在相对于电子设备的特定位置处达到较高的声场效果(比如达到较为明显的立体声效果)，根据使用者当前相对于电子设备的位置，选择合适的扬声器控制参数来控制至少两个扬声器组件发声，从而使得使用者在相对于电子设备的不同位置处，都能够体验到较好的声音效果。
在一种可选的实现方案中，电子设备可以通过内置的ToF相机来确定使用者与电子设备之间的相对位置。
请参看图1，本发明的一实施例的用户与电子设备之间的相对位置关系的示意图。
本实施例中，电子设备为智能终端，ToF相机使用ToF摄像头进行信息采集。图1中，将ToF摄像头安装于智能终端的顶部，一个或多个扬声器组件包括扬声器，置于智能终端的上、下、左、右等位置。当使用者，即用户在使用智能终端时，ToF摄像头工作，实时捕捉用户与智能终端之间的相对距离，并构建表现形式为三维立体图的用户点云图。当用户与智能终端之间的位置关系发生改变时，通过ToF摄像头重建使用者与智能终端的相对位置关系，根据此位置关系，调节各个扬声器的参数，从而呈现出最佳音效效果。当仅有一个扬声器时，可以根据使用者与电子设备之间的相对位置关系调节扬声器的声音大小，当具有多个扬声器时，各个扬声器设置在电子设备的不同位置，可以根据使用者与电子设备之间的相对位置同时调整各个扬声器以使得使用者所在位置处的声效最佳。
请参看图2，本发明的一实施例的基于ToF相机的扬声器组件的控制方法的流程图。
本实施例中，ToF相机和扬声器组件均位于电子设备上，扬声器组件的数量至少为两个，且设置在电子设备的不同部位。如图2所示，基于ToF相机的扬声器组件的控制方法包括以下步骤：
步骤S10、使用ToF相机采集使用者的深度值图像。
ToF相机通过主动连续发射红外激光脉冲，同时控制感光传感器的门闸，实现反射光在2个不同时刻下收集的能量，即Q1和Q2；Q1和Q2的总量相当于整个反射光总量，而Q2相对于总量的占比，恰好等于反射光相对发射光的一个延迟
从而根据这个延迟，利用如下公式和光速c相乘，再除以2，即可得到TOF相机中摄像头和被发射点的距离d，即ToF相机与被测物之间的距离d。
其中，c为光速，c＝299792.458km/s(千米/秒)，
为反射光相对发射光的延迟时间，Q1和Q2是反射光在2个不同时刻下收集的能量。
利用ToF相机是面阵的特点，可以采集到使用者的每一点与ToF相机的距离值，根据该距离值生成深度值图像，该深度值图像具有N个像素点，N为大于等于零的整数，每个像素点对应于实际空间内的一个位置点，每个像素点的深度值对应于该位置点的距离值。所以，深度值图像可以是包括N个阵列排布的深度值组成的数据矩阵，也可以是根据各个像素点深度值构建的表现形式为三维立体图的点云图。
S11、根据所述深度值图像获取使用者与电子设备之间的相对位置关系。
由于深度值图像中每个像素点的深度值为使用者的某一点与ToF相机的距离值d，所以可以使用深度值图像中的深度值表征使用者与电子设备之间的相对位置关系。或者，通过深度值图像逆映射到世界坐标系，得到使用者的空间坐标信息，通过该空间坐标信息得到使用者与电子设备之间的相对位置关系。
步骤S12、根据所述相对位置关系对所述扬声器组件进行控制。
可选的，对扬声器组件的控制包括调整以下参数中的至少一种：音频信号的相位校准参数、响度增益参数、滤波器的参数、均衡器的参数以及噪声参数。具体可根据所述相对位置关系控制不同部位的扬声器组件的声音大小，声音延迟等。通过对各个扬声器组件的参数进行调整，可以在使用者的位置产生达到较好的声场效果，从而使得使用者的头部在相对于电子设备的不同位置处，都能够体验到较好的声音效果，从而提高扬声器组件的发声效果。另外，通过使用ToF相机采集使用者与电子设备之间的相对位置关系，并根据相对位置关系对扬声器组件进行控制，由于ToF相机可以在弱光线或黑暗环境下正常工作，提高扬声器组件声音信号调节的准确性。
在可选的一实施例中步骤S11具体包括；获取所述深度值图像中的深度值，所述深度值用于表征使用者与电子设备之间的相对位置关系。
步骤S11具体包括：获取所述深度值图像中所有深度值的均方差；若所述均方差小于第一均方阈值，则对所述扬声器组件进行相同调整。
具体的，获取整个使用者的深度值图像，计算该深度值图像中所有深度值的均方差，若均方差小于第一均方阈值，表示使用者画面很平，即使用者与ToF相机是正面相对，没有发生倾斜。则统一调整每个扬声器组件为一样的音量，比如，统一调大或调小所有扬声器组件音量等。可见，通过深度值图像中所有深度值的均方差可以判断出使用者是否正面面向电子设备。
在其他可选的实施例中，可以通过深度值图像中的深度值的大小判断使用者距离电子设备的距离远近，再结合深度值的均方差判断使用者的面部是否发生倾斜，可以针对性的调整扬声器组件的音量，提高精细化控制程度。比如，根据将深度值图像中的深度值与距离阈值比较，大于距离阈值时，表明使用者距离电子设备较远，此时，深度值的均方差小于第一均值阈值，表明使用者正面朝向电子设备，可以统一调大各个扬声器组件的音量。相反，当深度值小于距离阈值时，表明使用者距离电子设备较近，此时，深度值的均方差小于第一均值阈值，表明使用者正面朝向电子设备，可以统一调小各个扬声器组件的音量，或进行其他调节，可以即判断出使用者与电子设备距离远近，又判断出使用者的姿势，提高判断的准确性，提高扬声器组件控制的精准性。
在可选的一实施例中步骤S11具体还包括：在所述均方差大于第一均方阈值时，根据所述扬声器组件的位置将所述深度值图像划分为若干子深度值图像；获取所述子深度值图像的子深度值；若所述子深度值小于第一距离阈值，则控制增大与所述子深度值图像对应的扬声器组件的音频延迟。
比如，在均方差大于第一均方阈值时，表示使用者画面不平，即使用者与ToF相机发生倾斜。此时，根据扬声器的位置将深度值图像划分为若干子深度值图像，比如，因为扬声器设置在电子设备的上、下两部分，所以将深度值图像划分为上、下两个子深度值图像，因为扬声器设置在电子设备的左、右两部分，所以将深度值图像划分为左、右两个子深度值图像，因为扬声器设置在电子设备的上、下、左、右四部分，所以将深度值图像划分为上、下、左、右四个子深度值图像。本实施例以将深度值图像划分为上下两个第一子深度值图像和第二子深度值图像为例进行示例性说明，将深度值图像划分为其他数量的子深度值图像的处理原理与此类似，不再赘述。
将深度值图像划分为上下两个第一子深度值图像和第二子深度值图像后，分别获取第一子深度值图像中各个像素点的第一深度值和第二子深度值图像中各个像素点的第二深度值，将第一深度值和第二深度值与第一距离阈值进行比较，当第一深度值小于第一距离阈值时，表明第一子深度值图像的深度值小，使用者的上部分距离ToF相机近，当第二深度值大于第一距离阈值时，表明第二子深度值图像的深度值大，使用者的下部分距离ToF相机远，表明使用者与电子设备之间是一个前倾的关系，此时，调小位于电子设备上半部分的扬声器组件的音量，并且根据上半部分和下半部分的距离差，增大上半部分扬声器组件的音频延迟，从而保证电子设备上半部分的扬声器组件和下半部分的扬声器组件到达使用者耳朵的时间一致，从而提高扬声器组件声音效果。
反之，当第一深度值大于第一距离阈值时，表明第一子深度值图像的深度值大，使用者的上部分距离ToF相机远，当第二深度值小于第一距离阈值时，表明第二子深度值图像的深度值小，使用者的下部分距离ToF相机近，此时，调大位于电子设备上半部分的扬声器组件的音量，并且根据上半部分和下半部分的距离差，调小上半部分扬声器组件的音频延迟，从而保证电子设备上半部分的扬声器组件和下半部分的扬声器组件到达使用者耳朵的时间一致，从而提高扬声器组件声音效果。
在可选的其他实施例中，可以获取第一子深度值图像中的所有深度值的第一深度平均值和第二子深度值图像中的所有深度值的第二深度平均值，第一深度平均值小于第二深度平均值时，表明使用者的上部分距离ToF相机近，此时，调小位于电子设备上半部分的扬声器组件的音量，增大上半部分扬声器组件的音频延迟。反之，第一深度平均值大于第二深度平均值时，则表明使用者的下部分距离ToF相机近，此时，调小位于电子设备下半部分的扬声器组件的音量，并且根据上半部分和下半部分的距离差，增大下半部分扬声器组件的音频延迟从而提高扬声器组件的音效。
当将深度值图像划分为左、右两个子深度值图像时，通过上述方法对左、右两个子深度值图像进行分析，当左边的子深度值图像的深度值小(表示对应的使用者左边部分距离ToF相机较近)，右边的子深度值图像深度值大(表示对应的使用者右边部分距离ToF相机距离远)，则调小电子设备左边的扬声器组件的音量，增大左边扬声器组件的音频延迟，保证左、右扬声器组件的声音到达使用者耳朵的时间一致；反之，电子设备右边的扬声器组件的音量，增大右边扬声器组件的音频延迟，保证左、右扬声器组件的声音到达使用者耳朵的时间一致。
当将深度值图像划分为上、下、左、右四个子深度值图像时，通过上述方法对上、下、左、右四个子深度值图像进行分析，分别调节上、下、左、右扬声器组件的音量，以及相对应的音频延迟，保证上、下、左、右扬声器组件的声音到达使用者耳朵的时间一致，提高扬声器组件的发声效果。
通过上述方法，控制不同位置的扬声器组件在使用者位置处达到较好的声场效果，从而使得使用者的头部在相对于电子设备的不同位置处，都能够体验到较好的声音效果，从而提高扬声器组件的发声效果。
上述方案直接利用ToF相机采集的使用者的深度值图像，将深度值图像划分成若干子深度值图像，通过比较各个子深度值图像的深度值数据以判断使用者与电子设备的相对位置关系，进而调节对应位置的扬声器组件的声音大小或延迟时间，以提高扬声器组件的发声效果。但是，深度值图像中的深度值数据是使用者与ToF相机之间的距离，并不是使用者与扬声器组件的距离，因此，通过深度值图像进行扬声器组件控制的方案，控制的精准度需要进一步提高。
基于上述问题，本实施例提供一种基于ToF相机的扬声器组件的控制方法。
请参看图3，本发明的一实施例的基于ToF相机的扬声器组件的控制方法的流程图。
步骤S11具体包括：
S110、根据所述深度值图像中的深度值获取对应的所述使用者的第一坐标信息。图像处理、立体视觉等等方向常常涉及到四个坐标系：世界坐标系、相机坐标系、图像坐标系、像素坐标系。
请参看图4，本发明一实施例的像素坐标与空间点的坐标之间的关系图。
如图4所示，通过建立四个坐标系，可以描述空间中任意一点与ToF相机所获得的深度值图像之间的关系。其中，Ow-XwYwZw：世界坐标系，描述相机位置，单位m(米)；Oc-XcYcZc：相机坐标系，Oc为原点，单位m；o-xy：图像坐标系，o为图像中点，单位mm(毫米)；uv：像素坐标系，原点为图像左上角，单位pixel(像素)；P(Xw,Yw,Zw)是世界坐标系中的一点，即使用者的某一点，p(x,y)是P(Xw,Yw,Zw)在图像中的成像点，在图像坐标系中的坐标为(x，y)在像素坐标系中的坐标为(u，v)；f为相机焦距，等于o到Oc的距离。简单起见，将世界坐标系和摄像头坐标系可以合二为一，而世界坐标系中的任何一点P(Xw,Yw,Zw)通过小孔成像的方式映射到图像坐标系中p(x,y)图像坐标系跟像素坐标系之间通过平移的方式，实现最终的变换。
具体可通过下面计算公式，实现世界坐标系中任意一点到TOF相机深度值图像中的变换。
其中，u、v、z是深度值图像中的信息u、v是像素点坐标值，z是对应的深度值，fx1、fy1、cx1、cy1(fx1与fy1分别是两个轴方向焦距；cx1与cy1分别是两个轴方向的中心位置)是相机内参，相机的内参和外参，通过相机标定算法可以确定。所以，通过上述公式，可以找到深度值图像中像素位置(u、v)和空间点(x，y，z)的坐标之间关系，可将ToF相机深度值图像逆映射到世界坐标系中，获取使用者P在世界坐标系的第一坐标信息，即从一张深度值图像映射到世界坐标系中，根据(u,v,z)获取(x，y，z)，从而可以获取使用者的第一坐标信息，构建以点云图为表现形式的三维立体图。
步骤S111、获取世界坐标系中的扬声器组件的第二坐标信息。
请参看图5，本发明一实施例的以ToF相机的光轴为中心原点建立的世界坐标系的示意图。
图5中，以ToF相机的光轴Ow为中心原点建立的世界坐标系。将世界坐标系和ToF相机坐标系合并，通过ToF摄像头采集的深度值图像T经过逆映射可以得到使用者，即用户的第一坐标信息P。由于各个扬声器跟ToF相机的关系是固定的，从而确立了各个扬声器在世界坐标系对应的坐标信息P1、P2…PN，即各个扬声器的第二坐标信息P1、P2…PN。由于ToF相机与各个扬声器的位置关系是固定的，各个扬声器在世界坐标系中的第二坐标信息P1、P2…PN也是固定的。
步骤S112、根据所述第一坐标信息和所述第二坐标信息获取所述使用者与所述扬声器组件的相对位置关系。具体的，根据图5中使用者在世界坐标系的第一坐标信息P和各个扬声器在世界坐标系对应的第二坐标信息P1、P2…PN，进而建立了使用者跟扬声器之间的相对位置关系。即，通过两点坐标之间进行直接计算，得到两点之间的距离。利用ToF相机是面阵的特点，可以得到使用者中的每一点与各个扬声器之间的距离，该距离即表示使用者与各个扬声器之间的相对位置关系。可以根据使用者中的每一点与各个扬声器之间的距离对各个扬声器进行控制，以提高控制的准确性。
可选的，当使用者与各个扬声器组件的距离均大于第二距离阈值时，表示使用者距离扬声器组件较远，则对所有扬声器组件进行控制，比如，统一调整每个扬声器组件，统一调大所有扬声器组件音量等。反之，当使用者与各个扬声器组件的距离均小于第二距离阈值时，表示使用者距离扬声器组件较近，则对所有扬声器组件进行控制，比如，统一调整每个扬声器组件，统一调小所有扬声器组件音量等。
在可选的一实施例中，S112具体还包括：将所述使用者的第一坐标信息划分成若干子坐标信息；根据所述子坐标信息和所述第二坐标信息获取所述使用者与所述扬声器组件的相对位置关系。
比如，将第一坐标信息划分为上下两个第一子坐标信息和第二子坐标信息后，分别获取第一子坐标信息与第二坐标信息之间的第一距离和第二子坐标信息与第二坐标信息之间的第二距离，根据第一距离与第二距离的比较结果确定使用者的姿态。比如，第一距离小于第二距离，表明使用者的上部分距离ToF相机近，下部分距离ToF相机远，使用者与电子设备之间是一个前倾的关系，此时，调小位于电子设备上半部分的扬声器组件的音量，增大上半部分扬声器组件的音频延迟，从而保证电子设备上半部分的扬声器组件和下半部分的扬声器组件到达使用者耳朵的时间一致，从而提高扬声器组件声音效果。
可选的，将第一坐标信息划分为上下两个第一子坐标信息和第二子坐标信息后，分别获取第一子坐标信息中与各个扬声器组件的第二坐标信息之间的第一距离的第三均方差和第二子坐标信息中与各个扬声器组件的第二坐标信息之间的第二距离的第四均方差，将第三均方差和第四均方差与第二均方阈值进行比较，当第三均方差小于第二均方阈值时，表明使用者的上部分距离ToF相机近，当第四均方差大于第二均方阈值时，表明使用者的下部分距离ToF相机远，表明使用者与电子设备之间是一个前倾的关系，此时，对扬声器组件的调节过程与上述类似，此处不再赘述。通过均方差的方式可进一步提高准确度。
当将第一坐标信息划分为上、下、左、右或其他更多的子坐标信息时，具体的分析过程与上述类似，不再赘述。
本实施例通过将ToF相机采集的深度值图像逆映射到世界坐标系中，得到使用者在世界坐标系的具体第一坐标信息，由于ToF相机与扬声器组件的位置关系是固定的，扬声器组件在世界坐标系中的第二坐标信息也是固定的。通过计算第一坐标信息和第二坐标信息可以得到使用者每一点与各个扬声器组件的距离，进而进行准确的扬声器组件的声效调节，提高了音效调节的准确度。
由于使用者可能会背向电子设备或存在手掌等障碍物遮挡住电子设备，导致存在误差。为了提高扬声器组件调控的准确性，本申请提出以下解决方案。
本实施例的基于ToF相机的扬声器组件的控制方法中，步骤S10具体包括：使用ToF相机采集使用者的轮廓图像。
步骤S11具体包括：将所述轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像；在所述轮廓图像为人物面部图像时，使用ToF相机采集使用者与电子设备之间的相对位置关系，否则，ToF相机停止信息采集。具体的，可通过人工智能模型进行轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像，或通过将轮廓图像与预存图像进行匹配，以判断所述轮廓图像是否为人物面部图像，预存图像为人物的面部图像。
本实施例通过ToF相机采集使用者的轮廓图像，并与预存图像比较，在确定为人物面部图像时才采集使用者与电子设备的相对位置信息，进行扬声器组件的音效调节，避免了使用者背向电子设备或出现遮挡物等情况，避免出现误操作，提高了扬声器组件控制的精准度。
在可选的一实施例中，为了进一步提高扬声器组件控制的准确度，步骤S11具体还包括：在所述轮廓图像为人物面部图像时，根据所述轮廓图像提取使用者的耳朵图像；根据所述耳朵图像和所述深度值图像获取对应的第三坐标信息。
具体的，在所述轮廓图像为人物面部图像时，进一步提取轮廓图像中使用者的耳朵图像，根据所述耳朵图像位置获取深度值图像中对应的耳朵深度值图像；根据所述耳朵深度值图像中的距离值获取对应的世界坐标系中的使用者耳朵的第三坐标信息。
所述S11具体还包括：根据所述第三坐标信息和所述第二坐标信息获取所述使用者耳朵与所述扬声器组件的相对位置关系。
所述S12具体还包括：根据所述第三坐标信息和所述第二坐标信息获取所述使用者耳朵与所述扬声器组件的相对位置关系对所述扬声器组件进行控制。
具体的，根据所述使用者耳朵与所述扬声器组件的相对位置关系对所述扬声器组件进行以下至少一种调节：音频节奏、音量大小、延迟时间和循环次数。可选的，使用上述方法获取使用者的第一坐标信息P后，结合耳朵图像的位置，从第一坐标信息P中划分出耳朵的第三坐标信息，根据使用者耳朵的第三坐标信息和各个扬声器组件的第二坐标信息计算使用者耳朵与所述扬声器组件的相对距离，根据距离对各个扬声器组件进行调整。比如，根据使用者两耳与电子设备上各个扬声器组件之间的距离，以及当前播放的音频节凑，将距离较远的扬声器组件音量进行加大，延迟减小；而将距离较近的扬声器组件音量进行减小，延迟加大。或者，为了产生更加逼真的环绕立体声，可以根据使用者耳朵与各个扬声器组件之间的关系，依据距离远近，依次循环播放同一段音频内容，或者远近/近远交替方式；再或者，通过调节各个扬声器组件进行高/低、快/慢节凑的播放，从而产生一种动态效果。
可选的，还可以根据耳朵图像的第三坐标信息和各个扬声器组件的第二坐标信息判断所述扬声器的发声方向是否正对使用者的耳朵，再结合使用者与扬声器的相对具体，对各个扬声器组件进行调整。
可选的，还可以结合运动传感器，实时感知使用者耳朵与扬声器之间的距离变化趋势，比如前后左右摇摆，根据距离的变化趋势，控制不同的扬声器组件播放不同的节奏的声音，从而实现一种由远及近，由近到远，变幻的声音效果。
请参看图6，本发明一实施例的基于ToF相机的扬声器组件的控制装置的结构示意图。
图6中，本实施例的基于ToF相机的扬声器组件的控制装置，包括：
ToF相机1，用于采集使用者的深度值图像；所述ToF相机和所述扬声器组件位于电子设备上，所述扬声器的数量可以为一个也可以为多个，当扬声器的数量为多个时，需设置在所述电子设备的不同位置。ToF相机1采集深度值图像的原理与上述相同，此处不再赘述。
位置关系获取模块2，用于根据所述深度值图像获取使用者与电子设备之间的相对位置关系。由于深度值图像中每个像素点的深度值为使用者的某一点与ToF相机的距离值d，所以可以使用深度值图像中的深度值表征使用者与电子设备之间的相对位置关系。或者，通过深度值图像逆映射到世界坐标系，得到使用者的空间坐标信息，通过该空间坐标信息得到使用者与电子设备之间的相对位置关系。
控制模块3，用于根据所述相对位置关系对所述扬声器组件进行控制。可选的，对扬声器组件的控制包括调整以下参数中的至少一种：音频信号的相位校准参数、响度增益参数、滤波器的参数、均衡器的参数以及噪声参数。具体可根据所述相对位置关系控制不同部位的扬声器组件的声音大小，声音延迟等。通过对各个扬声器组件的参数进行调整，可以在使用者的位置产生达到较好的声场效果，从而使得使用者的头部在相对于电子设备的不同位置处，都能够体验到较好的声音效果，从而提高扬声器组件的发声效果。
在可选的一实施例中，所述位置关系获取模块2，还用于获取所述使用者的深度值图像中的深度值，所述深度值用于表征所述使用者与所述电子设备之间的相对位置关系；所述控制模块3，还用于获取所述深度值图像中所有深度值的均方差；若所述均方差小于第一均方阈值，则对所述扬声器组件进行相同调整。
具体的，获取整个使用者的深度值图像，计算该深度值图像中所有深度值的均方差，若均方差小于第一均方阈值，表示使用者画面很平，即使用者与ToF相机是正面相对，没有发生倾斜。则统一调整每个扬声器组件为一样的音量，比如，统一调大或调小所有扬声器组件音量等。可见，通过深度值图像中所有深度值的均方差可以判断出使用者是否正面面向电子设备。
在可选的一实施例中，所述控制模块3具体包括：图像划分单元，用于在所述均方差大于第一均方阈值时，根据所述扬声器组件的位置将所述深度值图像划分为若干子深度值图像；计算单元，用于获取所述子深度值图像的深度值并将所述深度值与第一距离阈值进行比较；所述控制单元，还用于根据所述深度值与所述第一距离阈值的比较结果对对应位置的所述扬声器组件进行控制。具体的，若所述子深度值小于第一距离阈值，则控制增大与所述子深度值图像对应的扬声器组件的音频延迟。
比如，在均方差大于第一均方阈值时，表示使用者画面不平，即使用者与ToF相机发生倾斜。此时，将深度值图像划分为若干子深度值图像，具体划分方式与上述类似，此处不再赘述。本实施例以将深度值图像划分为上下两个第一子深度值图像和第二子深度值图像为例进行示例性说明，将深度值图像划分为其他数量的子深度值图像的处理原理与此类似，不再赘述。
将深度值图像划分为上下两个第一子深度值图像和第二子深度值图像后，分别获取第一子深度值图像中各个像素点的第一深度值和第二子深度值图像中各个像素点的第二深度值，第一深度值和第二深度值即对应子深度值图的子深度值，将第一深度值和第二深度值与第一距离阈值进行比较，当第一深度值小于第一距离阈值时，表明第一子深度值图像的深度值小，使用者的上部分距离ToF相机近，当第二深度值大于第一距离阈值时，表明第二子深度值图像的深度值大，使用者的下部分距离ToF相机远，表明使用者与电子设备之间是一个前倾的关系，具体实现过程与上述类似，此处不再赘述。
上述方案直接利用深度值图像中的深度值数据，进行位置判断，但是深度值数据是使用者与ToF相机之间的距离，并不是使用者与扬声器组件的距离，因此，通过深度值图像进行扬声器组件控制的方案，控制的精准度需要进一步提高。
基于上述问题，本实施例提供一种基于ToF相机的扬声器组件的控制装置，所述位置关系获取模块2，还用于根据所述深度值图像中的深度值获取对应的所述使用者的第一坐标信息；获取扬声器组件的第二坐标信息；根据所述第一坐标信息和所述第二坐标信息获取所述使用者与所述扬声器组件的相对位置关系。第一坐标信息和第二坐标信息的获取过程与上述类似，此处不再赘述。根据所述第一坐标信息和所述第二坐标信息获取所述使用者与所述扬声器组件的相对位置关系。具体的，根据图5中使用者在世界坐标系的第一坐标信息P和扬声器组件在世界坐标系的第二坐标信息P1、P2…PN，进而建立了使用者跟扬声器之间的相对位置关系。即，通过两点坐标之间进行直接计算，得到两点之间的距离。利用ToF相机是面阵的特点，可以得到使用者中的每一点与扬声器组件之间的距离，该距离即表示使用者与扬声器组件之间的相对位置关系。可以根据使用者中的每一点与各个扬声器组件之间的距离对各个扬声器组件进行控制，以提高控制的准确性。
可选的，当使用者与各个扬声器组件的距离均大于第二距离阈值时，表示使用者距离扬声器组件较远，则对所有扬声器组件进行控制，比如，统一调整每个扬声器组件，统一调大所有扬声器组件音量等。反之，当使用者与各个扬声器组件的距离均小于第二距离阈值时，表示使用者距离扬声器组件较近，则对所有扬声器组件进行控制，比如，统一调整每个扬声器组件，统一调小所有扬声器组件音量等。
在可选的一实施例中，位置关系获取模块2还用于将所述使用者的第一坐标信息划分成若干子坐标信息；根据所述子坐标信息和所述第二坐标信息获取所述使用者与所述扬声器组件的相对位置关系。
比如，将第一坐标信息划分为上下两个第一子坐标信息和第二子坐标信息后，分别获取第一子坐标信息中与各个扬声器组件的第二坐标信息之间的第一距离和第二子坐标信息中与各个扬声器组件的第二坐标信息之间的第二距离，根据第一距离与第二距离的比较结果确定使用者的姿态。比如，第一距离小于第二距离，表明使用者的上部分距离ToF相机近，下部分距离ToF相机远，使用者与电子设备之间是一个前倾的关系，具体过程与上述类似，此处不再赘述。
本实施例通过将ToF相机采集的深度值图像逆映射到世界坐标系中，得到使用者在世界坐标系的具体第一坐标信息，由于ToF相机与扬声器组件的位置关系是固定的，扬声器组件在世界坐标系中的第二坐标信息也是固定的。通过计算第一坐标信息和第二坐标信息可以得到使用者每一点与各个扬声器组件的距离，进而进行准确的扬声器组件的声效调节，提高了音效调节的准确度。
由于使用者可能会背向电子设备或存在手掌等障碍物遮挡住电子设备，导致存在误差。为了提高扬声器组件调控的准确性，本申请提出以下解决方案。
本实施例的基于ToF相机的扬声器组件的控制装置，所述ToF相机1，还用于采集使用者的轮廓图像；所述位置关系获取模块2，还用于将所述轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像；在所述轮廓图像为人物面部图像时，使用ToF相机采集使用者与电子设备之间的相对位置关系。否则，ToF相机停止信息采集。具体的，可通过人工智能模型进行轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像，或通过将轮廓图像与预存图像进行匹配，以判断所述轮廓图像是否为人物面部图像，预存图像为人物的面部图像。本实施例通过ToF相机采集使用者的轮廓图像，并与预存图像比较，在确定为人物面部图像时才采集使用者与电子设备的相对位置信息，进行扬声器组件的音效调节，避免了使用者背向电子设备或出现遮挡物等情况，避免出现误操作，提高了扬声器组件控制的精准度。
在可选的一实施例中，为了进一步提高扬声器组件控制的准确度，所述位置关系获取模块2，还用于在所述轮廓图像为人物面部图像时，根据所述轮廓图像提取使用者的耳朵图像；根据所述耳朵图像和所述深度值图像获取对应的第三坐标信息。
具体的，在所述轮廓图像为人物面部图像时，进一步提取轮廓图像中使用者的耳朵图像，根据所述耳朵图像位置获取深度值图像中对应的耳朵深度值图像；根据所述耳朵深度值图像中的距离值获取对应的世界坐标系中的使用者耳朵的第三坐标信息。
所述位置关系获取模块2，还用于根据所述第三坐标信息和所述第二坐标信息获取所述使用者耳朵与所述扬声器组件的相对位置关系。
所述控制模块3，还用于根据所述第三坐标信息和所述第二坐标信息获取所述使用者耳朵与所述扬声器组件的相对位置关系对所述扬声器组件进行控制。
具体的，根据所述使用者耳朵与所述扬声器组件的相对位置关系对所述扬声器组件进行以下至少一种调节：音频节奏、音量大小、延迟时间和循环次数。比如，根据使用者耳朵的第三坐标信息和各个扬声器组件的第二坐标信息计算使用者耳朵与所述扬声器组件的相对距离，根据距离对各个扬声器组件进行调整。比如，根据使用者两耳与电子设备上各个扬声器组件之间的距离，以及当前播放的音频节凑，将距离较远的扬声器组件音量进行加大，延迟减小；而将距离较近的扬声器组件音量进行减小，延迟加大。或者，为了产生更加逼真的环绕立体声，可以根据使用者耳朵与各个扬声器组件之间的关系，依据距离远近，依次循环播放同一段音频内容，或者远近/近远交替方式；再或者，通过调节各个扬声器组件进行高/低、快/慢节凑的播放，从而产生一种动态效果。
可选的，还可以根据耳朵图像的第三坐标信息和各个扬声器组件的第二坐标信息判断所述扬声器的发声方向是否正对使用者的耳朵，再结合使用者与扬声器的相对具体，对各个扬声器组件进行调整。
可选的，还可以结合运动传感器，实时感知使用者耳朵与扬声器之间的距离变化趋势，比如前后左右摇摆，根据距离的变化趋势，控制不同的扬声器组件播放不同的节奏的声音，从而实现一种由远及近，由近到远，变幻的声音效果。
本申请还提供一种电子设备，包括存储器、处理器，存储器上存储有基于ToF相机的扬声器组件的控制方法的程序，该基于ToF相机的扬声器组件的控制方法的程序被处理器执行时实现上述任一实施例中的基于ToF相机的扬声器组件的控制方法的步骤。电子设备包括智能终端和各类音频设备。
本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有基于ToF相机的扬声器组件的控制方法的程序，该基于ToF相机的扬声器组件的控制方法的程序被处理器执行时实现上述任一实施例中的基于ToF相机的扬声器组件的控制方法的步骤。
在本申请提供的智能终端和计算机可读存储介质的实施例中，包含了上述基于ToF相机的扬声器组件的控制方法各实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不做再赘述。
可以理解，上述场景仅是作为示例，并不构成对于本申请实施例提供的技术方案的应用场景的限定，本申请的技术方案还可应用于其他场景。例如，本领域普通技术人员可知，随着***架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (16)
1.一种基于ToF相机的扬声器组件的控制方法，其特征在于，包括：
S10、使用ToF相机采集使用者的深度值图像，所述ToF相机和所述扬声器组件位于电子设备上；
S11、根据所述深度值图像获取使用者与电子设备之间的相对位置关系；
S12、根据所述相对位置关系对所述扬声器组件进行控制。
2.如权利要求1所述的基于ToF相机的扬声器组件的控制方法，其特征在于，
步骤S11具体包括：获取所述深度值图像中的深度值，所述深度值用于表征使用者与电子设备之间的相对位置关系；
步骤S12具体包括：获取所述深度值图像中所有深度值的均方差；若所述均方差小于第一均方阈值，则对所述扬声器组件进行相同调整。
3.如权利要求2所述的基于ToF相机的扬声器组件的控制方法，其特征在于，
步骤S11还包括：在所述均方差大于第一均方阈值时，根据所述扬声器组件的位置将所述深度值图像划分为若干子深度值图像；获取所述子深度值图像的子深度值；若所述子深度值小于第一距离阈值，则控制增大与所述子深度值图像对应的扬声器组件的音频延迟。
4.如权利要求1所述的基于ToF相机的扬声器组件的控制方法，其特征在于，步骤S11具体包括：
S110、根据所述深度值图像中的深度值获取对应的所述使用者的第一坐标信息；
S111、获取扬声器组件的第二坐标信息；
S112、根据所述第一坐标信息和所述第二坐标信息获取所述使用者与所述扬声器组件的相对位置关系。
5.如权利要求4所述的基于ToF相机的扬声器组件的控制方法，其特征在于，步骤S112具体包括：将所述使用者的第一坐标信息划分成若干子坐标信息；根据所述子坐标信息和所述第二坐标信息获取所述使用者与所述扬声器组件的相对位置关系。
6.如权利要求4所述的基于ToF相机的扬声器组件的控制方法，其特征在于，步骤S10具体包括：使用ToF相机采集使用者的轮廓图像；
步骤S11具体包括：将所述轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像；在所述轮廓图像为人物面部图像时，使用ToF相机采集使用者与电子设备之间的相对位置关系。
7.如权利要求6所述的基于ToF相机的扬声器组件的控制方法，其特征在于，所述S11具体还包括：
在所述轮廓图像为人物面部图像时，根据所述轮廓图像提取使用者的耳朵图像；根据所述耳朵图像和所述深度值图像获取对应的第三坐标信息；
根据所述第三坐标信息和所述第二坐标信息获取所述使用者耳朵与所述扬声器组件的相对位置关系；
所述S12具体还包括：
根据所述第三坐标信息和所述第二坐标信息获取所述使用者耳朵与所述扬声器组件的相对位置关系对所述扬声器组件进行控制。
8.如权利要求7所述的基于ToF相机的扬声器组件的控制方法，其特征在于，步骤S12具体还包括：
根据所述使用者耳朵与所述扬声器组件的相对位置关系对所述扬声器组件进行以下至少一种调节：音频节奏、音量大小、延迟时间和循环次数。
9.一种基于ToF相机的扬声器组件的控制装置，其特征在于，包括：
ToF相机，用于采集使用者的深度值图像；所述ToF相机和所述扬声器组件位于电子设备上；
位置关系获取模块，用于根据所述深度值图像获取使用者与电子设备之间的相对位置关系；
控制模块，用于根据所述相对位置关系对所述扬声器组件进行控制。
10.如权利要求9所述的基于ToF相机的扬声器组件的控制装置，其特征在于，
所述位置关系获取模块，还用于获取所述使用者的深度值图像中的深度值，所述深度值用于表征所述使用者与所述电子设备之间的相对位置关系；
所述控制模块，还用于获取所述深度值图像中所有深度值的均方差；若所述均方差小于第一均方阈值，则对所述扬声器组件进行相同调整。
11.如权利要求10所述的基于ToF相机的扬声器组件的控制装置，其特征在于，所述控制模块具体包括：
图像划分单元，用于在所述均方差大于第一均方阈值时，根据所述扬声器组件的位置将所述深度值图像划分为若干子深度值图像；
计算单元，用于获取所述子深度值图像的深度值并将所述深度值与第一距离阈值进行比较；
所述控制单元，用于在所述子深度值小于第一距离阈值，则控制增大与所述子深度值图像对应的扬声器组件的音频延迟。
12.如权利要求9所述的基于ToF相机的扬声器组件的控制装置，其特征在于，所述位置关系获取模块，还用于根据所述深度值图像中的深度值获取对应的所述使用者的第一坐标信息；获取扬声器组件的第二坐标信息；根据所述第一坐标信息和所述第二坐标信息获取所述使用者与所述扬声器组件的相对位置关系。
13.如权利要求12所述的基于ToF相机的扬声器组件的控制装置，其特征在于，所述ToF相机，还用于采集使用者的轮廓图像；
所述位置关系获取模块，还用于将所述轮廓图像与预存图像进行比较以判断所述轮廓图像是否为人物面部图像；
在所述轮廓图像为人物面部图像时，使用ToF相机采集使用者与电子设备之间的相对位置关系。
14.如权利要求13所述的基于ToF相机的扬声器组件的控制装置，其特征在于，所述位置关系获取模块，还用于在所述轮廓图像为人物面部图像时，根据所述轮廓图像提取使用者的耳朵图像；根据所述耳朵图像和所述深度值图像获取对应的第三坐标信息；根据所述第三坐标信息和所述第二坐标信息获取所述使用者耳朵与所述扬声器组件的相对位置关系；
所述控制模块，还用于根据所述第三坐标信息和所述第二坐标信息获取所述使用者耳朵与所述扬声器组件的相对位置关系对所述扬声器组件进行控制。
15.一种电子设备，其特征在于，所述电子设备包括：存储器、处理器，其中，所述存储器上存储有基于ToF相机的扬声器组件的控制方法的程序，所述基于ToF相机的扬声器组件的控制方法的程序被所述处理器执行时实现如权利要求1至9中任一项所述的基于ToF相机的扬声器组件的控制方法的步骤。
16.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的基于ToF相机的扬声器组件的控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110796652.0A CN113504890A (zh) | 2021-07-14 | 2021-07-14 | 基于ToF相机的扬声器组件的控制方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110796652.0A CN113504890A (zh) | 2021-07-14 | 2021-07-14 | 基于ToF相机的扬声器组件的控制方法、装置、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113504890A true CN113504890A (zh) | 2021-10-15 |
Family
ID=78013301
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110796652.0A Pending CN113504890A (zh) | 2021-07-14 | 2021-07-14 | 基于ToF相机的扬声器组件的控制方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113504890A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070019815A1 (en) * | 2005-07-20 | 2007-01-25 | Sony Corporation | Sound field measuring apparatus and sound field measuring method |
| CN104936125A (zh) * | 2015-06-18 | 2015-09-23 | 三星电子（中国）研发中心 | 环绕立体声实现方法及装置 |
| US20160165337A1 (en) * | 2014-12-08 | 2016-06-09 | Harman International Industries, Inc. | Adjusting speakers using facial recognition |
| CN106713793A (zh) * | 2015-11-18 | 2017-05-24 | 天津三星电子有限公司 | 一种声音播放控制方法及其装置 |
| CN106792341A (zh) * | 2016-11-23 | 2017-05-31 | 广东小天才科技有限公司 | 一种音频输出方法、装置及终端设备 |
| CN109598237A (zh) * | 2018-12-04 | 2019-04-09 | 青岛小鸟看看科技有限公司 | 一种疲劳状态检测方法和装置 |
| CN111145167A (zh) * | 2019-12-30 | 2020-05-12 | 杭州艾芯智能科技有限公司 | 平整度检测方法、装置、计算机设备和存储介质 |
| CN111160178A (zh) * | 2019-12-19 | 2020-05-15 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
| CN111866674A (zh) * | 2019-04-25 | 2020-10-30 | 北京小米移动软件有限公司 | 扬声器组件控制方法、装置及存储介质 |
| CN112261188A (zh) * | 2020-10-23 | 2021-01-22 | 维沃移动通信有限公司 | 电子设备、声场调节方法及声场调节装置 |
| CN112509151A (zh) * | 2020-12-11 | 2021-03-16 | 华中师范大学 | 一种教学场景中虚拟对象的真实感生成方法 |
-
2021
- 2021-07-14 CN CN202110796652.0A patent/CN113504890A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070019815A1 (en) * | 2005-07-20 | 2007-01-25 | Sony Corporation | Sound field measuring apparatus and sound field measuring method |
| US20160165337A1 (en) * | 2014-12-08 | 2016-06-09 | Harman International Industries, Inc. | Adjusting speakers using facial recognition |
| CN104936125A (zh) * | 2015-06-18 | 2015-09-23 | 三星电子（中国）研发中心 | 环绕立体声实现方法及装置 |
| CN106713793A (zh) * | 2015-11-18 | 2017-05-24 | 天津三星电子有限公司 | 一种声音播放控制方法及其装置 |
| CN106792341A (zh) * | 2016-11-23 | 2017-05-31 | 广东小天才科技有限公司 | 一种音频输出方法、装置及终端设备 |
| CN109598237A (zh) * | 2018-12-04 | 2019-04-09 | 青岛小鸟看看科技有限公司 | 一种疲劳状态检测方法和装置 |
| CN111866674A (zh) * | 2019-04-25 | 2020-10-30 | 北京小米移动软件有限公司 | 扬声器组件控制方法、装置及存储介质 |
| CN111160178A (zh) * | 2019-12-19 | 2020-05-15 | 深圳市商汤科技有限公司 | 图像处理方法及装置、处理器、电子设备及存储介质 |
| CN111145167A (zh) * | 2019-12-30 | 2020-05-12 | 杭州艾芯智能科技有限公司 | 平整度检测方法、装置、计算机设备和存储介质 |
| CN112261188A (zh) * | 2020-10-23 | 2021-01-22 | 维沃移动通信有限公司 | 电子设备、声场调节方法及声场调节装置 |
| CN112509151A (zh) * | 2020-12-11 | 2021-03-16 | 华中师范大学 | 一种教学场景中虚拟对象的真实感生成方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨振等: "工业机器人协作应用基", 31 May 2020, 北京理工大学出版社, pages: 57 - 58 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11082791B2 (en) | Head-related impulse responses for area sound sources located in the near field | |
| US9544706B1 (en) | Customized head-related transfer functions | |
| US10721581B1 (en) | Head-related transfer function (HRTF) personalization based on captured images of user | |
| US10721521B1 (en) | Determination of spatialized virtual acoustic scenes from legacy audiovisual media | |
| JP7442494B2 (ja) | 光学式捕捉によるパーソナライズされたｈｒｔｆ | |
| US9495936B1 (en) | Image correction based on projection surface color | |
| US20210329405A1 (en) | Audio processing | |
| US11521591B2 (en) | Apparatus and method for processing volumetric audio | |
| CN112369048B (zh) | 音频装置和其操作的方法 | |
| CN114339194A (zh) | 投影显示方法、装置、投影设备及计算机可读存储介质 | |
| US20220159401A1 (en) | Image-based soundfield rendering | |
| US11943602B1 (en) | Systems and methods for spatial update latency compensation for head-tracked audio | |
| CN113366863B (zh) | 补偿头戴式装置对头部相关传递函数的影响 | |
| US20210397126A1 (en) | System and method for holographic communication | |
| Stitt et al. | Sensitivity analysis of pinna morphology on head-related transfer functions simulated via a parametric pinna model | |
| CN113504890A (zh) | 基于ToF相机的扬声器组件的控制方法、装置、设备和介质 | |
| WO2019244315A1 (ja) | 出力制御装置、出力制御システム、および出力制御方法 | |
| US11234090B2 (en) | Using audio visual correspondence for sound source identification | |
| KR20220116966A (ko) | 화면 재생률을 제어하는 방법 및 이를 지원하는 전자 장치 | |
| WO2019174442A1 (zh) | 拾音设备、声音输出方法、装置、存储介质及电子装置 | |
| US9355431B1 (en) | Image correction for physical projection-surface irregularities | |
| US20230239626A1 (en) | Audio device applications | |
| GB2609014A (en) | Audio personalisation method and system | |
| CN108632513A (zh) | 智能照相机 | |
| ZHU | A method for HRTF personalization: weighted sparse representation synthesis of HRTFs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |