CN113709607A - 声信号传播方法、***和计算机可读存储介质 - Google Patents

声信号传播方法、***和计算机可读存储介质 Download PDF

Info

Publication number
CN113709607A
CN113709607A CN202110960268.XA CN202110960268A CN113709607A CN 113709607 A CN113709607 A CN 113709607A CN 202110960268 A CN202110960268 A CN 202110960268A CN 113709607 A CN113709607 A CN 113709607A
Authority
CN
China
Prior art keywords
signal
voice signal
enhanced
local
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110960268.XA
Other languages
English (en)
Inventor
邹建财
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jingwah Information Technology Co ltd
Original Assignee
Shenzhen Jingwah Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jingwah Information Technology Co ltd filed Critical Shenzhen Jingwah Information Technology Co ltd
Priority to CN202110960268.XA priority Critical patent/CN113709607A/zh
Publication of CN113709607A publication Critical patent/CN113709607A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785—Methods, e.g. algorithms; Devices
    • G10K11/17853—Methods, e.g. algorithms; Devices of the filter
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787—General system configurations
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Telephonic Communication Services (AREA)

Abstract

一种声信号传播方法、***和计算机可读存储介质，以提升人声信号质量，将本地的声音清晰地传到远程端。所述方法包括：向级联设备的非主设备发送同步信号，以使级联设备中每个非主设备将每个非主设备对信号进行净化增强处理后所得增强人声信号和非主设备中上一级设备对信号进行净化增强处理后所得增强人声信号同步并叠加；接收来自远程端的远程端信号，其中，远程端信号包括人声信号；对远程端信号进行净化增强处理，得到本地增强人声信号；播放本地增强人声信号并将本地增强人声信号传送给非主设备作为该非主设备进行回声消除的远端参考信号。本申请的技术方案可以提升人声信号质量，将本地的声音清晰地传送到远程端。

Description

声信号传播方法、***和计算机可读存储介质
技术领域
本发明涉及声信号处理领域，特别涉及一种声信号传播方法、***和计算机可读存储介质。
背景技术
随着经济社会的发展，越来越多的场合需要拾音设备或***来扩音。例如，在一些重要会议、旅游景点或紧急状态的现场等，都需要通过扩音来实现信息的有效传播。在上述需要扩音的场合，相关技术是通过有线方式，将多个诸如麦克风之类的拾音设备连接起来，以期通过这些级联的拾音设备扩大拾音范围。然而，相关技术的缺陷在于拾音效果不佳，在需要实时通话的场合，远程端的用户仍然无法实时、清晰地听到对端用户的声音。
发明内容
本申请提供一种声信号传播方法、***和计算机可读存储介质，以提升人声信号质量，将本地的声音清晰地传到远程端。
一方面，本申请提供了一种声信号传播方法，应用于级联设备中主设备，所述方法包括：
向所述级联设备中非主设备发送同步信号，以使所述级联设备中每个非主设备将所述每个非主设备对信号进行净化增强处理后所得增强人声信号和所述非主设备中上一级设备对信号进行净化增强处理后所得增强人声信号同步；
接收来自远程端的远程端信号，所述远程端信号包括人声信号；
对所述远程端信号进行净化增强处理，得到本地增强人声信号；
播放所述本地增强人声信号并将所述本地增强人声信号传送给所述非主设备的下一级设备作为所述下一级设备进行回声消除的远端参考信号。
另一方面，本申请提供了一种声信号传播方法，应用于级联设备中主设备，所述方法包括：
对所述主设备的拾音装置拾得信号进行净化增强处理，得到本地增强人声信号；
将所述本地增强人声信号和所述主设备的下一级设备传送的下级增强人声信号同步后叠加，得到终极增强人声信号；
向远程端发送所述终极增强人声信号。
第三方面，本申请提供了一种声信号传播方法，应用于级联设备中非主设备，所述方法包括：
接收所述级联设备中主设备发送的同步信号；
对所述非主设备的上一级设备的上级增强人声信号进行净化增强处理，得到本地增强人声信号；
通过所述同步信号将所述上级增强人声信号与所述本地增强人声信号同步；
若所述非主设备为所述级联设备的中间级设备，则播放与所述上级增强人声信号同步的本地增强人声信号并将所述本地增强人声信号传送至所述中间级设备的下一级设备。
若所述非主设备为所述级联设备的末级设备，则播放与所述上级增强人声信号同步的本地增强人声信号。
第四方面，本申请提供了一种声信号传播方法，应用于级联设备的非主设备，所述方法包括：
接收所述级联设备中主设备发送的同步信号；
若所述非主设备为所述级联设备的中间级设备，则对所述中间级设备的拾音装置拾得信号进行净化增强处理，得到第一本地增强人声信号；
通过所述同步信号将所述第一本地增强人声信号和所述级联设备中下一级设备的下级增强人声信号同步并叠加后得到叠加增强人声信号；
向所述中间级设备的上一级设备传送所述叠加增强人声信号；
若所述非主设备为所述级联设备的末级设备，则对所述末级设备的拾音装置拾得信号进行净化增强处理，得到第二本地增强人声信号；
向所述末级设备的上一级设备传送所述第二本地增强人声信号。
第五方面，本申请提供了一种声信号传播***，所述***包括级联设备，所述级联设备包括主设备和非主设备，所述非主设备包括中间级设备和末级设备；
所述主设备，用于向所述非主设备发送同步信号，以使每个所述非主设备将所述每个非主设备对信号进行净化增强处理后所得增强人声信号和所述非主设备中上一级设备对信号进行净化增强处理后所得增强人声信号同步；接收来自远程端的远程端信号，所述远程端信号包括人声信号；对所述远程端信号进行净化增强处理，得到第一本地增强人声信号；播放所述第一本地增强人声信号并将所述第一本地增强人声信号传送给所述非主设备的下一级设备作为所述下一级设备进行回声消除的远端参考信号；
所述非主设备，用于接收所述级联设备的主设备发送的同步信号；对所述非主设备的上一级设备的上级增强人声信号进行净化增强处理，得到第二本地增强人声信号；通过所述同步信号将所述上级增强人声信号与所述第二本地增强人声信号同步；若所述非主设备为所述级联设备的中间级设备，则播放与所述上级增强人声信号同步的本地增强人声信号并将所述本地增强人声信号传送至所述中间级设备的下一级设备；若所述非主设备为所述级联设备的末级设备，则播放与所述上级增强人声信号同步的本地增强人声信号。
第六方面，本申请提供了一种声信号传播***，所述***包括级联设备，所述级联设备包括主设备和非主设备，所述非主设备包括中间级设备和末级设备；
所述主设备，用于对所述主设备的拾音装置拾得信号进行净化增强处理，得到本地增强人声信号；将所述本地增强人声信号和所述主设备的下一级设备传送的下级增强人声信号同步后叠加，得到终极增强人声信号；向远程端发送所述终极增强人声信号；
所述非主设备，用于接收所述主设备发送的同步信号；若所述非主设备为所述级联设备的中间级设备，则对所述中间级设备的拾音装置拾得信号进行净化增强处理，得到第一本地增强人声信号；通过所述同步信号将所述第一本地增强人声信号和所述级联设备中下一级设备的下级增强人声信号同步并叠加后得到叠加增强人声信号；向所述中间级设备的上一级设备传送所述叠加增强人声信号；若所述非主设备为所述级联设备的末级设备，则对所述末级设备的拾音装置拾得信号进行净化增强处理，得到第二本地增强人声信号；向所述末级设备的上一级设备传送所述第二本地增强人声信号。
第七方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述声信号传播方法的技术方案的步骤。
从上述本申请提供的技术方案可知，一方面，由于将远程端信号进行净化增强处理，得到了本地增强人声信号，人声信号质量得以提升，因此，使得在大型场合的用户能够清晰地听到来自远程端的人声信号；另一方面，向级联设备中非主设备发送同步信号，以使每个非主设备将所述每个非主设备对信号进行净化增强处理后所得增强人声信号和所述非主设备中上一级设备对信号进行净化增强处理后所得增强人声信号同步，可以使得信号不产生延迟；第三方面，将主设备得到的增强人声信号与主设备的下一级设备传送的下级增强人声信号同步并叠加得到的终极增强人声信号向远程端发送，能够确保将本地的声音清晰地传到远程端。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的声信号传播方法的流程图；
图2是本申请另一实施例提供的声信号传播方法的流程图；
图3是本申请另一实施例提供的声信号传播方法的流程图；
图4是本申请另一实施例提供的声信号传播方法的流程图；
图5a是本申请实施例提供的设备级联示意图；
图5b是本申请另一实施例提供的设备级联示意图；
图5c是本申请另一实施例提供的设备级联示意图；
图5d是本申请另一实施例提供的设备级联示意图；
图6是本申请实施例提供的声信号传播***的结构示意图；
图7是本申请实施例提供的声信号传播***的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本说明书中，诸如第一和第二这样的形容词仅可以用于将一个元素或动作与另一元素或动作进行区分，而不必要求或暗示任何实际的这种关系或顺序。在环境允许的情况下，参照元素或部件或步骤(等)不应解释为局限于仅元素、部件、或步骤中的一个，而可以是元素、部件、或步骤中的一个或多个等。
在本说明书中，为了便于描述，附图中所示的各个部分的尺寸并不是按照实际的比例关系绘制的。
如附图1，本申请提出了一种声信号传播方法，该方法可以应用于级联设备的主设备，该主设备至少包括播音装置和拾音装置；附图1示例的方法应用于主设备在信号下行时，即远端信号从远端发出至级联设备的末级设备时的处理过程；附图1示例的方法主要包括步骤S101至步骤S104，详述如下：
步骤S101：向级联设备的非主设备发送同步信号，以使级联设备中每个非主设备将每个非主设备对信号进行净化增强处理后所得增强人声信号和非主设备中上一级设备对信号进行净化增强处理后所得增强人声信号同步并叠加。
在本申请实施例中，级联设备的主设备是与远程端建立通信连接，能够接收其传送过来的远程端信号或者将信号向远程端发送的设备。主设备向级联设备的非主设备发送同步信号，使得级联设备中每个非主设备将每个非主设备对信号进行净化增强处理后所得增强人声信号和非主设备中上一级设备对信号进行净化增强处理后所得增强人声信号同步并叠加，其中，信号同步意味着两种信号的相位等参数相同，如此，在信号进行叠加时不至于使得一种信号成为另一种信号的噪声，而是使得叠加后的信号强度更大，在播放出去之后更加清晰。
步骤S102：接收来自远程端的远程端信号，其中，远程端信号包括人声信号。
需要说明的是，该远程端信号包括人声信号，还可能包含远程端的噪音信号；当主设备接收到这些远程端信号时，除了远程端的噪音信号，还可能夹杂主设备的环境噪音信号，其他噪音信号。
步骤S103：对远程端信号进行净化增强处理，得到本地增强人声信号。
如前所述，来自远程端的远程端信号除了包括人声信号之外，还可能包含各种噪音信号，因此，需要远程端信号进行净化增强处理，得到本地增强人声信号。作为本申请一个实施例，对远程端信号进行净化增强处理，得到本地增强人声信号可以是：对远程端信号进行滤波处理，以得到远程端降噪信号；对远程端降噪信号放大，以得到本地增强人声信号。上述实施例中，对远程端信号进行滤波处理可以是根据噪音信号的特征，选用滤波参数(例如，截止频率等)与该特征匹配的滤波器滤掉噪音信号得到远程端降噪信号，而对远程端降噪信号放大，以得到本地增强人声信号具体可以是：通过提取远程端降噪信号中声纹特征，识别人声信号；根据目标增益参数对人声信号放大，以得到本地增强人声信号。
步骤S104：播放本地增强人声信号并将本地增强人声信号传送给非主设备作为该非主设备进行回声消除的远端参考信号。
需要说明的是，步骤S101至步骤S104是主设备在信号下行时的处理过程，然后，回声消除是针对信号上行时进行的处理，换言之，将本地增强人声信号传送给非主设备，非主设备进行回声消除是指信号在上行时(信号从设备传送至远程端)非主设备进行回声消除，具体回声消除方式可以参阅后续相关描述。
从上述附图1示例的声信号传播方法可知，一方面，由于将远程端信号进行净化增强处理，得到了本地增强人声信号，人声信号质量得以提升，因此，使得在大型场合的用户能够清晰地听到来自远程端的人声信号；另一方面，向级联设备中非主设备发送同步信号，以使每个非主设备将所述每个非主设备对信号进行净化增强处理后所得增强人声信号和所述非主设备中上一级设备对信号进行净化增强处理后所得增强人声信号同步，可以使得信号不产生延迟；第三方面，将主设备得到的增强人声信号与主设备的下一级设备传送的下级增强人声信号同步并叠加得到的终极增强人声信号向远程端发送，能够确保将本地的声音清晰地传到远程端。
如附图2，本申请提出了一种声信号传播方法，该方法可以应用于级联设备的主设备，该主设备至少包括播音装置和拾音装置；附图2示例的方法应用于主设备在信号上行时，即级联设备的非主设备将信号处理后传送至级联设备的主设备，由主设备传送至远端时的处理过程；附图2示例的方法主要包括步骤S201至步骤S203，详述如下：
步骤S201：对主设备的拾音装置拾得信号进行净化增强处理，得到本地增强人声信号。
在本申请实施例中，主设备的拾音装置可以是各种类型的麦克风。对主设备的拾音装置拾得信号进行净化增强处理，得到本地增强人声信号与前述实施例对远程端信号进行净化增强处理类似，可以是：以来自远程端的远程端信号作为远端参考信号对主设备的拾音装置拾得信号进行回声消除；对所述进行回声消除后的信号进行滤波处理，以得到本地降噪信号；对该本地降噪信号放大，以得到本地增强人声信号；其中，对本地降噪信号放大，以得到本地增强人声信号可以是：通过提取本地降噪信号中声纹特征，识别人声信号；根据目标增益参数对人声信号放大，以得到本地增强人声信号。至于以来自远程端的远程端信号作为远端参考信号对主设备的拾音装置拾得信号进行回声消除，具体可以是：从主设备的拾音装置拾得信号中提取低频信号和高频信号；以来自远程端的远程端信号作为远端参考信号对提取的低频信号进行回声抑制处理，获得误差观测值；将该误差观测值与提取的高频信号合成为高频误差观测值；根据远端参考信号对高频误差观测值进行残留回声抑制处理，获得消除回声后的信号。上述实施例中，以远程端信号作为远端参考信号对提取的低频信号进行回声抑制处理，获得误差观测值具体可以是：将远端参考信号输入回声模型，获得线性回声信号；对该线性回声信号进行反相处理；根据反相处理后的线性回声信号，对低频信号进行回声抑制处理，获得误差观测值。上述实施例中，根据远端参考信号对高频误差观测值进行残留回声抑制处理，获得消除回声后的信号可以是：将处理远端参考信号所得的线性回声信号转换为高频线性回声信号；根据高频线性回声信号，对高频误差观测值进行残留回声估计，获得残留回声信号；对所获得的残留回声信号进行反相处理；根据反相处理后的残留回声信号，对高频误差观测值进行残留回声抑制处理，获得消除回声后的信号。
步骤S202：将本地增强人声信号和主设备的下一级设备传送的下级增强人声信号同步并叠加，得到终极增强人声信号。
需要说明的是，下一级设备传送的下级增强人声信号，下一级设备获取该下级增强人声信号的过程与主设备得到本地增强人声信号的过程相似，例如，也包含对拾音装置拾得信号进行滤波处理，以得到降噪信号；对该降噪信号放大，以得到本地增强人声信号，等等，不做赘述。此处将主设备的本地增强人声信号和主设备的下一级设备传送的下级增强人声信号同步，主要是指将两种增强人声信号在相位、时间戳等参数上对齐，如此，所得终极增强人声信号的能量较大，反映至人耳中就是声音的清晰度较高。
步骤S203：向远程端发送终极增强人声信号。
主设备可以通过与远程端的通信连接，将终极增强人声信号发送至远程端。
从上述附图2示例的声信号传播方法可知，一方面，由于将远程端信号进行净化增强处理，得到了本地增强人声信号，人声信号质量得以提升，因此，使得在大型场合的用户能够清晰地听到来自远程端的人声信号；另一方面，向级联设备中非主设备发送同步信号，以使每个非主设备将所述每个非主设备对信号进行净化增强处理后所得增强人声信号和所述非主设备中上一级设备对信号进行净化增强处理后所得增强人声信号同步，可以使得信号不产生延迟；第三方面，将主设备得到的增强人声信号与主设备的下一级设备传送的下级增强人声信号同步并叠加得到的终极增强人声信号向远程端发送，能够确保将本地的声音清晰地传到远程端。
如附图3，本申请提出了一种声信号传播方法，该方法可以应用于级联设备的非主设备，该非主设备至少包括播音装置和拾音装置；附图3示例的方法应用于非主设备在信号下行时，即远端信号从远端发出至级联设备的末级设备时的处理过程；附图3示例的方法主要包括步骤S301至步骤S305，详述如下：
步骤S301：接收级联设备的主设备发送的同步信号。
在本申请实施例中，主设备向级联设备的非设备发送的同步信号用于级联设备(包括主设备和非主设备)之间信号的同步，由级联设备的非主设备接收。
步骤S302：对非主设备的上一级设备的上级增强人声信号进行净化增强处理，得到本地增强人声信号。
在本申请实施例中，上一级设备对上级增强人声信号的获取过程与前述实施例中主设备对本地增强人声信号的过去过程相似，例如，可以是上一级设备对其拾音装置拾得信号进行滤波处理，以得到降噪信号；对该降噪信号放大，以得到上级增强人声信号，其中，对该降噪信号放大，以得到上级增强人声信号可以是通过提取该降噪信号中声纹特征，识别人声信号；根据目标增益参数对人声信号放大，以得到上级增强人声信号。
步骤S303：通过同步信号，将上一级设备的上级增强人声信号与本地增强人声信号同步。
步骤S304：若非主设备为级联设备的中间级设备，则播放与上级增强人声信号同步的本地增强人声信号并将本地增强人声信号传送至中间级设备的下一级设备。
在本申请实施例中，非主设备可能为级联设备的中间级设备，也可能是级联设备的末级设备。当非主设备为级联设备的中间级设备时，通过中间级设备的播音装置播放与上级增强人声信号同步的本地增强人声信号，并将与上级增强人声信号同步的本地增强人声信号传送至中间级设备的下一级设备，由中间级设备的下一级设备再对该非主设备处理得到的本地增强人声信号进行处理，之后，将处理后的信号传送至该下一级设备的下一级设备，再由该下一级设备的下一级设备执行如步骤S310至步骤S304相似的处理，直至信号传送至级联设备的末级设备。
步骤S305：若非主设备为级联设备的末级设备，则播放与上级增强人声信号同步的本地增强人声信号。
由于级联设备的末级设备之后再无其他设备，因此，当非主设备为级联设备的末级设备时，直接播放与上级增强人声信号同步的本地增强人声信号。
从上述附图3示例的声信号传播方法可知，一方面，由于将远程端信号进行净化增强处理，得到了本地增强人声信号，人声信号质量得以提升，因此，使得在大型场合的用户能够清晰地听到来自远程端的人声信号；另一方面，向级联设备中非主设备发送同步信号，以使每个非主设备将所述每个非主设备对信号进行净化增强处理后所得增强人声信号和所述非主设备中上一级设备对信号进行净化增强处理后所得增强人声信号同步，可以使得信号不产生延迟；第三方面，将主设备得到的增强人声信号与主设备的下一级设备传送的下级增强人声信号同步并叠加得到的终极增强人声信号向远程端发送，能够确保将本地的声音清晰地传到远程端。
如附图4，本申请提出了一种声信号传播方法，该方法可以应用于级联设备的非主设备，该非主设备至少包括播音装置和拾音装置；附图4示例的方法应用于非主设备在信号上行时，即级联设备的非主设备将信号处理后传送至级联设备的主设备，由主设备传送至远端时的处理过程；附图4示例的方法主要包括步骤S401至步骤S406，详述如下：
步骤S401：接收级联设备的主设备发送的同步信号。
步骤S401的实现和前述实施例的步骤S301的实现相同，相关术语的解释、说明等可以参阅前述实施例的说明，此处不做赘述。
步骤S402：若非主设备为级联设备的中间级设备，则对中间级设备的拾音装置拾得信号进行净化增强处理，得到第一本地增强人声信号。
在本申请实施例中，对中间级设备的拾音装置拾得信号进行净化增强处理，除了如前述实施例的级联设备对拾音装置拾得信号进行降噪和放大人声信号等处理之外，还包括对回声的消除，即，先对中间级设备的拾音装置拾得信号进行回声消除，此后再对消除回声后的信号进行降噪和放大人声信号，其中，对消除回声后的信号进行降噪和放大人声信号与前述实施例的级联设备对拾音装置拾得信号进行降噪和放大人声信号相似，此处不做赘述，而对中间级设备的拾音装置拾得信号进行回声消除可以是：从中间级设备的拾音装置拾得信号中提取低频信号和高频信号；以来自远端的远程端信号作为远端参考信号对低频信号进行回声抑制处理，获得误差观测值；将误差观测值与高频信号合成为高频误差观测值；根据远端参考信号对高频误差观测值进行残留回声抑制处理，获得消除回声后的信号。上述实施例中，以远程端信号作为远端参考信号对提取的低频信号进行回声抑制处理，获得误差观测值具体可以是：将远端参考信号输入回声模型，获得线性回声信号；对该线性回声信号进行反相处理；根据反相处理后的线性回声信号，对低频信号进行回声抑制处理，获得误差观测值。上述实施例中，根据远端参考信号对高频误差观测值进行残留回声抑制处理，获得消除回声后的信号可以是：将处理远端参考信号所得的线性回声信号转换为高频线性回声信号；根据高频线性回声信号，对高频误差观测值进行残留回声估计，获得残留回声信号；对所获得的残留回声信号进行反相处理；根据反相处理后的残留回声信号，对高频误差观测值进行残留回声抑制处理，获得消除回声后的信号。
步骤S403：通过同步信号，将第一本地增强人声信号和中间级设备的下一级设备的下级增强人声信号同步并叠加后得到叠加增强人声信号。
步骤S404：向中间级设备的上一级设备传送叠加增强人声信号。
中间级设备的上一级设备收到叠加增强人声信号后，对叠加增强人声信号进行与中间级设备进行前述步骤S401至步骤S403相同的操作后，再向其上一级设备传送其在本地处理后得到的叠加增强人声信号，直至叠加增强人声信号传送至级联设备的主设备。
步骤S405：若非主设备为级联设备的末级设备，则对末级设备的拾音装置拾得信号进行净化增强处理，得到第二本地增强人声信号。
在本申请实施例中，对末级设备的拾音装置拾得信号进行净化增强处理，与前述实施例的中间级设备对拾音装置拾得信号进行回声消除、降噪和放大人声信号等处理过程分别相似，可参阅前述实施例的说明，此处不做赘述。
步骤S406：向末级设备的上一级设备传送第二本地增强人声信号。
由于末级设备不再级联其他设备，因此，末级设备只需要直接向末级设备的上一级设备传送第二本地增强人声信号，然后，由末级设备的上一级设备执行如前述实施例的步骤S401至步骤S404相似的操作，直至信号传送至级联设备的主设备，由主设备执行如前述实施例步骤S201至步骤S204相似的操作。
从上述附图4示例的声信号传播方法可知，一方面，由于将远程端信号进行净化增强处理，得到了本地增强人声信号，人声信号质量得以提升，因此，使得在大型场合的用户能够清晰地听到来自远程端的人声信号；另一方面，向级联设备中非主设备发送同步信号，以使每个非主设备将所述每个非主设备对信号进行净化增强处理后所得增强人声信号和所述非主设备中上一级设备对信号进行净化增强处理后所得增强人声信号同步，可以使得信号不产生延迟；第三方面，将主设备得到的增强人声信号与主设备的下一级设备传送的下级增强人声信号同步并叠加得到的终极增强人声信号向远程端发送，能够确保将本地的声音清晰地传到远程端。
需要说明的是，前述附图1至附图4对应的实施例中，所谓级联设备应做广义理解，即除了如附图5a至附图5c所示的设备逐级串联的结构之外，还包括如图5d所示，每个设备直接与主设备相连，即除主设备和末级设备之外，没有中间级设备。
请参阅图6，是本申请实施例提供的一种声信号传播***，该***包括级联设备，级联设备包括主设备601和非主设备602，主设备601和非主设备602之间的箭头方向表示信号的流向，非主设备602包括中间级设备和末级设备，其中：
主设备601，用于向非主设备602发送同步信号，以使每个所述非主设备602将所述每个非主设备602对信号进行净化增强处理后所得增强人声信号和非主设备602的上一级设备对信号进行净化增强处理后所得增强人声信号同步；接收来自远程端的远程端信号，其中，远程端信号包括人声信号；对远程端信号进行净化增强处理，得到第一本地增强人声信号；播放第一本地增强人声信号并将第一本地增强人声信号传送给非主设备602的下一级设备作为下一级设备进行回声消除的远端参考信号；
非主设备602，用于接收级联设备的主设备601发送的同步信号；对非主设备602的上一级设备的上级增强人声信号进行净化增强处理，得到第二本地增强人声信号；通过同步信号将上级增强人声信号与第二本地增强人声信号同步；若非主设备602为级联设备的中间级设备，则播放与上级增强人声信号同步的本地增强人声信号并将该本地增强人声信号传送至中间级设备的下一级设备；若非主设备602为级联设备的末级设备，则播放与上级增强人声信号同步的本地增强人声信号。
从上述附图6示例的声信号传播***可知，一方面，由于将远程端信号进行净化增强处理，得到了本地增强人声信号，人声信号质量得以提升，因此，使得在大型场合的用户能够清晰地听到来自远程端的人声信号；另一方面，向级联设备中非主设备发送同步信号，以使每个非主设备将所述每个非主设备对信号进行净化增强处理后所得增强人声信号和所述非主设备中上一级设备对信号进行净化增强处理后所得增强人声信号同步，可以使得信号不产生延迟；第三方面，将主设备得到的增强人声信号与主设备的下一级设备传送的下级增强人声信号同步并叠加得到的终极增强人声信号向远程端发送，能够确保将本地的声音清晰地传到远程端。
请参阅图7，是本申请另一实施例提供的一种声信号传播***，该***包括级联设备，级联设备包括主设备701和非主设备702，主设备701和非主设备702之间的箭头方向表示信号的流向，非主设备702包括中间级设备和末级设备，其中：
主设备701，用于对主设备701的拾音装置拾得信号进行净化增强处理，得到本地增强人声信号；将本地增强人声信号和主设备701的下一级设备传送的下级增强人声信号同步后叠加，得到终极增强人声信号；向远程端发送终极增强人声信号；
非主设备702，用于接收主设备701发送的同步信号；若非主设备702为级联设备的中间级设备，则对中间级设备的拾音装置拾得信号进行净化增强处理，得到第一本地增强人声信号；通过同步信号将第一本地增强人声信号和级联设备的下一级设备的下级增强人声信号同步并叠加后得到叠加增强人声信号；向中间级设备的上一级设备传送叠加增强人声信号；若非主设备702为级联设备的末级设备，则对末级设备的拾音装置拾得信号进行净化增强处理，得到第二本地增强人声信号；向末级设备的上一级设备传送第二本地增强人声信号。
从上述附图7示例的声信号传播***可知，一方面，由于将远程端信号进行净化增强处理，得到了本地增强人声信号，人声信号质量得以提升，因此，使得在大型场合的用户能够清晰地听到来自远程端的人声信号；另一方面，向级联设备中非主设备发送同步信号，以使每个非主设备将所述每个非主设备对信号进行净化增强处理后所得增强人声信号和所述非主设备中上一级设备对信号进行净化增强处理后所得增强人声信号同步，可以使得信号不产生延迟；第三方面，将主设备得到的增强人声信号与主设备的下一级设备传送的下级增强人声信号同步并叠加得到的终极增强人声信号向远程端发送，能够确保将本地的声音清晰地传到远程端。
需要说明的是，前述附图6和附图7对应的实施例中，所谓级联设备应做广义理解，即除了如附图5a至附图5c所示的设备逐级串联的结构之外，还包括如图5d所示，每个设备直接与主设备相连，即除主设备和末级设备之外，没有中间级设备。
本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，声信号传播方法的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤，即，向级联设备的非主设备发送同步信号，以使级联设备中每个非主设备将每个非主设备对信号进行净化增强处理后所得增强人声信号和非主设备中上一级设备对信号进行净化增强处理后所得增强人声信号同步并叠加；接收来自远程端的远程端信号，其中，远程端信号包括人声信号；对远程端信号进行净化增强处理，得到本地增强人声信号；播放本地增强人声信号并将本地增强人声信号传送给非主设备作为该非主设备进行回声消除的远端参考信号。或者，可实现上述各个方法实施例的步骤，即，对主设备的拾音装置拾得信号进行净化增强处理，得到本地增强人声信号；将本地增强人声信号和主设备的下一级设备传送的下级增强人声信号同步并叠加，得到终极增强人声信号；向远程端发送终极增强人声信号。或者，可实现上述各个方法实施例的步骤，即，接收级联设备的主设备发送的同步信号；对非主设备的上一级设备的上级增强人声信号进行净化增强处理，得到本地增强人声信号；通过同步信号，将上一级设备的上级增强人声信号与本地增强人声信号同步；若非主设备为级联设备的中间级设备，则播放与上级增强人声信号同步的本地增强人声信号并将本地增强人声信号传送至中间级设备的下一级设备；若非主设备为级联设备的末级设备，则播放与上级增强人声信号同步的本地增强人声信号。或者，可实现上述各个方法实施例的步骤，即，接收级联设备的主设备发送的同步信号；若非主设备为级联设备的中间级设备，则对中间级设备的拾音装置拾得信号进行净化增强处理，得到第一本地增强人声信号；通过同步信号，将第一本地增强人声信号和中间级设备的下一级设备的下级增强人声信号同步并叠加后得到叠加增强人声信号；向中间级设备的上一级设备传送叠加增强人声信号；若非主设备为级联设备的末级设备，则对末级设备的拾音装置拾得信号进行净化增强处理，得到第二本地增强人声信号；向末级设备的上一级设备传送第二本地增强人声信号。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。非临时性计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读内存(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，非临时性计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，非临时性计算机可读介质不包括电载波信号和电信信号。以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种声信号传播方法，应用于级联设备的主设备，其特征在于，所述方法包括：
向所述级联设备的非主设备发送同步信号，以使所述级联设备中每个非主设备将所述每个非主设备对信号进行净化增强处理后所得增强人声信号和所述非主设备中上一级设备对信号进行净化增强处理后所得增强人声信号同步；
接收来自远程端的远程端信号，所述远程端信号包括人声信号；
对所述远程端信号进行净化增强处理，得到本地增强人声信号；
播放所述本地增强人声信号并将所述本地增强人声信号传送给所述非主设备作为所述非主设备进行回声消除的远端参考信号。
2.如权利要求1所述声信号传播方法，其特征在于，所述对所述远程端信号进行净化增强处理，得到本地增强人声信号，包括：
对所述远程端信号进行滤波处理，以得到远程端降噪信号；
对所述远程端降噪信号放大，以得到所述本地增强人声信号。
3.如权利要求2所述声信号传播方法，其特征在于，所述对所述远程端降噪信号放大，以得到所述本地增强人声信号，包括：
通过提取所述远程端降噪信号中声纹特征，识别所述人声信号；
根据目标增益参数对所述人声信号放大，以得到所述本地增强人声信号。
4.一种声信号传播方法，应用于级联设备的主设备，其特征在于，所述方法包括：
对所述主设备的拾音装置拾得信号进行净化增强处理，得到本地增强人声信号；
将所述本地增强人声信号和所述主设备的下一级设备传送的下级增强人声信号同步并叠加，得到终极增强人声信号；
向远程端发送所述终极增强人声信号。
5.如权利要求4所述声信号传播方法，其特征在于，所述对所述主设备的拾音装置拾得信号进行净化增强处理，得到本地增强人声信号，包括：
以来自所述远程端的远程端信号作为远端参考信号对所述主设备的拾音装置拾得信号进行回声消除；
对所述进行回声消除后的信号进行滤波处理，以得到本地降噪信号；
对所述本地降噪信号放大，以得到所述本地增强人声信号。
6.一种声信号传播方法，应用于级联设备的非主设备，其特征在于，所述方法包括：
接收所述级联设备的主设备发送的同步信号；
对所述非主设备的上一级设备的上级增强人声信号进行净化增强处理，得到本地增强人声信号；
通过所述同步信号将所述上级增强人声信号与所述本地增强人声信号同步；
若所述非主设备为所述级联设备的中间级设备，则播放与所述上级增强人声信号同步的本地增强人声信号并将所述本地增强人声信号传送至所述中间级设备的下一级设备；
若所述非主设备为所述级联设备的末级设备，则播放与所述上级增强人声信号同步的本地增强人声信号。
7.一种声信号传播方法，应用于级联设备的非主设备，其特征在于，所述方法包括：
接收所述级联设备的主设备发送的同步信号；
若所述非主设备为所述级联设备的中间级设备，则对所述中间级设备的拾音装置拾得信号进行净化增强处理，得到第一本地增强人声信号；
通过所述同步信号将所述第一本地增强人声信号和所述级联设备中下一级设备的下级增强人声信号同步并叠加后得到叠加增强人声信号；
向所述中间级设备的上一级设备传送所述叠加增强人声信号；
若所述非主设备为所述级联设备的末级设备，则对所述末级设备的拾音装置拾得信号进行净化增强处理，得到第二本地增强人声信号；
向所述末级设备的上一级设备传送所述第二本地增强人声信号。
8.一种声信号传播***，其特征在于，所述***包括播音装置级联设备，所述级联设备包括主设备和非主设备，所述非主设备包括中间级设备和末级设备；
所述主设备，用于向所述非主设备发送同步信号，以使每个所述非主设备将所述每个非主设备对信号进行净化增强处理后所得增强人声信号和所述非主设备的上一级设备对信号进行净化增强处理后所得增强人声信号同步；接收来自远程端的远程端信号，所述远程端信号包括人声信号；对所述远程端信号进行净化增强处理，得到第一本地增强人声信号；播放所述第一本地增强人声信号并将所述第一本地增强人声信号传送给所述非主设备的下一级设备作为所述下一级设备进行回声消除的远端参考信号；
所述非主设备，用于接收所述级联设备的主设备发送的同步信号；对所述非主设备的上一级设备的上级增强人声信号进行净化增强处理，得到第二本地增强人声信号；通过所述同步信号将所述上级增强人声信号与所述第二本地增强人声信号同步；若所述非主设备为所述级联设备的中间级设备，则播放与所述上级增强人声信号同步的本地增强人声信号并将所述本地增强人声信号传送至所述中间级设备的下一级设备；若所述非主设备为所述级联设备的末级设备，则播放与所述上级增强人声信号同步的本地增强人声信号。
9.一种声信号传播***，其特征在于，所述***包括播音装置级联设备，所述级联设备包括主设备和非主设备，所述非主设备包括中间级设备和末级设备；
所述主设备，用于对所述主设备的拾音装置拾得信号进行净化增强处理，得到本地增强人声信号；将所述本地增强人声信号和所述主设备的下一级设备传送的下级增强人声信号同步后叠加，得到终极增强人声信号；向远程端发送所述终极增强人声信号；所述非主设备，用于接收所述主设备发送的同步信号；若所述非主设备为所述级联设备的中间级设备，则对所述中间级设备的拾音装置拾得信号进行净化增强处理，得到第一本地增强人声信号；通过所述同步信号将所述第一本地增强人声信号和所述级联设备中下一级设备的下级增强人声信号同步并叠加后得到叠加增强人声信号；向所述中间级设备的上一级设备传送所述叠加增强人声信号；若所述非主设备为所述级联设备的末级设备，则对所述末级设备的拾音装置拾得信号进行净化增强处理，得到第二本地增强人声信号；向所述末级设备的上一级设备传送所述第二本地增强人声信号。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述方法的步骤。
CN202110960268.XA 2021-08-20 2021-08-20 声信号传播方法、***和计算机可读存储介质 Pending CN113709607A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110960268.XA CN113709607A (zh) 2021-08-20 2021-08-20 声信号传播方法、***和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110960268.XA CN113709607A (zh) 2021-08-20 2021-08-20 声信号传播方法、***和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113709607A true CN113709607A (zh) 2021-11-26

Family

ID=78654105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110960268.XA Pending CN113709607A (zh) 2021-08-20 2021-08-20 声信号传播方法、***和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113709607A (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012082359A1 (en) * 2010-12-16 2012-06-21 Intel Corporation Adaptive noise cancellation
CN103916781A (zh) * 2012-12-31 2014-07-09 广州励丰文化科技股份有限公司 高保真有源扬声器的遥控方法
CN105144674A (zh) * 2013-05-03 2015-12-09 高通股份有限公司 多通道回声消除与噪声抑制
CN106937009A (zh) * 2017-01-18 2017-07-07 苏州科达科技股份有限公司 一种级联回声抵消***及其控制方法及装置
US20180005623A1 (en) * 2016-07-04 2018-01-04 Em-Tech. Co., Ltd. Voice Enhancing Device with Audio Focusing Function
CN109379500A (zh) * 2018-11-01 2019-02-22 厦门亿联网络技术股份有限公司 一种基于以太网的级联会议电话装置及方法
CN110176244A (zh) * 2018-06-19 2019-08-27 腾讯科技（深圳）有限公司 回声消除方法、装置、存储介质和计算机设备
CN110503970A (zh) * 2018-11-23 2019-11-26 腾讯科技（深圳）有限公司 一种音频数据处理方法、装置及存储介质
WO2020063752A1 (zh) * 2018-09-29 2020-04-02 腾讯科技（深圳）有限公司 远场拾音设备、及远场拾音设备中采集人声信号的方法
US20200162618A1 (en) * 2018-11-20 2020-05-21 Shure Acquisition Holdings, Inc. System and method for distributed call processing and audio reinforcement in conferencing environments
CN113140225A (zh) * 2020-01-20 2021-07-20 腾讯科技（深圳）有限公司 语音信号处理方法、装置、电子设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012082359A1 (en) * 2010-12-16 2012-06-21 Intel Corporation Adaptive noise cancellation
CN103916781A (zh) * 2012-12-31 2014-07-09 广州励丰文化科技股份有限公司 高保真有源扬声器的遥控方法
CN105144674A (zh) * 2013-05-03 2015-12-09 高通股份有限公司 多通道回声消除与噪声抑制
US20180005623A1 (en) * 2016-07-04 2018-01-04 Em-Tech. Co., Ltd. Voice Enhancing Device with Audio Focusing Function
CN106937009A (zh) * 2017-01-18 2017-07-07 苏州科达科技股份有限公司 一种级联回声抵消***及其控制方法及装置
CN110176244A (zh) * 2018-06-19 2019-08-27 腾讯科技（深圳）有限公司 回声消除方法、装置、存储介质和计算机设备
WO2020063752A1 (zh) * 2018-09-29 2020-04-02 腾讯科技（深圳）有限公司 远场拾音设备、及远场拾音设备中采集人声信号的方法
CN109379500A (zh) * 2018-11-01 2019-02-22 厦门亿联网络技术股份有限公司 一种基于以太网的级联会议电话装置及方法
US20200162618A1 (en) * 2018-11-20 2020-05-21 Shure Acquisition Holdings, Inc. System and method for distributed call processing and audio reinforcement in conferencing environments
CN110503970A (zh) * 2018-11-23 2019-11-26 腾讯科技（深圳）有限公司 一种音频数据处理方法、装置及存储介质
CN113140225A (zh) * 2020-01-20 2021-07-20 腾讯科技（深圳）有限公司 语音信号处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP5493655B2 (ja) 音声帯域拡張装置および音声帯域拡張プログラム
CN111883163B (zh) 音频啸叫抑制方法、设备和***及神经网络训练方法
CN103458137A (zh) 用于音频会议中的语音增强的***和方法
US20090018680A1 (en) Data embedding device, data embedding method, data extraction device, and data extraction method
CN110956976B (zh) 一种回声消除方法、装置、设备及可读存储介质
JPWO2010079596A1 (ja) 音声制御装置および音声出力装置
CN111343620A (zh) 多设备音频播放校正方法，装置及其终端
CN112466319A (zh) 音频处理方法、装置、计算机设备和存储介质
CN113035167A (zh) 一种主动降噪的音频调教方法及存储介质
CN103117083A (zh) 一种音频信息采集装置及方法
CN108353228B (zh) 一种信号分离的方法、***和存储介质
JP5232121B2 (ja) 信号処理装置
CN110996238A (zh) 双耳同步信号处理助听***及方法
WO2011129421A1 (ja) 背景雑音キャンセリング装置および方法
US9123349B2 (en) Methods and apparatus to provide speech privacy
CN101228578B (zh) 高频信号插值方法以及高频信号插值装置
CN113709607A (zh) 声信号传播方法、***和计算机可读存储介质
US11363147B2 (en) Receive-path signal gain operations
CN103581934A (zh) 一种终端语音质量评估方法和终端
US11321047B2 (en) Volume adjustments
JP6078358B2 (ja) ノイズ低減装置、放送受信装置及びノイズ低減方法
CN107333192B (zh) 一种用于音箱的反馈抑制的方法和装置
JP6126390B2 (ja) ノイズ低減装置、放送受信装置及びノイズ低減方法
US20200184988A1 (en) Sound signal processing device
JP2000022473A (ja) 音声処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination