CN115701632A - 用于车内声音控制的***、方法、存储介质以及车辆 - Google Patents
用于车内声音控制的***、方法、存储介质以及车辆 Download PDFInfo
- Publication number
- CN115701632A CN115701632A CN202110879925.8A CN202110879925A CN115701632A CN 115701632 A CN115701632 A CN 115701632A CN 202110879925 A CN202110879925 A CN 202110879925A CN 115701632 A CN115701632 A CN 115701632A
- Authority
- CN
- China
- Prior art keywords
- sound
- mode
- signals
- vehicle
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本发明涉及一种用于车内声音控制的方法、实施上述方法的***和计算机可读存储介质以及装载有上述***的车辆。上述***包括:一个或多个声音采集装置,其配置成采集并发送声音信号;一个或多个扬声器;以及处理器,其配置成:接收声音信号;识别用户输入的指令,该指令指示与每个扬声器对应的声音处理模式;根据声音处理模式分别调节声音信号;以及将经调节的声音信号分别发送至对应的扬声器。根据本发明的一个或多个实施例,可以实现在车内控制声音的传播位置,增强乘员对话的私密性,并且车内乘员可根据需要进行自主控制并监测控制效果。
Description
技术领域
本发明涉及车辆领域,具体而言,涉及用于一种用于车内声音控制的***、方法、存储介质以及车辆。
背景技术
随着汽车技术的发展,人们对汽车的需求已经不再满足于简单的代步工具,对汽车的安全性,舒适性,私密性等各个方面要求越来越高。
在经济社会高度发达的现在,商务需求对汽车品质,汽车辅助性功能越来越重要,特别是中高端商务车型,在一些功能性需求上尤为重要,例如在商务车上,人们经常会谈一些涉及商务隐私的信息,或者出差打车时,需要在出租车或专车上处理公务,造成一些对话信息很容易泄露。
目前对于整车声音的控制和消音仅针对发动机噪声、风噪、胎噪等行驶过程中产生的声音,而对于车内乘员之间交流的声音传播还需要继续研究,本专利为提高车辆乘员间私密性,提供了一种***及方法,用于提高车内对话乘员的私密性。
发明内容
本发明的实施例提供了一种用于车内声音控制的***、方法、存储介质以及车辆,用于在车内控制声音的传播方向,增强乘员对话的私密性,并且车内乘员可根据需要进行自主控制和监测控制效果。
根据本发明的一方面,提供一种用于车内声音控制的***,包括:一个或多个声音采集装置,其配置成采集并发送声音信号;一个或多个扬声器;以及处理器,其配置成:接收所述声音信号;识别用户输入的指令,所述指令指示与每个扬声器对应的声音处理模式;根据所述声音处理模式分别调节所述声音信号;以及将经调节的声音信号分别发送至对应的扬声器。
在本发明的一些实施例中,可选地,所述一个或多个扬声器安装在不同的输出位置处。
在本发明的一些实施例中,可选地,所述声音处理模式包括以下各项中的一项或多项:噪声消除模式、声音放大模式、消声模式以及定向输出模式。
在本发明的一些实施例中,可选地,所述处理器配置成:根据所述声音处理模式,对所述声音信号的振幅、频率以及相位进行调节。
在本发明的一些实施例中,可选地,所述处理器配置成:当所述声音处理模式为消声模式时,将所述声音信号调节为声波频率相同、相位相反的信号,并将所述经调节的声音信号分别发送至所有扬声器。
在本发明的一些实施例中,可选地,所述处理器配置成:当所述声音处理模式为定向输出模式时,识别所述指令中指定的定向输出位置,将所述声音信号调节为声波频率相同、相位相反的信号,并将所述经调节的声音信号发送至除所述指定的定向输出位置处的扬声器之外的扬声器。
在本发明的一些实施例中,可选地,上述***还包括显示器,所述显示器配置成显示所述一个或多个声音采集装置采集的声音信号的分贝大小。
根据本发明的另一方面,提供一种用于车内声音控制的方法,包括下列步骤:接收所述声音信号;识别用户输入的指令,所述指令指示与每个扬声器对应的声音处理模式;根据所述声音处理模式分别调节所述声音信号;以及将经调节的声音信号分别发送至对应的扬声器。
在本发明的一些实施例中,可选地,所述声音处理模式包括以下各项中的一项或多项:噪声消除模式、声音放大模式、消声模式以及定向输出模式。
在本发明的一些实施例中,可选地,所述调节所述声音信号的步骤包括:根据所述声音处理模式,对所述声音信号的振幅、频率以及相位进行调节。
在本发明的一些实施例中,可选地,所述调节所述声音信号的步骤包括:当所述声音处理模式为消声模式时,将所述声音信号调节为声波频率相同、相位相反的信号,并将所述经调节的声音信号分别发送至所有扬声器。
在本发明的一些实施例中,可选地,所述调节所述声音信号的步骤包括:当所述声音处理模式为定向输出模式时,识别所述指令中指定的定向输出位置,将所述声音信号调节为声波频率相同、相位相反的信号,并将所述经调节的声音信号发送至除所述指定的定向输出位置处的扬声器之外的扬声器。
在本发明的一些实施例中,可选地,上述方法还包括:显示一个或多个声音采集装置采集的声音信号的分贝大小。
根据本发明的又一方面,提供一种车辆,其上装载有根据本发明的一方面的***。
根据本发明的再一方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令由处理器执行时,使得所述处理器执行根据本发明的另一方面的方法。
附图说明
本发明的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解,附图中相同或相似的单元采用相同的标号表示。附图包括:
图1示出了根据本发明的一个实施例的用于车内声音控制的***100的示意性框图;
图2示出了根据本发明的一个实施例的用于车内声音控制的方法200的示意性流程图;
图3示出了根据本发明的一个实施例的前排座椅位置处的***布置的示意图;
图4示出了根据本发明的一个实施例的前排座椅位置处的***布置的侧视图;
图5示出了根据本发明的一个实施例的中间或者后排座椅位置处的***布置的示意图;以及
图6示出了根据本发明的一个实施例的中间或者后排座椅位置处的***布置的侧视图。
具体实施方式
在本说明书中,参照其中图示了本发明示意性实施例的附图更为全面地说明本发明。但本发明可以按不同形式来实现,而不应解读为仅限于本文给出的各实施例。给出的各实施例旨在使本文的披露全面完整,以将本发明的保护范围更为全面地传达给本领域技术人员。
诸如“包含”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接和明确表述的单元和步骤以外,本发明的技术方案也不排除具有未被直接或明确表述的其它单元和步骤的情形。诸如“第一”和“第二”之类的用语并不表示单元在时间、空间、大小等方面的顺序而仅仅是作区分各单元之用。
下文参考根据本发明实施例的方法和***的流程图说明、框图和/或流程图来描述本发明。将理解这些流程图说明和/或框图的每个框、以及流程图说明和/或框图的组合可以由计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器以构成机器,以便由计算机或其它可编程数据处理设备的处理器执行的这些指令创建用于实施这些流程图和/或框和/或一个或多个流程框图中指定的功能/操作的部件。还应该注意在一些备选实现中,框中所示的功能/操作可以不按流程图所示的次序来发生。例如,依次示出的两个框实际可以基本同时地执行或这些框有时可以按逆序执行,具体取决于所涉及的功能/操作。
可以将这些计算机程序指令加载到计算机或其它可编程数据处理器上以使一系列的操作步骤在计算机或其它可编程处理器上执行,以便构成计算机实现的进程,以使计算机或其它可编程数据处理器上执行的这些指令提供用于实施此流程图和/或框图的一个或多个框中指定的功能或操作的步骤。还应该注意在一些备选实现中,框中所示的功能/操作可以不按流程图所示的次序来发生。例如,依次示出的两个框实际可以基本同时地执行或这些框有时可以按逆序执行,具体取决于所涉及的功能/操作。
现在参考图1,图1示出了根据本发明的一个实施例的用于车内声音控制的***100的示意性框图。
在图1中,***100包括一个或多个声音采集装置110、一个或多个扬声器120以及处理器130。该***可以安装于车辆内,在所示实施例中描述为乘用车,但是应当理解,任何其他车辆,包括例如摩托车、卡车、运动型多用途车(SUV)、休闲车(RV),以及船舶,飞行器等等也可使用本发明所述的技术。应当理解,根据车辆乘员的数量或者车内座位的数量,可以将车辆的内部空间划分为两个、更多个输出区域,并且每个输出区域将包含座椅和与该特定的输出区域相关联的周围的空间。
在根据本发明的一个实施例中,一个或多个声音采集装置110,例如麦克风,可以用于采集来自用户的声音信号并将其发送至处理器130。可以将声音采集装置110安装在车内的每一个输出区域中,例如,可以在每一个座位的头枕上或在每一个座位的对应的车顶区域中安装声音采集装置110,使得车内的乘员以及驾驶员都可以对***100进行语音输入。
在根据本发明的一个实施例中,一个或多个扬声器120可以用于输出***100处理后的声音信号。类似地,可以将声音采集装置110安装在车内的每一个输出区域中,例如,可以在每一个座位的头枕上或在每一个座位的对应的车顶区域中安装声音采集装置110,使得***可以将经处理的声音信号输出到每一个车内的乘员以及驾驶员。
在根据本发明的一个实施例中,处理器130可以接收来自声音采集装置110的声音信号,还可以经由用户界面设备、或移动计算设备、或其他语音输入设备接收来自用户的请求指令。可选地,***100还可以包括存储器,处理器130可以将所述声音信号存储在存储器中,同时存储器支持处理器130进行读取,以用于分析该数据,便于更好的进行声音调节。
处理器130可以进一步识别用户输入的指令所指示的声音处理模式。可选地,该声音处理模式包括以下各项中的一项或多项:噪声消除模式、声音放大模式、消声模式以及定向输出模式。应当理解,用户输入的指令可以对应于多个相同或不同的声音处理模式,其中的每一个声音处理模式与一个或多个扬声器120中的一个扬声器相对应。例如,当该指令指示噪声消除模式或者消声模式时,该指令指示对应于每一个扬声器的噪声消除模式或者消声模式;当该指令指示声音放大模式时,该指令可以指示对应于扬声器中的一些或全部的声音放大模式;当该指令指示定向输出模式时,该指令可以指示对应于扬声器中的一些或全部的定向输出模式。
在根据本发明的一个实施例中,处理器130可以根据声音处理模式分别调节声音信号并将经调节的声音信号分别发送至对应的扬声器。可选地,处理器130可以首先对声音信号进行分析,获取声波的振幅、频率和相位信息。接着,根据对应于每一个扬声器的处理模式,处理器130可以分别对声波的振幅、频率和相位进行调节。
在根据本发明的一个示例中,当对应于扬声器的声音处理模式为消声模式时,将所述声音信号调节为声波频率相同、相位相反的消声信号,并将经调节的消声信号分别发送至所有扬声器,达到消除声音传播的目的。具体地,当指令指示消声模式,如上所述,意味着该用户希望自己发出的声音不被车内的其它乘员以及驾驶员听到,因此处理器130可以生成对应于所述声音信号的消声信号,进而将所述消声信号发送至每一个扬声器以供其输出,从而实现提高车内对话乘员的私密性的效果。
在根据本发明的另一个示例中,当声音处理模式为定向输出模式时,处理器130可以识别所述指令中指定的定向输出位置,将声音信号调节为声波频率相同、相位相反的消声信号,并将消声信号发送至除所述指定的定向输出位置处的扬声器之外的扬声器。具体地,当声音处理模式为定向输出模式时,如上所述,意味着该用户希望自己发出的声音定向传播给车内的一些人,而不被车内的其他人听到,因此处理器130可以将未经处理的、或是经分贝扩大/减小处理的信号定向的传输至对应的扬声器(或不对其传输任何信号);并将经过消声处理的信号传输至其他的扬声器,以实现个别乘员之间的隐私对话而不被其他人听见,并可以控制对话人员接收到的信号的分贝大小。
在根据本发明的另一个示例中,处理器130可以根据存储的声音信息,学习常用乘员的声波特点,不断完善对消音信号的调节控制,达到更好的控制声音传播目的。可选地,处理器130可以是STM32F103X。
在根据本发明的另一个示例中,***100还可以包括显示器,所述显示器配置成显示一个或多个声音采集装置110采集的声音信号的分贝大小。具体地,在扬声器120输出经调节的信号之后,可以由声音采集装置110进一步采集过滤后声音信号,并将该信号反馈给处理器130,处理器130可以对反馈信号进行分析,并在显示器上显示信号的分贝大小,以进一步便于乘员控制说话声量大小,保证私密性。可选地,显示器可布置在车顶的中后排乘客视野前方,便于乘员观察和控制声音传播。
可选地,***100还可以包括电源稳压模块107,使用AMS1117稳压芯片,通过将汽车蓄电池12V电压降压为微控制器100工作电压3.3V,保证***平稳运行。
继续参考图2,图2示出了根据本发明的一个实施例的用于车内声音控制的方法200的示意性流程图。
在步骤S210中,接收来自用户的声音信号。可选地,还可以经由用户界面设备、或移动计算设备、或其他语音输入设备接收来自用户的请求指令。可选地,还可以将所述声音信号存储在存储器中,同时还以对其进行读取,以用于分析该数据,便于更好的进行声音调节。
在步骤S220中,识别用户输入的指令,所述指令指示与每个扬声器对应的声音处理模式。可选地,该声音处理模式包括以下各项中的一项或多项:噪声消除模式、声音放大模式、消声模式以及定向输出模式。应当理解,用户输入的指令可以对应于多个相同或不同的声音处理模式,其中的每一个声音处理模式一个扬声器相对应。例如,当该指令指示噪声消除模式或者消声模式时,该指令指示对应于每一个扬声器的噪声消除模式或者消声模式;当该指令指示声音放大模式时,该指令可以指示对应于扬声器中的一些或全部的声音放大模式;当该指令指示定向输出模式时,该指令可以指示对应于扬声器中的一些或全部的定向输出模式。
在步骤S230中,根据声音处理模式分别调节声音信号。在步骤S240中,可以将经调节的声音信号分别发送至对应的扬声器。具体地,首先,可以对声音信号进行分析,获取声波的振幅、频率和相位信息。接着,根据对应于每一个扬声器的处理模式,可以分别对声波的振幅、频率和相位进行调节。在根据本发明的一个示例中,当对应于扬声器的声音处理模式为消声模式时,如上所述,意味着该用户希望自己发出的声音不被车内的其它乘员以及驾驶员听到,因此可以生成对应于所述声音信号的消声信号,进而将所述消声信号发送至每一个扬声器以供其输出,从而实现提高车内对话乘员的私密性的效果。在根据本发明的另一个示例中,当声音处理模式为定向输出模式时,如上所述,意味着该用户希望自己发出的声音定向传播给车内的一些人,而不被车内的其他人听到,因此可以将未经处理的、或是经分贝扩大/减小处理的信号定向的传输至对应的扬声器(或不对其传输任何信号);并将经过消声处理的信号传输至其他的扬声器,以实现个别乘员之间的隐私对话而不被其他人听见,并可以控制对话人员接收到的信号的分贝大小。
继续参考图3和图4,图3示出了根据本发明的一个实施例的前排座椅位置处的***布置的示意图;图4示出了根据本发明的一个实施例的前排座椅位置处的***布置的侧视图。如图所示,所述布置包括车顶201、驾驶位头枕202、扬声器203、驾驶位座椅204、显示器205、副驾驶头枕206、副驾驶座椅207和麦克风103。可选地,根据本发明的一个或多个实施例的扬声器203可以布置于车顶201、驾驶位头枕202、驾驶位座椅204、副驾驶头枕206、副驾驶座椅207中的一处或多处。类似地,也可以在该位置处布置音频采集设备,例如麦克风。可选的,显示器205可以置于车顶201上,用于显示声音控制***的工作状态和工作效果。可选的,麦克风103置于头枕上,位于头枕202上扬声器203前方,用于检测声音控制***的消声效果,并将信息现实于显示器上。类似地,相同的布置同样可以应用于中间或者后排座椅位置处。
继续参考图5和图6,图5示出了根据本发明的一个实施例的中间或者后排座椅位置处的***布置的示意图;以及图6示出了根据本发明的一个实施例的中间或者后排座椅位置处的***布置的侧视图。如图所示,所述布置包括车顶201、车顶左梁301、车顶右梁304、麦克风102、左侧头枕302、右侧头枕305、左侧座椅303、右侧座椅306。其中麦克风102可以分别布置于车顶左梁301、车顶右梁304、左侧头枕302、右侧头枕305中的一处或多处,用于收集中后排座椅乘员的声音信息。类似地,也可以在该位置处布置扬声器。
根据本发明的一个或多个实施例,通过合理的布置及***控制,实时采集乘员和驾驶员的声信号信息,通过声音控制***,实现了声音的传播方向控制,使各个位置的乘客都能够根据需求实时调整声音传播的控制,提高各个乘员在乘车时的对话内容的私密性。
根据本发明的另一方面,提供一种车辆,其上装载有根据本发明的一个方面的一个或多个实施例的用于车内声音控制的***。
根据本发明的再一方面还提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,其特征在于,当指令由处理器执行时,使得处理器执行根据本发明的又一方面的用于车内声音控制的方法。
根据本发明的各方面的一个或多个实施例具有以下改进和优点:前述公开不旨在将本公开限制为所公开的精确形式或特别使用领域。因此,设想的是,鉴于本公开,无论在本文中明确描述还是暗示,本公开的各种替代实施例和/或修改都是可能的。在已经像这样描述了本公开的实施例的情况下,本领域普通技术人员将认识到的是,在不脱离本公开的范围的情况下,可以在形式和细节上进行改变。因此,本公开仅由权利要求限制。
Claims (15)
1.一种用于车内声音控制的***,包括:
一个或多个声音采集装置,其配置成采集并发送声音信号;
一个或多个扬声器;以及
处理器,其配置成:
接收所述声音信号;
识别用户输入的指令,所述指令指示与每个扬声器对应的声音处理模式;
根据所述声音处理模式分别调节所述声音信号;以及
将经调节的声音信号分别发送至对应的扬声器。
2.根据权利要求1所述的***,其中所述一个或多个扬声器安装在不同的输出位置处。
3.根据权利要求1所述的***,其中所述声音处理模式包括以下各项中的一项或多项:噪声消除模式、声音放大模式、消声模式以及定向输出模式。
4.根据权利要求1所述的***,其中所述处理器配置成:
根据所述声音处理模式,对所述声音信号的振幅、频率以及相位进行调节。
5.根据权利要求1所述的***,其中所述处理器配置成:
当所述声音处理模式为消声模式时,将所述声音信号调节为声波频率相同、相位相反的信号,并将所述经调节的声音信号分别发送至所有扬声器。
6.根据权利要求1所述的***,其中所述处理器配置成:
当所述声音处理模式为定向输出模式时,识别所述指令中指定的定向输出位置,将所述声音信号调节为声波频率相同、相位相反的信号,并将所述经调节的声音信号发送至除所述指定的定向输出位置处的扬声器之外的扬声器。
7.根据权利要求1所述的***,还包括显示器,所述显示器配置成显示所述一个或多个声音采集装置采集的声音信号的分贝大小。
8.一种用于车内声音控制的方法,包括下列步骤:
接收所述声音信号;
识别用户输入的指令,所述指令指示与每个扬声器对应的声音处理模式;
根据所述声音处理模式分别调节所述声音信号;以及
将经调节的声音信号分别发送至对应的扬声器。
9.根据权利要求8所述的方法,其中所述声音处理模式包括以下各项中的一项或多项:噪声消除模式、声音放大模式、消声模式以及定向输出模式。
10.根据权利要求8所述的方法,其中所述调节所述声音信号的步骤包括:
根据所述声音处理模式,对所述声音信号的振幅、频率以及相位进行调节。
11.根据权利要求8所述的方法,其中所述调节所述声音信号的步骤包括:
当所述声音处理模式为消声模式时,将所述声音信号调节为声波频率相同、相位相反的信号,并将所述经调节的声音信号分别发送至所有扬声器。
12.根据权利要求8所述的方法,其中所述调节所述声音信号的步骤包括:
当所述声音处理模式为定向输出模式时,识别所述指令中指定的定向输出位置,将所述声音信号调节为声波频率相同、相位相反的信号,并将所述经调节的声音信号发送至除所述指定的定向输出位置处的扬声器之外的扬声器。
13.根据权利要求8所述的方法,还包括:
显示一个或多个声音采集装置采集的声音信号的分贝大小。
14.一种车辆,其上装载有根据权利要求1-7中任一项所述的***。
15.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令由处理器执行时,使得所述处理器执行如权利要求8-13中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110879925.8A CN115701632A (zh) | 2021-08-02 | 2021-08-02 | 用于车内声音控制的***、方法、存储介质以及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110879925.8A CN115701632A (zh) | 2021-08-02 | 2021-08-02 | 用于车内声音控制的***、方法、存储介质以及车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115701632A true CN115701632A (zh) | 2023-02-10 |
Family
ID=85142242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110879925.8A Pending CN115701632A (zh) | 2021-08-02 | 2021-08-02 | 用于车内声音控制的***、方法、存储介质以及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115701632A (zh) |
-
2021
- 2021-08-02 CN CN202110879925.8A patent/CN115701632A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10152962B2 (en) | System and method for personalized sound isolation in vehicle audio zones | |
US6363156B1 (en) | Integrated communication system for a vehicle | |
CN111327990B (zh) | 控制多路音频播放的方法、装置、***、车辆及存储介质 | |
EP2615853A2 (en) | In-car communication system for multiple acoustic zones | |
US20100329488A1 (en) | Method and Apparatus for an Active Vehicle Sound Management System | |
JP2017071240A (ja) | 車両接近通報装置 | |
JP7186375B2 (ja) | 音声処理装置、音声処理方法および音声処理システム | |
CN102224674A (zh) | 噪声修正头顶音频*** | |
US10999419B1 (en) | Systems and methods for in-vehicle voice calls | |
US10410618B2 (en) | In-vehicle noise control system and control method thereof | |
US11393444B2 (en) | Noise suppressor for a vehicle and noise suppressing method for a vehicle | |
WO2020120754A1 (en) | Audio processing device, audio processing method and computer program thereof | |
JP2017069806A (ja) | スピーカアレイ装置 | |
WO2017056706A1 (ja) | 車載音響装置 | |
US10836374B2 (en) | Method for operating a hybrid electric vehicle and hybrid electric vehicle | |
US20220095046A1 (en) | Hybrid in-car speaker and headphone based acoustical augmented reality system | |
US11172304B2 (en) | Systems and methods for vehicle audio source input channels | |
CN114125655A (zh) | 一种扬声器控制方法、装置、电子设备及存储介质 | |
CN113766057A (zh) | 一种车内通话方法、装置、***及车辆 | |
EP1487236B1 (en) | Sound system with equalization for a convertible automobile | |
CN115701632A (zh) | 用于车内声音控制的***、方法、存储介质以及车辆 | |
JP2012010094A (ja) | 車載用音場制御装置 | |
EP3675512A1 (en) | Techniques for routing audio content to an asymmetric speaker layout within a vehicle | |
JP2016082443A (ja) | スピーカ配置選択装置、スピーカ配置選択方法及び音場制御システム | |
US11902767B2 (en) | Combining prerecorded and live performances in a vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |