CN116645917A - Led显示屏亮度调节***及其方法 - Google Patents

Led显示屏亮度调节***及其方法 Download PDF

Info

Publication number
CN116645917A
CN116645917A CN202310682420.1A CN202310682420A CN116645917A CN 116645917 A CN116645917 A CN 116645917A CN 202310682420 A CN202310682420 A CN 202310682420A CN 116645917 A CN116645917 A CN 116645917A
Authority
CN
China
Prior art keywords
feature
eye state
classification
state monitoring
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310682420.1A
Other languages
English (en)
Inventor
张琦
唐月芬
蔡传根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Jijia Intelligent Technology Co ltd
Original Assignee
Zhejiang Jijia Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Jijia Intelligent Technology Co ltd filed Critical Zhejiang Jijia Intelligent Technology Co ltd
Priority to CN202310682420.1A priority Critical patent/CN116645917A/zh
Publication of CN116645917A publication Critical patent/CN116645917A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种LED显示屏亮度调节***及其方法。其首先从眼部状态监控视频提取多个眼部状态监控关键帧并将其通过空间特征提取器以得到空间流眼部状态时序特征图,接着,基于光流特征提取网络从所述多个眼部状态监控关键帧提取光流图像的序列,然后,将所述光流图像的序列通过时间特征提取器以得到时间流眼部状态时序特征图,接着,融合所述空间流眼部状态时序特征图和所述时间流眼部状态时序特征图以得到分类特征图,最后,对所述分类特征图进行特征流形的表达效果优化后通过分类器以得到用于表示是否产生开启护眼模式的提醒的分类结果。这样,可以更好地调节LED显示屏的亮度,以减少对观看者视力的损害。

Description

LED显示屏亮度调节***及其方法
技术领域
本公开涉及智能化调节领域,且更为具体地,涉及一种LED显示屏亮度调节***及其方法。
背景技术
LED显示屏是一种利用LED发光特性来显示数字、文字、图片等内容的数字显示设备。但是,LED显示屏的亮度如果过高或过低,都会对观看者的视力造成损害。
目前,有些LED显示屏采用了光感探头来检测环境亮度,并根据预设的规则来调节亮度,但这种方法不能考虑到观看者的视觉疲劳程度。因此,期待一种优化的LED显示屏亮度调节方案。
发明内容
有鉴于此,本公开提出了一种LED显示屏亮度调节***及其方法,可以实现对观看者视觉疲劳程度的准确判断,从而根据判断结果自动调节LED显示屏的亮度(自动判断是否开启护眼模式),达到保护视力的目的。
根据本公开的一方面,提供了一种LED显示屏亮度调节***,其包括:
监控模块,用于获取由摄像头采集的眼部状态监控视频;
采样模块,用于从所述眼部状态监控视频提取多个眼部状态监控关键帧;
空间特征提取模块,用于将所述多个眼部状态监控关键帧通过基于三维卷积神经网络模型的空间特征提取器以得到空间流眼部状态时序特征图;
光流图像提取模块,用于基于光流特征提取网络从所述多个眼部状态监控关键帧提取光流图像的序列;
光流特征提取模块,用于将所述光流图像的序列通过基于三维卷积神经网络模型的时间特征提取器以得到时间流眼部状态时序特征图;
特征融合模块,用于融合所述空间流眼部状态时序特征图和所述时间流眼部状态时序特征图以得到分类特征图;
优化模块,用于对所述分类特征图进行特征流形的表达效果优化以得到优化分类特征图;以及
控制结果生成模块,用于将所述优化分类特征图通过分类器以得到分类结果,所述分类结果用于表示是否产生开启护眼模式的提醒。
根据本公开的另一方面,提供了一种LED显示屏亮度调节方法,其包括:
获取由摄像头采集的眼部状态监控视频;
从所述眼部状态监控视频提取多个眼部状态监控关键帧;
将所述多个眼部状态监控关键帧通过基于三维卷积神经网络模型的空间特征提取器以得到空间流眼部状态时序特征图;
基于光流特征提取网络从所述多个眼部状态监控关键帧提取光流图像的序列;
将所述光流图像的序列通过基于三维卷积神经网络模型的时间特征提取器以得到时间流眼部状态时序特征图;
融合所述空间流眼部状态时序特征图和所述时间流眼部状态时序特征图以得到分类特征图;
对所述分类特征图进行特征流形的表达效果优化以得到优化分类特征图;以及
将所述优化分类特征图通过分类器以得到分类结果,所述分类结果用于表示是否产生开启护眼模式的提醒。
根据本公开的实施例,其首先从眼部状态监控视频提取多个眼部状态监控关键帧并将其通过空间特征提取器以得到空间流眼部状态时序特征图,接着,基于光流特征提取网络从所述多个眼部状态监控关键帧提取光流图像的序列,然后,将所述光流图像的序列通过时间特征提取器以得到时间流眼部状态时序特征图,接着,融合所述空间流眼部状态时序特征图和所述时间流眼部状态时序特征图以得到分类特征图,最后,对所述分类特征图进行特征流形的表达效果优化后通过分类器以得到用于表示是否产生开启护眼模式的提醒的分类结果。这样,可以更好地调节LED显示屏的亮度,以减少对观看者视力的损害。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面,并且用于解释本公开的原理。
图1示出根据本公开的实施例的LED显示屏亮度调节***的框图。
图2示出根据本公开的实施例的LED显示屏亮度调节***中所述空间特征提取模块的框图。
图3示出根据本公开的实施例的LED显示屏亮度调节***中所述光流特征提取模块的框图。
图4示出根据本公开的实施例的LED显示屏亮度调节***中所述优化模块的框图。
图5示出根据本公开的实施例的LED显示屏亮度调节***中所述控制结果生成模块的框图。
图6示出根据本公开的实施例的LED显示屏亮度调节方法的流程图。
图7示出根据本公开的实施例的LED显示屏亮度调节方法的架构示意图。
图8示出根据本公开的实施例的LED显示屏亮度调节***的应用场景图。
具体实施方式
下面将结合附图对本公开实施例中的技术方案进行清楚、完整地描述,显而易见地,所描述的实施例仅仅是本公开的部分实施例,而不是全部的实施例。基于本公开实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,也属于本公开保护的范围。
如本公开和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
本公开中使用了流程图用来说明根据本公开的实施例的***所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
针对上述技术问题,本公开的技术构思是通过利用摄像头采集眼部状态监控视频,并利用深度学习和人工智能技术提取和分析眼部状态时序特征,以此来实现对观看者视觉疲劳程度的准确判断,从而根据判断结果自动调节LED显示屏的亮度(自动判断是否开启护眼模式),达到保护视力的目的。这种技术对保护人们的视力非常重要,可以广泛应用于电脑、手机、电视等各种显示屏。
图1示出根据本公开的实施例的LED显示屏亮度调节***的框图示意图。如图1所示,根据本公开实施例的LED显示屏亮度调节***100,包括:监控模块110,用于获取由摄像头采集的眼部状态监控视频;采样模块120,用于从所述眼部状态监控视频提取多个眼部状态监控关键帧;空间特征提取模块130,用于将所述多个眼部状态监控关键帧通过基于三维卷积神经网络模型的空间特征提取器以得到空间流眼部状态时序特征图;光流图像提取模块140,用于基于光流特征提取网络从所述多个眼部状态监控关键帧提取光流图像的序列;光流特征提取模块150,用于将所述光流图像的序列通过基于三维卷积神经网络模型的时间特征提取器以得到时间流眼部状态时序特征图;特征融合模块160,用于融合所述空间流眼部状态时序特征图和所述时间流眼部状态时序特征图以得到分类特征图;优化模块170,用于对所述分类特征图进行特征流形的表达效果优化以得到优化分类特征图;以及,控制结果生成模块180,用于将所述优化分类特征图通过分类器以得到分类结果,所述分类结果用于表示是否产生开启护眼模式的提醒。
更具体地,在本公开实施例中,所述监控模块110,用于获取由摄像头采集的眼部状态监控视频。如前所述,LED显示屏的亮度如果过高或过低,都会对观看者的视力造成损害。为了减少这种损害,需要根据观看者的视觉疲劳程度来自适应地调节LED显示屏的亮度。而眼部状态是反映观看者视疲劳程度的重要指标之一。因此,获取由摄像头采集的眼部状态监控视频可以提供有关观看者眼部状态的信息,从而帮助更好地调节LED显示屏的亮度,以减少对观看者视力的损害。
目前市场上已经有很多种类的摄像头可以实现这个功能,例如红外线摄像头、RGB摄像头等。通过这些摄像头,可以实时捕捉观看者的眼部状态,包括眼睛的开合程度、眼球的运动轨迹、眼睛的瞳孔大小等。
在一个示例中,采用红外线摄像头捕捉观看者的眼部状态。首先需要将红外线摄像头放置在合适的角度,一般来说,摄像头应该放置在观看者前方的上方,使其能够捕捉到观看者的眼睛,同时,为了避免反光和干扰,摄像头还应该避免直接对着光源,可以选择在光线较暗的环境下进行拍摄。其次,为了能够准确地捕捉观看者的眼部状态,可以选择连续拍摄的方式,即摄像头在一定时间内持续拍摄观看者的眼部状态,并将这些视频片段进行整合和分析;也可以选择定时拍摄的方式,即摄像头每隔一定时间拍摄一次,以捕捉观看者的眼部状态变化。
进一步地,该示例中的红外线摄像头可以有源型和无源型两种红外线摄像头。有源型红外线摄像头需要外接红外线灯,以提供红外线光源;无源型红外线摄像头则自带红外线光源。此外,还需要选择合适的摄像头分辨率和帧率,以保证拍摄出的视频足够清晰和流畅。
应可以理解,本公开也可以采用RGB摄像头捕捉观看者的眼部状态,RGB摄像头是一种可以捕捉彩色图像的摄像头,它通常由红、绿、蓝三个传感器组成,可以分别捕捉这三种颜色的光线,再将它们合成为一张彩色图像。
更具体地,在本公开实施例中,所述采样模块120,用于从所述眼部状态监控视频提取多个眼部状态监控关键帧。所述眼部状态监控视频中的每一帧都包含了有关观看者眼部状态的信息,但是处理整个视频的计算量较大,不利于实时性。因此,在本公开的技术方案中,从所述眼部状态监控视频提取多个眼部状态监控关键帧。这样,可以减少计算量的同时又保留眼部状态的变化信息。其中,眼部状态特征包括眼睛的开合程度、眼球的运动轨迹、眼睛的瞳孔大小等,通过对这些特征的分析,可以准确地判断观看者的视觉疲劳程度。
并且进一步地,将提取出的关键帧存储到内存或硬盘中,供后续的分析和判断使用。
相应地,在一种可能的实现方式中,所述采样模块120,用于:以预定的采样频率从所述眼部状态监控视频提取多个眼部状态监控关键帧。可以根据实际需求和计算能力,确定采样模块的采样频率,例如可以每秒采样一次或每两秒采样一次等。
相应的,在另一种可能的实现方式中,可以在每个采样点上,选择视频中最清晰、最稳定的一帧图像作为关键帧。或者选择视频中最具代表性的一帧图像作为关键帧,例如眼睛完全闭合或完全睁开的状态。这些关键帧包含了最具代表性的眼部状态信息,可以用于后续的深度学习和人工智能模型的训练和优化。应可以理解,在本公开中,还可以采用其他实现方式从所述眼部状态监控视频提取多个眼部状态监控关键帧,本公开并不受此所限,其目的在于减少眼部状态监控视频中的冗余信息,避免深度学习和人工智能模型的计算量过大、运行速度过慢等问题。通过关键帧提取,可以大大减少计算量,提高模型的运行效率,同时还可以保留最具代表性的眼部状态信息,提高模型的准确性。
更具体地,在本公开实施例中,所述空间特征提取模块130,用于将所述多个眼部状态监控关键帧通过基于三维卷积神经网络模型的空间特征提取器以得到空间流眼部状态时序特征图。所述基于三维卷积神经网络模型的空间特征提取器可以提取出所述多个眼部状态监控关键帧中的空间信息,并且利用时序信息(时间维度)形成空间流眼部状态时序特征图。所述空间流眼部状态时序特征图可以反映观看者眼部状态在时空维度上的变化情况,从而更准确地表达观看者的视疲劳程度。
应可以理解,卷积神经网络(Convolutional Neural Network,CNN)是一种人工神经网络,在图像识别等领域有着广泛的应用。卷积神经网络可以包括输入层、隐藏层和输出层,其中,隐藏层可以包括卷积层、池化(pooling)层、激活层和全连接层等,上一层根据输入的数据进行相应的运算,将运算结果输出给下一层,输入的初始数据经过多层的运算之后得到一个最终的结果。而三维卷积神经网络(3D CNN)是一种基于深度学习的神经网络模型,它可以对三维数据(例如视频、医学图像等)进行特征提取和分类。与传统的二维卷积神经网络不同,3D CNN可以在时间维度上对数据进行卷积操作,从而捕捉数据在时间上的动态变化,具有更强的时空特征提取能力。3D CNN模型通常由多个卷积层、池化层和全连接层组成。卷积层可以通过滑动窗口在三个维度上对数据进行卷积操作,从而提取出数据的时空特征。池化层可以对卷积层输出的特征图进行下采样,减少特征图的大小和计算量。全连接层可以将特征图映射到分类结果上。
3D CNN模型可以用于空间特征提取,通过对多个眼部状态监控关键帧进行卷积操作,提取出空间流眼部状态时序特征图。这些特征图可以用于后续的分类和判断,例如判断观看者的视觉疲劳程度、调节LED显示屏的亮度等。与传统的方法相比,基于3D CNN的空间特征提取模块具有更高的准确性和可靠性。
相应地,在一种可能的实现方式中,如图2所示,所述空间特征提取模块130,包括:空间流眼部状态输入张量排列单元131,用于将所述多个眼部状态监控关键帧按时间维度进行排列以得到空间流眼部状态三维输入张量;以及,空间特征提取单元132,用于通过所述基于三维卷积神经网络模型的空间特征提取器各层在层的正向传递中对输入数据分别进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述基于三维卷积神经网络模型的空间特征提取器的最后一层的输出为所述空间流眼部状态时序特征图,其中,所述基于三维卷积神经网络模型的空间特征提取器的第一层的输入为所述空间流眼部状态三维输入张量。
更具体地,在本公开实施例中,所述光流图像提取模块140,用于基于光流特征提取网络从所述多个眼部状态监控关键帧提取光流图像的序列。光流是指图像中相邻两帧之间的运动信息,其中包含了有关物体在图像中的移动方向和速度的信息。基于光流的特征提取可以更好地捕捉到物体在连续帧之间的变化信息。也就是说,通过提取光流图像的方式可以反映观看者眼部状态的时序变化。
光流特征提取网络是一种基于深度学习的图像处理算法,用于从多个眼部状态监控关键帧中提取光流图像的序列。在深度学习中,卷积神经网络(CNN)是一种常用的图像处理算法,因为它能够自动提取图像中的特征。而光流特征提取网络就是一种基于CNN的算法,它能够自动提取图像序列中的光流特征,从而实现对眼部状态的监控和判断。光流特征提取网络的结构通常由多个卷积层和池化层组成。其中,卷积层用于提取图像中的特征,池化层则用于压缩特征图的大小,从而减少计算量。在光流特征提取网络中,卷积层和池化层的数量和大小都是根据具体情况来确定的,可以通过试验和调整来优化网络的性能。光流特征提取网络的工作原理是通过对输入的图像序列进行卷积和池化操作,从而提取出光流特征。在眼部状态监控应用中,输入的图像序列通常是由多个关键帧组成的。通过对这些关键帧进行处理,光流特征提取网络可以自动提取出这些帧之间的光流特征,从而判断眼部状态的变化。
更具体地,在本公开实施例中,所述光流特征提取模块150,用于将所述光流图像的序列通过基于三维卷积神经网络模型的时间特征提取器以得到时间流眼部状态时序特征图。这样,所述时间流眼部状态时序特征图可以表征观看者眼部状态在时间上的更高维、更抽象的变化特征分布,从而更加全面地表达观看者的视疲劳程度。
相应地,在一种可能的实现方式中,如图3所示,所述光流特征提取模块150,包括:时间流眼部状态输入张量排列单元151,用于将所述光流图像的序列进行排列以得到时间流眼部状态三维输入张量;以及,时间特征提取单元152,用于通过所述基于三维卷积神经网络模型的时间特征提取器各层在层的正向传递中对输入数据分别进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述基于三维卷积神经网络模型的时间特征提取器的最后一层的输出为所述时间流眼部状态时序特征图,其中,所述基于三维卷积神经网络模型的时间特征提取器的第一层的输入为所述时间流眼部状态三维输入张量。
更具体地,在本公开实施例中,所述特征融合模块160,用于融合所述空间流眼部状态时序特征图和所述时间流眼部状态时序特征图以得到分类特征图。空间流眼部状态时序特征图反映了观看者眼部状态在空间和时间上的变化情况,时间流眼部状态时序特征图又再次增强了时间维度上的变化特征。在本公开的技术方案中,期待融合所述空间流眼部状态时序特征图和所述时间流眼部状态时序特征图以综合利用这两个数据,从而得到更加全面和准确反映观看者眼部状态的所述分类特征图。
相应地,在一种可能的实现方式中,所述特征融合模块160,用于:以如下级联公式融合所述空间流眼部状态时序特征图和所述时间流眼部状态时序特征图以得到所述分类特征图;其中,所述级联公式为:
Fc=Concat[F1,F2]
其中,F1表示所述空间流眼部状态时序特征图,F2表示所述时间流眼部状态时序特征图,Concat[·]表示级联函数,Fc表示所述分类特征图。
更具体地,在本公开实施例中,所述优化模块170,用于对所述分类特征图进行特征流形的表达效果优化以得到优化分类特征图。特征流形的表达效果优化是指通过对分类特征图进行优化,使得特征图的表示更加准确和有效。在深度学习中,特征流形是指输入数据的低维表示,它能够保留原始数据的大部分信息,并且具有良好的可视化效果。因此,优化特征流形的表达效果可以提高深度学习模型的性能和可解释性。
特征流形的表达效果优化通常是通过降维和聚类来实现的。降维是指将高维特征映射到低维空间中,从而减少特征的维度和复杂度。在眼部状态监控应用中,分类特征图通常具有很高的维度,因此需要进行降维处理。聚类是指将相似的特征聚集在一起,从而形成特征簇。在眼部状态监控应用中,聚类可以将相似的眼部状态特征聚集在一起,从而提高分类的准确性。特征流形的表达效果优化可以通过多种算法来实现,例如主成分分析(PCA)、线性判别分析(LDA)、t-SNE等。其中,PCA是一种常用的降维算法,它通过计算数据的协方差矩阵,从而找到数据的主成分,从而实现降维。LDA是一种分类算法,它通过最大化类间距离和最小化类内距离,从而实现分类。t-SNE是一种非线性降维算法,它可以将高维数据映射到低维空间中,并保留数据的局部结构。
相应地,在一种可能的实现方式中,如图4所示,所述优化模块170,包括:因数计算单元171,用于计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数以得到多个位置信息图式场景注意力无偏估计因数;以及,加权单元172,用于以所述多个位置信息图式场景注意力无偏估计因数对所述分类特征图的各个位置的特征值进行加权以得到所述优化分类特征图。
在本公开的技术方案中,无论是将所述多个眼部状态监控关键帧通过基于三维卷积神经网络模型的空间特征提取器得到的所述空间流眼部状态时序特征图,还是将所述光流图像的序列通过基于三维卷积神经网络模型的时间特征提取器得到的所述时间流眼部状态时序特征图,其特征矩阵都表达相应图像的图像语义关联特征,而沿通道维度表达图像语义特征之间的时序关联特征,因此,所述空间流眼部状态时序特征图和所述时间流眼部状态时序特征图的各个位置的特征值都具有相应的位置属性,由此融合所述空间流眼部状态时序特征图和所述时间流眼部状态时序特征图得到的所述分类特征图的各个位置的特征值也具有相应的位置属性。
在将所述分类特征图通过分类器进行分类时,需要将所述分类特征图展开为特征向量,也就是,涉及到所述分类特征图的特征值的按位置聚合,因此,期望提升所述分类特征图的各个特征值在按位置聚合时对于所述分类特征图的原特征流形的表达效果。基于此,本公开的申请人计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数。
相应地,在一种可能的实现方式中,所述因数计算单元171,用于:以如下因数计算公式计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数以得到所述多个位置信息图式场景注意力无偏估计因数;其中,所述因数计算公式为:
其中,和/>分别代表将二维实数和三维实数映射为一维实数的函数,W、H和C分别是所述分类特征图的宽度、高度和通道数,fi为所述分类特征图的第i个特征值,(xi,yi,zi)为所述分类特征图的第i个特征值的坐标,且/>是所述分类特征图的所有特征值的全局均值,log表示以2为底的对数函数,wi表示第i个位置信息图式场景注意力无偏估计因数。
这里,所述位置信息图式场景注意力无偏估计因数通过使用融合特征值相对于整体特征分布的高维空间位置的相对几何方向和相对几何距离的图式信息表示和高维特征本身的信息表示的更高阶的特征表达,来在特征值对整体特征分布的按位置聚合时进一步进行特征流形的形状信息聚合,以实现高维空间内的基于特征流形的各个子流形集合形状分布的场景几何的无偏估计,以准确表达特征图的流形形状的几何性质。这样,通过以所述位置信息图式场景注意力无偏估计因数对所述分类特征图的各个位置的特征值进行加权,就可以提升所述分类特征图的各个特征值在按位置聚合时对于所述分类特征图的原特征流形的表达效果,从而提升所述分类特征图通过分类器得到的分类结果的准确性。
加权单元的主要作用是对分类特征图的各个位置的特征值进行加权,以得到优化后的分类特征图。在加权过程中,加权单元会利用多个位置信息图式场景注意力无偏估计因数来对各个位置进行加权,从而提高分类准确率。具体来说,对于每个小块中的每个位置,加权单元会将其对应的特征值乘以该位置的因数,然后将所有位置的加权结果相加,得到该小块的加权结果。最后,加权单元会将所有小块的加权结果拼接起来,得到整张优化后的分类特征图。
需要注意的是,加权单元的加权过程是一个高度并行化的过程,可以通过GPU等硬件加速来提高计算速度。同时,在进行加权时,应该避免过度依赖某个位置的特征值,以避免出现过拟合等问题。
更具体地,在本公开实施例中,所述控制结果生成模块180,用于将所述优化分类特征图通过分类器以得到分类结果,所述分类结果用于表示是否产生开启护眼模式的提醒。所述分类器可以根据训练数据中的特征图和标签之间的关系,学习出一个分类规则,用于对推断时输入的分类特征图进行分类预测,从而得到分类结果。这样,能够自适应的判断是否开启护眼模式,以更好地保护观看者视力健康。
也就是,在本公开的技术方案中,所述分类器的标签包括产生开启护眼模式的提醒(第一标签),以及,不产生开启护眼模式的提醒(第二标签),其中,所述分类器通过软最大值函数来确定所述优化分类特征图属于哪个分类标签。值得注意的是,这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念,实际上在训练过程当中,计算机模型并没有“是否产生开启护眼模式的提醒”这种概念,其只是有两种分类标签且输出特征在这两个分类标签下的概率,即p1和p2之和为一。因此,是否产生开启护眼模式的提醒的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布,实质上用到的是标签的自然概率分布的物理意义,而不是“是否产生开启护眼模式的提醒”的语言文本意义。
应可以理解,分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器,然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题,对于多分类问题(multi-class classification),同样也可以用逻辑回归或SVM,只是需要多个二分类来组成多分类,但这样容易出错且效率不高,常用的多分类方法有Softmax分类函数。
相应地,在一种可能的实现方式中,如图5所示,所述控制结果生成模块180,包括:展开单元181,用于将所述优化分类特征图按照行向量或列向量展开为优化分类特征向量;全连接编码单元182,用于使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量;以及,分类单元183,用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
值得一提的是,开启护眼模式提醒可以通过多种方式实现:1.弹窗提醒:在检测到用户视觉疲劳程度较高时,可以弹出一个提醒窗口,提示用户开启护眼模式,这个窗口可以包含一些有用的信息,例如建议用户休息一会儿,或者提供一些眼保健操等。2.声音提醒:在检测到用户视觉疲劳程度较高时,可以通过发出声音来提醒用户开启护眼模式,这个声音可以是一个简短的提示音,也可以是一段语音提示。3.屏幕变暗:在检测到用户视觉疲劳程度较高时,可以通过自动调节LED显示屏的亮度来提醒用户开启护眼模式,这个过程可以逐渐降低屏幕亮度,直到用户开启护眼模式为止。需要注意的是,在实现这些提醒方式时,应该考虑用户的隐私和使用体验。例如,弹窗提醒应该避免过于频繁或过于骚扰,声音提醒应该不会影响用户周围的人,屏幕变暗应该不会影响用户的正常使用等。
综上,基于本公开实施例的LED显示屏亮度调节***100被阐明,其首先从眼部状态监控视频提取多个眼部状态监控关键帧并将其通过空间特征提取器以得到空间流眼部状态时序特征图,接着,基于光流特征提取网络从所述多个眼部状态监控关键帧提取光流图像的序列,然后,将所述光流图像的序列通过时间特征提取器以得到时间流眼部状态时序特征图,接着,融合所述空间流眼部状态时序特征图和所述时间流眼部状态时序特征图以得到分类特征图,最后,对所述分类特征图进行特征流形的表达效果优化后通过分类器以得到用于表示是否产生开启护眼模式的提醒的分类结果。这样,可以更好地调节LED显示屏的亮度,以减少对观看者视力的损害。
如上所述,根据本公开实施例的所述LED显示屏亮度调节***100可以实现在各种终端设备中,例如具有LED显示屏亮度调节算法的服务器等。在一个示例中,LED显示屏亮度调节***100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该LED显示屏亮度调节***100可以是该终端设备的操作***中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该LED显示屏亮度调节***100同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该LED显示屏亮度调节***100与该终端设备也可以是分立的设备,并且该LED显示屏亮度调节***100可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
相应地,本公开的技术效果有如下几点:1、提供了一种智能化的LED显示屏亮度调节方案;2、该方案以根据观看者的视觉疲劳程度来自适应地判断是否开启护眼模式,从而提高用户体验和减少对观看者视力的损害。
图6示出根据本公开的实施例的LED显示屏亮度调节方法的流程图。图7示出根据本公开的实施例的LED显示屏亮度调节方法的***架构的示意图。如图6和图7所示,根据本公开实施例的LED显示屏亮度调节方法,其包括:S110,获取由摄像头采集的眼部状态监控视频;S120,从所述眼部状态监控视频提取多个眼部状态监控关键帧;S130,将所述多个眼部状态监控关键帧通过基于三维卷积神经网络模型的空间特征提取器以得到空间流眼部状态时序特征图;S140,基于光流特征提取网络从所述多个眼部状态监控关键帧提取光流图像的序列;S150,将所述光流图像的序列通过基于三维卷积神经网络模型的时间特征提取器以得到时间流眼部状态时序特征图;S160,融合所述空间流眼部状态时序特征图和所述时间流眼部状态时序特征图以得到分类特征图;S170,对所述分类特征图进行特征流形的表达效果优化以得到优化分类特征图;以及,S180,将所述优化分类特征图通过分类器以得到分类结果,所述分类结果用于表示是否产生开启护眼模式的提醒。
在一种可能的实现方式中,从所述眼部状态监控视频提取多个眼部状态监控关键帧,包括:以预定的采样频率从所述眼部状态监控视频提取多个眼部状态监控关键帧。
这里,本领域技术人员可以理解,上述LED显示屏亮度调节方法中的各个步骤的具体操作已经在上面参考图1到图5的LED显示屏亮度调节***的描述中得到了详细介绍,并因此,将省略其重复描述。
图8示出根据本公开的实施例的LED显示屏亮度调节***的应用场景图。如图8所示,在该应用场景中,首先,获取由摄像头(例如,图8中所示意的C)采集的眼部状态监控视频(例如,图8中所示意的D),然后,将所述眼部状态监控视频输入至部署有LED显示屏亮度调节算法的服务器中(例如,图8中所示意的S),其中,所述服务器能够使用所述LED显示屏亮度调节算法对所述眼部状态监控视频进行处理以得到用于表示是否产生开启护眼模式的提醒的分类结果。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种LED显示屏亮度调节***,其特征在于,包括:
监控模块,用于获取由摄像头采集的眼部状态监控视频;
采样模块,用于从所述眼部状态监控视频提取多个眼部状态监控关键帧;
空间特征提取模块,用于将所述多个眼部状态监控关键帧通过基于三维卷积神经网络模型的空间特征提取器以得到空间流眼部状态时序特征图;
光流图像提取模块,用于基于光流特征提取网络从所述多个眼部状态监控关键帧提取光流图像的序列;
光流特征提取模块,用于将所述光流图像的序列通过基于三维卷积神经网络模型的时间特征提取器以得到时间流眼部状态时序特征图;
特征融合模块,用于融合所述空间流眼部状态时序特征图和所述时间流眼部状态时序特征图以得到分类特征图;
优化模块,用于对所述分类特征图进行特征流形的表达效果优化以得到优化分类特征图;以及
控制结果生成模块,用于将所述优化分类特征图通过分类器以得到分类结果,所述分类结果用于表示是否产生开启护眼模式的提醒。
2.根据权利要求1所述的LED显示屏亮度调节***,其特征在于,所述采样模块,用于:
以预定的采样频率从所述眼部状态监控视频提取多个眼部状态监控关键帧。
3.根据权利要求2所述的LED显示屏亮度调节***,其特征在于,所述空间特征提取模块,包括:
空间流眼部状态输入张量排列单元,用于将所述多个眼部状态监控关键帧按时间维度进行排列以得到空间流眼部状态三维输入张量;以及
空间特征提取单元,用于通过所述基于三维卷积神经网络模型的空间特征提取器各层在层的正向传递中对输入数据分别进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述基于三维卷积神经网络模型的空间特征提取器的最后一层的输出为所述空间流眼部状态时序特征图,其中,所述基于三维卷积神经网络模型的空间特征提取器的第一层的输入为所述空间流眼部状态三维输入张量。
4.根据权利要求3所述的LED显示屏亮度调节***,其特征在于,所述光流特征提取模块,包括:
时间流眼部状态输入张量排列单元,用于将所述光流图像的序列进行排列以得到时间流眼部状态三维输入张量;以及
时间特征提取单元,用于通过所述基于三维卷积神经网络模型的时间特征提取器各层在层的正向传递中对输入数据分别进行基于三维卷积核的三维卷积处理、均值池化处理和非线性激活处理以由所述基于三维卷积神经网络模型的时间特征提取器的最后一层的输出为所述时间流眼部状态时序特征图,其中,所述基于三维卷积神经网络模型的时间特征提取器的第一层的输入为所述时间流眼部状态三维输入张量。
5.根据权利要求4所述的LED显示屏亮度调节***,其特征在于,所述特征融合模块,用于:
以如下级联公式融合所述空间流眼部状态时序特征图和所述时间流眼部状态时序特征图以得到所述分类特征图;
其中,所述级联公式为:
Fc=Concat[F1,F2]
其中,F1表示所述空间流眼部状态时序特征图,F2表示所述时间流眼部状态时序特征图,Concat[·]表示级联函数,Fc表示所述分类特征图。
6.根据权利要求5所述的LED显示屏亮度调节***,其特征在于,所述优化模块,包括:
因数计算单元,用于计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数以得到多个位置信息图式场景注意力无偏估计因数;以及
加权单元,用于以所述多个位置信息图式场景注意力无偏估计因数对所述分类特征图的各个位置的特征值进行加权以得到所述优化分类特征图。
7.根据权利要求6所述的LED显示屏亮度调节***,其特征在于,所述因数计算单元,用于:
以如下因数计算公式计算所述分类特征图的每个位置的特征值的位置信息图式场景注意力无偏估计因数以得到所述多个位置信息图式场景注意力无偏估计因数;
其中,所述因数计算公式为:
其中,和/>分别代表将二维实数和三维实数映射为一维实数的函数,W、H和C分别是所述分类特征图的宽度、高度和通道数,fi为所述分类特征图的第i个特征值,(xi,yi,zi)为所述分类特征图的第i个特征值的坐标,且/>是所述分类特征图的所有特征值的全局均值,log表示以2为底的对数函数,wi表示第i个位置信息图式场景注意力无偏估计因数。
8.根据权利要求7所述的LED显示屏亮度调节***,其特征在于,所述控制结果生成模块,包括:
展开单元,用于将所述优化分类特征图按照行向量或列向量展开为优化分类特征向量;
全连接编码单元,用于使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量;以及
分类单元,用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
9.一种LED显示屏亮度调节方法,其特征在于,包括:
获取由摄像头采集的眼部状态监控视频;
从所述眼部状态监控视频提取多个眼部状态监控关键帧;
将所述多个眼部状态监控关键帧通过基于三维卷积神经网络模型的空间特征提取器以得到空间流眼部状态时序特征图;
基于光流特征提取网络从所述多个眼部状态监控关键帧提取光流图像的序列;
将所述光流图像的序列通过基于三维卷积神经网络模型的时间特征提取器以得到时间流眼部状态时序特征图;
融合所述空间流眼部状态时序特征图和所述时间流眼部状态时序特征图以得到分类特征图;
对所述分类特征图进行特征流形的表达效果优化以得到优化分类特征图;以及
将所述优化分类特征图通过分类器以得到分类结果,所述分类结果用于表示是否产生开启护眼模式的提醒。
10.根据权利要求9所述的LED显示屏亮度调节方法,其特征在于,从所述眼部状态监控视频提取多个眼部状态监控关键帧,包括:
以预定的采样频率从所述眼部状态监控视频提取多个眼部状态监控关键帧。
CN202310682420.1A 2023-06-09 2023-06-09 Led显示屏亮度调节***及其方法 Pending CN116645917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310682420.1A CN116645917A (zh) 2023-06-09 2023-06-09 Led显示屏亮度调节***及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310682420.1A CN116645917A (zh) 2023-06-09 2023-06-09 Led显示屏亮度调节***及其方法

Publications (1)

Publication Number Publication Date
CN116645917A true CN116645917A (zh) 2023-08-25

Family

ID=87622888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310682420.1A Pending CN116645917A (zh) 2023-06-09 2023-06-09 Led显示屏亮度调节***及其方法

Country Status (1)

Country Link
CN (1) CN116645917A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117012135A (zh) * 2023-10-08 2023-11-07 深圳市卓信特通讯科技有限公司 显示屏调节方法、装置、设备及存储介质
CN117279170A (zh) * 2023-10-11 2023-12-22 惠州市沃生照明有限公司 用于护眼灯的灯光调节方法及***
CN117292291A (zh) * 2023-09-13 2023-12-26 杭州智驳科技有限公司 数字乡村独居老人安全求助方法、***、设备及存储介质
CN117355009A (zh) * 2023-10-11 2024-01-05 惠州市沃生照明有限公司 台灯照明亮度调节方法及***
CN117711309A (zh) * 2024-02-06 2024-03-15 深圳市东陆科技有限公司 基于mcu控制器的led显示控制方法及***

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160310A (zh) * 2015-08-25 2015-12-16 西安电子科技大学 基于3d卷积神经网络的人体行为识别方法
CN106599789A (zh) * 2016-07-29 2017-04-26 北京市商汤科技开发有限公司 视频类别识别方法和装置、数据处理装置和电子设备
CN108229338A (zh) * 2017-12-14 2018-06-29 华南理工大学 一种基于深度卷积特征的视频行为识别方法
CN109002808A (zh) * 2018-07-27 2018-12-14 高新兴科技集团股份有限公司 一种人体行为识别方法及***
CN110119672A (zh) * 2019-03-26 2019-08-13 湖北大学 一种嵌入式疲劳状态检测***及方法
CN110598598A (zh) * 2019-08-30 2019-12-20 西安理工大学 基于有限样本集的双流卷积神经网络人体行为识别方法
CN111199238A (zh) * 2018-11-16 2020-05-26 顺丰科技有限公司 一种基于双流卷积神经网络的行为识别方法及设备
CN111699698A (zh) * 2019-10-12 2020-09-22 深圳海付移通科技有限公司 缓解眼疲劳方法及智能终端
CN112183240A (zh) * 2020-09-11 2021-01-05 山东大学 一种基于3d时间流和并行空间流的双流卷积行为识别方法
CN113673307A (zh) * 2021-07-05 2021-11-19 浙江工业大学 一种轻量型的视频动作识别方法
CN115147820A (zh) * 2022-07-22 2022-10-04 浙心人因(杭州)科技有限公司 一种基于眼部特征的眼镜式疲劳状态监测***
CN115410275A (zh) * 2022-08-31 2022-11-29 陕西省君凯电子科技有限公司 基于图像识别的办公场所人员状态检测方法及其***

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160310A (zh) * 2015-08-25 2015-12-16 西安电子科技大学 基于3d卷积神经网络的人体行为识别方法
CN106599789A (zh) * 2016-07-29 2017-04-26 北京市商汤科技开发有限公司 视频类别识别方法和装置、数据处理装置和电子设备
CN108229338A (zh) * 2017-12-14 2018-06-29 华南理工大学 一种基于深度卷积特征的视频行为识别方法
CN109002808A (zh) * 2018-07-27 2018-12-14 高新兴科技集团股份有限公司 一种人体行为识别方法及***
CN111199238A (zh) * 2018-11-16 2020-05-26 顺丰科技有限公司 一种基于双流卷积神经网络的行为识别方法及设备
CN110119672A (zh) * 2019-03-26 2019-08-13 湖北大学 一种嵌入式疲劳状态检测***及方法
CN110598598A (zh) * 2019-08-30 2019-12-20 西安理工大学 基于有限样本集的双流卷积神经网络人体行为识别方法
CN111699698A (zh) * 2019-10-12 2020-09-22 深圳海付移通科技有限公司 缓解眼疲劳方法及智能终端
CN112183240A (zh) * 2020-09-11 2021-01-05 山东大学 一种基于3d时间流和并行空间流的双流卷积行为识别方法
CN113673307A (zh) * 2021-07-05 2021-11-19 浙江工业大学 一种轻量型的视频动作识别方法
CN115147820A (zh) * 2022-07-22 2022-10-04 浙心人因(杭州)科技有限公司 一种基于眼部特征的眼镜式疲劳状态监测***
CN115410275A (zh) * 2022-08-31 2022-11-29 陕西省君凯电子科技有限公司 基于图像识别的办公场所人员状态检测方法及其***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
戈世琛: "工程科技Ⅱ辑", pages: 035 - 298 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292291A (zh) * 2023-09-13 2023-12-26 杭州智驳科技有限公司 数字乡村独居老人安全求助方法、***、设备及存储介质
CN117012135A (zh) * 2023-10-08 2023-11-07 深圳市卓信特通讯科技有限公司 显示屏调节方法、装置、设备及存储介质
CN117012135B (zh) * 2023-10-08 2024-02-02 深圳市卓信特通讯科技有限公司 显示屏调节方法、装置、设备及存储介质
CN117279170A (zh) * 2023-10-11 2023-12-22 惠州市沃生照明有限公司 用于护眼灯的灯光调节方法及***
CN117355009A (zh) * 2023-10-11 2024-01-05 惠州市沃生照明有限公司 台灯照明亮度调节方法及***
CN117279170B (zh) * 2023-10-11 2024-03-22 惠州市沃生照明有限公司 用于护眼灯的灯光调节方法及***
CN117711309A (zh) * 2024-02-06 2024-03-15 深圳市东陆科技有限公司 基于mcu控制器的led显示控制方法及***
CN117711309B (zh) * 2024-02-06 2024-05-07 深圳市东陆科技有限公司 基于mcu控制器的led显示控制方法及***

Similar Documents

Publication Publication Date Title
KR102174595B1 (ko) 비제약형 매체에 있어서 얼굴을 식별하는 시스템 및 방법
CN116645917A (zh) Led显示屏亮度调节***及其方法
CN110991281B (zh) 一种动态人脸识别方法
US20170330029A1 (en) Computer based convolutional processing for image analysis
CN110678875A (zh) 用于引导用户拍摄自拍照的***和方法
CN109389045B (zh) 基于混合时空卷积模型的微表情识别方法与装置
CN111046734B (zh) 基于膨胀卷积的多模态融合视线估计方法
Liu et al. Pose-adaptive hierarchical attention network for facial expression recognition
CN117218709A (zh) 基于时间可变形注意力机制的居家老人实时状态监测方法
Spivak et al. Approach to Recognizing of Visualized Human Emotions for Marketing Decision Making Systems.
CN113408389A (zh) 一种智能识别司机睡意动作的方法
CN116434010A (zh) 一种多视图的行人属性识别方法
Sun et al. Flame Image Detection Algorithm Based onComputer Vision.
Sheikh Robust recognition of facial expressions on noise degraded facial images
CN118076984A (zh) 用于视线估计的方法和设备
Singla et al. Age and gender detection using Deep Learning
Cadavid et al. Automated classification of gaze direction using spectral regression and support vector machine
US20240104180A1 (en) User authentication based on three-dimensional face modeling using partial face images
Shan Inferring facial and body language
Ge et al. A scene recognition algorithm based on covariance descriptor
Ambika et al. Mathematics for 2D face recognition from real time image data set using deep learning techniques
Al Chanti Automatic Analysis of Macro and Micro Facial Expressions: Detection and Recognition via Machine Learning
Nasrollahi A Computer Vision Story on Video Sequences:: From Face Detection to Face Super-Resolution using Face Quality Assessment
Singh et al. Masked Face Detection using Lightweight Deep Learning based Model for IoT based Healthcare applications
Liljestrand Anti-spoofing for facial recognition-based identification system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination