CN113709949A - 照明设备的控制方法、装置、电子设备及存储介质 - Google Patents
照明设备的控制方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113709949A CN113709949A CN202110963094.2A CN202110963094A CN113709949A CN 113709949 A CN113709949 A CN 113709949A CN 202110963094 A CN202110963094 A CN 202110963094A CN 113709949 A CN113709949 A CN 113709949A
- Authority
- CN
- China
- Prior art keywords
- image data
- target
- lighting
- display area
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000008569 process Effects 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000007619 statistical method Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 230000000712 assembly Effects 0.000 description 6
- 238000000429 assembly Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000011324 bead Substances 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B45/00—Circuit arrangements for operating light-emitting diodes [LED]
- H05B45/20—Controlling the colour of the light
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/155—Coordinated control of two or more light sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/30—Semiconductor lamps, e.g. solid state lamps [SSL] light emitting diodes [LED] or organic LED [OLED]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请公开了一种照明设备的控制方法、装置、电子设备及存储介质,该方法包括:获取画面图像,画面图像是在显示屏显示画面的过程中面向显示屏采集到的;从画面图像中提取目标显示区域对应的目标区域图像数据;根据目标显示区域对应的参考图像数据,对目标区域图像数据进行校正,得到目标图像数据;参考图像数据是根据对照图像中对应于目标显示区域的图像数据确定的,对照图像是在显示屏未显示画面过程中面向显示屏采集到的;根据目标图像数据确定目标显示区域所对应照明组件的亮灯颜色;根据亮灯颜色控制所对应的照明组件进行亮灯,本方案保证了照明组件的亮灯颜色与所对应目标显示区域所显示画面颜色的一致性。
Description
技术领域
本申请涉及智能家居技术领域,更具体地,涉及一种照明设备的控制方法、装置、电子设备及存储介质。
背景技术
为了提升电视的观看体验,相关技术中,在电视的周围布设照明设备,作为电视的背景照明设备,从而,按照电视所显示画面的颜色来控制照明设备的亮灯颜色,以保证电视所呈现画面的颜色与照明设备的亮灯颜色相一致,营造沉浸式观看体验。但是现有技术中仍然存在照明设备的亮灯颜色控制准确度不高,导致照明设备的亮灯颜色与电视所呈现画面的颜色不一致。
发明内容
鉴于上述问题,本申请实施例提出了一种照明设备的控制方法、装置、电子设备及存储介质,以解决现有技术中所存在照明设备的亮灯颜色控制准确度不高,导致照明设备的亮灯颜色与电视所呈现画面的颜色不一致的问题。
根据本申请实施例的一个方面,提供了一种照明设备的控制方法,所述照明设备包括至少一个照明组件;一所述照明组件与显示屏中的一目标显示区域相对应;所述方法包括:获取画面图像,所述画面图像是在所述显示屏显示画面的过程中面向所述显示屏采集到的;从所述画面图像中提取所述目标显示区域对应的目标区域图像数据;根据所述目标显示区域对应的参考图像数据,对所述目标区域图像数据进行校正,得到目标图像数据;所述参考图像数据是根据对照图像中对应于所述目标显示区域的图像数据确定的,所述对照图像是在所述显示屏未显示画面过程中面向所述显示屏采集到的;根据所述目标图像数据确定所述目标显示区域所对应照明组件的亮灯颜色;根据所述亮灯颜色控制所对应的所述照明组件进行亮灯。
根据本申请实施例的一个方面,提供了一种照明设备的控制装置,所述照明设备包括至少一个照明组件;一所述照明组件与显示屏中的一目标显示区域相对应;所述装置包括:画面图像获取模块,用于获取画面图像,所述画面图像是在所述显示屏显示画面的过程中面向所述显示屏采集到的;提取模块,用于从所述画面图像中提取所述目标显示区域对应的目标区域图像数据;校正模块,用于根据所述目标显示区域对应的参考图像数据,对所述目标区域图像数据进行校正,得到目标图像数据;所述参考图像数据是根据对照图像中对应于所述目标显示区域的图像数据确定的,所述对照图像是在所述显示屏未显示画面过程中面向所述显示屏采集到的;亮灯颜色确定模块,用于根据所述目标图像数据确定所述目标显示区域所对应照明组件的亮灯颜色;控制模块,用于根据所述亮灯颜色控制所对应的所述照明组件进行亮灯。
根据本申请实施例的一个方面,提供了一种电子设备,包括:处理器;存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现如上所述照明设备的控制方法。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,其上存储有计算机可读指令,当所述计算机可读指令被处理器执行时,实现如上所述照明设备的控制方法。
在本方案中,在显示屏进行画面显示过程中所采集到的画面图像,实际上显示屏中所显示画面和显示设备周围环境中的事物在显示屏中成像的叠加结果,换言之,该画面图像所呈现的并不完全是显示屏中所显示画面的图像。因此,通过目标显示区域对应的参考图像数据对所对应的目标区域图像数据进行校正,可以使所确定的目标图像数据更接近显示屏中目标显示区域所显示画面的图像,或者将目标区域图像数据进行增强得到目标图像数据,通过加深颜色来减小显示设备周围环境中的事物在显示屏中成像的影响。
在此基础上,基于校正得到的目标图像数据来确定该目标显示区域所对应照明组件的亮灯颜色,提高了亮灯颜色确定的准确性,并按照所确定的亮灯颜色控制对应的照明组件亮灯,可以保证照明组件的亮灯颜色与显示屏中所对应目标显示区域当前所呈现画面颜色的一致性,提升了用户的观看体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请一实施例示出的控制***的示意图。
图2是根据本申请一实施例示出的照明设备在显示设备上的安装示意图。
图3是根据本申请的一个实施例示出的照明设备的控制方法的流程图。
图4A-4B是根据本申请一具体实施示出的进行区域指定的交互示意图。
图5是根据本申请一实施例示出的步骤230之前步骤的流程图。
图6是根据本申请一实施例示出的步骤240的流程图。
图7是根据本申请一具体实施例示出的照明设备的控制方法的流程图。
图8是根据一实施例示出的照明设备的控制装置的框图。
图9示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本申请将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本申请的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本申请的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
需要说明的是:在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1是根据本申请一实施例示出的控制***的示意图。如图1所示,该控制***包括显示设备110、图像采集装置120、终端设备130、和设于显示设备110上的照明设备(图中未示出)。在本申请的一些实施例中,还可以由图1所示控制***中的各设备来交互执行本申请的方案。显示设备110包括用于进行画面显示的显示屏,该显示设备110可以是电视等具有显示屏的设备。
该照明设备中可以包括至少一个照明组件,其中,该照明组件是照明设备中可被单独控制的亮灯模块。该照明设备作为显示设备110的显示屏的背景灯,可以固定设于显示设备上。例如该照明设备可以是灯带,灯带可以环绕显示设备110设置,例如,灯带围绕显示设备的显示屏的边缘设置,或者围绕显示屏的背面边缘设置。从而,在显示屏中进行画面显示的过程中,照明组件可以跟随显示屏中所显示画面的颜色进行亮灯,以使照明组件的亮灯颜色与显示屏中所显示画面的颜色相同或者相接近,从而,构建沉浸式的画面播放环境,提供用户体验。
图2是根据本申请一实施例示出的照明设备在显示设备上的安装示意图,在图2中,该照明设备设于显示设备的显示屏的背面,并环形布置在显示屏的背面,当然,在其他实施例中,照明设备可以仅沿着显示设备的一个或者多个边缘设置,在此不进行具体限定。在图2中该照明设备包括7个照明组件,该7个照明组件分别设于图2中的区域A-区域G。在图2中,摄像头作为图像采集装置120,并固定安装在显示设备的上边缘中部,用于面向显示屏进行图像采集,当然,在其他实施例中,摄像头还可以设置在显示设备的其他边缘中,设置位置也不仅限于边缘的中部,还可以是其他位置,具体可根据实际需要设定。
在其他实施例中,该照明设备还可以是灯柱,该灯柱可以竖直设立于显示屏的两侧。在照明设备中仅包括一个照明组件的情况下,可以在显示设备上布置多个照明设备,以使所布置的多个照明设备呈现丰富的灯效。
图像采集装置120用于面向显示设备110的显示屏进行图像采集,图像采集装置120可以是摄像头,或者其他集成了图像采集功能的设备。在一些实施例中,图像采集装置120可以固定设于显示设备110上,例如图1中,将图像采集装置120固定设于显示设备110的上边缘的中间位置,当然,在其他实施例中,图像采集装置120还可以是与显示设备110相分离设置,仅保证图像采集装置120可以采集到显示屏的图像即可。
终端设备130可以是智能手机、平板电脑、便携式计算机、台式电脑、可穿戴设备等,在此不进行具体限定。终端设备130可以与图像采集装置120、以及背景灯建立通信连接,从而,图像采集装置120中所采集到的图像可发送到终端设备130,以便于用户根据终端设备130中显示的图像进行区域指定,得到指定区域信息,便于后续按照该指定区域信息从图像采集装置120所采集到的图像中裁剪得到显示屏所在的目标像素区域。
在本申请的一些实施例中,基于终端设备130与图像采集装置120、与照明设备的通信连接,在图像采集装置120将采集到的画面图像以及对照图像发送到终端设备130后,由终端设备130按照本申请的方案对照明设备中的照明组件进行控制。或者,用户可以根据实际需要灵活控制照明设备中的照明组件。当然,在其他实施中,该终端设备130还可以与显示设备110建立通信连接,从而,用户还可以通过终端设备130对显示设备110进行控制。
在本申请的一些实施例中,图像采集装置120还可以与照明设备建立通信连接,从而,在图像采集装置120面向显示屏采集到画面图像后,可以按照本申请提供的方案对照明设备进行控制。
在本申请的一些实施例中,基于图像采集装置120与照明设备之间的通信连接,图像采集装置120还可以将采集到的画面图像发送到照明设备,由照明设备按照本申请的方案确定自身中各照明组件的亮灯颜色,并按照所确定的亮灯颜色进行亮灯。
以下对本申请实施例的技术方案的实现细节进行详细阐述:
图3示出了根据本申请的一个实施例示出的照明设备的控制方法的流程图,该方法可以由具备处理能力的电子设备执行,例如图1所示的终端设备、图像采集装置、照明设备等或者由图1所示控制***中的多个设备交互执行,在此不进行具体限定。一所述照明组件与所述显示屏中的一目标显示区域相对应。具体的,照明设备可以是环绕显示设备的显示屏所在平面的边缘设置,也可以是设于显示屏的背面,呈环形布置,或者沿显示设备的一条或者多条边缘进行布置。照明组件是照明设备中可被单独控制的亮灯模块,例如,若照明设备中包括多个并联的LED灯,每个LED灯可以被单独控制,则每个LED灯可以被视为一个照明组件。又例如,照明设备为灯带,灯带中包括多个灯段,其中,每个灯段中设有控制IC和灯珠,每个灯段可被单独控制,因此,每个灯段可视为一照明组件,对于该灯带的控制指令包括该灯带中全部灯段的灯段指令,灯带中的其他一灯段(例如首个灯段)接收到灯带的控制指令后,从该控制指令中提取对应于自身的灯段指令,并将控制指令中对应于其他灯段的控制指令发送到下一个灯段,以使该下一个灯段从中提取对应于自身的灯段指令,以此类推,直至灯带中的全部灯段均提取到对应于自身的灯段指令。
显示屏中的目标显示区域并不特指某一显示区域,而是泛指显示屏中与照明组件相对应的显示区域,或者说,是指显示屏中作为确定照明组件的亮灯颜色的依据的显示区域。目标显示区域可以是显示屏中的全部或者部分显示区域。可以理解的是,显示屏中可以包括一个目标显示区域,也可以包括多个目标显示区域,针对每个目标显示区域,均可按照本申请的方案来对该目标显示区域所对应你的照明组件进行亮灯颜色控制。
在本申请的一些实施例中,显示屏的显示区域中可以包括多个目标显示区域,一目标显示区域与一照明组件唯一对应。其中,照明组件与显示屏中的目标显示区域之间的对应关系可以是预先设定的,或者由用户根据实际需要进行设定,在本申请的一些实施例中,目标显示区域与照明组件之间的对应关系还可以是由根据照明组件相对于显示屏的位置来进行设定,例如,若照明组件是布置在显示屏的背面,则可以将照明组件的设置位置在显示屏上的投影区域为中心,设定尺寸的显示区域作为该照明组件所关联的目标显示区域;又例如,若照明组件是设于显示屏的边缘,则可以从照明组件在显示屏的边缘的位置处为起点,向显示屏的显示区域内部延伸的设定尺寸的区域作为该照明组件所对对应的目标显示区域;又例如,若照明设备为灯柱,可以将显示屏中距离灯珠的距离最近的设定尺寸的区域作为该灯柱对应的目标显示区域。
可以理解的是,不同的照明组件所对应的目标显示区域的区域尺寸可以是相同,也可以是不同的,具体可根据实际需要进行设定。
请继续参阅图3,该照明设备的控制至少包括步骤310至350,详细介绍如下:
步骤310,获取画面图像,所述画面图像是在所述显示屏显示画面的过程中面向所述显示屏采集到的。
该显示屏可以用于显示电视节目、点播视频、直播视频、游戏画面、以及广告视频等视频,在此不进行具体限定。在本申请的方案中,所采集到的画面图像中至少包括了显示屏中目标显示区域中所显示画面的图像,在一些实施例中,所采集的画面图像中包括显示屏的全景图像,从而,根据该画面图像可以呈现显示屏中所显示画面的图像。
步骤320,从所述画面图像中提取所述目标显示区域对应的目标区域图像数据。
如上所描述,目标显示区域可以是显示屏中的部分显示区域,从而,在步骤320中,从所采集到的画面图像中提取显示屏中目标显示区域所显示画面的图像,从而,所提取的目标区域图像数据可以是从画面图像中所提取显示屏中目标显示区域所显示画面的图像。
在本申请的一些实施例中,虽然图像采集装置是面向显示屏进行图像采集得到的,但是,所采集到的画面图像中处理包括显示屏的图像外,还可能包括显示屏外其他周围环境的图像。在该种情况下,为了避免因显示屏外其他区域的图像对确定照明设备的亮灯颜色的影响,可以先将显示屏外其他区域的图像裁剪掉。然后,再按照目标显示区域在显示屏中的位置信息来从剪裁后的画面图像中进行图像提取。
在该种情况下,步骤310,包括:按照设定的指定区域信息,对所述画面图像进行剪裁,得到在所述画面图像中所述显示屏所在的显示屏像素区域;根据所述目标显示区域在所述显示屏中的位置信息,在所述显示屏像素区域中进行像素区域提取,得到所述目标显示区域对应的目标区域图像数据。
该指定区域信息用于指示在画面图像中所需要保留的图像区域范围。可以理解的是,该指定区域信息所指示的图像区域至少包括显示屏中包括全部目标显示区域在内的区域所对应的图像。可以理解的是,用于面向显示屏进行图像采集的图像采集装置的位置一般是固定的,以及对应的图像采集参数(例如焦距、角度等)也基本是保持不变的,在该种情况下,图像采集装置的图像采集视角是相同的,从而,可以基于图像采集装置所采集的一张图像作为基础图像,通过在该基础图像中进行像素区域指定,得到该指定区域信息。
在本申请的一些实施例中,可以通过与图像采集装置通信连接的终端来进行像素区域指定,例如通过智能手机来进行像素区域指定。图4A-4B是根据本申请一具体实施示出的进行区域指定的交互示意图。在本实施例中,显示设备为显示屏,用户可以基于图4A所示的界面图指定显示屏中的目标显示区域。图4A的交互图中的示例区411中示出了标签纸在显示屏的角落中贴标签纸的示意图。其中,显示屏中标签纸覆盖的区域即确定为显示屏中的目标显示区域。在图4A所示的第一用户界面410中还进一步显示提示信息“1、打开房间的灯,并关闭电视;2、在电视的角落贴标签纸”。
若用户在电视的显示屏上贴好标签纸后,用户可以触发第一用户界面410中的“准备好”控件412,跳转进入到图4B所示的第二用户界面420。如图4B所示,该第二用户界面420中的画面显示区421可以显示图像采集装置面向显示屏所采集到的图像。同时画面显示区421中提供了框选指示点422和由框选指示点首尾相接所形成的框选框423。
图4B中示例性示出了5个框选指示点422,用户可以移动各个框选指示点422来改变框选框423下所显示图像中包围的区域,从而,用户可以将框选指示点422移动到图像中显示屏的端点以及边缘上,以使框选框423在所显示的图像中包围的区域为显示屏在图像中所在的显示屏像素区域。
之后,用户可以触发第二用户界面420中的“提交”控件424将所确定的框选框423的位置信息作为指定区域信息、或者将附加了框选框423的图像发送到图像采集装置,以便于图像采集装置根据指定区域信息对所采集到的图像进行剪裁。当然,也可以触发“提交”控件424将指定区域信息存储在客户端,便于该客户端后续按照指定区域信息对图像进行剪裁。第二用户界面420中还提供了“刷新”控件425,用户可以通过触发该“刷新”控件425来更新显示画面显示区421中框选指示点422以及框选框423的位置。
在将标签纸贴在显示屏上后,设于电视上的图像采集装置可以面向显示屏进行图像采集,从而,获得贴有标签纸的显示屏的第一图像,该第一图像可以显示在图4B所示的画面显示区421中,从而,用户基于该第一图像来进行框选指示点422的移动。
之后,终端或者图像采集装置可以根据在第一图像识别各标签纸在第一图像中的标签纸像素区域,确定标签纸像素区域在第一图像中的位置信息,以及根据框选框423的位置信息确定显示屏像素区域在第一图像中的位置信息;根据该标签纸像素区域在第一图像中的位置信息和显示屏像素区域在第一图像中的位置信息可以确定标签纸像素区域相对于显示屏像素区域的相对位置信息,或者可以进一步确定,标签纸所覆盖的区域在显示屏中的位置信息。在具体实施例中,可以将标签纸像素区域相对于显示屏像素区域的相对位置信息、以及该标签纸像素区域在第一图像中的位置信息进行存储,从而便于后续过程中从画面图像中提取目标显示区域对应的目标区域图像数据。
目标显示区域在所述显示屏中的位置信息用于指示目标显示区域相对于显示屏的相对位置,在具体实施例中,目标显示区域相对于显示屏的相对位置还可以通过标签纸像素区域相对于显示屏像素区域的相对位置来体现,因此,在具体实施例中,可以将标签纸像素区域相对于显示屏像素区域的相对位置信息作为目标显示区域在所述显示屏中的位置信息,在剪裁获得的显示屏像素区域中像素区域提取,得到目标显示区域所对应的图像所在的像素区域,即为目标显示区域对应的目标区域图像数据。
在本申请的一些实施例中,还可以是通过图像识别来得到确定显示屏所在的显示屏像素区域在画面图像中的位置信息,进而,根据所确定的位置信息从画面图像中提取显示屏像素区域,从而不需要用户在第二用户界面中通过移动框选指示点来指定显示屏像素区域在图像中的位置。
目标区域图像数据至少指示了显示屏中目标显示区域所显示画面的图像中各个像素点的颜色信息,例如,目标区域图像数据可以指示各个像素点对应的RGB值,即像素点对应的红色(R)分量值、绿色(G)分量值和蓝色(B)分量值;又例如,目标区域图像数据可以指示各个像素点对应的YUV值,像素点对应的YUV值可以转换成RGB值,对应得到各个像素点对应的红色分量值、绿色分量值和蓝色分量值。
请继续参阅图3,步骤330,根据所述目标显示区域对应的参考图像数据,对所述目标区域图像数据进行校正,得到目标图像数据;所述参考图像数据是根据对照图像中对应于所述目标显示区域的图像数据确定的,所述对照图像是在所述显示屏未显示画面过程中面向所述显示屏采集到的。
在实际过程中,可能由于显示设备周围环境中的事物在显示屏中成像,从而,在显示屏进行画面显示的过程中,图像采集装置所采集到的画面图像实际上显示屏中所显示画面和显示设备周围环境中的事物在显示屏中成像的叠加,在显示设备周围环境中的事物亮度较高的情况下,可能导致在所采集到的画面图像中一像素区域并不是显示屏中对应显示区域所显示画面的图像,而是显示设备周围环境中的某一事物在显示屏中的成像的图像,因此,在该种情况下,显示设备周围环境中的事物在显示屏中的成像的颜色可能会掩盖显示屏中所显示的画面的颜色。
对作为显示屏的背景的照明设备而言,需要控制该照明设备的亮灯颜色与显示屏中所显示画面,或者某一区域所显示画面的颜色基本一致,因此,如果显示设备周围环境中的事物在显示屏中的成像颜色可能全部掩盖或者部分掩盖显示屏中所显示的画面的颜色的情况下,如果直接根据画面图像中目标显示区域所在像素区域的颜色确定所对应照明组件的亮灯颜色,会导致目标显示区域实际显示画面的颜色与照明组件的亮灯颜色不一致,影响用户的观感,用户体验差。
本申请的发明人正是意识到所采集到的画面图像中叠加了显示设备周围环境中的事物在显示屏中成像,在显示设备周围环境中的事物在显示屏中成像的颜色在画面图像中颜色的贡献比例较大的情况下,如果直接将画面图像所呈现的颜色确定为照明组件的颜色,会导致所确定照明组件的亮灯颜色与显示屏中对应显示区域所显示画面的颜色不一致,导致了照明组件的亮灯颜色控制准确度低。基于所意识到造成照明组件的亮灯颜色与显示屏中对应显示区域所显示画面的颜色不一致的原因,从而提出了本申请的方案。
因此,在本申请的方案中,为了保证所确定照明组件的亮灯颜色与所对应目标显示区域所呈现画面的实际颜色之间的一致性,通过目标显示区域对应的参考图像数据来对目标显示区域所对应的目标区域图像数据进行校正,以减少因显示设备周围环境中的事物在显示屏中成像所导致对照明组件的亮灯颜色的干扰,提高所确定照明组件的亮灯颜色的准确性,保证照明组件的亮灯颜色与目标显示区域所显示画面的颜色一致。
在本申请的一些实施例中,步骤330包括:根据所述目标区域图像数据和所述目标显示区域对应的参考图像数据进行差分,得到所述目标图像数据。
在本申请的一些实施中,可以将目标区域图像数据与参考图像数据按像素进行差分,即将目标区域图像数据中每个像素的颜色分量值与所对应参考图像数据中对应像素的颜色分量值相减,将相减所得到差值的绝对值作为目标图像数据中该像素的颜色分量。可以理解的是,各像素的颜色分量包括红色分量、绿色分量和蓝色分量,在进行差分的过程中,分别进行红色分量、绿色分量和蓝色分量的差分。在本申请的一些实施中,还可以先根据目标区域图像数据,计算目标显示区域所对应的像素区域的第一颜色分量平均值,并根据参考图像数据计算目标显示区域所对应的像素区域的第二颜色分量平均值,然后将第一颜色分量平均值与第二颜色分量平均值进行相减,将差值的绝对值作为目标图像数据。
在本申请的一些实施例中,步骤330,包括:将所述目标区域图像数据所指示各像素在颜色分量上的第一颜色分量值与所述参考图像数据所指示对应像素在颜色分量上的第二颜色分量值相乘,得到所对应像素点的第三颜色分量值;将所述第三颜色分量值与第一系数相除,得到第四颜色分量值,其中,所述第一系数是1与指定参数的差,所述指定参数是将所述第二颜色分量值进行归一化所得到的数值;将所述第四颜色分量值与所述第一颜色分量值相加,得到第五颜色分量值;组合各像素点在全部颜色分量上的第五颜色分量值,得到所述目标图像数据。
在本实施例的方案中,目标区域图像数据指示了目标显示区域在画面图像中所在第一像素区域中各像素的RGB值,即指示了各像素在红色分量上的红色分量值、在蓝色分量上的蓝色分量值、在绿色分量上的绿色分量值。为便于区分,将目标区域图像数据所指示的颜色分量值称为第一颜色分量值,对应的,该第一颜色分量值包括在红色分量上的第一红色分量值、在蓝色分量上的第一蓝色分量值、在绿色分量上的第一绿色分量值。
同理,参考图像数据指示了目标显示区域在对照图像中所在第二像素区域中各像素的RGB值,即指示了各像素在红色分量上的红色分量值、在蓝色分量上的蓝色分量值、在绿色分量上的绿色分量值。为便于区分,将参考图像数据所指示的颜色分量值称为第二颜色分量值,对应的,该第二颜色分量值包括在红色分量上的第二红色分量值、在蓝色分量上的第二蓝色分量值、在绿色分量上的第二绿色分量值。
同理,第三颜色分量值包括在红色分量上的第三红色分量值、在蓝色分量上的第三蓝色分量值、在绿色分量上的第三绿色分量值;第四颜色分量值包括在红色分量上的第四红色分量值、在蓝色分量上的第四蓝色分量值、在绿色分量上的第四绿色分量值;第五颜色分量值包括在红色分量上的第五红色分量值、在蓝色分量上的第五蓝色分量值、在绿色分量上的第五绿色分量值。
在本实施例的方案中,根据目标区域图像数据所指示各像素的RGB值和参考图像数据所指示各像素的RGB值,针对每一像素点在每一颜色分量上的颜色分量值均按照上述的过程进行计算,得到各像素点在每一颜色分量上的第五颜色分量值。
现举例对上述过程进行说明,假设目标区域图像数据所指示像素N在红色分量上的第一红色分量值为R1,参考图像数据所指示像素N在红色分量上的第二红色分量值为R2,则按照下式公式1计算得到像素N在红色分量上的第三红色分量值R3为:
R3=R1×R2;(公式1)
由于每个颜色分量值的取值范围为0~255,因此,可以将第二颜色分量值与255的商作为指定参数。即,指定参数n为:
则第一系数n1为:n1=1-n;(公式3)
像素N在红色分量上的第四红色分量值R4为:
R4=R3/n1;(公式4)
像素N在红色分量上的第五红色分量值R5为:
R5=R1+R4;(公式5)
将上述公式1-5进行结合可以得到:
R5=R1+(R1×R2)/(1-R2/255);(公式6)
在本实施例中,由于n的取值范围为0~1,同理,n1的取值范围也为0~1,则R4的值必然大于R3,且,R4为正值,因此,所得到的R5的值大于R1的值,因此,本实施例相当于将各像素点的颜色加深,以减弱显示设备周围环境中的事物在显示屏上的成像的影响。
在本申请的一些实施例中,在确定目标显示区域对应的参考图像数据之后,将该目标显示区域对应的参考图像数据进行存储。在后续的过程中,如果设备(例如图像采集装置、终端、或者照明组件)中存储有该目标显示区域对应的参考图像数据,则执行步骤330;反之,如果设备中未存储目标显示区域对应的参考图像数据,则不执行步骤330,将目标显示区域对应的目标区域图像数据作为目标图像数据,并跳转执行步骤340。
步骤340,根据所述目标图像数据确定所述目标显示区域所对应照明组件的亮灯颜色。
步骤350,根据所述亮灯颜色控制所对应的所述照明组件进行亮灯。
在本方案中,在显示屏进行画面显示过程中所采集到的画面图像,实际上显示屏中所显示画面和显示设备周围环境中的事物在显示屏中成像的叠加结果,换言之,该画面图像所呈现的并不完全是显示屏中所显示画面的图像。因此,通过目标显示区域对应的参考图像数据对所对应的目标区域图像数据进行校正,可以使所确定的目标图像数据更接近显示屏中目标显示区域所显示画面的图像,或者将目标区域图像数据进行增强得到目标图像数据,通过加深颜色来减小显示设备周围环境中的事物在显示屏中成像的影响。
在此基础上,基于校正得到的目标图像数据来确定该目标显示区域所对应照明组件的亮灯颜色,提高了亮灯颜色确定的准确性,并按照所确定的亮灯颜色控制对应的照明组件亮灯,可以保证照明组件的亮灯颜色与显示屏中所对应目标显示区域当前所呈现画面颜色的一致性,提升了用户的观看体验。
在本申请的一些实施例中,如图5所述,步骤330之前,该方法还包括:
步骤510,获取所述对照图像。
步骤520,从所述对照图像中提取得到对应于所述目标显示区域的图像数据。
具体从对照图像中提取目标显示区域对应的图像数据的过程,参照上述实施例中从画面图像中提取目标显示区域对应的目标区域图像数据的过程,在此不再赘述。
步骤530,对所述图像数据中各像素的颜色分量进行统计分析,得到所述图像数据中颜色分量的第一统计特征参数。
其中,由于图像数据中包括各像素在多个颜色通道上的颜色分量,则在步骤530中,每个颜色通道上,分别对图像数据中所指示像素的颜色分量进行统计分析,得到每个颜色通道所对应颜色分量的第一统计特征参数。例如,若图像数据中包括各像素的RGB值,则在红色通道上对图像数据中像素的红色分量、在绿色通道上对图像数据中像素的绿色分量、在蓝色通道上对图像数据中像素的蓝色分量进行统计分析。
其中,第一统计特征参数可以是平均值、众数、指定比分位数等统计参数。指定百分位数所对应的百分位可以根据实际需要进行设定,例如设定百分位为75%、85%、90%、95%等,在此不进行具体限定。通过该第一统计特征参数来确定在画面图像中目标显示区域所在的像素区域中颜色分量的总体分布情况。
可以理解的是,由于是分颜色分量进行统计分析的,因此,对应为每一颜色通道分别指定了设定参数范围。其中,为各颜色通道所指定的设定参数范围可以相同也可以不同,在此不进行具体限定,具体可根据实际需要进行设定。
步骤540,检测第一统计特征参数是否超出设定参数范围,若为是,则执行步骤550,若为否,则执行步骤560。
步骤550,将所述图像数据作为所述目标显示区域对应的参考图像数据。
步骤560,将所述目标显示区域对应的参考图像数据设为指定值。
若第一统计特征参数超出设定参数范围,可以视为对照图像中目标显示区域所呈现的画面的颜色较深,对应的,表明此时显示设备周围环境中的事物在显示屏上的成像对显示屏中所显示画面的影响较大,对应的,该显示设备周围环境中的事物在显示屏上的成像对确定照明组件的亮灯颜色的干扰较大,因此,在该种情况下,将对照图像中目标显示区域所对应的图像数据作为参考图像数据,用于后续步骤中进行目标显示区域所对应目标区域图像数据的校正。
若第一统计特征参数位于设定参数范围,可以视为对照图像中目标显示区域所呈现的画面的颜色较浅,对应的,表明此时显示设备周围环境中的事物在显示屏上的成像对显示屏中所显示画面的影响较小,该显示设备周围环境中的事物在显示屏上的成像对确定照明组件的亮灯颜色的干扰较小。从而,将目标显示区域对应的参考图像数据设定为指定值。
在具体实施例中,该设定参数范围可以根据实际需要进行设定。在本申请的一些实施例中,为每个颜色分量所设定的设定参数可以均为(0,97)。
在本申请的一些实施例中,指定值可以是0,或者其他低于设定参数范围中最小值的值,具体可根据实际需要进行设定。
在本申请的一些实施例中,也可以不检测第一统计特征参数是否超出设定参数范围,而直接将对照图像中目标显示区域所对应的图像数据确定为目标显示区域的参考图像数据。
在本申请的一些实施例中,如图6所示,步骤240,包括:
步骤610,根据所述目标图像数据所指示各个像素的颜色分量信息进行统计特征分析,得到每个颜色分量的第二统计特征参数。
同第一统计特征参数值,该第二统计特征参数可以是平均值、众数、指定比分位数等统计参数。指定百分位数所对应的百分位可以根据实际需要进行设定,例如设定百分位为70%、88%、90%、95%等,在此不进行具体限定
步骤620,根据所述每个颜色分量的第二统计特征参数,确定所述目标显示区域所对应照明组件的亮灯颜色。
在本申请的一些实施例中,可以直接将全部颜色分量组合所指示的颜色确定为目标显示区域所对应照明组件的亮灯颜色。举例来说,若第二统计特征参数为平均值,假设统计确定红色分量的平均值为199,蓝色分量的平均值为213,绿色分量的平均值为178,则RGB值(199,213,178)所指示的颜色为目标显示区域所对应照明组件的亮灯颜色。
在本申请的一些实施例中,由于显示设备所在环境中的光照因素或镜面反光等可能导致图像采集装置所采集的屏幕色彩变淡,在该种情况下,可以将每个颜色分量的第二统计特征参数进行颜色增强(也可以称作颜色夸张算法)。在该种情况下,步骤620进一步包括:将所述每个颜色分量上的统计特征参数值进行增强,得到每个颜色分量对应的目标颜色分量值;组合全部颜色分量对应的目标颜色分量值,得到所述目标显示区域所对应照明组件的亮灯颜色。
在本申请的一些实施例中,可以是按照预先设定的增强系数,将每个颜色分量上的统计特征参数值进行线性增强,得到该颜色分量上的目标颜色分量值。举例来说,若红色分量上的统计特征参数值为T1,增强系数为k,用T2表示目标颜色分量值,则可以按照T2=k*T1进行线性增强;按照T2=k*T1+b进行线性增强。其中,增强系数k、以及常数b可以根据实际需要进行设定,例如,设定k=3,b=97等,在此不进行具体限定。可以理解的是,由于颜色分量的颜色分量值的取值范围为0~255,则对应的,进行增强所得到目标颜色分量值也不超过255。
在本申请的一些实施例中,可以是按照预先设定的底数,其中,k大于1,将每个颜色分量上的统计特征参数值进行指数增强。举例来说,若红色分量上的统计特征参数为T1,底数为t,则红色分量上的目标颜色分量T2=tT1,底数t可以根据需要进行设定,例如设定t为2,在此不进行具体限定。
在本实施例中,通过对每个颜色分量上的统计特征参数值进行增强,从而,可以弥补因显示设备所在环境中的光照因素或镜面反光等可能导致图像采集装置所采集的屏幕色彩变淡,使得照明组件的亮灯颜色与显示屏中所对应目标区域中所呈现画面的颜色的一致性。
图7是根据本申请一具体实施例示出的照明设备的控制方法的流程图。在图7所示实施例中,照明设备为电视灯带,电视灯带中包括多个LED亮灯模块,每个LED亮灯模块作为一个照明组件。显示设备为电视,图像采集设备为摄像头。用户的终端可以运行控制灯带的应用程序,从而,可以通过终端中所运行的客户端来执行照明设备的控制方法。如图7所示,具体包括步骤711-729。具体说明如下:
步骤711,客户端连接电视灯带。电视灯带上设有通信模块,该通信模块可以是蓝牙模块、WIFI模块、Zigbee模块等,从而,电视灯带可以与客户端所在的终端建立通信连接。
步骤712,在客户端显示第一提示信息;该第一提示信息用于提示用户关闭电视。在用户关闭电视后,电视的显示屏不会进行画面显示,从而,便于摄像头面向电视的显示屏采集对照图像。
步骤713,启动摄像头进行自检。启动摄像头进行自检即启动摄像头采集显示显示屏未显示画面时的对照图像。
步骤714,接收摄像头采集到的对照图像。
步骤715,将对照图像从YUV颜色空间转换到RGB颜色空间。在本实施例中,对照图像对应的图像数据为YUV格式的,因此,将对照图像从YUV颜色空间转换到RGB颜色空间,可以得到对照图像中各限速的RGB值。
步骤716,判断目标显示区域所在像素区域中的RGB均值是否超过设定阈值;若为是,则执行步骤717,若为否,则执行步骤721。可以理解的是,在步骤716中,需要从对照图像中提取各目标显示区域在对照图像中的像素区域,从而,基于所提取目标显示区域在对照图像中的像素区域中各像素的RGB值确定RGB均值。该设定阈值可以是97,当然,也可以根据实际需要设定为其他的值。
步骤717,控制目标显示区域对应的照明组件亮灯。
步骤718,提示用户是否需要重新自检;若为是,则返回到步骤713;若为否,则执行步骤719。在一些实施例中,在判断一目标显示区域所在像素区域中的RGB均值超过设定阈值时,客户端还可以生成第二提示信息,通过该第二提示信息提示用户该目标显示区域在对照图像中的像素区域中的RGB均值超过设定阈值,从而,便于用户根据该第二提示信息移除电视所在环境中的干扰物。在用户移除干扰物后,可以确定需要重新自检,从而,返回到步骤713重新进行自检。
步骤719,存储各目标显示区域所对应的第二RGB值。第二RGB值为目标显示区域对应的参考图像数据所指示的RGB值;从而,将该第二RGB值作为干扰信息进行存储,以在后续过程中通过该干扰信息对画面图像中目标显示区域对应的目标区域图像数据进行校正,即在通过步骤721进入到视频模式后,基于该第二RGB值进行校正。
步骤721,进入视频模式。在用户打开电视,电视对应进行画面显示,从而,在进入视频模式后,并启动摄像头进行视频采集,摄像头可以在电视进行画面显示的过程中面向电视的显示屏进行视频采集,基于摄像头与终端的通信连接,终端接收摄像头所采集到的视频。所采集的视频中,各视频帧均可以当做本申请方案中的画面图像。
步骤722,读取一帧画面图像中各目标显示区域对应的目标区域图像数据。在步骤722中,从视频中选取一视频帧作为画面图像,并按照所设定的目标显示区域从画面图像中提取各目标显示区域对应的目标区域图像数据。
步骤723,将目标显示区域对应的目标区域图像数据从YUV空间转换到RGB空间,得到各像素点的RGB值。
步骤724,判断是否存储有目标显示区域对应的参考图像数据;若为是,则执行步骤725;若为否,执行步骤726。
步骤725,将目标显示区域对应的第一RGB值与所对应的第二RGB值进行差分,得到第三RGB值;其中,第一RGB值为目标显示区域对应的目标区域图像数据所指示的RGB值;第三RGB值为目标显示区域对应的目标图像数据所指示的RGB值。
步骤726,将第一RGB值确定为第三RGB值。
步骤727,将第三RGB值与增强系数1.3相乘,得到第四RGB值。在其他实施例中,该增强系数还可以为其他值。
步骤728,根据目标显示区域中各像素的第四RGB值确定目标显示区域所对应照明组件的亮灯颜色。
步骤729,按照所确定照明组件的亮灯颜色控制对应的照明组件。之后返回到步骤722,读取下一帧画面图像,以重复执行步骤722-729的过程。
在本申请的方案中,通过摄像头采集到的对照图像来检测电视的周围是否存在会影响确定照明组件的亮灯颜色过程中的干扰物,并基于对照图像中目标显示区域对应的参考图像数据来对画面图像中目标显示区域对应的目标区域图像数据进行校正,并根据校正所得到的目标图像数据来确定该目标显示区域所对应照明组件的亮灯颜色,并控制照明组件按照所确定的亮灯颜色进行亮灯,从而,保证照明组件所呈现的灯光的颜色与目标显示区域当前所呈现画面的颜色相一致,提高了用户观看电视的体验,便于用户沉浸式观看电视。
以下介绍本申请的装置实施例,可以用于执行本申请上述实施例中的方法。对于本申请装置实施例中未披露的细节,请参照本申请上述方法实施例。
图8是根据一实施例示出的照明设备的控制装置的框图,所述照明设备包括至少一照明组件;一所述照明组件与所述显示屏中的一目标显示区域相对应;如图8所示,该照明设备的控制装置包括:画面图像获取模块810,用于获取画面图像,所述画面图像是在所述显示屏显示画面的过程中面向所述显示屏采集到的;提取模块820,用于从所述画面图像中提取所述目标显示区域对应的目标区域图像数据;校正模块830,用于根据所述目标显示区域对应的参考图像数据,对所述目标区域图像数据进行校正,得到目标图像数据;所述参考图像数据是根据对照图像中对应于所述目标显示区域的图像数据确定的,所述对照图像是在所述显示屏未显示画面过程中面向所述显示屏采集到的;亮灯颜色确定模块840,用于根据所述目标图像数据确定所述目标显示区域所对应照明组件的亮灯颜色;控制模块850,用于根据所述亮灯颜色控制所对应的所述照明组件进行亮灯。
在本申请的一些实施例中,照明设备的控制装置还包括:对照图像获取模块,用于获取所述对照图像;第二提取模块,用于从所述对照图像中提取得到对应于所述目标显示区域的图像数据;第一统计分析模块,用于对所述图像数据中各像素的颜色分量进行统计分析,得到所述图像数据中颜色分量的第一统计特征参数;参考图像数据确定模块,用于若所述第一统计特征参数超出设定参数范围,则将所述图像数据进行存储,作为所述目标显示区域对应的参考图像数据。
在本申请的一些实施例中,照明设备的控制装置还包括:指定模块,用于若所述第一统计特征参数位于所述设定参数范围内,则将所述目标显示区域对应的参考图像数据设为指定值。
在本申请的一些实施例中,校正模块830,包括:差分单元,用于根据所述目标区域图像数据和所述目标显示区域对应的参考图像数据进行差分,得到所述目标图像数据。
在本申请的另一些实施例中,校正模块830,包括:第一相乘单元,用于将所述目标区域图像数据所指示各像素在颜色分量上的第一颜色分量值与所述参考图像数据所指示对应像素在颜色分量上的第二颜色分量值相乘,得到所对应像素点的第三颜色分量值;第二相乘单元,用于将所述第三颜色分量值与第一系数相除,得到第四颜色分量值,其中,所述第一系数是1与指定参数的差,所述指定参数是将所述第二颜色分量值进行归一化所得到的数值;相加单元,用于将所述第四颜色分量值与所述第一颜色分量值相加,得到第五颜色分量值;目标图像数据确定单元,用于组合各像素点在全部颜色分量上的第五颜色分量值,得到所述目标图像数据。
在本申请的一些实施例中,亮灯颜色确定模块840,包括:第二统计特征参数确定单元,用于根据所述目标图像数据所指示各个像素的颜色分量信息进行统计特征分析,得到每个颜色分量的第二统计特征参数;亮灯颜色确定单元,用于根据所述每个颜色分量的第二统计特征参数,确定所述目标显示区域所对应照明组件的亮灯颜色。
在本申请的一些实施例中,亮灯颜色确定单元,包括:目标颜色分量值确定单元,用于将所述每个颜色分量上的统计特征参数值进行增强,得到每个颜色分量对应的目标颜色分量值;组合确定单元,用于组合全部颜色分量对应的目标颜色分量值,得到所述目标显示区域所对应照明组件的亮灯颜色。
在本申请的一些实施例中,提取模块820,包括:剪裁单元,用于按照设定的指定区域信息,对所述画面图像进行剪裁,得到在所述画面图像中所述显示屏所在的显示屏像素区域;区域提取单元,用于根据所述目标显示区域在所述显示屏中的位置信息,在所述显示屏像素区域中进行像素区域提取,得到所述目标显示区域对应的目标区域图像数据。
图9示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
需要说明的是,图9示出的电子设备的计算机***900仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示,计算机***900包括中央处理单元(Central Processing Unit,CPU)901,其可以根据存储在只读存储器(Read-Only Memory,ROM)902中的程序或者从存储部分908加载到随机访问存储器(Random Access Memory,RAM)903中的程序而执行各种适当的动作和处理,例如执行上述实施例中的方法。在RAM 903中,还存储有***操作所需的各种程序和数据。CPU901、ROM902以及RAM 903通过总线904彼此相连。输入/输出(Input/Output,I/O)接口905也连接至总线904。
以下部件连接至I/O接口905:包括键盘、鼠标等的输入部分906;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908;以及包括诸如LAN(Local Area Network,局域网)卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分909从网络上被下载和安装,和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时,执行本申请的***中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读存储介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读存储介质承载计算机可读指令,当该计算机可读存储指令被处理器执行时,实现上述任一实施例中的方法。
根据本申请的一个方面,还提供了一种电子设备,其包括:处理器;存储器,存储器上存储有计算机可读指令,计算机可读指令被处理器执行时,实现上述任一实施例中的方法。
根据本申请实施例的一个方面,提供了计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述任一实施例中的方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本申请实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (11)
1.一种照明设备的控制方法,其特征在于,所述照明设备包括至少一个照明组件;一所述照明组件与显示屏中的一目标显示区域相对应;所述方法包括:
获取画面图像,所述画面图像是在所述显示屏显示画面的过程中面向所述显示屏采集到的;
从所述画面图像中提取所述目标显示区域对应的目标区域图像数据;
根据所述目标显示区域对应的参考图像数据,对所述目标区域图像数据进行校正,得到目标图像数据;所述参考图像数据是根据对照图像中对应于所述目标显示区域的图像数据确定的,所述对照图像是在所述显示屏未显示画面过程中面向所述显示屏采集到的;
根据所述目标图像数据确定所述目标显示区域所对应照明组件的亮灯颜色;
根据所述亮灯颜色控制所对应的所述照明组件进行亮灯。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标显示区域对应的参考图像数据,对所述目标区域图像数据进行校正,得到目标图像数据之前,所述方法还包括:
获取所述对照图像;
从所述对照图像中提取得到对应于所述目标显示区域的图像数据;
对所述图像数据中各像素的颜色分量进行统计分析,得到所述图像数据中颜色分量的第一统计特征参数;
若所述第一统计特征参数超出设定参数范围,则将所述图像数据进行存储,作为所述目标显示区域对应的参考图像数据。
3.根据权利要求2所述的方法,其特征在于,所述对所述图像数据中各像素的颜色分量进行统计分析,得到所述图像数据中颜色分量的第一统计特征参数之后,所述方法还包括:
若所述第一统计特征参数位于所述设定参数范围内,则将所述目标显示区域对应的参考图像数据设为指定值。
4.根据权利要求1所述的方法,其特征在于,所述根据所述目标显示区域对应的参考图像数据,对所述目标区域图像数据进行校正,得到目标图像数据,包括:
根据所述目标区域图像数据和所述目标显示区域对应的参考图像数据进行差分,得到所述目标图像数据。
5.根据权利要求1所述的方法,其特征在于,所述根据所述目标显示区域对应的参考图像数据,对所述目标区域图像数据进行校正,得到目标图像数据,包括:
将所述目标区域图像数据所指示各像素在颜色分量上的第一颜色分量值与所述参考图像数据所指示对应像素在颜色分量上的第二颜色分量值相乘,得到所对应像素点的第三颜色分量值;
将所述第三颜色分量值与第一系数相除,得到第四颜色分量值,其中,所述第一系数是1与指定参数的差,所述指定参数是将所述第二颜色分量值进行归一化所得到的数值;
将所述第四颜色分量值与所述第一颜色分量值相加,得到第五颜色分量值;
组合各像素点在全部颜色分量上的第五颜色分量值,得到所述目标图像数据。
6.根据权利要求1所述的方法,其特征在于,所述根据所述目标图像数据确定所述目标显示区域所对应照明组件的亮灯颜色,包括:
根据所述目标图像数据所指示各个像素的颜色分量信息进行统计特征分析,得到每个颜色分量的第二统计特征参数;
根据所述每个颜色分量的第二统计特征参数,确定所述目标显示区域所对应照明组件的亮灯颜色。
7.根据权利要求6所述的方法,其特征在于,所述根据所述每个颜色分量的第二统计特征参数,确定所述目标显示区域所对应照明组件的亮灯颜色,包括:
将所述每个颜色分量上的统计特征参数值进行增强,得到每个颜色分量对应的目标颜色分量值;
组合全部颜色分量对应的目标颜色分量值,得到所述目标显示区域所对应照明组件的亮灯颜色。
8.根据权利要求1所述的方法,其特征在于,所述从所述画面图像中提取所述目标显示区域对应的目标区域图像数据,包括:
按照设定的指定区域信息,对所述画面图像进行剪裁,得到在所述画面图像中所述显示屏所在的显示屏像素区域;
根据所述目标显示区域在所述显示屏中的位置信息,在所述显示屏像素区域中进行像素区域提取,得到所述目标显示区域对应的目标区域图像数据。
9.一种照明设备的控制装置,其特征在于,所述照明设备包括至少一个照明组件;一所述照明组件与显示屏中的一目标显示区域相对应;所述装置包括:
画面图像获取模块,用于获取画面图像,所述画面图像是在所述显示屏显示画面的过程中面向所述显示屏采集到的;
提取模块,用于从所述画面图像中提取所述目标显示区域对应的目标区域图像数据;
校正模块,用于根据所述目标显示区域对应的参考图像数据,对所述目标区域图像数据进行校正,得到目标图像数据;所述参考图像数据是根据对照图像中对应于所述目标显示区域的图像数据确定的,所述对照图像是在所述显示屏未显示画面过程中面向所述显示屏采集到的;
亮灯颜色确定模块,用于根据所述目标图像数据确定所述目标显示区域所对应照明组件的亮灯颜色;
控制模块,用于根据所述亮灯颜色控制所对应的所述照明组件进行亮灯。
10.一种电子设备,其特征在于,包括:
处理器;
存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质,其上存储有计算机可读指令,当所述计算机可读指令被处理器执行时,实现如权利要求1-8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110963094.2A CN113709949B (zh) | 2021-08-20 | 2021-08-20 | 照明设备的控制方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110963094.2A CN113709949B (zh) | 2021-08-20 | 2021-08-20 | 照明设备的控制方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113709949A true CN113709949A (zh) | 2021-11-26 |
CN113709949B CN113709949B (zh) | 2023-11-03 |
Family
ID=78653740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110963094.2A Active CN113709949B (zh) | 2021-08-20 | 2021-08-20 | 照明设备的控制方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113709949B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113888657A (zh) * | 2021-12-08 | 2022-01-04 | 珠海视熙科技有限公司 | 一种屏幕颜色采集方法、装置、摄像设备以及存储介质 |
CN114401574A (zh) * | 2021-12-02 | 2022-04-26 | 北京小米移动软件有限公司 | 发光控制方法及***、显示设备、可读存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006107905A (ja) * | 2004-10-05 | 2006-04-20 | Sony Corp | 照明制御装置および方法、記録媒体、並びにプログラム |
HUP1000183D0 (en) * | 2010-04-07 | 2010-06-28 | Naturen Kft | Controlling multicolor lighting based on image colors |
JP2010256912A (ja) * | 2004-02-09 | 2010-11-11 | Hitachi Ltd | 照明装置とこれを備えた画像表示装置及び画像表示方法 |
JP2013218153A (ja) * | 2012-04-10 | 2013-10-24 | Sharp Corp | 照明制御装置、制御システムおよび照明制御方法 |
CN103413526A (zh) * | 2013-08-19 | 2013-11-27 | 西安诺瓦电子科技有限公司 | Led显示屏的led灯板校正方法 |
CN103426403A (zh) * | 2013-08-16 | 2013-12-04 | 西安诺瓦电子科技有限公司 | Led显示屏的校正用图像采集方法、画面显示方法和校正方法 |
CN103971134A (zh) * | 2014-04-25 | 2014-08-06 | 华为技术有限公司 | 图像分类、检索和校正方法,以及相应装置 |
WO2016078598A1 (zh) * | 2014-11-19 | 2016-05-26 | 刘皓挺 | 基于图像质量控制的组合照明装置及方法 |
CN105933762A (zh) * | 2016-05-18 | 2016-09-07 | 海信集团有限公司 | 一种智能家居的联动控制方法和装置 |
JP2017135051A (ja) * | 2016-01-29 | 2017-08-03 | 株式会社Mass | 照明制御方法 |
CN208954611U (zh) * | 2018-10-11 | 2019-06-07 | 哈尔滨理工大学 | 一种户外led显示屏亮度校正*** |
CN110012572A (zh) * | 2019-03-25 | 2019-07-12 | 联想(北京)有限公司 | 一种亮度控制方法及装置、设备、存储介质 |
CN112512184A (zh) * | 2020-12-02 | 2021-03-16 | 深圳市智岩科技有限公司 | 一种取色照明控制方法、装置、***及存储介质 |
-
2021
- 2021-08-20 CN CN202110963094.2A patent/CN113709949B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010256912A (ja) * | 2004-02-09 | 2010-11-11 | Hitachi Ltd | 照明装置とこれを備えた画像表示装置及び画像表示方法 |
JP2006107905A (ja) * | 2004-10-05 | 2006-04-20 | Sony Corp | 照明制御装置および方法、記録媒体、並びにプログラム |
HUP1000183D0 (en) * | 2010-04-07 | 2010-06-28 | Naturen Kft | Controlling multicolor lighting based on image colors |
JP2013218153A (ja) * | 2012-04-10 | 2013-10-24 | Sharp Corp | 照明制御装置、制御システムおよび照明制御方法 |
CN103426403A (zh) * | 2013-08-16 | 2013-12-04 | 西安诺瓦电子科技有限公司 | Led显示屏的校正用图像采集方法、画面显示方法和校正方法 |
CN103413526A (zh) * | 2013-08-19 | 2013-11-27 | 西安诺瓦电子科技有限公司 | Led显示屏的led灯板校正方法 |
CN103971134A (zh) * | 2014-04-25 | 2014-08-06 | 华为技术有限公司 | 图像分类、检索和校正方法,以及相应装置 |
WO2016078598A1 (zh) * | 2014-11-19 | 2016-05-26 | 刘皓挺 | 基于图像质量控制的组合照明装置及方法 |
CN105682310A (zh) * | 2014-11-19 | 2016-06-15 | 刘皓强 | 基于图像质量控制的组合照明装置及方法 |
JP2017135051A (ja) * | 2016-01-29 | 2017-08-03 | 株式会社Mass | 照明制御方法 |
CN105933762A (zh) * | 2016-05-18 | 2016-09-07 | 海信集团有限公司 | 一种智能家居的联动控制方法和装置 |
CN208954611U (zh) * | 2018-10-11 | 2019-06-07 | 哈尔滨理工大学 | 一种户外led显示屏亮度校正*** |
CN110012572A (zh) * | 2019-03-25 | 2019-07-12 | 联想(北京)有限公司 | 一种亮度控制方法及装置、设备、存储介质 |
CN112512184A (zh) * | 2020-12-02 | 2021-03-16 | 深圳市智岩科技有限公司 | 一种取色照明控制方法、装置、***及存储介质 |
Non-Patent Citations (3)
Title |
---|
FENG TIAN; XIANG WU; JINGAO LIU: "Research and realization of innovative LED illumination system for DLP projector", 《2008 INTERNATIONAL CONFERENCE ON AUDIO, LANGUAGE AND IMAGE PROCESSING》 * |
丁基民,商鸿发,顾芸天,等: "基于数字图像原理的投影仪亮度Android手机检测方法", 《数字化用户》, vol. 24, no. 9 * |
刘海涛,张奕,高朋: "智能家居在照明领域的应用", 《人工智能》, vol. 18, no. 5 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114401574A (zh) * | 2021-12-02 | 2022-04-26 | 北京小米移动软件有限公司 | 发光控制方法及***、显示设备、可读存储介质 |
CN114401574B (zh) * | 2021-12-02 | 2024-01-09 | 北京小米移动软件有限公司 | 发光控制方法及***、显示设备、可读存储介质 |
CN113888657A (zh) * | 2021-12-08 | 2022-01-04 | 珠海视熙科技有限公司 | 一种屏幕颜色采集方法、装置、摄像设备以及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113709949B (zh) | 2023-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112423082B (zh) | 动态视频覆盖 | |
WO2018019206A1 (en) | Systems and methods for changing operation modes of the optical filter of an imaging device | |
KR101985880B1 (ko) | 디스플레이 장치 및 이의 제어 방법 | |
CN107591134B (zh) | Mura现象补偿方法、电视及计算机可读存储介质 | |
CN106951891B (zh) | 光斑检测方法和装置 | |
CN110809120B (zh) | 拍摄画面的补光方法、智能电视及计算机可读存储介质 | |
CN113709949A (zh) | 照明设备的控制方法、装置、电子设备及存储介质 | |
US9432645B2 (en) | Information processing method and electronic device | |
CN106651797B (zh) | 一种信号灯有效区域的确定方法和装置 | |
CN113597061A (zh) | 控制幻彩灯带的方法、设备和计算机可读存储介质 | |
EP2817959B1 (en) | Vision system comprising an image sensor and means for analysis and reducing loss of illumination towards periphery of the field of view using multiple frames | |
CN109982012A (zh) | 图像处理方法及装置、存储介质、终端 | |
US11003062B2 (en) | Information processing device, method of information processing, and image display system | |
US20190304070A1 (en) | Image rectification method and device, and storage medium | |
EP2988485A1 (en) | Methods and apparatus for mapping input image | |
CN112435265B (zh) | 一种灯效同步处理方法、装置和计算机可读存储介质 | |
CN113556615A (zh) | 图像处理方法及装置、计算机可读存储介质 | |
CN113487497A (zh) | 图像处理方法、装置和电子设备 | |
CN113947708A (zh) | 照明设备的灯效控制方法、***、装置、电子设备及介质 | |
US9582861B2 (en) | Image processing technique using high frequency data analysis to filter low frequency data by dynamic kernel adjustment | |
WO2022125087A1 (en) | Light intensity determination | |
CN114220381A (zh) | 显示亮度控制方法、装置、设备及存储介质 | |
CN115914097A (zh) | 控制发光设备的方法及相关设备 | |
CN114489531A (zh) | 一种显示画质优化方法、智能终端及存储介质 | |
CN112102196A (zh) | 图像美发处理方法、装置、电子设备和可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |