CN113454988B - 显示装置及用于改善观看者检测的方法 - Google Patents
显示装置及用于改善观看者检测的方法 Download PDFInfo
- Publication number
- CN113454988B CN113454988B CN201980087292.8A CN201980087292A CN113454988B CN 113454988 B CN113454988 B CN 113454988B CN 201980087292 A CN201980087292 A CN 201980087292A CN 113454988 B CN113454988 B CN 113454988B
- Authority
- CN
- China
- Prior art keywords
- viewer
- display device
- body part
- illumination
- illumination intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/368—Image reproducers using viewer tracking for two or more viewers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明提供了一种显示装置，包括：显示面板，所述显示面板具有用于产生显示输出的显示像素元件阵列；观看者检测***，所述观看者检测***呈现表示1)观看者身体部位的照明强度和2)身体部位的另一属性的数据；至少一个照明源，用于为观看者的身体部位提供照明；以及处理器，所述处理器被配置为1)处理表示观看者身体部位的照明强度的数据，并且2)根据所述照明数据驱动所述至少一个照明源，以适应观看者身体部位的照明强度。
Description
技术领域
本发明涉及一种显示装置、一种用于改善观看者检测的方法、一种计算机可读介质和一种能够执行该方法的电子设备。
背景技术
在过去的二十年里，自动立体显示器引起了极大的关注。这种显示器通常包括在像素阵列上提供的成像装置，其中，该成像装置被设计成将来自不同像素的输出引导到显示器前面的不同空间位置，例如，通过透镜堆叠(a lenticular lens stack)、定向背光或视差屏障。这使得能够发射专门针对左眼的图像(左眼视图)和专门针对右眼的图像(右眼视图)，这使得观看者能够感知立体图像。
为了获得良好的3D质量，左眼视图不能也到达右眼(反之亦然)是很重要的，这种现象即为大家熟知的串扰。减少串扰的一种方法是在驱动像素阵列时考虑观看者眼睛的位置，使得光输出可以真正地只被引导至一只特定的眼睛。这通常通过与面部跟踪软件接合的相机来执行，从而呈现关于眼睛位置的实时数据。然而，当只照射部分面部时，例如，被阳光照射时，正常的眼睛跟踪就会受到阻碍。更难以适应照明条件随时间的变化。
然而，正确跟踪身体部位的必要性并不局限于上述自动立体***。对于例如必须识别观看者情绪的显示***，或者对于需要识别玩家(观看者)和/或需要识别他们的手势(例如，手臂、手、手指的移动)的特定游戏，也是有价值的。
发明内容
因此，本发明的目的是提供一种显示装置，其中，在人脸上存在光对比度的情况下，和/或在人脸的照明强度随时间不恒定的情况下，精确的人脸跟踪(特别是眼睛跟踪)是可能的。
现已发现，这些目标中的一个或多个可以通过应用特定的观看者跟踪***来实现。
具体实施方式
因此，本发明涉及一种显示装置，包括：
显示面板，所述显示面板具有用于产生显示输出的显示像素元件阵列；
观看者检测***，所述观看者检测***呈现表示1)观看者身体部位的照明强度和2)身体部位的另一属性的数据；
至少一个照明源，用于为观看者的身体部位提供照明；
第一处理器，所述第一处理器被配置为
处理表示观看者身体部位的照明强度的数据；并且
根据所述照明数据驱动所述至少一个照明源，以适应观看者身体部位的照明强度。
观看者检测***呈现观看者身体部位的数据。这些数据至少表示身体部位的照明强度和身体部位的另一属性。这种其他属性可以是身体部位相对于显示面板、显示装置或另一身体部位的位置(例如，眼睛的位置)，可以是身体部位的表情(例如，面部表情)，可以是身体部位的形状(例如，耳朵或鼻子的形状)，可以是身体部位的状况(例如，瞳孔大小)，并且可以是身体部位做出的姿势(例如，手、脚或手指的特定移动)。该属性还可以涉及身体部位的多个特征，这些特征一起形成身体部位的指纹，例如，鼻子、耳朵、眼睛等的相对尺寸和/或位置，从而允许识别身体部位，例如，面部识别。
当呈现眼睛的位置时，这可能涉及每只眼睛的位置或者两只眼睛之间的中心点的位置。
观看者检测***通常包括用于测量光强的装置，例如，能够检测光，特别是红外光的传感器。特别地，包括至少一个相机，其能够记录出现在显示装置的视野中的观看者的身体部位的图像。
观看者检测***能够检测至少一个观看者。还能够检测多个观看者，例如，两个观看者、三个观看者和四个观看者。
身体部位的照明原则上可以涉及任何身体部位，例如，观看者的腿、脚、手臂、手、手指和头部。身体部位也可以涉及这些身体部位的一部分，例如，头部或面部的一侧。当显示装置被设计成使得观看者检测***呈现关于面部或头部两侧的照明的数据，并且在面部或头部的一侧被外部光源(例如，太阳)照明(而另一侧没有)的情况下，注意到面部或头部的任一侧的照明的差异(即对比度)时，可能就是这种情况。然后，照明源可以通过照射面部或头部的另一侧(即，较暗的一侧)来降低对比度。
照明源通常位于显示装置附近，优选位于显示面板(或显示装置)的一个或多个边缘。照明源以这样的方式定位，使得照明源为处于显示装置的合适观看距离的观看者提供有用的照明。
本发明的显示装置包括至少一个照明源。然而，优选地，包括多个照明源。例如，该装置包括位于显示器相对端的两个相对的照明源，这两个照明源可以彼此独立地驱动。还可能提供两个以上的照明源，例如，三个、四个、五个、六个、七个、八个、九个或十个照明源。通常，照明源相对于位于显示器前方中心的观看者具有镜像位置。例如，显示装置是矩形的，并且包括可以彼此独立驱动的四个照明源，其中，两个照明源放置在观看者的任一侧(例如，每个照明源位于显示器的角落)。
在本发明的显示装置包括相机和/或光传感器的情况下，优选地，相机和/或光传感器与照明源集成在一起，使得分别从相似的角度(特别是偏离小于10°的角度)进行记录和/或检测。
照明源原则上能够发射任何类型的电磁辐射来提供照明。然而，优选地，用选自紫外光、可见光和红外光的一种光进行照明。更优选地，照明源被配置为照射红外光和/或近红外光。
显示装置的第一处理器的功能是使用照明数据来确定是否要对观看者身体部位的照明强度进行调整，并启动至少一个照明源。为此，处理器可以通过例如将测量的对比度与预定阈值进行比较来周期性地确定照明强度的变化是否是必要的。如果调整是必要的，则驱动至少一个照明源来实现这种调整。调整标准也可以是身体部位的绝对照明强度太低(例如，头部或面部的照明太弱)，用于呈现关于身体部位的其他属性(例如，观看者的眼睛位置)的有用数据。
在优选实施例中，本发明的显示装置是自动立体显示装置。这种装置包括成像装置，该成像装置设置在显示面板上，并且被设计成将来自不同显示像素元件的输出引导到显示装置的视场内的不同空间位置，从而限定至少两个观看区域，可以同时向该观看区域显示至少两个不同的图像。在这样的装置中，呈现的观看者身体部位的另一属性是观看者的眼睛相对于显示面板(或显示装置)的位置。然后，该位置用于驱动显示面板的像素，使得左眼视图和右眼视图可以准确且实时地指向特定的眼睛。
为此，存在第二处理器，所述第二处理器被配置为处理表示观看者的眼睛相对于显示面板的位置的数据。基于位置数据和成像装置的特性来计算每个视图的显示所需的空间方向，并且根据此来开启成像装置下的像素。为此，自动立体显示装置通常还包括用于提供图像内容(即每个视图的内容)的图像源。处理器使用图像源提供的图像内容。因此，处理器根据所述位置数据驱动显示面板，以向至少两个观看区域同时显示至少两个不同的图像。
在自动立体显示装置的情况下，成像装置通常包括从一组透镜(alenticularlens)、视差屏障和定向背光中选择的元件。
本发明还涉及一种用于改善观看者检测的方法，其中，所述观看者的身体部位在显示装置的视野内，所述方法包括：
呈现表示1)观看者身体部位的照明强度和2)身体部位的另一属性的数据；然后，
处理表示观看者身体部位的照明强度的数据；然后
根据所述照明数据，驱动用于对观看者身体部位提供照明的照明源，以适应观看者身体部位的照明强度。
本发明的方法尤其可以涉及立体显示装置的眼睛跟踪。为此，该方法可以进一步包括：
呈现表示1)观看者头部的照明强度和2)观看者眼睛相对于自动立体显示装置的位置(即身体部位是头部，而头部的其他属性是眼睛的位置)的数据；然后
处理表示观看者眼睛相对于显示面板的位置的数据；然后
根据所述位置数据驱动显示面板，以同时向至少两个观看区域显示至少两个不同的图像。
本发明还涉及一种计算机可读介质，包括表示指令的暂时或非暂时数据，以使处理器***执行本发明的上述方法。
本发明还涉及一种电子设备，包括处理器，该处理器被设置成当在计算机上执行时执行本发明的上述方法。
Claims (13)
1.一种显示装置，包括：
显示面板，所述显示面板具有用于产生显示输出的显示像素元件阵列；
观看者检测***，所述观看者检测***呈现表示1)观看者身体部位的照明强度和2)身体部位的另一属性的数据；
所述身体部位包括观看者的头部或面部的一侧、腿、脚、手臂、手、手指或头部；
至少一个照明源，用于为所述观看者的身体部位提供照明；
第一处理器，所述第一处理器被配置为
处理表示所述观看者身体部位的照明强度的数据；并且
根据所述照明强度的数据驱动所述至少一个所述照明源，以适应所述观看者身体部位的照明强度，降低所述观看者的身体部位的对比度；
所述显示装置包括彼此独立地驱动的位于所述显示面板的相对端的两个相对的照明源；或
所述显示装置是矩形形状并且包括四个彼此独立驱动的所述照明源，其中，两个所述照明源放置在所述观看者的任一侧。
2.根据权利要求1所述的显示装置，其中，所述观看者检测***包括至少一个相机，所述相机能够记录出现在所述显示装置的视野中的所述观看者的身体部位的图像。
3.根据权利要求2所述的显示装置，其中，所述观看者检测***包括至少一个传感器，所述传感器能够检测光，特别是红外光。
4.根据权利要求3所述的显示装置，其中，所述至少一个相机和/或所述至少一个传感器与所述照明源集成在一起，使得分别从相似的角度，特别是从偏离小于10°的角度进行所述记录和/或检测。
5.根据权利要求1所述的显示装置，其中，所述照明源被配置为照射红外光和/或近红外光。
6.根据权利要求1所述的显示装置，其中，所述观看者检测***能够检测多个所述观看者。
7.根据权利要求1所述的显示装置，所述显示装置是自动立体显示装置，其中，
所述观看者检测***呈现表示1)所述观看者头部的照明强度和2)所述观看者眼睛相对于所述显示面板的位置的数据；
所述显示装置包括成像装置，所述成像装置设置在所述显示面板上，并且被设计成将来自不同显示像素元件的输出引导到所述显示装置的视场内的不同空间位置，使得至少两个不同的图像同时被显示在至少两个观看区域；
所述显示装置包括第二处理器，所述第二处理器被配置为处理表示所述观看者的眼睛相对于所述显示面板的位置的数据；并且
根据所述位置的数据驱动所述显示面板，以同时向至少两个观看区域显示至少两个不同的图像。
8.根据权利要求7所述的显示装置，其中，所述成像装置包括选自一组双凸透镜、视差屏障和定向背光的元件。
9.一种用于改善观看者检测的方法，其中，所述观看者的身体部位在显示装置的视野内，所述方法包括：
呈现表示1)所述观看者身体部位的照明强度和2)身体部位的另一属性的数据；然后，
处理表示所述观看者身体部位的照明强度的数据；然后
根据所述照明强度的数据驱动用于对所述观看者身体部位提供照明的照明源，以适应所述观看者身体部位的照明强度，降低所述观看者的身体部位的对比度；
所述显示装置包括权利要求1至8中任一项所述的显示装置。
10.根据权利要求9所述的方法，其中，在所述方法之前检测所述观看者的数量。
11.根据权利要求9或10所述的方法，其中，所述显示装置是自动立体显示装置，所述方法包括：
呈现表示1)所述观看者头部的照明强度和2)所述观看者眼睛相对于自动立体显示装置的位置的数据；
处理表示所述观看者头部的照明强度的数据；
根据所述照明强度的数据驱动用于对所述观看者头部提供照明的所述照明源，以适应所述观看者头部的照明强度；
处理表示所述观看者眼睛相对于所述自动立体显示装置的位置的数据；
根据所述眼睛相对于所述自动立体显示装置的位置的数据驱动所述显示面板，以同时向所述自动立体显示装置的至少两个观看区域显示至少两个不同的图像。
12.一种计算机可读介质，包括表示使处理器***执行根据权利要求9-11中任一项所述的方法的指令的暂时或非暂时数据。
13.一种计算机***，包括处理器，其中所述处理器被设置成当在计算机上运行时，执行权利要求9-11中任一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NL2022329 | 2018-12-31 | ||
| NL2022329A NL2022329B1 (en) | 2018-12-31 | 2018-12-31 | System for illuminating a viewer of a display device |
| PCT/CN2019/130441 WO2020140891A1 (en) | 2018-12-31 | 2019-12-31 | System for illuminating a viewer of a display device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113454988A CN113454988A (zh) | 2021-09-28 |
| CN113454988B true CN113454988B (zh) | 2023-06-20 |
Family
ID=66286869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980087292.8A Active CN113454988B (zh) | 2018-12-31 | 2019-12-31 | 显示装置及用于改善观看者检测的方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11611737B2 (zh) |
| EP (1) | EP3906667A4 (zh) |
| CN (1) | CN113454988B (zh) |
| NL (1) | NL2022329B1 (zh) |
| WO (1) | WO2020140891A1 (zh) |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6757422B1 (en) * | 1998-11-12 | 2004-06-29 | Canon Kabushiki Kaisha | Viewpoint position detection apparatus and method, and stereoscopic image display system |
| CN1476730A (zh) * | 2001-07-27 | 2004-02-18 | 皇家菲利浦电子有限公司 | 具有观看者跟踪***的自动立体图像显示装置 |
| WO2011001372A1 (en) * | 2009-06-30 | 2011-01-06 | Koninklijke Philips Electronics N.V. | Directional display system |
| KR101316795B1 (ko) | 2012-02-02 | 2013-10-11 | 한국과학기술연구원 | 시역 평탄화 및 동적 크로스토크 최소화를 위한 무안경식 3차원 영상표시장치 |
| US9584797B2 (en) * | 2012-10-31 | 2017-02-28 | Elwha Llc | Systems and methods to confirm that an autostereoscopic display is accurately aimed |
| JP2014206638A (ja) * | 2013-04-12 | 2014-10-30 | 株式会社ジャパンディスプレイ | 立体表示装置 |
| EP3080751B1 (en) * | 2013-12-09 | 2019-08-14 | Apple Inc. | Method for operating an eye tracking device and eye tracking device for providing an active power management |
| US9436870B1 (en) * | 2014-06-06 | 2016-09-06 | Amazon Technologies, Inc. | Automatic camera selection for head tracking using exposure control |
| KR102526751B1 (ko) * | 2016-01-25 | 2023-04-27 | 삼성전자주식회사 | 지향성 백라이트 유닛, 3차원 영상 디스플레이 장치, 및 3차원 영상 디스플레이 방법 |
| NL2020216B1 (en) * | 2017-12-30 | 2019-07-08 | Zhangjiagang Kangde Xin Optronics Mat Co Ltd | Method for reducing crosstalk on an autostereoscopic display |
-
2018
- 2018-12-31 NL NL2022329A patent/NL2022329B1/en active
-
2019
- 2019-12-31 CN CN201980087292.8A patent/CN113454988B/zh active Active
- 2019-12-31 EP EP19907077.2A patent/EP3906667A4/en active Pending
- 2019-12-31 WO PCT/CN2019/130441 patent/WO2020140891A1/en unknown
- 2019-12-31 US US17/419,723 patent/US11611737B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020140891A1 (en) | 2020-07-09 |
| EP3906667A4 (en) | 2022-02-16 |
| US11611737B2 (en) | 2023-03-21 |
| US20220086420A1 (en) | 2022-03-17 |
| NL2022329B1 (en) | 2020-07-23 |
| CN113454988A (zh) | 2021-09-28 |
| EP3906667A1 (en) | 2021-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8922644B2 (en) | Tracking head position and orientation | |
| US9313481B2 (en) | Stereoscopic display responsive to focal-point shift | |
| US8717352B2 (en) | Tracing-type stereo display apparatus and tracing-type stereo display method | |
| EP2609731B1 (en) | Tracking head position and orientation | |
| AU2017220404A1 (en) | Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking | |
| US9838673B2 (en) | Method and apparatus for adjusting viewing area, and device capable of three-dimension displaying video signal | |
| TWI486631B (zh) | 頭戴式顯示裝置及其控制方法 | |
| US10634918B2 (en) | Internal edge verification | |
| CN110967166A (zh) | 近眼显示光学***的检测方法、检测装置和检测*** | |
| US20130113685A1 (en) | Display device, display method, integrated circuit, program | |
| US10755434B2 (en) | Low feature object detection and pose estimation for image data streams | |
| US20180214022A1 (en) | Computer-implemented method for detecting a corneal vertex | |
| CN106773080A (zh) | 立体显示装置及显示方法 | |
| CN104865701A (zh) | 头戴式显示装置 | |
| US9002074B2 (en) | Facial validation sensor | |
| CN103149696A (zh) | 显示*** | |
| US10511832B1 (en) | Calibration of virtual image system with extended nasal field of view | |
| CN113454988B (zh) | 显示装置及用于改善观看者检测的方法 | |
| CN104216126A (zh) | 一种变焦3d显示技术 | |
| US20130321608A1 (en) | Eye direction detecting apparatus and eye direction detecting method | |
| CN206757204U (zh) | 一种三维显示装置 | |
| CN105357508A (zh) | 多视点裸眼立体视窗检查方法与*** | |
| US10168466B2 (en) | Corner cut liquid crystal display | |
| EP4318379A1 (en) | Sparse color reconstruction using deep neural networks | |
| US11333888B2 (en) | Automatic position determination of head mounted display optics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |