CN108063940A - 一种人眼跟踪裸眼3d显示***的校正***和方法 - Google Patents
一种人眼跟踪裸眼3d显示***的校正***和方法 Download PDFInfo
- Publication number
- CN108063940A CN108063940A CN201711417717.6A CN201711417717A CN108063940A CN 108063940 A CN108063940 A CN 108063940A CN 201711417717 A CN201711417717 A CN 201711417717A CN 108063940 A CN108063940 A CN 108063940A
- Authority
- CN
- China
- Prior art keywords
- human eye
- tracing
- display
- row
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000003287 optical effect Effects 0.000 claims description 62
- 238000013461 design Methods 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 26
- 238000010586 diagram Methods 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004088 simulation Methods 0.000 claims description 9
- 238000013508 migration Methods 0.000 claims description 8
- 230000005012 migration Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 239000006185 dispersion Substances 0.000 claims description 4
- 238000009877 rendering Methods 0.000 abstract description 6
- 241000208340 Araliaceae Species 0.000 description 5
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 5
- 235000003140 Panax quinquefolius Nutrition 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 235000008434 ginseng Nutrition 0.000 description 5
- 241001062009 Indigofera Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005304 joining Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000010561 standard procedure Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例公开了一种人眼跟踪裸眼3D显示***的校正***和方法。其中，人眼跟踪裸眼3D显示***的校正***包括：裸眼3D显示校正治具，用于获取3D模组和显示屏幕之间的显示参数；人眼跟踪裸眼3D显示***外参数校正治具，用于获取人眼跟踪裸眼3D显示***的人眼跟踪摄像头外参数。本发明实施例将实现了校正3D模组和显示屏幕之间的显示误差和校正人眼跟踪裸眼3D显示***的人眼跟踪摄像头外参数自动化，使用户在使用人眼跟踪裸眼3D显示***时，3D图像的显示可以根据人眼空间位置信息直接调整排图周期等交织参数，所显示的3D图像不会出现图像左右混叠或反转，提高了校正效率，降低了人工成本。
Description
技术领域
本发明实施例涉及裸眼3D显示技术，尤其涉及一种人眼跟踪裸眼3D显示***的校正***和方法。
背景技术
裸眼3D显示的原理一般是通过透镜将显示器显示的图像进行分光，透镜通过对光的折射作用，将不同的显示内容折射到空间中不同的地方，到达人眼时显示的内容被分开，人眼接收到两幅含有视差的图像，这样便产生了立体效果。在进行裸眼3D显示时，需要计算人眼的位置进行人眼跟踪，并针对人眼的位置显示左右眼对应的图像。如果人眼位置计算不正确，则可能会出现图像反转的情况。使图像出现混叠影响了实际观看效果。
因此，人眼跟踪裸眼3D显示***在使用之前需要进行校正，人眼跟踪裸眼3D显示***的校正包括3D显示校正和人眼跟踪3D显示校正二部分。在现有技术中，对于3D显示校正多采用人工的方法完成，即基于视点图正确显示时，只在一定区域可见的原理，在屏幕上显示一定周期信号，并在一定位置进行人工判断，以试错的形式，不断修正参数，得到校正值。对于人眼跟踪3D 显示***，并无已知的成熟方案。且在校正过程中不能实现自动化校正过程。
发明内容
本发明实施例提供一种人眼跟踪裸眼3D显示***的校正***和方法，以实现3D显示校正和人眼跟踪3D显示校正自动化，提高校正效率，降低人工成本。
第一方面，本发明实施例提供了一种人眼跟踪裸眼3D显示***的校正***，该***包括：
裸眼3D显示校正治具，用于获取3D模组和显示屏幕之间的显示参数；
人眼跟踪裸眼3D显示***外参数校正治具，用于获取人眼跟踪裸眼3D显示***的人眼跟踪摄像头外参数。
第二方面，本发明实施例还提供了一种人眼跟踪裸眼3D显示***的校正方法，该方法包括：
3D显示校正，以便匹配3D模组与屏幕间关系，校正光学元件的实际周期、斜率、中心视点偏移量与设计值之间的差值；
校正人眼跟踪摄像头内参数及畸变；
人眼跟踪裸眼3D显示***外参数校正，以便匹配人眼跟踪坐标系与显示坐标系。
本发明实施例通过将裸眼3D显示校正治具和人眼跟踪裸眼3D显示***外参数校正治具组成人眼跟踪裸眼3D显示***的校正***，分别实现了校正3D 模组和显示屏幕之间的显示误差和校正人眼跟踪裸眼3D显示***的人眼跟踪摄像头外参数自动化，使用户在使用人眼跟踪裸眼3D显示***时，3D图像的显示可以根据人眼空间位置信息直接调整排图周期等交织参数，所显示的3D 图像不会出现图像左右混叠或反转，提高了校正效率，降低了人工成本。
附图说明
图1是本发明实施例一中的人眼跟踪裸眼3D显示***的校正***的结构示意图；
图2是本发明实施例一中的人眼跟踪裸眼3D显示***的校正***中裸眼 3D显示校正治具的结构示意图；
图3是本发明实施例一中的3D显示中的红蓝交织图的示意图；
图4是本发明实施例一中的3D模组实际周期、斜率与设计存在偏移示意图；
图5是本发明实施例一中的人眼跟踪裸眼3D显示***的校正***中人眼跟踪裸眼3D显示***外参数校正治具的结构示意图；
图6是本发明实施例一中的显示空间与人眼跟踪成像空间定义及关系示意图；
图7是本发明实施例二中的人眼跟踪裸眼3D显示***的校正方法的流程图；
图8是本发明实施例二中的人眼跟踪裸眼3D显示***的校正方法中3D显示校正的流程图；
图9是本发明实施例二中的人眼位置变化对排图周期的影响示意图；
图10是本发明实施例二中的人眼跟踪裸眼3D显示***外参数校正的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的人眼跟踪裸眼3D显示***的校正***的结构示意图，本实施例可适用于人眼跟踪裸眼3D显示***的校正的情况。如图1 所示，该校正***100具体包括：
裸眼3D显示校正治具110，用于获取3D模组和显示屏幕之间的显示参数。
其中3D模组和显示屏幕之间的显示参数包括光学元件的实际排列周期与实际斜率、光学元件与显示屏幕之间的距离。
人眼跟踪裸眼3D显示***外参数校正治具120，用于获取人眼跟踪裸眼 3D显示***的人眼跟踪摄像头外参数。
其中，裸眼3D显示校正治具110的结构示意图如图2所示，具体包括：
校正摄像头210，用于拍摄显示屏幕上所显示的按照设计排图周期和预设排图周期偏移量、设计排图斜率和预设排图斜率偏移量交织后的图像。
具体的，校正摄像头210，放置于滑轨上，可相对于滑轨进行滑动，校正摄像头210的光轴对准显示屏幕中心。当屏幕显示按照设计排图周期和预设排图周期偏移量、设计排图斜率和预设排图斜率偏移量交织后的图像时，校正摄像头会进行拍摄，然后将所拍摄的图像发送到计算机240进行图像分析。
第一滑轨220，设置于显示屏幕的中心原点处并垂直于显示屏幕平面，与显示屏幕平面的法线平行，用于放置校正摄像头，校正摄像头210可在第一滑轨220上滑动至不同位置处。
在图2中，显示屏幕250与水平虚线的交点即为屏幕的中心原点，第一滑轨220与水平虚线重合，垂直于显示屏幕250。
第一牵引电机230，设置在第一滑轨220上，当校正摄像头210需要在第一滑轨220的不同位置拍摄图像确定排图周期时，用于牵引校正摄像头210在第一滑轨220的不同位置滑动。
在本实施例中，仅示例性的展示出第一牵引电机230设置于第一滑轨220 上的位置，具体的第一牵引电机230在第一滑轨220上的位置取决于裸眼3D 显示校正治具110在实际应用时的设置。
第一计算机240，用于按照预设排图周期和斜率及偏移量交织红蓝图并进行显示，接收校正摄像头210拍摄的图像，进而根据校正摄像头210拍摄的图像和仿真交织图进行图像分析比对，确定实际周期偏移量，实际斜率偏移量，及中心视点偏移量。其中，预设排图周期和预设排图斜率是参考光学元件的设计周期和设计斜率而确定的，使形成的红蓝交织图通过周期排列的光学元件进行显示时可以产生莫尔条纹(Moire Pattern)现象。
其中，光学元件包括可以是棱镜，也可以是光栅。
具体的，人眼跟踪裸眼3D显示是一种首先检测人眼空间位置(深度信息)，然后动态调整裸眼3D显示方法，以避免左右眼所观看到的图像反转等异常情况的产生的方法。
人眼跟踪裸眼3D显示***由两部分组成。第一部分是裸眼3D显示部分：主要由3D模组与屏幕组成，可在不同空间区域投射不同内容，形成3D显示所需的左右眼视差；第二部分为人眼跟踪部分：主要由相机与计算单元组成，用于估计人眼在空间中位置，以动态的调节显示内容。人眼跟踪裸眼3D有机的结合了人眼跟踪与裸眼3D显示技术，通过按人眼位置动态调节交织方法，完成更优的3D显示。其中，3D模组即为用于呈现3D视觉效果的光学元件的组合，光学元件按照一定的周期和斜率进行排列。
进一步的，3D显示图像的左右眼图像交织算法的参数包括排图斜率、排图周期和排图偏移量。其中，排图斜率与光学元件斜率一致；排图偏移量可用于针对用户眼睛左右位置的交织调节；排图周期可用于针对用户眼睛前后位置的交织调节，人眼深度不同，排图周期也就不同。3D显示图像的交织如图3所示，其中，左眼和右眼所能看到的图像用不同的填充形式来进行区分，其形成的交织红蓝图可以是左眼看到红色部分右眼看到蓝色部分们也可以使左眼看到蓝色部分右眼看到红的部分。
人眼跟踪裸眼3D显示校正主要用于匹配3D模组与屏幕间关系。由于生产过程中不可避免的存在误差，如图4所示的3D模组实际周期、斜率与设计存在偏移示意图所示，其中，Pr为实际棱镜周期，Pd为设计棱镜周期，Sr为实际棱镜斜率，Sd为设计棱镜斜率，3D模组实际参数，如周期、斜率、与设计参数会存在偏移，需要通过3D显示校正步骤完成匹配，此外，中心视点偏差值 (设计值应为零)也需要进行校正。示例性的，图4中的设计是三列不同的光学元件为一个周期，无填充内容的矩形表示显示右眼所观看到图像的光学元件，有斜条纹填充的矩形为显示左眼观看到图像的光学元件，然而，经生产之后的实际情况可能会是实线框所示的排列周期和斜率。
在校正过程中，当校正摄像头210在第一滑轨220的第一位置处，第一计算机240按照预设排图周期、预设排图斜率及相应的预设偏移量对蓝红图完成交织并显示到显示屏幕250上。然后采用校正摄像机210拍摄得到在中心视点的图像，可观察到MoirePattern现象。同时，第一计算机240根据光学元件的设计周期和设计斜率模拟3D显示模组，并仿真得到按照预设排图周期、预设排图斜率及相应的预设偏移量进行排图显示的效果图，同时，在该效果图中可观察到MoirePattern现象，进而，对第一计算机240拍摄的红蓝交织图与仿真效果图进行傅立叶分析，根据傅立叶分析结果调节光学元件的参数，按照调节后的参数得到新的仿真图像，进而对第一计算机240拍摄的红蓝交织图和新的仿真图进行傅立叶频谱分析，直到调节后的光学元件参数与设计参数的误差在可接受范围内，确定一个排图周期和排图斜率。然后通过第一牵引电机230牵引校正摄像头210在第一滑轨上220上移动到第二位置处，重复以上方法，完成在第二个位置红蓝图交织周期、交织斜率的测量。从而能够确定光学元件的实际排图周期和光学元件与显示屏幕250的距离两个参数，以便在3D显示成像过程中显示正确的左眼和右眼的图像。
人眼跟踪裸眼3D显示***的校正***中人眼跟踪裸眼3D显示***外参数校正治具的结构示意图，如图5所示，人眼跟踪裸眼3D显示***外参数校正治具具体包括；
棋盘格板510，用于建立屏幕中心世界坐标系与人眼跟踪摄像头成像平面坐标系之间的映射关系，棋盘格板上各点的坐标在屏幕中心世界坐标系中是已知的。
其中，世界坐标系为以显示屏幕中心为原点、屏幕长轴为y轴、屏幕短轴为x轴、屏幕中心法线为z轴所建立的坐标系；人眼跟踪摄像头成像平面坐标系为以摄像头平面中心点为原点、摄像头拍摄平面横轴为x轴、摄像头拍摄平面纵轴为y轴、摄像头平面光轴为z轴所建立的坐标系。
具体的，在标定时，棋盘格板510中每一个棋盘方格的长度是预先设定且已知的参数，这个长度与实际长度相同，这样标定得出的结果可直接用于实际距离测量。每一个棋盘方格的长度一般以毫米为单位，如果需要更精确可以设为0.1毫米量级。
第二滑轨520，设置于显示屏幕550的中心原点处并垂直于显示屏幕550 平面，与世界坐标系z轴重合，用于放置棋盘格板510，棋盘格板510可在第二滑轨520上滑动至不同位置处。
在图5中，显示屏幕550与水平虚线的交点即为屏幕的中心原点，第二滑轨520与水平虚线重合，垂直于显示屏幕550。
第二牵引电机530，设置于第二滑轨520上，当需要在棋盘格板510在第二滑轨520的不同位置处进行参数校正时，用于牵引棋盘格板510在第二滑轨 520的不同位置上移动。
在本实施例中，仅示例性的展示出第二牵引电机530设置于第二滑轨520 上的位置，具体的第二牵引电机530在第二滑轨520上的位置取决于人眼跟踪裸眼3D显示***外参数校正治具120在实际应用时的设置。
人眼跟踪摄像头540，设置于显示屏幕550上任一位置处，用于拍摄棋盘格板510的图案。
人眼跟踪摄像头540设置于显示屏幕550上，可以是显示屏幕550的左侧、右侧或是中间位置，优选的，设置于如图5所示的显示屏幕550的上边中间位置。当人眼跟踪摄像头540拍摄到棋盘格板510的图案后，会将所拍摄的图像发送到第二计算机560进行图像分析，以获得确定人眼跟踪裸眼3D显示***的外参数所需要的参数。
第二计算机560，用于接收人眼跟踪摄像头540所拍摄的棋盘格板510的图案并进行图像分析，得到棋盘格板510上各点在人眼跟踪摄像头成像平面坐标系对应的坐标，还用于根据人眼跟踪***内参数、棋盘格板510上各点世界坐标系中坐标、棋盘格板510上各点在人眼跟踪摄像头成像平面坐标系对应的坐标计算确定人眼跟踪裸眼3D显示***的外参数。
进一步的，人眼跟踪摄像头540外参数包括：人眼跟踪摄像头540在世界坐标系的三个轴的旋转参数R和位移参数T。外参确定了人眼跟踪摄像头510 在世界坐标系中的位置和朝向。这些参数可以建立世界坐标系和成像坐标系的映射关系，即可以用这些参数把一个三维空间中的点映射到图像空间。
具体的，人眼跟踪裸眼3D显示***主要包括3D显示模组和人眼跟踪***， 3D显示模组包括一个显示屏幕和用来呈现3D视觉效果的光学元件，其中光学元件可以是棱镜，也可以是光栅，光学元件按照一定的周期和斜率进行排列。当3D显示***和人眼跟踪摄像头内参数及畸变完成了校正之后，则将3D显示模组和人眼跟踪***进行集成，形成人眼跟踪裸眼3D显示***，可以根据人眼空间位置的变化自动调整3D图像的成像参数，如排图周期、排图偏移量，使用户有良好的3D视觉效果。
当3D显示模组和人眼跟踪***集成后，会有两个空间坐标系，显示空间坐标系与人眼跟踪成像空间坐标系。如图6所示，显示空间坐标系的定义是以 3D显示平面为坐标系中xy平面，屏幕中心为原点，屏幕长轴为y轴，屏幕短轴为x轴，定义屏幕中心法线为z轴；人眼跟踪成像空间的定义是，以人眼跟踪摄像头拍摄平面为人眼跟踪平面，即xy平面，其中原点为摄像头平面原点， x轴为摄像头拍摄平面x轴，y轴为摄像机平面y轴z轴为摄像头平面光轴(即 xy平面法线)。这两个坐标系是有偏差的，不能直接将根据人眼跟踪摄像头拍摄的人眼图像分析得到的人眼空间位置坐标用来调整屏幕显示图像的排图周期和排图偏移量，否则人眼所观看到的3D图像会出现左右混叠或反转的情况。因此，需要通过校正治具校正人眼跟踪裸眼3D显示***的外参数，以实现人眼跟踪坐标系与显示坐标系匹配。
实现中人眼跟踪裸眼3D显示***外参数校正的过程如下：
首先，用人眼跟踪摄像头540拍摄棋盘格板510在第二滑轨520上某一位置出的图像，并将图像发送到第二计算机560进行分析，第二计算机560通过过图像分析提取出棋盘格板510中的特征点(即棋盘格中的交点)在人眼跟踪摄像头540成像坐标系下的坐标。此外，棋盘格板510中各棋盘格的边长是已知的且以世界坐标系中的显示屏幕的坐标是一一对应的，即棋盘格板510中的特征点在世界坐标系下的坐标是已知的。根据棋盘格板510中个特征点在两个坐标系下的坐标及人眼跟踪摄像头540的内参数，第二计算机560可以通过分析得出，人眼跟踪裸眼3D显示***的外参数。
进一步的，可以通过第二牵引电机530移动棋盘格板510到第二滑轨520 的不同位置，在多个不同的位置分别分析得出人眼跟踪裸眼3D显示***的外参数，进而确定一个更为精确的结果作为最终的人眼跟踪裸眼3D显示***的外参数。
本实施例的技术方案，通过裸眼3D显示校正治具和人眼跟踪裸眼3D显示***外参数校正治具组合为人眼跟踪裸眼3D显示***的校正***，可以完成校正3D模组和显示屏幕之间的显示误差和校正人眼跟踪裸眼3D显示***的人眼跟踪摄像头外参数，实现了人眼跟踪裸眼3D显示***校正的自动化，解决了人工校正成本高，效率低，校正精确度低的问题，提高了校正效率，降低了人工校正的成本。
实施例二
图7为本发明实施例二提供的人眼跟踪裸眼3D显示***的校正方法的流程图，本实施例可适用于人眼跟踪裸眼3D显示***的校正的情况，该方法可由上述实施例中的人眼跟踪裸眼3D显示***的校正***实现。如图7所示，该方法具体包括：
S710、3D显示校正，以便匹配3D模组与屏幕间关系，校正光学元件的实际周期、斜率、中心视点偏移量与设计值之间的差值。
具体的，3D显示校正的流程如图8所示，具体包括如下步骤：
S711、在校正摄像头距离显示屏幕第一位置处，根据预设排图周期、预设排图斜率及预设偏移量完成排图显示与仿真模拟，得到第一红蓝交织图与第一仿真图，对所述第一红蓝交织图与第一仿真图进行傅立叶分析，并根据傅立叶分析结果对光学元件模型进行接近计算，得到更新后的光学模型周期、斜率，重复迭代仿真过程，直到仿真与显示差异量小于预设误差阀值，确定在所述第一位置处的第一排图周期和第一排图斜率；
其中，预设偏移量包括预设的周期偏移量和预设的斜率偏移量，是本领域技术人员根据经验而设置的一个值，表示光学元件在经过生产之后周期和斜率的实际值与设计值的一个大致的偏差范围，在这一范围内，通过校正过程确定实际的周期偏移量、斜率偏移量，进而确定实际的周期和斜率。此外，第一位置可示例性的设置为校正摄像机在滑轨上与显示屏幕的距离为d1的位置处，如图2所示。
进一步的，确定在第一位置处的第一排图周期和第一排图斜率包括如下步骤：
首先，3D显示模组会显示由计算机按照预设排图周期和预设排图斜率及预设偏移量交织得到的红蓝交织图，其预设排图周期和预设排图斜率是参考光学元件的设计周期和设计斜率而确定的，使形成的红蓝交织图通过周期排列的光学元件进行显示时可以产生莫尔条纹(Moire Pattern)现象，当校正摄像头拍摄该红蓝交织图时得到第一红蓝交织图，并将该图发送到计算机上。
与此同时，计算机会根据光学元件的设计周期和设计斜率模拟3D显示模组，然后按照预设排图周期和预设排图斜率进行排图显示得到第一仿真图。
进而，计算机会对第一红蓝交织图和第一仿真图进行傅立叶频谱分析，根据两者之间的频率差异调节光学元件的参数，得到更新后的光学模型周期、斜率，重复迭代仿真过程，按照调节后的参数得到新的仿真图像，进而对第一红蓝交织图和新的仿真图进行傅立叶频谱分析，直到调节后的光学元件参数与设计参数的误差在可接受范围内，将最终调节后的排图周期和排图斜率作为第一排图周期和第一排图斜率。
S712、在校正摄像头距离显示屏幕第二位置处，根据预设排图周期、预设排图斜率及预设偏移量完成排图显示与仿真模拟，得到第二红蓝交织图与第二仿真图，对所述第二红蓝交织图及与第一仿真图进行傅立叶分析，并根据傅立叶分析结果对光学元件模型进行接近计算，得到更新后的光学模型周期、斜率，重复迭代仿真过程，直到仿真与显示差异量小于预设误差阀值，确定在所述第二位置处的第二排图周期和第二排图斜率。
具体的，在完成S711后，牵引电机会牵引校正摄像头进行移动，移动到除了第一位置以外的第二位置处，示例性的如图2中距离显示屏幕的距离为d2处。重复S711的操作，获得第二排图周期和第二排图斜率。
S713、根据所述第一排图周期和第二排图周期确定光学元件的实际周期和光学元件与显示屏幕之间的距离。
具体的，确定光学元件的实际周期和光学元件与显示屏幕之间的距离是根据按人眼空间位置，调节排图周期的方法。其中，人眼的空间位置是指人眼的深度信息。在本实施例中，校正摄像头与显示屏幕之间的距离相当于人眼的深度。图9所示的为人眼位置前后变化对排图周期的影响示意图，令人眼位置在于屏幕中心对应直线A或B点，其中B点为中心视点，B点到显示屏幕的距离为D，A点到显示屏幕的距离为d，D和d即为人眼分别在B点和A点的深度。当人眼由B点移至A点时，排图周期发生变化，可以得出交织周期与深度相关，即：其中，p表示交织周期，l为光学元件周期，f为光学元件距离显示器距离，d为人眼深度信息。在第一位置处时，d取值为d1，第一排图周期即为p(d1)，在第二位置处时，d取值为d2，第一排图周期即为p(d2)，相当于建立了一个有两个未知数的方程组，可解方程组获取l、f的取值，进而确定了排图周期与深度的关系，当确定了人眼深度之后，即可根据深度相应的调整排图周期。
S714、根据第一排图斜率和第二排图斜率确定光学元件的实际斜率作为排图斜率。
具体的，当对3D图像进行排图时，排图斜率是与光学元件的排图斜率一致的，将第一排图斜率和第二排图斜率进行计算得到其均值，确定为光学元件的实际斜率。
S715、根据光学元件的实际周期、光学元件与显示屏幕之间的距离和人眼深度关系确定排图周期。
具体的，光学元件的实际周期、光学元件与显示屏幕之间的距离确定之后，即可确定排图周期与深度的关系当确定了人眼深度之后，即可根据深度相应的调整排图周期。排图周期在人眼深度不同时不同。
进一步的，在校正了排图周期及排图斜率后，裸眼3D显示校正方法还包括：根据所述排图周期、排图斜率，依次排图显示各视点图像，分析确定中心视点偏移量。示例性的，可以按校正后的排图周期、排图斜率完成排图，由于校正摄像头在中心视点处，对于斜牌设计(即可显示多视点)的情况，依次在每一视点中显示全白图像，其余视点置黑。在置白时最亮的视点确定为中心视点，进而可确定中心视点偏移量；还可以是，在红蓝图中红蓝成分各占一半时找到与红蓝交接处对应的视点偏移量即为中心视点偏移量。这里需要说明的是该步骤采用的方法不属于本发明实施例所保护的范围内，不在此赘述。
S720、校正人眼跟踪摄像头内参数及畸变。
具体的，人眼跟踪摄像头的内参数是与相机自身特性相关的参数，比如相机的焦距、像素大小等，这些参数实现了人眼跟踪摄像机的镜头所拍摄的图像通过针孔成像和电子转化而成为像素点的过程。理想情况下，镜头会将一个三维空间中的直线也映射成直线(即射影变换)，但实际上，镜头无法这么完美，通过镜头映射之后，直线会变弯，所以需要相机的畸变参数对像素点进行调整。在本实施例中人眼跟踪摄像头内参数及畸变是采用了现有的标准方法进行校正的。由提供人眼跟踪摄像头的一方进行校正。
S730、人眼跟踪裸眼3D显示***外参数校正，以便匹配人眼跟踪坐标系与显示坐标系。
具体的，当3D模组和显示屏幕进行集成之后，需要对人眼跟踪裸眼3D显示***外参数校正，以便匹配人眼跟踪坐标系与显示坐标系，使人眼跟踪裸眼 3D显示***可以直接根据人眼空间位置信息对排图周期进行调整。
人眼跟踪裸眼3D显示***外参数校正的流程如图10所示，人眼跟踪裸眼 3D显示***外参数校正具体包括如下步骤：
S731、获取棋盘格板在滑轨第一位置处，人眼跟踪摄像头拍摄到的棋盘格板图案。
具体的，棋盘格板中每一个棋盘方格的长度是预先设定且已知的参数，棋盘格板放置在滑轨上正对着显示屏幕，棋盘格板中每一个点的坐标相对于世界坐标系即显示屏幕空间坐标系是已知的。棋盘格板在滑轨第一位置处可以是滑轨上任意的一个位置。人眼跟踪摄像头拍摄到的棋盘格板的图案即为整个棋盘格板上的棋盘格，包括每一个棋盘格线的交点。
S732、提取所述棋盘格板图案中与待校正外参数个数相应数量的特征点在人眼跟踪摄像头成像平面坐标系中对应的坐标。
其中，棋盘格板图案中的特征点即坐标在世界坐标系下已知的棋盘格线的交点。提取特征点的数量与待确定外参个数相同即可，因此可以建立与待确定外参个数相同的方程，进而确定各外参数。
S733、根据棋盘格板中各特征点在世界坐标系的坐标与棋盘格板中各特征点在人眼跟踪摄像头成像平面坐标系中对应的坐标的映射关系确定人眼跟踪裸眼3D显示***参数。
其中，棋盘格板中各特征点在世界坐标系的坐标与棋盘格板中各特征点在人眼跟踪摄像头成像平面坐标系中对应的坐标的映射关系为：
wU＝AsRtx，其中wU为棋盘格板各特征点在人眼跟踪摄像头成像平面中坐标位置矩阵，As为人眼跟踪摄像头内参数，Rt为人眼跟踪摄像头外参数矩阵， x为棋盘格板各特征点在世界坐标系下的坐标矩阵。
通过上述映射关系，和已知的内参数、特征点在两个坐标系下的坐标，即可推导解析出人眼跟踪裸眼3D显示***的外参数：
wU＝AsRtx
Rt＝As-1wUxT(xxT)-1
其中，为相机内参数是在校正内参数和畸变时已经确定的，其校正方法是采用了摄像头内参校正的标准方法，αx和αy分别表示焦距，x0和y0表示主点坐标，s为坐标轴倾斜参数，理想情况下为0；为外参数， r表示人眼跟踪摄像头在世界坐标系下相对于三个坐标轴的旋转量，t表示人眼跟踪摄像头在世界坐标系下相对于三个坐标轴的中心原点的位移量；为棋盘格各点在世界坐标系下的坐标，为棋盘格个点在人眼跟踪坐标成像平面中位置坐标。
进一步的，为了提高所校正的外参数的精确度，还可以通过移动棋盘格板到不同位置分别重复上述过程确定人眼跟踪裸眼3D显示***外参数，具体包括如下步骤：
获取人眼跟踪摄像头在棋盘格板在滑轨除第一位置之外的至少一个位置处拍摄得到的至少一个棋盘格板图案；根据至少一个棋盘格板图案中与待校正外参数个数相应数量的各特征点在世界坐标系的坐标与所述各特征点在人眼跟踪摄像头成像平面坐标系中对应的坐标的映射关系确定至少一个人眼跟踪***外参数；根据至少一个人眼跟踪***外参数确定最终人眼跟踪裸眼3D显示***外参数。
当棋盘格板在不同位置处分别获得了人眼跟踪裸眼3D显示***外参数时，可通过加权平均或是其他数学算法确定一个精确度更高的外参数，作为人眼跟踪裸眼3D显示***的外参数。
本实施例的技术方案，通过3D显示校正匹配3D模组与屏幕间关系，校正光学元件的实际周期、斜率、中心视点偏移量与设计值之间的差值，并在3D 模组与显示屏幕集成后对人眼跟踪裸眼3D显示***外参数校正，实现了人眼跟踪裸眼3D显示***校正的自动化，解决了人工校正成本高，效率低，校正精确度低的问题，提高了校正效率，降低了人工校正的成本。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (11)
1.一种人眼跟踪裸眼3D显示***的校正***，其特征在于，包括：
裸眼3D显示校正治具，用于获取3D模组和显示屏幕之间的显示参数；
人眼跟踪裸眼3D显示***外参数校正治具，用于获取人眼跟踪裸眼3D显示***的人眼跟踪摄像头外参数。
2.根据权利要求1所述的人眼跟踪裸眼3D显示***的校正***，其特征在于，所述裸眼3D显示校正治具，包括：
校正摄像头，用于拍摄显示屏幕上所显示的按照预设排图周期和预设排图周期偏移量、预设排图斜率和预设排图斜率偏移量交织后的图像；
第一滑轨，设置于显示屏幕的中心原点处并垂直于显示屏幕平面，与显示屏幕平面的法线平行，用于放置校正摄像头，校正摄像头可在滑轨上滑动至不同位置处；
第一牵引电机，设置在滑轨上，当校正摄像头需要在滑轨的不同位置拍摄图像确定排图周期时，用于牵引校正摄像头在滑轨的不同位置滑动；
第一计算机，用于按照预设排图周期和斜率及偏移量交织红蓝图并进行显示，接收校正摄像头拍摄的图像，进而根据校正摄像头拍摄的图像和仿真交织图进行图像分析比对，确定实际周期偏移量，实际斜率偏移量，及中心视点偏移量。
3.根据权利要求1所述的人眼跟踪裸眼3D显示***的校正***，其特征在于，所述人眼跟踪裸眼3D显示***外参数校正治具，包括：
棋盘格板，用于建立屏幕中心世界坐标系与人眼跟踪摄像头成像平面坐标系之间的映射关系，其中，棋盘格板上各点的坐标在屏幕中心世界坐标系中是已知的；
第二滑轨，设置于显示屏幕的中心原点处并垂直于显示屏幕平面，用于放置棋盘格板，棋盘格板可在滑轨上滑动至不同位置处；
第二牵引电机，设置于滑轨上，当需要棋盘格板在滑轨的不同位置处进行参数校正时，用于牵引棋盘格板在滑轨的不同位置上移动；
人眼跟踪摄像头，设置于显示屏幕上任一位置处，用于拍摄棋盘格板的图案；
第二计算机，用于接收人眼跟踪摄像头所拍摄的棋盘格板的图案并进行图像分析，得到棋盘格板上各点在人眼跟踪摄像头成像平面坐标系对应的坐标，还用于根据人眼跟踪***内参数、棋盘格板上各点世界坐标系中坐标、棋盘格板上各点在人眼跟踪摄像头成像平面坐标系对应的坐标计算确定人眼跟踪***外参数。
4.根据权利要求3所述的人眼跟踪裸眼3D显示***的校正***，其特征在于，所述世界坐标系为以显示屏幕中心为原点、屏幕长轴为y轴、屏幕短轴为x轴、屏幕中心法线为z轴所建立的坐标系，人眼跟踪摄像头成像平面坐标系为以摄像头平面中心点点为原点、摄像头拍摄平面横轴为x轴、摄像头拍摄平面纵轴为y轴、摄像头平面光轴为z轴所建立的坐标系。
5.一种人眼跟踪裸眼3D显示***的校正方法，其特征在于，包括：
3D显示校正，以便匹配3D模组与显示屏幕间关系，校正光学元件的实际周期、斜率、中心视点偏移量与设计值之间的差值；
校正人眼跟踪摄像头内参数及畸变；
人眼跟踪裸眼3D显示***外参数校正，以便匹配人眼跟踪坐标系与显示坐标系。
6.根据权利要求5所述的人眼跟踪裸眼3D显示***的校正方法，其特征在于，所述3D显示校正包括：
在校正摄像头距离显示屏幕第一位置处，根据预设排图周期、预设排图斜率及预设偏移量完成排图显示与仿真模拟，得到第一红蓝交织图与第一仿真图，对所述第一红蓝交织图与第一仿真图进行傅立叶分析，并根据傅立叶分析结果对光学元件模型进行接近计算，得到更新后的光学模型周期、斜率，重复迭代仿真过程，直到仿真与显示差异量小于预设误差阀值，确定在所述第一位置处的第一排图周期和第一排图斜率；
在校正摄像头距离显示屏幕第二位置处，根据预设排图周期、预设排图斜率及预设偏移量完成排图显示与仿真模拟，得到第二红蓝交织图与第二仿真图，对所述第二红蓝交织图及与第一仿真图进行傅立叶分析，并根据傅立叶分析结果对光学元件模型进行接近计算，得到更新后的光学模型周期、斜率，重复迭代仿真过程，直到仿真与显示差异量小于预设误差阀值，确定在所述第二位置处的第二排图周期和第二排图斜率；
根据所述第一排图周期和第二排图周期确定光学元件的实际周期和光学元件与显示屏幕之间的距离；
根据第一排图斜率和第二排图斜率确定光学元件的实际斜率作为排图斜率；
根据光学元件的实际周期、光学元件与显示屏幕之间的距离和人眼深度关系确定排图周期。
7.根据权利要求6所述的人眼跟踪裸眼3D显示***的校正方法，其特征在于，所述3D显示校正还包括：
根据所述排图周期、排图斜率，依次排图显示各视点图像，进行图像分析，按图像成分比列，确定中心视点偏移量。
8.根据权利要求6所述的人眼跟踪裸眼3D显示***的校正方法，其特征在于，所述排图周期、光学元件的实际周期、光学元件与显示屏幕之间的距离和人眼深度关系为：
其中，p为排图周期，d为人眼深度，l光学元件的实际周期，f为光学元件距离显示屏幕的距离。
9.根据权利要求5所述的人眼跟踪裸眼3D显示***的校正方法，其特征在于，所述人眼跟踪裸眼3D显示***外参数校正包括：
获取棋盘格板在滑轨第一位置处，人眼跟踪摄像头拍摄到棋盘格板图案；
提取所述棋盘格板图案中与待校正外参数个数相应数量的特征点在人眼跟踪摄像头成像平面坐标系中对应的坐标，
根据棋盘格板中各特征点在世界坐标系的坐标与棋盘格板中各特征点在人眼跟踪摄像头成像平面坐标系中对应的坐标的映射关系确定人眼跟踪***外参数。
10.根据权利要求9所述的人眼跟踪裸眼3D显示***的校正方法，其特征在于，所述棋盘格板中各特征点在世界坐标系的坐标与棋盘格板中各特征点在人眼跟踪摄像头成像平面坐标系中对应的坐标的映射关系为：
wU＝AsRtx，其中wU为棋盘格板各特征点在人眼跟踪摄像头成像平面中坐标位置矩阵，As为人眼跟踪摄像头内参数，Rt为人眼跟踪摄像头外参数矩阵，x为棋盘格板各特征点在世界坐标系下的坐标矩阵。
11.根据权利要求9所述的人眼跟踪裸眼3D显示***的校正方法，其特征在于，所述人眼跟踪裸眼3D显示***外参数校正还包括：
获取人眼跟踪摄像头在棋盘格板在滑轨除第一位置之外的至少一个位置处拍摄得到的至少一个棋盘格板图案；
根据至少一个棋盘格板图案中与待校正外参数个数相应数量的各特征点在世界坐标系的坐标与所述各特征点在人眼跟踪摄像头成像平面坐标系中对应的坐标的映射关系确定至少一个人眼跟踪***外参数；
根据所述至少一个人眼跟踪***外参数确定最终人眼跟踪***外参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711417717.6A CN108063940B (zh) | 2017-12-25 | 2017-12-25 | 一种人眼跟踪裸眼3d显示***的校正***和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711417717.6A CN108063940B (zh) | 2017-12-25 | 2017-12-25 | 一种人眼跟踪裸眼3d显示***的校正***和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108063940A true CN108063940A (zh) | 2018-05-22 |
| CN108063940B CN108063940B (zh) | 2023-10-27 |
Family
ID=62139900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711417717.6A Active CN108063940B (zh) | 2017-12-25 | 2017-12-25 | 一种人眼跟踪裸眼3d显示***的校正***和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108063940B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108419068A (zh) * | 2018-05-25 | 2018-08-17 | 张家港康得新光电材料有限公司 | 一种3d图像处理方法和装置 |
| CN109246417A (zh) * | 2018-11-27 | 2019-01-18 | 武汉市天蝎科技有限公司 | 一种基于裸眼立体显示的机器视觉分析***及方法 |
| CN112346258A (zh) * | 2020-11-06 | 2021-02-09 | 上海易维视科技有限公司 | 基于方波拟合的光栅可视区定标方法及*** |
| CN113573040A (zh) * | 2021-07-07 | 2021-10-29 | 深圳市创鑫未来科技有限公司 | 自动校准人眼追踪裸眼3d显示的立体图案、装置及方法 |
| CN114040184A (zh) * | 2021-11-26 | 2022-02-11 | 京东方科技集团股份有限公司 | 图像显示方法、***、存储介质及计算机程序产品 |
| CN114302130A (zh) * | 2021-12-06 | 2022-04-08 | 嘉兴智瞳科技有限公司 | 一种智能显微手术成像装置控制方法及*** |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105898287A (zh) * | 2016-05-05 | 2016-08-24 | 清华大学 | 基于裸眼立体显示的机器视觉分析装置及方法 |
| CN106713894A (zh) * | 2015-11-17 | 2017-05-24 | 深圳超多维光电子有限公司 | 一种跟踪式立体显示方法及设备 |
| CN107155104A (zh) * | 2017-06-23 | 2017-09-12 | 深圳超多维科技有限公司 | 一种裸眼立体显示设备的显示校正方法及装置 |
| CN107172417A (zh) * | 2017-06-30 | 2017-09-15 | 深圳超多维科技有限公司 | 一种裸眼3d屏幕的图像显示方法、装置及*** |
| CN107179613A (zh) * | 2017-06-23 | 2017-09-19 | 深圳超多维科技有限公司 | 一种裸眼立体显示设备的显示校正方法、装置及电子设备 |
| CN107249128A (zh) * | 2017-06-23 | 2017-10-13 | 深圳超多维科技有限公司 | 一种摄像头的校正方法及装置 |
| CN107347152A (zh) * | 2016-05-06 | 2017-11-14 | 深圳超多维光电子有限公司 | 裸眼3d显示设备的光栅倾角的确定方法、装置及电子设备 |
-
2017
- 2017-12-25 CN CN201711417717.6A patent/CN108063940B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106713894A (zh) * | 2015-11-17 | 2017-05-24 | 深圳超多维光电子有限公司 | 一种跟踪式立体显示方法及设备 |
| CN105898287A (zh) * | 2016-05-05 | 2016-08-24 | 清华大学 | 基于裸眼立体显示的机器视觉分析装置及方法 |
| CN107347152A (zh) * | 2016-05-06 | 2017-11-14 | 深圳超多维光电子有限公司 | 裸眼3d显示设备的光栅倾角的确定方法、装置及电子设备 |
| CN107155104A (zh) * | 2017-06-23 | 2017-09-12 | 深圳超多维科技有限公司 | 一种裸眼立体显示设备的显示校正方法及装置 |
| CN107179613A (zh) * | 2017-06-23 | 2017-09-19 | 深圳超多维科技有限公司 | 一种裸眼立体显示设备的显示校正方法、装置及电子设备 |
| CN107249128A (zh) * | 2017-06-23 | 2017-10-13 | 深圳超多维科技有限公司 | 一种摄像头的校正方法及装置 |
| CN107172417A (zh) * | 2017-06-30 | 2017-09-15 | 深圳超多维科技有限公司 | 一种裸眼3d屏幕的图像显示方法、装置及*** |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108419068A (zh) * | 2018-05-25 | 2018-08-17 | 张家港康得新光电材料有限公司 | 一种3d图像处理方法和装置 |
| CN109246417A (zh) * | 2018-11-27 | 2019-01-18 | 武汉市天蝎科技有限公司 | 一种基于裸眼立体显示的机器视觉分析***及方法 |
| CN112346258A (zh) * | 2020-11-06 | 2021-02-09 | 上海易维视科技有限公司 | 基于方波拟合的光栅可视区定标方法及*** |
| CN112346258B (zh) * | 2020-11-06 | 2022-09-13 | 上海易维视科技有限公司 | 基于方波拟合的光栅可视区定标方法及*** |
| CN113573040A (zh) * | 2021-07-07 | 2021-10-29 | 深圳市创鑫未来科技有限公司 | 自动校准人眼追踪裸眼3d显示的立体图案、装置及方法 |
| CN113573040B (zh) * | 2021-07-07 | 2024-05-03 | 深圳市创鑫未来科技有限公司 | 自动校准人眼追踪裸眼3d显示的立体图案、装置及方法 |
| CN114040184A (zh) * | 2021-11-26 | 2022-02-11 | 京东方科技集团股份有限公司 | 图像显示方法、***、存储介质及计算机程序产品 |
| CN114302130A (zh) * | 2021-12-06 | 2022-04-08 | 嘉兴智瞳科技有限公司 | 一种智能显微手术成像装置控制方法及*** |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108063940B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108063940A (zh) | 一种人眼跟踪裸眼3d显示***的校正***和方法 | |
| CN108111838A (zh) | 一种裸眼3d显示校正治具及校正方法 | |
| CN109741405B (zh) | 一种基于对偶结构光rgb-d相机的深度信息采集*** | |
| CN103500446B (zh) | 一种头戴显示装置 | |
| CN107155104B (zh) | 一种裸眼立体显示设备的显示校正方法及装置 | |
| CN205610834U (zh) | 立体显示*** | |
| CN108108021A (zh) | 人眼跟踪***外参数校正治具及校正方法 | |
| CN105091849B (zh) | 一种光轴非平行双目测距方法 | |
| CN110390719A (zh) | 基于飞行时间点云重建设备 | |
| CN107105209B (zh) | 投影图像几何畸变自动校正***及其校正方法 | |
| CN106887023A (zh) | 用于双目摄像机标定的标定板及其标定方法和标定*** | |
| CN105527718B (zh) | 裸眼3d显示方法、显示***和显示***的模拟分析方法 | |
| WO2012162566A1 (en) | Systems and methods for alignment, calibration and rendering for an angular slice true-3d display | |
| CN107038722A (zh) | 一种设备定位方法及装置 | |
| CN110119258B (zh) | 一种显示屏与光学***位置测试与调整方法和*** | |
| US20110187827A1 (en) | Method and apparatus for creating a stereoscopic image | |
| CN105809654A (zh) | 目标对象跟踪方法、装置和立体显示设备及方法 | |
| CN104616348A (zh) | 基于多目立体视觉的织物外观重建方法 | |
| CN107370910A (zh) | 基于最优曝光的最小包围曝光集合获取方法 | |
| Caspi et al. | Vertical parallax from moving shadows | |
| CN106991706A (zh) | 一种拍摄校准方法及*** | |
| CN104217461A (zh) | 一种基于深度图模拟实时凹凸效果的视差映射方法 | |
| CN209231985U (zh) | 一种基于虚拟双目视觉原理的摄像机参数自动标定装置 | |
| CN112179292B (zh) | 一种基于投影仪的线结构光视觉传感器标定方法 | |
| CN107018398A (zh) | 一种用于光场三维显示量化标定的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200402 Address after: 215634 north side of Chengang road and west side of Ganghua Road, Jiangsu environmental protection new material industrial park, Zhangjiagang City, Suzhou City, Jiangsu Province Applicant after: ZHANGJIAGANG KANGDE XIN OPTRONICS MATERIAL Co.,Ltd. Address before: 201203, room 5, building 690, No. 202 blue wave road, Zhangjiang hi tech park, Shanghai, Pudong New Area Applicant before: WZ TECHNOLOGY Inc. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |