CN109801213A - 鱼眼成像画面中心检测方法、装置及终端设备 - Google Patents
鱼眼成像画面中心检测方法、装置及终端设备 Download PDFInfo
- Publication number
- CN109801213A CN109801213A CN201910104677.2A CN201910104677A CN109801213A CN 109801213 A CN109801213 A CN 109801213A CN 201910104677 A CN201910104677 A CN 201910104677A CN 109801213 A CN109801213 A CN 109801213A
- Authority
- CN
- China
- Prior art keywords
- pixel
- original image
- picture
- flake
- imaged
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 48
- 238000003384 imaging method Methods 0.000 claims abstract description 93
- 238000000034 method Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 20
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 241000251468 Actinopterygii Species 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000009434 installation Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明适用于摄像技术领域,提供了鱼眼成像画面中心检测方法及装置,包括:获取原始图像,其中,所述原始图像为包含圆形鱼眼成像画面的矩形图像;按预设轨迹扫描所述原始图像,获得第一像素点及第二像素点,其中所述第一像素点为从左到右逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点,所述第二像素点为从右到左逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点;根据所述第一像素点及所述第二像素点,计算所述鱼眼成像画面的中心。本发明实施例能够低成本、高精度地检测出鱼眼成像画面的中心。
Description
技术领域
本发明属于摄像技术领域,尤其涉及一种鱼眼成像画面中心检测方法、装置及终端设备。
背景技术
鱼眼镜头是一种焦距较短并且视角接近或等于180°的镜头,是一种极端的广角镜头。将图像传感器与鱼眼镜头搭配而成的鱼眼摄像机可实现超大视场范围的图像采集及摄像监控。
鱼眼摄像机中,图像传感器采集的原始画面区域为矩形,该原始画面区域包含透过鱼眼镜头的圆形的鱼眼成像区域,鱼眼成像区域的圆直径接近原始画面区域的矩形短边。由于通常图像传感器与鱼眼镜头并不重合,在不进行校正的情况下可能会造成图像的畸变、图像中无效区域过多而有效成像画面损失等情况,因此通常需要对原始画面区域进行成像画面中心校正,即找出成像画面的中心并进行画面调整,以提高整体图像效果。
对鱼眼摄像机的成像画面中心校正的核心在于找出鱼眼成像画面的中心。现有的鱼眼成像画面中心检测方法有两种,一种方法是在均匀光源下拍摄一张图片,利用相关软件计算得到图片上图像的最亮点作为画面中心;另外一种方法是在白色光源下拍摄包含圆形图像的图片,在图片上选取任意一点作为原点,建立坐标系,再选取圆形图像圆周上至少三个点,得到至少三个点的坐标,根据圆的标准方程和至少三个点的坐标计算得到圆形画面中心。
第一种方法需要保证整个成像画面亮度均匀,对光源及拍摄方式都有严格要求,同时画面中心与周围小部分区域的亮度相差不大甚至没有区别,如果计算亮度软件分辨率不够会导致获得的画面中心准确性不高。第二种方法对光源也有一定要求,拓扑复杂度较高,另外由于镜头内壁成像等干扰圆形图像的圆周界定比较困难,因此圆周上每个点的选取都是有一定误差的,每增加一个点相应误差也会增大,使用至少3个点来计算圆心导致的误差也会偏大。
综上所述,现有的鱼眼成像画面中心检测方法存在着成本和复杂度高、精度低的缺陷。
发明内容
有鉴于此,本发明实施例提供了鱼眼成像画面中心检测方法、装置及终端设备,以解决现有技术中如何低成本、高精度地检测出鱼眼成像画面的中心的问题。
本发明实施例的第一方面提供了一种鱼眼成像画面中心检测方法,包括:
获取原始图像,其中,所述原始图像为包含圆形鱼眼成像画面的矩形图像;
按预设轨迹扫描所述原始图像,获得第一像素点及第二像素点,其中所述第一像素点为从左到右逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点,所述第二像素点为从右到左逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点;
根据所述第一像素点及所述第二像素点,计算所述鱼眼成像画面的中心。
本发明实施例的第二方面提供了一种鱼眼成像画面中心检测装置,包括:
获取单元,用于获取原始图像,其中,所述原始图像为包含圆形鱼眼成像画面的矩形图像;
扫描单元,用于按预设轨迹扫描所述原始图像,获得第一像素点及第二像素点,其中所述第一像素点为从左到右逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点,所述第二像素点为从右到左逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点;
第一计算单元,用于根据所述第一像素点及所述第二像素点,计算所述鱼眼成像画面的中心。
本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如所述鱼眼成像画面中心检测方法的步骤。
本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如所述鱼眼成像画面中心检测方法的步骤。
本发明实施例与现有技术相比存在的有益效果是:本发明实施例中,通过扫描原始图像,从两个方向分别获得两个灰度值大于或等于预设灰度阈值的像素点,这两个像素点即为圆形鱼眼成像画面直径上的两个点,计算这两个点的中心便能得到鱼眼成像画面的中心,由于不需要特殊的光源及对计算软件分辨率要求不高,且通过扫描检测灰度值能够准确地获取圆形鱼眼成像画面直径上的两个点从而得到鱼眼成像画面的中心,因此能够在控制成本的情况下提高鱼眼成像画面中心检测的精度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的第一种鱼眼成像画面中心检测方法的实现流程示意图;
图2是本发明实施例提供的一种鱼眼摄像模组拍摄的原始画面的示例图;
图3是本发明实施例提供的一种鱼眼成像画面中心检测方法的扫描轨迹示意图;
图4是本发明实施例提供的另一种鱼眼成像画面中心检测方法的扫描轨迹示意图;
图5是本发明实施例提供的第二种鱼眼成像画面中心检测方法的实现流程示意图;
图6是本发明实施例提供的一种鱼眼成像画面中心检测方法的图像处理示意图;
图7是本发明实施例提供的另一种鱼眼成像画面中心检测方法的图像处理示意图;
图8是本发明实施例提供的一种鱼眼成像画面中心校正的示意图;
图9是本发明实施例提供的一种鱼眼成像画面中心检测装置的示意图;
图10是本发明实施例提供的终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案,下面通过具体实施例来进行说明。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例一:
图1示出了本申请实施例提供的第一种鱼眼成像画面中心检测方法的流程示意图,详述如下:
在S101中,获取原始图像,其中,所述原始图像为包含圆形鱼眼成像画面的矩形图像。
通过由图像传感器与鱼眼镜头组成的鱼眼摄像模组进行图像拍摄,得到原始图像。原始图像为矩形图像,该矩形图像包含了圆形的鱼眼成像画面,如图2所示为一种原始图像的示例图。原始图像的实际拍摄成像区域落在圆形的鱼眼成像画面中,且该鱼眼成像画面通常灰度值较高,即通常进行拍摄的场景不为纯黑或者较灰暗的场景;而其它区域为黑色的无效区域,这里将该无效区域称为未成像区域,通常鱼眼成像画面的圆形区域中的灰度值高于未成像区域。
在S102中,按预设轨迹扫描所述原始图像,获得第一像素点及第二像素点,其中所述第一像素点为从左到右逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点,所述第二像素点为从右到左逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点。
如图3所示,原始图像的四个顶点分别为A、B、C、D,以A点为坐标原点,以AD方向为x轴正方向,以AB方向为y轴方向建立坐标轴,其中,x轴正方向即为从左到右的方向,x轴负方向即为从右到左的方向。
按照预设轨迹扫描原始图像,从左到右逐列扫描检测所述原始图像上的灰度值,得到的灰度值大于或等于预设灰度阈值的第一个像素点为第一像素点(即如图3所示的C1点)。例如以A点为起点,沿y轴正方向扫描检测原始图像上的灰度值,直至B点,完成第一列扫描;接着以位于A点右边的相邻像素点为出发点,沿y轴正方向扫描检测原始图像上的灰度值,至接触BC边上的点为止,完成第二列扫描;以此类推,每次以位于AD边上且与上一列扫描出发点右邻的点为出发点,沿y轴正方向竖直扫描检测原始图像上的灰度值,至位于BC边上的点为止,即以同一竖直扫描方向(y轴正方向)从左到右逐列扫描原始图像,直至扫描到第一个灰度值大于或者等于预设灰度阈值的像素点,并将该点记录为第一像素点。或者,(如图4所示)以A点为起点,沿y轴正方向扫描检测原始图像上的灰度值,直至B点,完成第一列扫描;接着以位于B点右边的相邻像素点为出发点,沿y轴负方向扫描检测原始图像上的灰度值,至接触AD边上的点位置,完成第二列扫描;以此类推,每次以与上一列扫描终点右邻的点为出发点,沿y轴的正方向或者负方向竖直扫描检测原始图像上的灰度值,即沿Z字型从左到右逐列扫描原始图像,直至扫描到第一个灰度值大于或者等于预设灰度阈值的像素点,并将该点记录为第一像素点。
应理解,也可以B点为起点以同一竖直扫描方向(y轴负方向)从左到右逐列扫描原始图像,或者以B点为起点沿Z字型从左到右逐列扫描原始图像,从而得到灰度值大于或等于预设灰度阈值的第一个像素点,即第一像素点。
同样地,按照预设轨迹扫描原始图像,从右到左逐列扫描检测所述原始图像上的灰度值,得到的灰度值大于或等于预设灰度阈值的第一个像素点为第二像素点(即如图3所示的C2点)。如图3所示,以D点(或者C点)为起点,以同一竖直扫描方向从右到左逐列扫描原始图像,直至扫描到第一个灰度值大于或者等于预设灰度阈值的像素点,并将该点记录为第二像素点;或者,如图4所示,以D点(或者C点)为起点,沿Z字型从右到左逐列扫描原始图像,直至扫描到第一个灰度值大于或者等于预设灰度阈值的像素点,并将该点记录为第二像素点。
可选地,可以多次沿同一预设轨迹(例如每次都以同一起点、同一竖直扫描方向的方式)扫描所述原始图像,记录每次扫描获得的第一个到灰度值大于或等于预设灰度阈值的像素点,求这些像素点的平均值得到第一像素点或者第二像素点,即通过多次扫描求平均的方式最终确定第一像素点或者第二像素点,以提高求取第一像素点、第二像素点的准确度。
可选地,可以通过两次分别沿不同预设轨迹扫描所述原始图像,记录每次扫描获得的第一个到灰度值大于或等于预设灰度阈值的像素点,求这些像素点的平均值得到第一像素点或者第二像素点,即通过不同扫描轨迹求平均的方式最终确定第一像素点或者第二像素点,以提高求取第一像素点、第二像素点的准确度。例如第一次以A点为起点,以同一竖直扫描方向(y轴正方向)从左到右逐列扫描原始图像得到第一个灰度值大于或等于预设灰度阈值的像素点;第二次以B点为起点以同一竖直扫描方向(y轴负方向)从左到右逐列扫描原始图像得到第一个灰度值大于或等于预设灰度阈值的像素点;将两次获得的像素点的坐标值求平均,得到最终的第一像素点。
可选地,在所述S102之前,还包括:接收设置指令,设置所述预设灰度阈值。
在S103中,根据所述第一像素点及所述第二像素点,计算所述鱼眼成像画面的中心。
通过上述方法扫描获得的第一像素点及第二像素点即为位于圆形鱼眼成像画面的直径上的两点,因此求取第一像素点及第二像素点之间的连线中点,便可得到圆形鱼眼成像画面的圆心,即为鱼眼成像画面的中心(如图3所示的O1点)。可以通过获取第一像素点及第二像素点的坐标值,计算两个坐标值的中心坐标值,得到所述鱼眼成像画面的中心。
本发明实施例中,通过扫描原始图像,从两个方向分别获得两个灰度值大于或等于预设灰度阈值的像素点,这两个像素点即为圆形鱼眼成像画面直径上的两个点,计算这两个点的中心便能得到鱼眼成像画面的中心,由于不需要特殊的光源及对计算软件分辨率要求不高,且通过扫描检测灰度值能够准确地获取圆形鱼眼成像画面直径上的两个点从而得到鱼眼成像画面的中心,因此能够在控制成本的情况下提高鱼眼成像画面中心检测的精度。
实施例二:
图5示出了本申请实施例提供的第二种鱼眼成像画面中心检测方法的流程示意图,详述如下:
在S501中,获取原始图像,其中,所述原始图像为包含圆形鱼眼成像画面的矩形图像。
本实施例中S501与上一实施例中的S101相同,具体请参阅上一实施例中S101的相关描述,此处不赘述。
可选地,在所述S501之前,还包括:
发出提示搭建预设物理环境的信息。
为保证原始图像画面中圆形的鱼眼成像画面中的边缘区域能够与原始图像中的灰度值较低的未成像区域更好地区分开,可以通过在图像拍摄前,搭建预设的物理环境,来使鱼眼成像画面中与未成像区域接壤的边缘区域灰度值保持在较高水平。例如,在鱼眼摄像模组前方的左右两侧各竖直放置一张白纸,或者其它亮色的纸张、布料等,完成预设物理环境的搭建。在首次获取原始图像之前,可以通过发出提示搭建预设物理环境的信息,例如以屏幕显示文字、或者语音播放的方式,发出提示在鱼眼摄像模组左右两侧各放置一张白纸的提示信息,使得操作者可以按照提示信息,完成预设物理环境的搭建。可选地,为了提高操作者完成搭建预设物理环境的精确性,在发出提示搭建预设物理环境的信息之后,显示待搭建的预设物理环境的示意图。
通过在获取原始图像前发出提示搭建预设物理环境的信息,可以保证鱼眼成像画面中与未成像区域接壤的边缘区域的灰度值保持在较高水平,更好地与未成像区域区分开,从而进一步提高确定第一像素点、第二像素点时的准确度。
在S502中,按预设轨迹扫描所述原始图像,获得第一像素点及第二像素点,其中所述第一像素点为从左到右逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点,所述第二像素点为从右到左逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点。
可选地,所述原始图像包括位于所述原始图像左边的第一顶点、第二顶点及位于所述原始图像右边的第三顶点、第四顶点,所述步骤S502,具体包括:
以所述原始图像的第一顶点或第二顶点为起点,从左到右逐列扫描所述原始图像得到第一个灰度值大于或等于预设灰度阈值的第一待定像素点;
以所述第一待定像素点为起点,从左到右检测预设个数的第一相邻像素点,若所述所述预设个数的第一相邻像素点的灰度值均大于或等于预设灰度阈值,则确定所述第一待定像素点为第一像素点;
以所述原始图像的第三顶点或第四顶点为起点,从右到左逐列扫描所述原始图像得到第一个灰度值大于或等于预设灰度阈值的第二待定像素点;
以所述第二待定像素点为起点,从右到左检测预设个数的第二相邻像素点,若所述预设个数的第二相邻像素点的灰度值均大于或等于预设灰度阈值,则确定所述第二待定像素点为第二像素点。
以图3所示的情况为例,A、B、C、D四点分别为原始图像的第一顶点、第二顶点、第三顶点及第四顶点。以A点或者B点为起点,从左到右逐列扫描原始图像,得到第一个灰度值大于或者等于预设灰度阈值的像素点,将该像素点设为第一待定像素点;接着,以第一待定像素点为起点,沿x轴正方向检测预设个数(例如3个)与第一待定像素点相邻接的第一相邻像素点,若这几个第一相邻像素点的灰度阈值都大于或等于预设灰度阈值,则确定该第一待定像素点为第一像素点C1;否则,从所述第一待定像素点继续扫描,直到找到一个灰度值大于或等于预设灰度阈值且右邻的预设个数像素点的灰度值也大于或等于预设灰度阈值的像素点,定为第一像素点。以C点或者D点为起点,从右到左扫描原始图像,得到第一个灰度值大于或者等于预设灰度阈值的像素点,将该像素点设为第二待定像素点;接着,以第二待定像素点为起点,沿x轴负方向检测预设个数与第二待定像素点相邻接的第二相邻像素点,若这几个第二相邻像素点的灰度阈值都大于或等于预设灰度阈值,则确定该第二待定像素点为第二像素点C2;否则,从所述第二待定像素点继续扫描,直到找到一个灰度值大于或等于预设灰度阈值且左邻的预设个数像素点的灰度值也大于或等于预设灰度阈值的像素点,定为第二像素点。
在原始图像中,未成像区域可能会出现一些例如白色噪点等干扰像素点,或者由于镜头材质不佳出现漏光现象,可能会导致未成像区域中的部分区域画面偏亮,通过在获得第一个灰度值大于或等于预设灰度阈值的待定像素点之后,进一步检测与待定像素点相邻的预设个数像素点的灰度值,可以避免干扰像素点或者干扰区域的影响,进一步提高得到的第一像素点及第二像素点的准确度,从而提高鱼眼成像画面中心检测的准确度。
在S503中,根据所述第一像素点及所述第二像素点,计算所述鱼眼成像画面的中心。
本实施例中S503与上一实施例中的S103相同,具体请参阅上一实施例中S103的相关描述,此处不赘述。
可选地,在所述步骤S503之后,还包括:
计算所述鱼眼成像画面的中心与原始图像中心的偏离值。
设S503中计算得出的鱼眼成像画面的中心的坐标值为O1(xo1,yo1),而根据矩形的原始图像的四个顶点的坐标值,可以计算得到原始图像中心的坐标值O2(xo2,yo2)。当矩形的原始图像的宽远远小于原始图像的长时(例如相差超过50pixel),如图6所示,由于鱼眼成像画面的直径接近于原始图像的最短边,因此此时鱼眼成像画面的中心与原始图像中心在y轴方向上的偏离为影响图片成像效果的关键因素。这种情况下,以鱼眼成像画面的中心的纵坐标yo1与原始图像中心的纵坐标yo2的相差值为偏离值,即d=|yo1-yo2|。当矩形的原始图像的长和宽的大小相差不大(例如相差在50pixel以内)时,如图7所示,鱼眼成像画面的中心与原始图像中心在x轴方向上的偏离与在y轴方向上的偏离都可能成为影响图片成像效果的因素,这种情况下以鱼眼成像画面的中心与原始图像中心的距离值为偏离值,即
通过计算得到鱼眼成像画面的中心与原始图像中心的偏离值,可以让操作者了解到当前的鱼眼摄像模组安装情况即图像传感器与鱼眼镜头的相对位置关系,以便做出相应的调整。
可选地,在所述计算所述鱼眼成像画面的中心与原始图像中心的偏离值之后,还包括:
若所述偏离值大于预设偏差值,则发出提示调整镜头的信息。
通过预先设置一个预设偏差值,当偏离值d大于预设偏差值Δd时,通过语音,或者屏幕显示的方式,发出提示调整镜头的信息,提示操作者调整鱼眼摄像模组的镜头安装位置。
当偏离值较大时,表明鱼眼镜头与图像传感器的偏移较大,影响图片成像效果,通过发出信息,可以及时提醒操作者调整镜头,从而提高之后拍摄的原始图像的质量。
可选地,若所述偏离值大于预设偏差值,则发出提示调整镜头的信息之前,还包括:
根据所述原始图像的分辨率及目标分辨率,确定所述预设偏差值。
目标分辨率为包含鱼眼成像画面的有效图像的分辨率,由于鱼眼成像画面为圆形,因此有效图像一般为正方形,目标分辨率的横向分辨率与纵向分辨率相等。如图6所示,对于分辨率2048×1536的原始图像,一般使鱼眼成像画面的直径接近原始图像的短边1536pixel,而为了消除镜头内壁的无用投影,给镜头安装偏斜留有一定的余量,一般会让目标分辨率稍微小于原始图像的短边,例如定为1440×1440。
当矩形的原始图像的宽远远小于原始图像的长时(例如相差超过50pixel),时,如图6所示,此时鱼眼成像画面的中心与原始图像中心在y轴方向上的偏离为影响图片成像效果的关键因素,偏离值d=|yo1-yo2|,此时鱼眼成像画面中心与原始图像中心在y轴方向上允许的最大偏移量即为预设偏差值。设原始图像的分辨率为2048×1536,目标分辨率为1440×1440,而鱼眼成像画面中心与原始图像中心在y轴方向上允许的最大偏移量为:(1536-1440)/2=48pixel,即此时的预设偏差值Δd为48pixel。
当矩形的原始图像的长和宽的大小相差不大(例如相差在50pixel以内)时,如图7所示,此时的偏离值此时鱼眼成像画面中心与原始图像中心允许的最大距离值即为预设偏差值。设原始图像的分辨率为1540×1536,目标分辨率为1440×1440,鱼眼成像画面中心与原始图像中心允许的最大距离值为:即此时的预设偏差值Δd为69pixel。
在S504中,根据所述鱼眼成像画面的中心及目标分辨率,裁剪所述原始图像,完成鱼眼成像画面中心校正。
目标分辨率为包含鱼眼成像画面的有效图像(这里称为目标图像)的分辨率,由于鱼眼成像画面为圆形,因此目标图像一般为正方形,目标分辨率的横向分辨率与纵向分辨率相等。如图8所示,设原始图像的分辨率为2048×1536,一般使鱼眼成像画面的直径接近原始图像的短边1536pixel,而为了消除镜头内壁的无用投影,及给镜头安装偏斜留有一定的余量,一般会让目标分辨率稍微小于原始图像的短边,例如定为1440×1440。
如图8所示,根据鱼眼成像画面的中心O1(xo1,yo1),目标分辨率1440×1440,以O1为中心,以目标分辨率为目标图像的大小,裁剪原始图像,得到一个鱼眼成像画面被最大化显示、且未成像区域被最大化剔除的目标图像,完成鱼眼成像画面中心校正。
本发明实施例中,在检测到鱼眼成像画面的中心之后,根据鱼眼成像画面的中心与目标分辨率裁剪原始图像,删除掉大部分无效成像区域,得到能够使鱼眼成像画面被最大化呈现的目标图像,有效地改善了最终的图像呈现效果。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
实施例三:
图9示出了本申请实施例提供的一种鱼眼成像画面中心检测装置的结构示意图,为了便于说明,仅示出了与本申请实施例相关的部分:
该鱼眼成像画面中心检测装置包括:获取单元91、扫描单元92、第一计算单元93。其中:
获取单元91,用于获取原始图像,其中,所述原始图像为包含圆形鱼眼成像画面的矩形图像。
通过由图像传感器与鱼眼镜头组成的鱼眼摄像模组进行图像拍摄,得到原始图像。原始图像为矩形图像,该矩形图像包含了圆形的鱼眼成像画面,如图2所示为一种原始图像的示例图。原始图像的实际拍摄成像区域落在圆形的鱼眼成像画面中,且该鱼眼成像画面通常灰度值较高,即通常进行拍摄的场景不为纯黑或者较灰暗的场景;而其它区域为黑色的无效区域,这里将该无效区域称为未成像区域,通常鱼眼成像画面的圆形区域中的灰度值高于未成像区域。
可选地,所述鱼眼成像画面中心检测装置还包括:
第一提示单元,用于发出提示搭建预设物理环境的信息。
扫描单元92,用于按预设轨迹扫描所述原始图像,获得第一像素点及第二像素点,其中所述第一像素点为从左到右逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点,所述第二像素点为从右到左逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点。
如图3所示,原始图像的四个顶点分别为A、B、C、D,以A点为坐标原点,以AD方向为x轴正方向,以AB方向为y轴方向建立坐标轴,其中,x轴正方向即为从左到右的方向,x轴负方向即为从右到左的方向。
按照预设轨迹扫描原始图像,从左到右逐列扫描检测所述原始图像上的灰度值,得到的灰度值大于或等于预设灰度阈值的第一个像素点为第一像素点(即如图3所示的C1点)。例如以A点为起点,沿y轴正方向扫描检测原始图像上的灰度值,直至B点,完成第一列扫描;接着以位于A点右边的相邻像素点为出发点,沿y轴正方向扫描检测原始图像上的灰度值,至接触BC边上的点为止,完成第二列扫描;以此类推,每次以位于AD边上且与上一列扫描出发点右邻的点为出发点,沿y轴正方向竖直扫描检测原始图像上的灰度值,至位于BC边上的点为止,即以同一竖直扫描方向(y轴正方向)从左到右逐列扫描原始图像,直至扫描到第一个灰度值大于或者等于预设灰度阈值的像素点,并将该点记录为第一像素点。或者,(如图4所示)以A点为起点,沿y轴正方向扫描检测原始图像上的灰度值,直至B点,完成第一列扫描;接着以位于B点右边的相邻像素点为出发点,沿y轴负方向扫描检测原始图像上的灰度值,至接触AD边上的点位置,完成第二列扫描;以此类推,每次以与上一列扫描终点右邻的点为出发点,沿y轴的正方向或者负方向竖直扫描检测原始图像上的灰度值,即沿Z字型从左到右逐列扫描原始图像,直至扫描到第一个灰度值大于或者等于预设灰度阈值的像素点,并将该点记录为第一像素点。
应理解,也可以B点为起点以同一竖直扫描方向(y轴负方向)从左到右逐列扫描原始图像,或者以B点为起点沿Z字型从左到右逐列扫描原始图像,从而得到灰度值大于或等于预设灰度阈值的第一个像素点,即第一像素点。
同样地,按照预设轨迹扫描原始图像,从右到左逐列扫描检测所述原始图像上的灰度值,得到的灰度值大于或等于预设灰度阈值的第一个像素点为第二像素点(即如图3所示的C2点)。如图3所示,以D点(或者C点)为起点,以同一竖直扫描方向从右到左逐列扫描原始图像,直至扫描到第一个灰度值大于或者等于预设灰度阈值的像素点,并将该点记录为第二像素点;或者,如图4所示,以D点(或者C点)为起点,沿Z字型从右到左逐列扫描原始图像,直至扫描到第一个灰度值大于或者等于预设灰度阈值的像素点,并将该点记录为第二像素点。
可选地,所述原始图像包括第一顶点、第二顶点、第三顶点及第四顶点,其中第一顶点与第二顶点位于所述原始图像的左边,第三顶点及第四顶点位于图像的右边,所述扫描单元92包括第一确定模块及第二确定模块:
所述第一确定模块,用于以所述原始图像的第一顶点或第二顶点为起点,从左到右逐列扫描所述原始图像得到第一个灰度值大于或等于预设灰度阈值的第一待定像素点;以所述第一待定像素点为起点,从左到右检测预设个数的第一相邻像素点,若所述预设个数的第一相邻像素点的灰度值均大于或等于预设灰度阈值,则确定所述第一待定像素点为第一像素点。
所述第二确定模块,用于以所述原始图像的第三顶点或第四顶点为起点,从右到左逐列扫描所述原始图像得到第一个灰度值大于或等于预设灰度阈值的第二待定像素点;以所述第二待定像素点为起点,从右到左检测预设个数的第二相邻像素点,若所述预设个数的第二相邻像素点的灰度值均大于或等于预设灰度阈值,则确定所述第二待定像素点为第二像素点。
第一计算单元93,用于根据所述第一像素点及所述第二像素点,计算所述鱼眼成像画面的中心。
第一计算单元获取第一像素点及第二像素点的坐标值,计算两个坐标值的中心坐标值,得到所述鱼眼成像画面的中心。
可选地,所述鱼眼成像画面中心检测装置还包括:
第二计算单元,用于计算所述鱼眼成像画面的中心与原始图像中心的偏离值。
可选地,所述鱼眼成像画面中心检测装置还包括:
第二提示单元,用于若所述偏离值大于预设偏差值,则发出提示调整镜头的信息。
可选地,所述鱼眼成像画面中心检测装置还包括:
预设偏差值确定单元,用于根据所述原始图像的分辨率及目标分辨率,确定所述预设偏差值。
可选地,所述鱼眼成像画面中心检测装置还包括:
校正单元,用于根据所述鱼眼成像画面的中心及目标分辨率,裁剪所述原始图像,完成鱼眼成像画面中心校正。
本发明实施例中,通过扫描原始图像,从两个方向分别获得两个灰度值大于或等于预设灰度阈值的像素点,这两个像素点即为圆形鱼眼成像画面直径上的两个点,计算这两个点的中心便能得到鱼眼成像画面的中心,由于不需要特殊的光源及对计算机软件分辨率要求不高,且通过扫描检测灰度值能够准确地获取圆形鱼眼成像画面直径上的两个点从而得到鱼眼成像画面的中心,因此能够在控制成本的情况下提高鱼眼成像画面中心检测的精度。
实施例四:
图10是本发明一实施例提供的终端设备的示意图。如图10所示,该实施例的终端设备10包括:处理器100、存储器101以及存储在所述存储器101中并可在所述处理器100上运行的计算机程序102,例如鱼眼成像画面中心检测程序。所述处理器100执行所述计算机程序102时实现上述各个鱼眼成像画面中心检测方法实施例中的步骤,例如图1所示的步骤S101至S103。或者,所述处理器100执行所述计算机程序102时实现上述各装置实施例中各模块/单元的功能,例如图9所示模块91至93的功能。
示例性的,所述计算机程序102可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器101中,并由所述处理器100执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序102在所述终端设备10中的执行过程。例如,所述计算机程序102可以被分割成获取单元、扫描单元、第一计算单元,各单元具体功能如下:
获取单元,用于获取原始图像,其中,所述原始图像为包含圆形鱼眼成像画面的矩形图像。
扫描单元,用于按预设轨迹扫描所述原始图像,获得第一像素点及第二像素点,其中所述第一像素点为从左到右逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点,所述第二像素点为从右到左逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点。
第一计算单元,用于根据所述第一像素点及所述第二像素点,计算所述鱼眼成像画面的中心。
所述终端设备10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括,但不仅限于,处理器100、存储器101。本领域技术人员可以理解,图10仅仅是终端设备10的示例,并不构成对终端设备10的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器100可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器101可以是所述终端设备10的内部存储单元,例如终端设备10的硬盘或内存。所述存储器101也可以是所述终端设备10的外部存储设备,例如所述终端设备10上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器101还可以既包括所述终端设备10的内部存储单元也包括外部存储设备。所述存储器101用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种鱼眼成像画面中心检测方法,其特征在于,包括:
获取原始图像,其中,所述原始图像为包含圆形鱼眼成像画面的矩形图像;
按预设轨迹扫描所述原始图像,获得第一像素点及第二像素点,其中所述第一像素点为从左到右逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点,所述第二像素点为从右到左逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点;
根据所述第一像素点及所述第二像素点,计算所述鱼眼成像画面的中心。
2.如权利要求1所述的鱼眼成像画面中心检测方法,其特征在于,在所述获取原始图像之前,还包括:
发出提示搭建预设物理环境的信息。
3.如权利要求1所述的鱼眼成像画面中心检测方法,其特征在于,所述原始图像包括位于所述原始图像左边的第一顶点、第二顶点及位于所述原始图像右边的第三顶点、第四顶点,所述按预设轨迹扫描所述原始图像,获得第一像素点及第二像素点,包括:
以所述原始图像的第一顶点或第二顶点为起点,从左到右逐列扫描所述原始图像得到第一个灰度值大于或等于预设灰度阈值的第一待定像素点;
以所述第一待定像素点为起点,从左到右检测预设个数的第一相邻像素点,若所述预设个数的第一相邻像素点的灰度值均大于或等于预设灰度阈值,则确定所述第一待定像素点为第一像素点;
以所述原始图像的第三顶点或第四顶点为起点,从右到左逐列扫描所述原始图像得到第一个灰度值大于或等于预设灰度阈值的第二待定像素点;
以所述第二待定像素点为起点,从右到左检测预设个数的第二相邻像素点,若所述预设个数的第二相邻像素点的灰度值均大于或等于预设灰度阈值,则确定所述第二待定像素点为第二像素点。
4.如权利要求1所述的鱼眼成像画面中心检测方法,其特征在于,在所述根据所述第一像素点及所述第二像素点,计算所述鱼眼成像画面的中心之后,还包括:
计算所述鱼眼成像画面的中心与原始图像中心的偏离值。
5.如权利要求4所述的鱼眼成像画面中心检测方法,其特征在于,在所述计算所述鱼眼成像画面的中心与原始图像中心的偏离值之后,还包括:
若所述偏离值大于预设偏差值,则发出提示调整镜头的信息。
6.如权利要求5所述的鱼眼成像画面中心检测方法,其特征在于,在所述若所述偏离值大于预设偏差值,则发出提示调整镜头的信息之前,还包括:
根据所述原始图像的分辨率及目标分辨率,确定所述预设偏差值。
7.如权利要求1至4任意一项所述的鱼眼成像画面中心检测方法,其特征在于,所述方法还包括:
根据所述鱼眼成像画面的中心及目标分辨率,裁剪所述原始图像,完成鱼眼成像画面中心校正。
8.一种鱼眼成像画面中心检测装置,其特征在于,包括:
获取单元,用于获取原始图像,其中,所述原始图像为包含圆形鱼眼成像画面的矩形图像;
扫描单元,用于按预设轨迹扫描所述原始图像,获得第一像素点及第二像素点,其中所述第一像素点为从左到右逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点,所述第二像素点为从右到左逐列扫描得到的灰度值大于或等于预设灰度阈值的第一个像素点;
第一计算单元,用于根据所述第一像素点及所述第二像素点,计算所述鱼眼成像画面的中心。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910104677.2A CN109801213A (zh) | 2019-02-01 | 2019-02-01 | 鱼眼成像画面中心检测方法、装置及终端设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910104677.2A CN109801213A (zh) | 2019-02-01 | 2019-02-01 | 鱼眼成像画面中心检测方法、装置及终端设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109801213A true CN109801213A (zh) | 2019-05-24 |
Family
ID=66561839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910104677.2A Pending CN109801213A (zh) | 2019-02-01 | 2019-02-01 | 鱼眼成像画面中心检测方法、装置及终端设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109801213A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113888448A (zh) * | 2021-12-08 | 2022-01-04 | 深圳市先地图像科技有限公司 | 一种激光成像用的图像分区域处理方法、***及相关设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106910173A (zh) * | 2017-02-27 | 2017-06-30 | 武汉大学 | 基于鱼眼图像校正实现鱼眼视频小窗口实时漫游的方法 |
CN107689033A (zh) * | 2017-07-21 | 2018-02-13 | 哈尔滨工程大学 | 一种基于椭圆分割的鱼眼图像畸变校正方法 |
CN107767422A (zh) * | 2017-09-18 | 2018-03-06 | 深圳开阳电子股份有限公司 | 一种鱼眼镜头的校正方法、装置及便携式终端 |
-
2019
- 2019-02-01 CN CN201910104677.2A patent/CN109801213A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106910173A (zh) * | 2017-02-27 | 2017-06-30 | 武汉大学 | 基于鱼眼图像校正实现鱼眼视频小窗口实时漫游的方法 |
CN107689033A (zh) * | 2017-07-21 | 2018-02-13 | 哈尔滨工程大学 | 一种基于椭圆分割的鱼眼图像畸变校正方法 |
CN107767422A (zh) * | 2017-09-18 | 2018-03-06 | 深圳开阳电子股份有限公司 | 一种鱼眼镜头的校正方法、装置及便携式终端 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113888448A (zh) * | 2021-12-08 | 2022-01-04 | 深圳市先地图像科技有限公司 | 一种激光成像用的图像分区域处理方法、***及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220076391A1 (en) | Image Distortion Correction Method and Apparatus | |
CN107767422B (zh) | 一种鱼眼镜头的校正方法、装置及便携式终端 | |
EP3595285A1 (en) | Photography processing method and device for camera module, and terminal apparatus | |
CN111339951A (zh) | 体温测量方法、装置及*** | |
CN108257186B (zh) | 标定图像的确定方法及装置、摄像机及存储介质 | |
CN113077459B (zh) | 图像清晰度检测方法、装置、电子设备及存储介质 | |
CN107356213B (zh) | 滤光片同心度测量方法及终端设备 | |
CN111105452B (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
CN109194954B (zh) | 鱼眼摄像头性能参数测试方法、装置、设备及可存储介质 | |
WO2019128495A1 (zh) | 图像清晰度检测方法、装置、存储介质及电子设备 | |
CN113301320B (zh) | 图像信息处理方法、装置和电子设备 | |
US20240265521A1 (en) | Cell alignment metric detection method, controller, detection system and storage medium | |
CN108632604B (zh) | 镜头光心的检测方法及装置 | |
WO2021056501A1 (zh) | 提取特征点的方法、可移动平台及存储介质 | |
CN113989336A (zh) | 一种可见光图像和红外图像配准方法及装置 | |
CN109801213A (zh) | 鱼眼成像画面中心检测方法、装置及终端设备 | |
CN116883515B (zh) | 光学环境调整方法及光学标定装置 | |
CN113326836B (zh) | 车牌识别方法、装置、服务器及存储介质 | |
EP4336449A1 (en) | Mark hole positioning method and apparatus, assembly device, and storage medium | |
US20220076428A1 (en) | Product positioning method | |
CN114120518B (zh) | 纸币连张检测方法、装置、电子设备及存储介质 | |
CN113160259B (zh) | 边缘检测方法、装置、计算机设备及存储介质 | |
CN113674139B (zh) | 人脸图像的处理方法、装置、电子设备及存储介质 | |
CN104866808A (zh) | 人眼定位方法及装置 | |
CN111028264B (zh) | 一种旋转鲁棒的三维物体检测优化方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190524 |
|
RJ01 | Rejection of invention patent application after publication |