CN111028290B - 一种用于绘本阅读机器人的图形处理方法及装置 - Google Patents
一种用于绘本阅读机器人的图形处理方法及装置 Download PDFInfo
- Publication number
- CN111028290B CN111028290B CN201911173928.9A CN201911173928A CN111028290B CN 111028290 B CN111028290 B CN 111028290B CN 201911173928 A CN201911173928 A CN 201911173928A CN 111028290 B CN111028290 B CN 111028290B
- Authority
- CN
- China
- Prior art keywords
- camera
- picture image
- preset
- distortion
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 9
- 239000011159 matrix material Substances 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 57
- 238000006243 chemical reaction Methods 0.000 claims abstract description 31
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 21
- 238000009434 installation Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 10
- 238000010422 painting Methods 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 4
- 239000003973 paint Substances 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
一种用于绘本阅读机器人的图形处理方法,其包括:获取原始绘本图像;利用预设维度转换映射图,根据原始绘本图像得到二维绘本图像,预设维度转换映射图能够根据摄像头外参矩阵和摄像头内参矩阵对原始绘本图像进行图像转换来得到二维绘本图像,从而将原始绘本图像中的三维空间坐标系下的齐次坐标转换为二维空间坐标;利用预设畸变映射图对二维绘本图像进行去畸变处理,得到对应于原始绘本图像的标准二维绘本图像。本方法能够满足不同绘本不同拍摄角度的使用要求,在实际使用过程中,用户并不需要像现有技术那样将绘本以特定的角度和位置放置在摄像头拍摄区域内,而是可以更为自由地来放置绘本,这样显然能够大大提高绘本阅读机器人的用户体验。
Description
技术领域
本发明涉及机器人技术领域,具体地说,涉及一种用于绘本阅读机器人的图形处理方法。
背景技术
随着人工智能的发展,越来越多的绘本阅读机器人推向市场。绘本阅读机器人能够通过识别卡片、书籍上的内容(例如识别绘本所所印刷的图片或是文字等),来检索并输出与识别内容相关的信息,从而帮助用户提高自身的认知能力。
绘本阅读机器人将图像识别与印刷品检索技术相结合,使得智能机器人具有了与检索印刷品图片的相关信息的交互能力,不仅加强了智能机器人在图片识别与图片检索领域的应用,同时也扩展了智能机器人在教育市场的应用场景。
然而,现有的绘本机器人在应用过程中,对于所需要识别的绘本图片的位置要求较为严格。通常,只有当绘本图片按照特定的要求、特定的角度放置在特定的位置上时,绘本机器人才能够具有较好的识别效果,这显然影响了绘本机器人的推广与应用。
发明内容
为解决上述问题,本发明提供了一种用于绘本阅读机器人的图形处理方法,所述方法包括:
步骤一、获取原始绘本图像;
步骤二、利用预设维度转换映射图,根据所述原始绘本图像得到二维绘本图像,其中,所述预设维度转换映射图能够根据摄像头外参矩阵和摄像头内参矩阵对所述原始绘本图像进行图像转换来得到二维绘本图像,从而将所述原始绘本图像中的三维空间坐标系下的齐次坐标转换为二维空间坐标;
步骤三、利用预设畸变映射图对所述二维绘本图像进行去畸变处理,得到对应于所述原始绘本图像的标准二维绘本图像。
根据本发明的一个实施例,所述预设畸变映射图包括畸变参数,在所述步骤三中,利用所述畸变参数对所述二维绘本图像进行去畸变处理,以实现径向畸变修正和/或切向畸变修正。
根据本发明的一个实施例,基于第一组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标,通过调整缩放值s、摄像头内参矩阵I、摄像头外参矩阵[r|t]和畸变参数dist,使得预设函数的取值趋近于零,从而得到摄像头内参矩阵I和畸变参数dist。
根据本发明的一个实施例,在获取所述第一组预设标定图像时,固定标定图案位置不变,通过移动摄像头从不同的角度进行拍摄,从而得到所述第一组预设标定图像。
根据本发明的一个实施例,根据摄像头高度和摄像头角度确定所述摄像头外参矩阵。
根据本发明的一个实施例,基于第二组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标,根据所述摄像头内参矩阵I和畸变参数,确定所述摄像头高度和摄像头角度。
根据本发明的一个实施例,在所述步骤二中,还结合目标缩放比对所述原始绘本图像进行图像转换。
根据本发明的一个实施例,确定所述目标缩放比的步骤包括:
根据摄像头角度、摄像头高度和摄像头焦距确定缩放值;
根据所述缩放值和预设库图片尺寸确定所述目标缩放比。
本发明还提供了一种程序产品,所述程序产品存储有可执行如上任一项所述的方法步骤的程序代码。
本发明还提供了一种用于绘本阅读机器人的图形处理***,所述***装配有操作***,所述操作***能够装载并执行如上所述的程序产品。
本发明还提供了一种用于绘本阅读机器人的图形处理装置,所述装置包括:
绘本图像获取模块,其用于获取原始绘本图像;
维度转换模块,其与所述绘本图像获取模块连接,用于利用预设维度转换映射图,根据所述原始绘本图像得到二维绘本图像,其中,所述预设维度转换映射图能够根据摄像头外参矩阵和摄像头内参矩阵对所述原始绘本图像进行图像转换来得到二维绘本图像,从而将所述原始绘本图像中的三维空间坐标系下的齐次坐标转换为二维空间坐标;
去畸变模块,其与所述维度转换模块连接,用于利用预设畸变映射图对所述二维绘本图像进行去畸变处理,得到对应于所述原始绘本图像的标准二维绘本图像。
根据本发明的一个实施例,所述预设畸变映射图包括畸变参数,所述去畸变模块配置为利用所述畸变参数对所述二维绘本图像进行去畸变处理,以实现径向畸变修正和/或切向畸变修正。
根据本发明的一个实施例,所述装置还包括:
参数标定模块,其用于基于第一组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标,通过调整缩放值s、摄像头内参矩阵I、摄像头外参矩阵[r|t]和畸变参数dist,使得预设函数的取值趋近于零,从而得到摄像头内参矩阵I和畸变参数dist。
根据本发明的一个实施例,在获取所述第一组预设标定图像时,固定标定图案位置不变,通过移动摄像头从不同的角度进行拍摄,从而得到所述第一组预设标定图像。
根据本发明的一个实施例,所述参数标定模块配置为根据摄像头高度和摄像头角度确定所述摄像头外参矩阵。
根据本发明的一个实施例,所述参数标定模块配置为基于第二组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标,根据所述摄像头内参矩阵I和畸变参数,确定所述摄像头高度和摄像头角度。
根据本发明的一个实施例,所述维度转换模块配置为还结合目标缩放比对所述原始绘本图像进行图像转换。
根据本发明的一个实施例,确定所述目标缩放比的步骤包括:
根据摄像头角度、摄像头高度和摄像头焦距确定缩放值;
根据所述缩放值和预设库图片尺寸确定所述目标缩放比。
本发明还提供了一种绘本阅读机器人,所述绘本阅读机器人包括如上任一项所述的图形处理装置。
本方法能够满足不同绘本不同拍摄角度的使用要求,在实际使用过程中,用户并不需要像现有技术那样将绘本以特定的角度和位置放置在摄像头拍摄区域内,而是可以更为自由地来放置绘本,这样显然能够大大提高绘本阅读机器人的用户体验。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要的附图做简单的介绍:
图1是根据本发明一个实施例的用于绘本阅读机器人的图形处理方法的实现流程示意图;
图2是根据本发明一个实施例的绘本阅读机器人的应用场景示意图;
图3是根据本发明一个实施例的确定摄像头高度和摄像头角度的实现流程示意图;
图4是根据本发明一个实施例的小孔成像模型的示意图;
图5是根据本发明一个实施例的用于绘本阅读机器人的图形处理装置的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例以及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
同时,在以下说明中,出于解释的目的而阐述了许多具体细节,以提供对本发明实施例的彻底理解。然而,对本领域的技术人员来说显而易见的是,本发明可以不用这里的具体细节或者所描述的特定方式来实施。
另外,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1示出了本发明所提供的用于绘本阅读机器人的图形处理方法的实现流程示意图。
如图1所示,本实施例所提供的用于绘本阅读机器人的图形处理方法首先会在步骤S101中获取原始绘本图像。
具体地,如图2所示,本实施例中,绘本阅读机器人优选地可以通过摄像头来对绘本进行摄影摄像,从而得到该绘本中相应绘本页的图像,这样也就得到了原始绘本图像。
在得到原始绘本图像后,该方法优选地会在步骤S102中利用预设维度转换映射图,根据原始绘本图像得到二维绘本图像。本实施例中,上述预设维度转换映射图能够根据摄像头外参矩阵和摄像头内参矩阵对原始绘本图像进行图像转换,以此来得到二维绘本图像,从而将原始绘本图像中的三维空间坐标系下的齐次坐标转换为二维空间坐标。
在得到二维绘本图像后,该方法优选地会在步骤S103中利用预设畸变映射图来对步骤S102中所得到的二维绘本图像进行去畸变处理,这样也就可以得到对应于原始绘本图像的标准二维绘本图像。
由此可见,对于本方法来说,无论绘本是以何种角度放置,本方法均能够通过对该绘本进行图像处理来得到标准二维绘本图像(例如以特定角度、特定缩放比例所呈现出的二维绘本图像),从而方便后续对绘本内容进行识别。
本实施例中,该方法在在确定摄像头外参矩阵和摄像头内参矩阵时,优选地需要保证摄像头以符合要求的高度和/或角度来相对于放置绘本的平面或是桌面安装。
图3示出了本实施例中确定摄像头高度和摄像头角度的实现流程示意图。
如图3所示,本实施例中,该方法在确定摄像头高度和摄像头角度时,优选地首先会在步骤S301中根据查找到的视场角来进行摄像头的选型和安装。
具体地,本实施例中,该方法优选地可以根据用户所输入的候选摄像头安装角度和候选摄像头安装高度,结合上传图片尺寸来确定相应的视场角数据,随后再根据该视场角数据来进行摄像头选型和安装。
例如,本实施例中,上述上传图片尺寸优选地可以为(432,240)(对应的摄像头规格为16:9)或是(320,240)(对应的摄像头规格为4:3)。
当然,在本发明的其他实施例中,根据不同的实际需要,上述上传图片尺寸还可以为其他合理参数,本发明并不对此进行具体限定。
具体地,本实施例中,该方法优选地可以基于如下表所示的数据来根据视场角数据进行摄像头选型和安装。
表1
高度H0 | 角度A0 | 水平FOV | 垂直FOV | 对角FOV | 像素焦距 |
70 | 30 | 105.99 | 89.41 | 117.55 | 121.24 |
70 | 35 | 102.6 | 86.22 | 114.69 | 128.18 |
70 | 40 | 98.83 | 82.4 | 111.15 | 137.07 |
70 | 45 | 94.27 | 77.88 | 106.82 | 148.49 |
100 | 30 | 85.46 | 69.43 | 98.21 | 173.21 |
100 | 35 | 82.29 | 66.48 | 95.05 | 183.12 |
100 | 40 | 78.51 | 63 | 91.21 | 195.81 |
100 | 45 | 74.05 | 58.99 | 86.63 | 212.13 |
130 | 30 | 70.79 | 56.11 | 83.22 | 225.17 |
130 | 35 | 67.81 | 53.5 | 80.07 | 238.05 |
130 | 40 | 64.3 | 50.48 | 76.31 | 254.55 |
130 | 45 | 60.24 | 47.03 | 71.9 | 275.77 |
160 | 30 | 60 | 46.83 | 71.64 | 277.13 |
160 | 35 | 57.28 | 44.55 | 68.64 | 292.99 |
160 | 40 | 54.11 | 41.92 | 65.11 | 313.3 |
160 | 45 | 50.48 | 38.94 | 61.02 | 339.41 |
190 | 30 | 51.86 | 40.07 | 62.58 | 329.09 |
190 | 35 | 49.39 | 38.06 | 59.78 | 347.92 |
190 | 40 | 46.54 | 35.75 | 56.52 | 372.04 |
190 | 45 | 43.3 | 33.16 | 52.78 | 403.05 |
220 | 30 | 45.55 | 34.96 | 55.39 | 381.05 |
220 | 35 | 43.32 | 33.17 | 52.8 | 402.86 |
220 | 40 | 40.75 | 31.13 | 49.81 | 430.78 |
220 | 45 | 37.85 | 28.84 | 46.4 | 466.69 |
250 | 30 | 40.56 | 30.98 | 49.58 | 433.01 |
250 | 35 | 38.53 | 29.38 | 47.2 | 457.79 |
250 | 40 | 36.2 | 27.55 | 44.45 | 489.53 |
250 | 45 | 33.58 | 25.5 | 41.33 | 530.33 |
需要指出的是,上述视场角优选地为去畸变后的广角。
在完成摄像头的初步安装后(即根据候选摄像头安装角度和候选摄像头安装高度进行安装),该方法优选地会在步骤S302中获取第一组预设标定图像。
本实施例中,在获取上述第一组预设标定图像时,该方法优选地采用固定标定图案位置不变并通过移动摄像头从不同的角度进行拍摄的方式,来得到上述第一组预设标定图像。
例如,该方法可以将标定图案(例如标定板或是标定纸等)放置于桌面,随后移动摄像头来从尽可能多的角度来对上述标定图案进行拍摄,从而得到预设数量的标定图案(例如8张),这样也就得到了所需要的第一组预设标定图案。
本实施例中,上述标定图案的尺寸优选地配置为与上传图片尺寸相等。在对标定图案进行拍摄时,优选地需要保证标定图案是平整地,并且标定图案的所有网格都应当出现在摄像头的视野中。同时,标定图案的边长优选地不小于摄像头视野的2/3。
需要指出的是,在本发明的不同实施例中,上述第一组预设标定图案中所包含的图片的数量可以根据实际需要配置为不同的合理值,同时对于标定图案的约束参数还可以为其他合理参数,本发明并不对此进行具体限定。
本实施例中,在得到上述第一组预设标定图案后,该方法优选地会在步骤S303中根据上述第一组预设标定图案来确定摄像头像素焦距。
具体地,本实施例中,该方法在步骤S303中优选地通过调整小孔成像模型的参数,来根据上述第一组预设标定图案确定摄像头的摄像头像素焦距。
图4示出了本实施例中小孔成像模型的示意图。如图4所示,基于小孔成像模型,在客观世界坐标系(例如绘图所在的三维空间坐标系)中的点利用外参矩阵和内参矩阵可以得到所对应的二维空间坐标系中的点,这样也就实现了将三维空间坐标系下的齐次坐标转换为二维空间坐标系下的坐标。
具体地,小孔成像模型可以表示为:
sm′=I[R|t]M′ (1)
表达式(1)还可以写成:
其中,M′表示绘图所在的三维空间坐标系中的齐次坐标,m′表示对应的二维空间坐标系中的坐标,s表示目标缩放比,I表示摄像头内参矩阵。[R|t]表示摄像头外参矩阵,其能够表征表征出摄像头坐标系(即以摄像头镜头为原点的坐标系)与客观世界坐标系的关系。本实施例中,摄像头外参矩阵[R|t]优选地包括旋转矩阵R和位移向量t。
(X,Y,Z)表示三维空间坐标系中的齐次坐标,(u,v)表示二维空间坐标系中的坐标,fx和fy分别表示x方向和y方向上的像素焦距,cx和cy分别表示x方向和y方向上的投影中心,rij和ti均表示摄像头外参矩阵[R|t]中的元素。
本实施例中,对于第一组预设图像来说,图像中的像素在二维空间坐标系下的坐标(u,v)和对应的三维空间坐标系下的坐标(X,Y,Z)是已知的,本方法在步骤S303中本质上是在(u,v)和(X,Y,Z)已知的情况下,求解目标缩放比s、摄像头内参矩阵I、摄像头外参矩阵[R|t]以及畸变参数dist的最优解。具体地,该方法优选地可以通过改变目标缩放比s、摄像头内参矩阵I、摄像头外参矩阵[R|t]以及畸变参数dist的取值,使得函数undistort(m′,dist)-I[R|t]M′的取值尽可能接近于零向量,从而得到摄像头内参矩阵I和畸变参数dist。由于摄像头内参矩阵I包含有摄像头像素焦距信息,因此该方法在得到摄像头内参矩阵I的同时也就得到了摄像头像素焦距。
当然,在本发明的其他实施例中,根据实际需要,该方法还可以采用其他合理方式来获取摄像头内参矩阵、摄像头畸变参数和/或摄像头像素焦距,本发明并不对此进行具体限定。
再次如图3所示,本实施例中,该方法还可以在步骤S304中获取第二组预设标定图像,并在步骤S305中根据上述第二组预设标定图像来确定精确确定摄像头角度和摄像头高度。
本实施例中,在获取上述第二组预设标定图像时,该方法优选地采用固定摄像头并用尽可能多的角度移动标定板,以此来获取一定数量的有效标定图片。需要指出的是,上述第二组预设标定图像中所包含的有效标定图片的数量可以根据实际需要配置为不同的合理值,本发明并不对此进行具体限定。
例如,本实施例中,该方法根据上述第二组预设标定图像来确定精确确定摄像头角度和摄像头高度的过程可以视为在第二组预设标定图像所对应的三维空间坐标系下的齐次坐标和二维空间坐标以及摄像头内参矩阵I和畸变参数dist已知的情况下,通过cv2.solvePnP方法求解[R|t]/s。从旋转矩阵R中可以得到摄像头相对于桌面的角度,同时根据旋转矩阵R、位移向量t以及网格边长GL也就可以分析得到摄像头与桌面之间的距离。通过对多张图片所得到的结果进行均值计算,这样也就可以精确地确定出摄像头高度和摄像头角度。
本实施例中,如图3所示,在得到摄像头高度和摄像头角度后,该方法优选地还会在步骤S306中基于步骤S303中所确定出的摄像头像素焦距来判断步骤S305中所确定出的摄像头高度和摄像头角度是否符合要求。其中,如果步骤S305中所确定出的摄像头高度和摄像头角度不符合要求,那么该方法则会在步骤S307中调整摄像头角度和摄像头高度(例如可以自动调整或输出相应指示信号信号由用户进行调整),并重新返回步骤S304,直至所确定出的摄像头高度和摄像头角度符合要求。
本实施例中,上述用于判断摄像头高度和摄像头角度是否符合要求的约束条件包括:
其中,fl表示像素焦距,zoom表示缩放值,H和A分别表示摄像头高度和摄像头角度。本实施例中,缩放值zoom的取值优选地配置为1.5像素/毫米。
本实施例中,由于摄像头外参矩阵[R|t]包括旋转矩阵R和位移向量t,而上述旋转和和位移是由摄像头的安装高度和安装角度所影响的,因此在已知摄像头高度和摄像头角度的情况下,该方法也就可以确定出摄像头外参矩阵[R|t]。
需要指出的是,本实施例中,该方法在步骤S102中,优选地基于小孔成像原理,根据摄像头外参矩阵[R|t]、摄像头内参矩阵I和目标缩放比s来对原始绘本图像进行图像转换以得到对应的二维绘本图像。
具体地,本实施例中,在确定目标缩放比时,该方法优选地首先会根据摄像头角度、摄像头高度和摄像头焦距确定缩放值,随后再根据上述缩放值和预设库图片尺寸确定所述目标缩放比。
例如,该方法可以根据如下表达式来计算上述目标缩放比s:
其中,zoom_ideal表示库图片尺寸,zoom表示缩放值。
在步骤S103中,该方法利用预设畸变映射图对步骤S102中所得到的二维绘本图像进行去畸变处理,从而得到对应于原始绘本图像的标准二维绘本图像。其中,上述预设畸变映射图包括畸变参数dist,该方法具体地是利用上述畸变参数dist对二维绘本图像进行去畸变处理,以实现径向畸变修正和/或切向畸变修正。
本实施例中,畸变参数dist的确定过程在上述确定摄像头内参矩阵I的过程中已经同时陈述,故在此不再对畸变参数dist的具体确定过程进行赘述。
例如,本实施例中,该方法可以根据如下表达式对二维绘本图像进行径向去畸变处理:
ucorrected=u(1+k1r2+k2r4+k3r6) (5)
vcorrected=v(1+k1r2+k2r4+k3r6) (6)
根据如下表达式对二维绘本图像进行切向去畸变处理:
ucorrected=u+[2p1xy+p2(r2+2u2)] (7)
vcorrected=v+[p1(r2+2v2)+2p2uv] (8)
dist=[k1,k2,p1,p2,k3] (9)
其中,(ucorrected,vcorrected)和(u,v)分别表示去畸变后和去畸变前的二维空间坐标,k1、k2、k3、p1和p2均表示摄像头扭曲向量dist中的元素
从上述描述中可以看出,本方法能够满足不同绘本不同拍摄角度的使用要求,在实际使用过程中,用户并不需要像现有技术那样将绘本以特定的角度和位置放置在摄像头拍摄区域内,而是可以更为自由地来放置绘本,这样显然能够大大提高绘本阅读机器人的用户体验。
本发明还提供了一种程序产品以及用于绘本阅读机器人的图形处理***,其中,该程序产品存储有可执行如上所述的用于绘本阅读机器人的图形处理方法的程序代码,而该图形处理***则装配有操作***,该操作***能够装载并执行如上所述的程序产品。
本发明还提供了一种用于绘本阅读机器人的图形处理装置。如图5所示,本实施例中,该图形处理装置优选地包括:绘本图像获取模块501、维度转换模块502和去畸变模块503。其中,绘本图像获取模块501用于获取原始绘本图像,维度转换模块502与绘本图像获取模块连接,其能够利用预设维度转换映射图,根据原始绘本图像得到二维绘本图像。其中,上述预设维度转换映射图能够根据摄像头外参矩阵和摄像头内参矩阵对原始绘本图像进行图像转换来得到二维绘本图像,从而将原始绘本图像中的三维空间坐标系下的齐次坐标转换为二维空间坐标。
去畸变模块503与维度转换模块502连接,其能够利用预设畸变映射图对维度转换模块502所传输来的二维绘本图像进行去畸变处理,从而得到对应于原始绘本图像的标准二维绘本图像。
本实施例中,绘本图像获取模块501、维度转换模块502和去畸变模块503实现其各自功能的原理以及过程与上述步骤S101至步骤S103所描述的内容相对应,故在此不再对绘本图像获取模块501、维度转换模块502和去畸变模块503的具体内容进行赘述。
此外,本发明还提供了一种绘本阅读机器人,该绘本阅读机器人包括如上所述的图形处理装置。
应该理解的是,本发明所公开的实施例不限于这里所公开的特定结构或处理步骤,而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是,在此使用的术语仅用于描述特定实施例的目的,而并不意味着限制。
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
虽然上述示例用于说明本发明在一个或多个应用中的原理,但对于本领域的技术人员来说,在不背离本发明的原理和思想的情况下,明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此,本发明由所附的权利要求书来限定。
Claims (11)
1.一种用于绘本阅读机器人的图形处理方法,其特征在于,所述方法包括:
步骤一、获取原始绘本图像;
步骤二、利用预设维度转换映射图,根据所述原始绘本图像得到二维绘本图像,其中,所述预设维度转换映射图能够根据摄像头外参矩阵和摄像头内参矩阵对所述原始绘本图像进行图像转换来得到二维绘本图像,从而将所述原始绘本图像中的三维空间坐标系下的齐次坐标转换为二维空间坐标;
根据所述原始绘本图像得到二维绘本图像的方法包括:根据摄像头外参矩阵[R|t]、摄像头内参矩阵I结合目标缩放比s来对原始绘本图像进行图像转换以得到对应的二维绘本图像;
基于第一组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标,通过调整目标缩放比s和摄像头外参矩阵[r|t],使得预设函数的取值趋近于零,从而确定摄像头内参矩阵I和畸变参数dist;
在根据候选摄像头安装角度和候选摄像头安装高度完成摄像头的初步安装后,采用固定标定图案位置不变并通过移动摄像头从不同的角度进行拍摄的方式,来得到上述第一组预设标定图像;
基于第二组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标,根据所述摄像头内参矩阵I和畸变参数,确定所述摄像头高度和摄像头角度;
根据摄像头内参矩阵I和畸变参数,确定摄像头高度和摄像头角度的过程包括:通过cv2.solvePnP方法求解[R|t]/s,从旋转矩阵R中得到摄像头相对于桌面的角度,根据旋转矩阵R、位移向量t以及网格边长GL分析得到摄像头与桌面之间的距离;进而通过对多张图片所得到的结果进行均值计算,精确地确定摄像头角度和摄像头高度;
基于根据内参矩阵确定的摄像头像素焦距按照下式所述的约束条件判断确定的摄像头高度和摄像头角度是否符合要求:
其中,fl表示像素焦距,zoom表示缩放值,H和A分别表示摄像头高度和摄像头角度;
其中,获取所述第二组预设标定图像时,采用固定摄像头并用不同的角度移动标定板,以此来获取相应数量的有效标定图片形成第二组预设标定图像,移动标定板的角度数量满足设定条件;
确定所述目标缩放比的步骤包括:
根据摄像头角度、摄像头高度和摄像头焦距确定缩放值;进而根据所述缩放值和预设库图片尺寸按下式确定所述目标缩放比s:
其中,zoom_ideal表示预设库图片尺寸,zoom表示缩放值;
步骤三、利用预设畸变映射图包括的畸变参数对所述二维绘本图像进行去畸变处理,得到对应于所述原始绘本图像的标准二维绘本图像。
2.如权利要求1所述的方法,其特征在于,在所述步骤三中,利用所述畸变参数对所述二维绘本图像进行去畸变处理,以实现径向畸变修正和/或切向畸变修正。
3.如权利要求1所述的方法,其特征在于,在获取所述第一组预设标定图像时,固定标定图案位置不变,通过移动摄像头从不同的角度进行拍摄,从而得到所述第一组预设标定图像。
4.如权利要求1所述的方法,其特征在于,根据摄像头高度和摄像头角度确定所述摄像头外参矩阵。
5.一种存储介质,其特征在于,所述存储介质存储有可执行如权利要求1~4中任一项所述的方法步骤的程序代码。
6.一种用于绘本阅读机器人的图形处理***,其特征在于,所述***装配有操作***,所述操作***能够执行如权利要求5所述存储介质中存储的程序代码。
7.一种用于绘本阅读机器人的图形处理装置,其特征在于,所述装置包括:
绘本图像获取模块,其用于获取原始绘本图像;
维度转换模块,其与所述绘本图像获取模块连接,用于利用预设维度转换映射图,根据所述原始绘本图像得到二维绘本图像,其中,所述预设维度转换映射图能够根据摄像头外参矩阵和摄像头内参矩阵对所述原始绘本图像进行图像转换来得到二维绘本图像,从而将所述原始绘本图像中的三维空间坐标系下的齐次坐标转换为二维空间坐标;
所述维度转换模块配置为根据摄像头外参矩阵[R|t]、摄像头内参矩阵I和目标缩放比s来对原始绘本图像进行图像转换以得到对应的二维绘本图像;
去畸变模块,其与所述维度转换模块连接,用于利用预设畸变映射图对所述二维绘本图像进行去畸变处理,得到对应于所述原始绘本图像的标准二维绘本图像;
所述装置还包括:参数标定模块,配置为基于第一组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标,通过调整目标缩放比s和摄像头外参矩阵[r|t]使得预设函数的取值趋近于零,从而得到摄像头内参矩阵I和畸变参数dist;
在根据候选摄像头安装角度和候选摄像头安装高度完成摄像头的初步安装后,采用固定标定图案位置不变并通过移动摄像头从不同的角度进行拍摄的方式,来得到上述第一组预设标定图像;
所述参数标定模块配置为基于第二组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标,根据所述摄像头内参矩阵I和畸变参数,确定所述摄像头高度和摄像头角度;
根据摄像头内参矩阵I和畸变参数,确定摄像头高度和摄像头角度的过程包括:通过cv2.solvePnP方法求解[R|t]/s,从旋转矩阵R中得到摄像头相对于桌面的角度,根据旋转矩阵R、位移向量t以及网格边长GL分析得到摄像头与桌面之间的距离;进而通过对多张图片所得到的结果进行均值计算,精确地确定摄像头角度和摄像头高度;
所述参数标定模块还配置为:基于根据内参矩阵确定的摄像头像素焦距按照下式所述的约束条件判断确定的摄像头高度和摄像头角度是否符合要求:
其中,fl表示像素焦距,zoom表示缩放值,H和A分别表示摄像头高度和摄像头角度;
获取所述第二组预设标定图像时,采用固定摄像头并用不同的角度移动标定板,以此来获取相应数量的有效标定图片形成第二组预设标定图像,移动标定板的角度数量满足设定条件;
所述参数标定模块,其配置为按照下述操作确定所述目标缩放比:
根据摄像头角度、摄像头高度和摄像头焦距确定缩放值;根据所述缩放值和预设库图片尺寸按下式确定所述目标缩放比s:
其中,zoom_ideal表示预设库图片尺寸,zoom表示缩放值。
8.如权利要求7所述的装置,其特征在于,所述预设畸变映射图包括畸变参数,所述去畸变模块配置为利用所述畸变参数对所述二维绘本图像进行去畸变处理,以实现径向畸变修正和/或切向畸变修正。
9.如权利要求7所述的装置,其特征在于,在获取所述第一组预设标定图像时,固定标定图案位置不变,通过移动摄像头从不同的角度进行拍摄,从而得到所述第一组预设标定图像。
10.如权利要求7所述的装置,其特征在于,所述参数标定模块配置为根据摄像头高度和摄像头角度确定所述摄像头外参矩阵。
11.一种绘本阅读机器人,其特征在于,所述绘本阅读机器人包括如权利要求7~10中任一项所述的图形处理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911173928.9A CN111028290B (zh) | 2019-11-26 | 2019-11-26 | 一种用于绘本阅读机器人的图形处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911173928.9A CN111028290B (zh) | 2019-11-26 | 2019-11-26 | 一种用于绘本阅读机器人的图形处理方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111028290A CN111028290A (zh) | 2020-04-17 |
CN111028290B true CN111028290B (zh) | 2024-03-08 |
Family
ID=70206791
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911173928.9A Active CN111028290B (zh) | 2019-11-26 | 2019-11-26 | 一种用于绘本阅读机器人的图形处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111028290B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112489114B (zh) * | 2020-11-25 | 2024-05-10 | 深圳地平线机器人科技有限公司 | 图像转换方法、装置、计算机可读存储介质及电子设备 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102592124A (zh) * | 2011-01-13 | 2012-07-18 | 汉王科技股份有限公司 | 文本图像的几何校正方法、装置和双目立体视觉*** |
WO2014034464A1 (ja) * | 2012-08-31 | 2014-03-06 | ソニー株式会社 | データ処理装置、データ処理方法、送信装置および受信装置 |
CN106570938A (zh) * | 2016-10-21 | 2017-04-19 | 哈尔滨工业大学深圳研究生院 | 基于opengl 的全景监控方法及*** |
CN106873300A (zh) * | 2016-12-30 | 2017-06-20 | 北京光年无限科技有限公司 | 面向智能机器人的虚拟空间投影方法和装置 |
CN107424126A (zh) * | 2017-05-26 | 2017-12-01 | 广州视源电子科技股份有限公司 | 图像校正方法、装置、设备、***及摄像设备和显示设备 |
CN107729881A (zh) * | 2017-11-17 | 2018-02-23 | 成都伟嘉斯特科技有限公司 | 一种可语音互动的绘本阅读机器人 |
CN108388341A (zh) * | 2018-02-11 | 2018-08-10 | 苏州笛卡测试技术有限公司 | 一种基于红外摄像机-可见光投影仪的人机交互***及装置 |
CN108765532A (zh) * | 2018-05-04 | 2018-11-06 | 北京物灵智能科技有限公司 | 儿童绘本模型建立方法、阅读机器人及存储设备 |
CN109241305A (zh) * | 2018-08-23 | 2019-01-18 | 深圳市深晓科技有限公司 | 一种基于图像识别的绘本阅读方法及装置 |
CN109544484A (zh) * | 2019-02-20 | 2019-03-29 | 上海赫千电子科技有限公司 | 一种图像校正方法和装置 |
CN109615664A (zh) * | 2018-12-12 | 2019-04-12 | 亮风台(上海)信息科技有限公司 | 一种用于光学透视增强现实显示器的标定方法与设备 |
CN109727292A (zh) * | 2018-12-29 | 2019-05-07 | 哈尔滨拓博科技有限公司 | 基于多摄像头-投影仪的互动投影***及自动化标定方法 |
CN109857929A (zh) * | 2018-12-29 | 2019-06-07 | 北京光年无限科技有限公司 | 一种用于智能机器人的人机交互方法及装置 |
CN109886372A (zh) * | 2019-01-29 | 2019-06-14 | 深圳市象形字科技股份有限公司 | 一种基于图像识别与隐形红外油墨技术的绘本识别方法 |
CN109978958A (zh) * | 2019-03-27 | 2019-07-05 | 哈尔滨拓博科技有限公司 | 一种互动投影***标定误差补偿方法 |
CN110033023A (zh) * | 2019-03-11 | 2019-07-19 | 北京光年无限科技有限公司 | 一种基于绘本识别的图像数据处理方法及*** |
CN110058705A (zh) * | 2019-04-28 | 2019-07-26 | 视辰信息科技(上海)有限公司 | 绘本辅助阅读方法、计算设备、点读侧设备与电子设备 |
-
2019
- 2019-11-26 CN CN201911173928.9A patent/CN111028290B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102592124A (zh) * | 2011-01-13 | 2012-07-18 | 汉王科技股份有限公司 | 文本图像的几何校正方法、装置和双目立体视觉*** |
WO2014034464A1 (ja) * | 2012-08-31 | 2014-03-06 | ソニー株式会社 | データ処理装置、データ処理方法、送信装置および受信装置 |
CN106570938A (zh) * | 2016-10-21 | 2017-04-19 | 哈尔滨工业大学深圳研究生院 | 基于opengl 的全景监控方法及*** |
CN106873300A (zh) * | 2016-12-30 | 2017-06-20 | 北京光年无限科技有限公司 | 面向智能机器人的虚拟空间投影方法和装置 |
CN107424126A (zh) * | 2017-05-26 | 2017-12-01 | 广州视源电子科技股份有限公司 | 图像校正方法、装置、设备、***及摄像设备和显示设备 |
CN107729881A (zh) * | 2017-11-17 | 2018-02-23 | 成都伟嘉斯特科技有限公司 | 一种可语音互动的绘本阅读机器人 |
CN108388341A (zh) * | 2018-02-11 | 2018-08-10 | 苏州笛卡测试技术有限公司 | 一种基于红外摄像机-可见光投影仪的人机交互***及装置 |
CN108765532A (zh) * | 2018-05-04 | 2018-11-06 | 北京物灵智能科技有限公司 | 儿童绘本模型建立方法、阅读机器人及存储设备 |
CN109241305A (zh) * | 2018-08-23 | 2019-01-18 | 深圳市深晓科技有限公司 | 一种基于图像识别的绘本阅读方法及装置 |
CN109615664A (zh) * | 2018-12-12 | 2019-04-12 | 亮风台(上海)信息科技有限公司 | 一种用于光学透视增强现实显示器的标定方法与设备 |
CN109727292A (zh) * | 2018-12-29 | 2019-05-07 | 哈尔滨拓博科技有限公司 | 基于多摄像头-投影仪的互动投影***及自动化标定方法 |
CN109857929A (zh) * | 2018-12-29 | 2019-06-07 | 北京光年无限科技有限公司 | 一种用于智能机器人的人机交互方法及装置 |
CN109886372A (zh) * | 2019-01-29 | 2019-06-14 | 深圳市象形字科技股份有限公司 | 一种基于图像识别与隐形红外油墨技术的绘本识别方法 |
CN109544484A (zh) * | 2019-02-20 | 2019-03-29 | 上海赫千电子科技有限公司 | 一种图像校正方法和装置 |
CN110033023A (zh) * | 2019-03-11 | 2019-07-19 | 北京光年无限科技有限公司 | 一种基于绘本识别的图像数据处理方法及*** |
CN109978958A (zh) * | 2019-03-27 | 2019-07-05 | 哈尔滨拓博科技有限公司 | 一种互动投影***标定误差补偿方法 |
CN110058705A (zh) * | 2019-04-28 | 2019-07-26 | 视辰信息科技(上海)有限公司 | 绘本辅助阅读方法、计算设备、点读侧设备与电子设备 |
Non-Patent Citations (1)
Title |
---|
基于全景视觉自动泊车的停车位检测与识别方法;李磊;《中国优秀硕士学位论文全文数据库信息科技辑》(第(2019)02期);I138-1883 * |
Also Published As
Publication number | Publication date |
---|---|
CN111028290A (zh) | 2020-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220222776A1 (en) | Multi-Stage Multi-Reference Bootstrapping for Video Super-Resolution | |
CN110769228B (zh) | 实现投影画面拼接的方法、装置及投影*** | |
CN108399634B (zh) | 基于云端计算的rgb-d数据生成方法及装置 | |
CN104994367A (zh) | 一种图像矫正方法以及摄像头 | |
CN105100546A (zh) | 运动估计方法及装置 | |
CN110443245A (zh) | 一种非限制场景下的车牌区域的定位方法、装置及设备 | |
CN110838086A (zh) | 一种基于相关性模板匹配的室外图像拼接方法 | |
CN111932462B (zh) | 图像降质模型的训练方法、装置和电子设备、存储介质 | |
CN114283079A (zh) | 一种基于图卡拍摄校正的方法及设备 | |
CN111028290B (zh) | 一种用于绘本阅读机器人的图形处理方法及装置 | |
CN107563960A (zh) | 一种自拍图片的处理方法、存储介质及移动终端 | |
CN109493387B (zh) | 一种多摄像头光轴对齐的方法和装置 | |
CN111260574A (zh) | 一种***照片矫正的方法、终端及计算机可读存储介质 | |
CN102625046A (zh) | 照相防抖装置及方法 | |
CN115965697A (zh) | 基于沙姆定律的投影仪标定方法、标定***及装置 | |
CN114663284A (zh) | 红外热成像全景图像处理方法、***及存储介质 | |
KR102598910B1 (ko) | 왜곡된 이미지에서 객체를 검출하기 위한 방법, 시스템, 및 장치 | |
CN111401365B (zh) | Ocr图像自动生成方法及装置 | |
CN114466143A (zh) | 一种拍摄角度校准方法、装置、终端设备以及存储介质 | |
CN112529943A (zh) | 一种物体检测方法、物体检测装置及智能设备 | |
CN113837998A (zh) | 一种基于深度学习的图片自动调整对齐的方法及装置 | |
CN113222997A (zh) | 神经网络的生成、图像处理方法、装置、电子设备及介质 | |
CN113724141A (zh) | 一种图像校正方法、装置及电子设备 | |
CN117611648B (zh) | 一种图像深度估计方法、***和存储介质 | |
TWI708190B (zh) | 圖像辨識方法、物體辨識模型的訓練系統與物體辨識模型的訓練方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |