CN105354828B - 读写场景中读物三维坐标的智能认定方法及其应用 - Google Patents
读写场景中读物三维坐标的智能认定方法及其应用 Download PDFInfo
- Publication number
- CN105354828B CN105354828B CN201510643939.4A CN201510643939A CN105354828B CN 105354828 B CN105354828 B CN 105354828B CN 201510643939 A CN201510643939 A CN 201510643939A CN 105354828 B CN105354828 B CN 105354828B
- Authority
- CN
- China
- Prior art keywords
- read
- write
- dimensional coordinate
- image
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种能应用于全智能化预防近视装置中的对青少年读写场景中读物三维坐标的智能认定方法及其应用,采用该方法的智能装置能够在读写场景中与青少年身体无任何接触的状态下,自动、准确判断青少年读写姿势的正确与否。针对图像传感器获取的深度图像,采用设定空间原点及边界定义三维扫描体进行扫描按获取读写人在读写状态时对应的读物的三维坐标。本发明通过合理设置图像信息采集的频度,由中央处理器计算可以精确获知该读写场景中任意二个物理点之间静态或动态情况下的距离以及读写场景中读物所处的三维坐标,并且由此可以延伸获知读写场景中青少年处于一种读写状态维持的时间长短及其读写姿态是否正常。
Description
技术领域
本发明涉及一种通过图像传感器识别空间物理点三维坐标的方法,特别涉及一种在读写场景中寻找读物的三维坐标的方法及其应用。
背景技术
随着科学技术的不断进步,各种智能产品应运而生,目前,在预防青少年近视方面涉及的防近视装置仍使用传统的机械或电子产品,如:佩戴在处于读书状态下的青少年头部或肩部的机械部件或以超声波或红外线作为测试媒介的电子部件。
机械部件,通过与青少年身体的直接接触来测量青少年读写姿势是否正确,其缺点是增加佩戴者的体力负担,长期使用易使佩戴者生厌,而且测量准确率较低。
电子部件,不论是将其对准人的头面部或者将其佩戴在青少年头部或耳部,其中的传感器位置在安装时都需要事先校准,其只能测量传感器到头部(或传感器到书本)的单点距离,并进行几何推算,估算出头部到书本的距离,不能精确测量人眼到书本的距离。由于基于单点测量,所以,测量精度会随头部在读写过程中的摇动而降低,若采用佩戴式的电子部件仍存在与机械部件相同的缺陷。
目前,无接触、纯智能的通过获取青少年读写场景图像来预防青少年近视的装置还未出现,其存在的瓶颈是如何使中央处理器正确、有效和精确识别该读写场景中读写人双眼、读写的书本和/或依托该书本的桌面的空间位置。
发明内容
本发明要解决的技术问题是提供一种能应用于全智能化预防近视装置中的对青少年读写场景中读物三维坐标的智能认定方法及其应用,采用该方法的智能装置能够在读写场景中与青少年身体无任何接触的状态下,自动、准确判断青少年读写姿势的正确与否。
为了解决上述技术问题,本发明采用的技术方案为:
本发明的读写场景中读物三维坐标的智能认定方法,针对采用至少一个与中央处理器连接的图像传感器获取的深度图像,按以下步骤获取读写人在读写状态时对应的读物的三维坐标:
1)通过设定空间原点及边界定义三维扫描体,该扫描体为在Z方向上具有设定厚度的矩形体;
2)在Z方向上,将扫描体等间隔划分为大小相同位置不同的子扫描体;
3)沿Z轴方向扫描所述子扫描体,当扫描到的某个子扫描体的点云密度达到所述读物的设定阈值时,则判定当前子扫描体的中心位置为该读物的空间位置。
所述图像传感器为一个深度图像传感器和一个二维图像传感器。
所述空间原点为读写人面部轮廓中的嘴角标志点,在该空间原点以下0cm-80cm内,采用所述扫描体逐层扫描认定所述读物的三维坐标。
采用haar特征和adaboost分类器模式的识别方法在原始图像中识别目标并基于深度图像获取所述空间原点的三维坐标。
所述图像传感器为至少一个二维图像传感器。
所述图像传感器为一个黑白或彩色图像传感器,采用该图像传感器获取所述深度图像的步骤如下:
1)设定该图像传感器的几何位置或焦距,根据确定的标定物标定图像传感器的相机参数;
2)对包含所述读物所在的场景进行成像,获取第一幅原始图像并保存;
3)改变传感器的几何位置或焦距,对包含所述读物所在的场景再次进行成像,获取与第一幅原始图像成极几何约束关系的第二幅原始图像并保存;
4)采用局部、半全局或全局的立体匹配方法获取视差图并转换为所述的深度图像。
所述图像传感器为二个黑白或彩色图像传感器,采用该图像传感器获取所述深度图像的步骤如下:
1)将二个图像传感器以左右方位分布,根据确定的标定物标定图像传感器的相机参数;
2)使用二个图像传感器分别对包含读物所在的场景进行成像,获取左向图像和右向图像并保存,所述左向图像与右向图像成极几何约束关系;
3)采用局部、半全局或全局的立体匹配方法获取视差图并转换为深度图像。
本发明的自动测量读写距离的方法,包括中央处理器,应用本发明的所述的方法,认定读写场景中读写人读写状态下对应的读物的三维坐标,依据所述的深度图像确定读写人双眼的三维坐标,由所述中央处理器动态跟踪并自动读出读写人双眼到所述读物的直线距离
本发明的自动测量读写姿态的方法,包括中央处理器,应用本发明的所述的方法,认定读写场景中读写人读写状态下对应的读物的三维坐标,设定读写人相对于所述读物处于标准读写状态时对应的标准身姿的三维坐标,由该中央处理器动态跟踪并获取读写人动态读写姿势时对应的动态身姿的三维坐标,计算读写人动态身姿与标准身姿的三维坐标偏差值并输出。
本发明的自动测量读写姿态持续时间的方法,包括中央处理器,应用本发明的所述的方法,认定读写场景中读写人读写状态下对应的读物的三维坐标,设定读写人相对于所述读物处于标准读写状态时对应的标准身姿的三维坐标,由中央处理器动态跟踪并获取读写人处于该标准身姿下的连续累积时间并输出。
本发明通过采用成本较低且结构简单的二维或三维图像传感器,获取青少年读写场景中与青少年读写时相关的物理点(如青少年的身体姿态、头面部状态、读写的书本、依托该书本的桌面、光线明暗度等)的原始图像,再将原始图像信息存入中央处理器,由中央处理器基于该图像传感器标定参数,通过立体匹配方法获得与原始图像对应的深度图像。之后,依据深度图像对所述物理点赋予单位空间内所含的点云密度值;通过设定空间原点及边界定义三维扫描体,在Z方向上,将扫描体等间隔划分为大小相同位置不同的子扫描体,再沿Z轴方向扫描所述子扫描体,当扫描到的某个子扫描体的点云密度达到所述读物的设定阈值时,则判定当前子扫描体的中心位置为该物理点的空间位置。本发明通过合理设置图像信息采集的频度,由中央处理器计算可以精确获知该读写场景中任意二个物理点之间静态或动态情况下的距离以及读写场景中读物所处的三维坐标,并且由此可以延伸获知读写场景中青少年处于一种读写状态维持的时间长短及其读写姿态是否正常。
附图说明
图1为图像获取原理图。
图2为头面部三维定位流程图。
图3为读物的三维坐标定位流程图。
具体实施方式
本发明的读写场景中读物三维坐标的智能认定方法及其应用,是采用由成本较低、结构简单的二维或三维图像传感器,获得青少年(也称读写人)读书时所在的读写场景中的原始图像信息,之后再将该信息存入计算机(包括电脑、嵌入式的微处理器或含CPU的单片机等中央处理器,下同)。通过对图像传感器标定相机参数、立体匹配获得与原始图像对应的深度图像,继而获取所述读写场景中包括读写人貌姿、读写的书本、依托该书本的桌面等与青少年读写时相关的任一物理点的三维坐标。
该方法可使计算机自动精确识别所获得的深度图像信息中各物理点之间的空间位置关系、读写人的实时三维状态与设定的该读写人的标准三维状态之间的变化值以及读写人处于一种三维状态时持续的时间等等。
通过编程设计,将本发明的方法应用于预防青少年近视的相关装置中,通过设置于该装置中的图像传感器就可以很容易的获知处于读写场景中的青少年的读写姿势是否正常、其双眼距离书本的距离如何及读写持续的时间是否过长等信息,继而通过报警部件发出提示信息。
本发明的方法如下:
一、针对采用至少一个与中央处理器连接的图像传感器获取的深度图像,按以下步骤获取读写人在读写状态时对应的读物的三维坐标:
1)通过设定空间原点及边界定义三维扫描体,该扫描体为在Z方向上具有设定厚度的矩形体;
2)在Z方向上,将扫描体等间隔划分为大小相同位置不同的子扫描体;
3)沿Z轴方向(从大值到小值或者反向)逐层扫描所述子扫描体,当扫描到的某个子扫描体的点云密度达到读物的设定阈值时,则判定当前子扫描体的中心位置为该读物的空间位置。
本发明所用图像传感器可为二维图像传感器,也可为深度图像传感器。
本发明的方法优选的所述空间原点为读写人面部轮廓的嘴巴中心点,在该空间原点以下0cm-80cm内采用所述扫描体逐层扫描认定读写场景中以书本为目标读物的三维坐标。0cm-80cm是指认定一个人在正常读写状态时,通常放置在桌面上的书本与其下巴之间的垂直距离落在这个范围内。
二、本发明可通过以下方式获取以读写人嘴巴中心点为空间原点的三维坐标:
1、当仅采用一个深度图像传感器(即三维图像传感器)时,采用以下方法获取空间原点的三维坐标:
以摄像头为原点,设定Z为上下方向,XY方向为水平面,其中Y方向从摄像头原点指向人面部。
1)定义三维扫描体,该扫描体为在Y方向上具有设定厚度的矩形体;
2)在Y方向上,将扫描体等间隔划分为大小相同位置不同的子扫描体;
3)沿Y轴方向扫描所述子扫描体,当扫描到的某个子扫描体的点云密度达到设定阈值时,则判定当前子扫描体的中心位置为人面部的空间位置。
4)基于人面部的三维空间位置,同时利用嘴巴和面部的相对几何关系,估计出嘴巴中心点的位置。(该空间原点的作用是定义扫描空间的范围,因此不需要非常精确。)
2、当采用一个二维图像传感器(优选彩色)和一个三维图像传感器时,采用以下方法获取空间原点的三维坐标:
1)采用haar特征和adaboost分类器模式的识别方法,在获取的二维原始图像中定位人面部轮廓的二维坐标。
2)在人脸的二维区域内,采用针对嘴巴对象的adaboost分类器检测嘴巴。检测限定在人面部区域,提高了可靠性。
3)基于深度图像与原始图像的对应关系,求出面部轮廓,嘴巴及其中心点的三维坐标。其中深度图像直接由三维传感器获得。
3、当仅采用二维图像传感器时,采用以下方法获取空间原点的三维坐标:
1)采用haar特征和adaboost分类器模式的识别方法,在获取的二维原始图像中定位人面部轮廓的二维坐标。
2)在人脸的二维区域内,采用针对嘴巴对象的adaboost分类器检测嘴巴。检测限定在人面部区域,提高了可靠性。
3)基于深度图像与原始图像的对应关系,求出面部轮廓,嘴巴及其中心点的三维坐标,其中深度图像直接由立体匹配获得。
三、采用二维图像传感器获取深度图像的方法如下:
采用与计算机连接的二维图像传感器,以不同位置或视角获取至少二幅青少年读写场景原始图像,分别为第一幅原始图像和第二幅原始图像,再由计算机基于该图像传感器标定参数,采用立体匹配方法获得与二幅原始图像中至少一幅相对应的深度图像。
二维图像传感器可以为一个黑白或彩色的图像传感器,也可以为二个黑白或彩色的图像传感器,其获取深度图像的方法分述如下:
1、一个黑白或彩色图像传感器
1)设定该图像传感器的几何位置或焦距,根据确定的标定物标定图像传感器的相机参数。
相机标定的概念如下:
在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为相机标定(或摄像机标定)。
本发明采用以下步骤进行相机标定:
a.设定方格纸板为标定物,设定图像传感器的焦距及其他光学参数。
b.若只采用一个图像传感器,则需移动图像传感器从不同几何位置、角度上对标定物进行多次拍摄(若采用二个图像传感器,可将二个传感器固定在不同的几何位置上同时进行拍摄)。
c.基于拍摄的图像序列,利用几何约束关系采用角点匹配标定算法,求取该图像传感器的内外参数矩阵,存储为标定参数。
2)对包含所述目标读物所在的场景进行成像,获取第一幅原始图像并保存;
3)改变传感器的几何位置或焦距,对包含所述目标读物所在的场景再次进行成像,获取与第一幅原始图像成极几何约束关系的第二幅原始图像并保存;
4)采用局部(local)、半全局(Semi-global)或全局(global)的立体匹配方法获取视差图并转换为深度图像。
为了提高计算效率,此实例中可通过采用block matching的局部立体匹配方法获取视差图并转换为深度图像。
2、二个黑白或彩色图像传感器
1)将二个图像传感器以左右方位分布,根据确定的标定物标定图像传感器的相机参数(标定方法同上)。
2)使用二个图像传感器分别对包含目标读物所在的场景进行成像,获取左向图像和右向图像并保存,所述左向图像与右向图像成极几何约束关系。
3)采用局部(local)、半全局(Semi-global)或全局(global)的立体匹配方法获取视差图并转换为深度图像。
同样,为了提高计算效率,本实例中也可通过采用block matching的局部立体匹配方法获取视差图并转换为深度图像。
四、本发明方法至少有如下三种应用:
1、自动测量读写场景中读写人的双眼到书本之间的距离
通过设置图像采集的频度,按本发明的方法实时获取读写人双眼和置于读写状态下的书本的三维坐标,先由计算机自动读出读写人双眼到所述书本的直线距离,再将该实时数据与事先存入计算机中的正确读写状态对应的标准距离相比较,就可以获知该读写人是否处于正确的读写状态(当然在实际应用中,还应考虑给予该读写人处于不正确读写状态时允许持续的时间值)。
2、自动测量读写人读写姿态
即当读写人在读写时,其身姿是否正确。不正确的身姿有:歪着头看书、扭着身看书等(有时,在这种不正确的身姿状态下,其双眼距书本的距离却在合理范围内)。
首先在读写人的面部、头部或肩部设置特征识别点构成三维身姿网,通过设置图像采集的频度,按本发明的方法实时获取该三维身姿网的三维坐标,之后再与事先存入计算机中的处于正确读写状态时对应的标准身姿的三维坐标进行比对,就可获知该读写人读书时是否处于正常的姿势(同上,在实际应用中,还应考虑给予该读写人处于不正常读写姿势时允许持续的时间值)。
3、自动测量读写人读写姿态持续时间
即便读写人读写距离、姿势都正确,但读书持续的时间太长,也会损坏青少年的视力,因此,与前二个应用相同,通过设置图像采集的频度,按本发明的方法实时获取读写人处于标准身姿、正确距离状态下的连续累积时间。当超出设定时间时,就可提醒读写人适当休息。
五、本发明涉及的基础原理如下(主要与二维图像有关的原理):
立体视觉(Stereo Vision)是机器视觉的一种重要形式,它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。融合两只眼睛获得的图像并观察它们之间的差别,使我们可以获得明显的深度感,建立特征间的对应关系,将同一空间物理点在不同图像中的映像点对应起来,这个差别,我们称作视差(Disparity)图像。
图像获取
图像获取过程可分为单传感器获取和双传感器获取,其中单个传感器可在移动位置获取,而两个传感器可固定在不同几何位置上获取。两个方法的原理类似,都是在目标物体的不同位置或不同视角上进行采集,从而获得如图1所示的左右视图。
极几何概念:
其是机器视觉中摄像机标定中的技术名词,在世界坐标系,观察坐标系,像素坐标系等坐标系转换中是很重要的一个概念。
对于双目视觉***,即有两个摄像机,定义两个摄像机的光学中心点为C1、C2,在三维空间中存在一个场景点P(x,y,z),这个点与两个摄像机光学中心点共同构成的平面就是对极平面,每个摄像机都有一个图像平面,分别为左图像平面和右图像平面,C1、P点连线与左图像平面交于p1点,C2、P点连线与右图像平面交于p2点,而C1、C2连线分别与左图像平面和右图像平面交于e1和e2点;这两个点称为极点,C1、C2连线称为基线。对极平面与左图像平面和右图像平面分别相交于两条极线L和R,这两条极线的关系是对应的,而p1和e1点落于L极线上,p2和e2点落于R极线上。
随着三维场景点P(x,y,z)的移动,极平面将绕着基线转动,这些极平面共同构成一个对极平面束,这些对极平面与图像平面所交汇成的极线族分别都交于两个极点e1和e2。
假如我们只知道P(x,y,z)投射在左图像平面上的投射点p1,我们如何去获知p1点在右图像平面上的相应点p2呢,这个相应点p2符合什么样一种几何规则呢?我们知道,对极平面是由基线、p1和P共同构成的,因此,相应点p2也一定位于该对极平面上,即可以得出p2点位于对极平面与另一个图像平面(即右图像平面)的交线R上,也即p2点是投射点p1点的反向投影在第二个视角(即右图像平面)上的图像。这种关系在立体对应算中有很大的好处,那就是不需要在整幅图像上寻找P(x,y,z)的对应点,而只需要把范围限定在极线R上即可。
标定与视差计算原理
物体表面点的三维几何位置与其在图像中对应点之间的相互关系由摄像机成像的几何模型决定,标定是指通过实验和计算获得这些传感器参数的过程。现有技术中摄像机标定方法一般包括传统标定方法和自标定方法。本发明采用传统标定方法,将具有己知形状、尺寸的标定参照物作为传感器的捕捉对象。利用空间变换求取传感器模型的内部和外部参数。其中,内部参数是指相机内部几何、光学参数,外部参数是指相机坐标系与世界坐标系的转换参数。
这里,我们设定B为基线距离,相机焦距为f。设两摄像机在同一时刻观看空间物体的同一特征点P(xc,yc,zc),分别在左图和右图上获取了点P的图像,它们的图像坐标分别为pleft=(Xleft,Yleft),pright=(Xright,Yright),由三角几何关系得到:
则视差为:Disparity=Xleft-Xright。由此可计算出点P在相机坐标系下的三维坐标为:
因此,左相机像面(即所述的左图像平面)上的任意一点只要能在右相机像面(即所述的右图像平面)上找到对应的匹配点,就可以确定出该点的三维坐标。
图像校正
要计算目标点在左右两个视图上形成的视差,需要在二维空间上匹配对应点。为了减少匹配搜索范围,我们利用极线约束使得对应点的匹配由二维搜索降为一维搜索。图像校正的作用就是把两幅图像严格地进行对应,使得两幅图像的对极线在同一水平线上,一幅图像上任意一点与其在另一幅图像中同一行的某个点对应,只需在该行进行一维搜索即可匹配到对应点。本发明采用外极线约束将搜索范围可以限制在外极线上的一个很小区间内,提高搜索速度,同时减少假匹配点的数量。
立体匹配
立体匹配从图对中的一幅图像中选择一种图像特征(如图像灰度),在另一幅图像中确定出同一物理结构的对应图像特征,从而获取这两个特征之间的相对位置,计算出视差,进而可根据式(2)计算三维坐标。根据约束方式的不同,已有立体匹配算法大致分为三类:一类为局部(Local)匹配算法,包括基于区域的立体匹配算法(block matching,BM)、基于特征的立体匹配算法;另一类为全局(Global)最优算法,该算法将匹配过程看为寻找能量方程最小值的过程,包括基于动态规划算法、图割法(graph cuts)、置信度传播算法(belief propagation)等,最后还有一类是介于局部与全局之间的半全局算法(Semi-global)。本设计采用BM局部匹配算法,同时对校正后的图像进行金字塔多分辨率分解,进一步降低计算复杂度,提高实时性。本设计采用下式作为匹配测度。
其中:dmin和dmax是最小和最大视差,m是模板尺寸,Iright和Ileft是右边和左边的图像。
读写场景中人头面部的三维坐标定位
如图2所示,读写人头面部的三维定位有两类方法。1)可从原始图像中检测人脸,获取头面部的二维坐标,然后基于深度图像,找到对应的z坐标后,从而将头面部映射到三维空间。2)直接在三维空间中,基于3D AAM等人脸模型定位人脸。
本发明为了提高实时性,对第一类方法进行改进。在adaboost分类之前,采用肤色模型检测备选人脸区域,缩小adaboost的检测范围,流程图如图2所示。
读写场景中读物(书或桌面)的三维坐标定位
如图3所示,读写场景中,读物(书本或桌面)的颜色、形状、摆放具有很多不确定性。直接利用模式识别方法识别书本或桌面,其鲁棒性不能保证。本发明针对读写场景的特殊性,提出一种可靠的检测算法:
1)定义人脸下方的某一个封闭三维空间Q为读物(书或桌面)的待检测区域,定义上下方向为z方向。
2)在z方向上,以deltaZ为间隔,将空间Q等分为n个大小相同位置不同的三维子空间{Q1,Q2,…Qn}。
3)基于原始图像和深度图像,求取三维子空间{Q1,Q2,…Qn}的点云密度。
4)从上向下的方向(z减少)扫描上述子空间,当所述子空间的点云密度达到目标读物的设定阈值时,则判定当前子空间的中心位置为该目标读物的位置。
鲁棒性注释:
鲁棒是Robust的音译,也就是健壮和强壮的意思。它是在异常和危险情况下***生存的关键。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。所谓“鲁棒性”,是指控制***在一定(结构,大小)的参数摄动下,维持其它某些性能的特性。
Claims (10)
1.一种读写场景中读物三维坐标的智能认定方法,其特征在于:针对采用至少一个与中央处理器连接的图像传感器获取的深度图像,按以下步骤获取读写人在读写状态时对应的读物的三维坐标:
1)通过设定空间原点及边界定义三维扫描体,该扫描体为在Z方向上具有设定厚度的矩形体;
2)在Z方向上,将扫描体等间隔划分为大小相同位置不同的子扫描体;
3)沿Z轴方向扫描所述子扫描体,当扫描到的某个子扫描体的点云密度达到所述读物的设定阈值时,则判定当前子扫描体的中心位置为该读物的空间位置。
2.根据权利要求1所述的方法,其特征在于:所述图像传感器为一个深度图像传感器和一个二维图像传感器。
3.根据权利要求2所述的方法,其特征在于:所述空间原点为读写人面部轮廓中的嘴角标志点,在该空间原点以下0cm-80cm内,采用所述扫描体逐层扫描认定所述读物的三维坐标。
4.根据权利要求3所述的方法,其特征在于:采用haar特征和adaboost分类器模式的识别方法在原始图像中识别目标并基于深度图像获取所述空间原点的三维坐标。
5.根据权利要求1所述的方法,其特征在于:所述图像传感器为至少一个二维图像传感器。
6.根据权利要求5所述的方法,其特征在于:所述图像传感器为一个黑白 或彩色图像传感器,采用该图像传感器获取所述深度图像的步骤如下:
1)设定该图像传感器的几何位置或焦距,根据确定的标定物标定图像传感器的相机参数;
2)对包含所述读物所在的场景进行成像,获取第一幅原始图像并保存;
3)改变传感器的几何位置或焦距,对包含所述读物所在的场景再次进行成像,获取与第一幅原始图像成极几何约束关系的第二幅原始图像并保存;
4)采用局部、半全局或全局的立体匹配方法获取视差图并转换为所述的深度图像。
7.根据权利要求5所述的方法,其特征在于:所述图像传感器为二个黑白或彩色图像传感器,采用该图像传感器获取所述深度图像的步骤如下:
1)将二个图像传感器以左右方位分布,根据确定的标定物标定图像传感器的相机参数;
2)使用二个图像传感器分别对包含读物所在的场景进行成像,获取左向图像和右向图像并保存,所述左向图像与右向图像成极几何约束关系;
3)采用局部、半全局或全局的立体匹配方法获取视差图并转换为深度图像。
8.一种自动测量读写距离的方法,包括中央处理器,其特征在于:应用权利要求1-7中任一项所述的方法,认定读写场景中读写人读写状态下对应的读物的三维坐标,依据所述的深度图像确定读写人双眼的三维坐标,由所述中央处理器动态跟踪并自动读出读写人双眼到所述读物的直线距离。
9.一种自动测量读写姿态的方法,包括中央处理器,其特征在于:应用权利要求1-7中任一项所述的方法,认定读写场景中读写人读写状态下对应的读物的三维坐标,设定读写人相对于所述读物处于标准读写状态时对应的标准身 姿的三维坐标,由该中央处理器动态跟踪并获取读写人动态读写姿势时对应的动态身姿的三维坐标,计算读写人动态身姿与标准身姿的三维坐标偏差值并输出。
10.一种自动测量读写姿态持续时间的方法,包括中央处理器,其特征在于:应用权利要求1-7中任一项所述的方法,认定读写场景中读写人读写状态下对应的读物的三维坐标,设定读写人相对于所述读物处于标准读写状态时对应的标准身姿的三维坐标,由中央处理器动态跟踪并获取读写人处于该标准身姿下的连续累积时间并输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510643939.4A CN105354828B (zh) | 2015-09-30 | 2015-09-30 | 读写场景中读物三维坐标的智能认定方法及其应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510643939.4A CN105354828B (zh) | 2015-09-30 | 2015-09-30 | 读写场景中读物三维坐标的智能认定方法及其应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105354828A CN105354828A (zh) | 2016-02-24 |
CN105354828B true CN105354828B (zh) | 2016-10-19 |
Family
ID=55330795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510643939.4A Active CN105354828B (zh) | 2015-09-30 | 2015-09-30 | 读写场景中读物三维坐标的智能认定方法及其应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105354828B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107462218B (zh) * | 2017-08-01 | 2020-06-16 | 南京农业大学 | 一种自主导航拖拉机夜间全景视觉相对定位***和方法 |
CN108009483A (zh) * | 2017-11-28 | 2018-05-08 | 信利光电股份有限公司 | 一种图像采集装置、方法及智能识别*** |
CN110288718A (zh) * | 2019-06-24 | 2019-09-27 | 火石信科(广州)科技有限公司 | 一种读写场景坐标认定方法 |
CN110309751A (zh) * | 2019-06-24 | 2019-10-08 | 火石信科(广州)科技有限公司 | 一种读写场景读写姿势的识别方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5781353B2 (ja) * | 2011-03-31 | 2015-09-24 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置、情報処理方法、および位置情報のデータ構造 |
KR101974651B1 (ko) * | 2011-06-22 | 2019-05-02 | 성균관대학교산학협력단 | 경계선 상속을 통하여 계층적으로 직교화된 구조광을 디코딩하는 방법 및 이를 이용하는 3차원 거리 영상 측정 시스템 |
US9002099B2 (en) * | 2011-09-11 | 2015-04-07 | Apple Inc. | Learning-based estimation of hand and finger pose |
CN103020342B (zh) * | 2012-12-04 | 2015-07-15 | 南京大学 | 一种从地面LiDAR数据中提取建筑物轮廓和角点的方法 |
CN104091321B (zh) * | 2014-04-14 | 2016-10-19 | 北京师范大学 | 适用于地面激光雷达点云分类的多层次点集特征的提取方法 |
CN104504255B (zh) * | 2014-12-11 | 2017-09-29 | 北京航天控制仪器研究所 | 一种螺旋翼升力和阻力力矩的确定方法 |
-
2015
- 2015-09-30 CN CN201510643939.4A patent/CN105354828B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN105354828A (zh) | 2016-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105335699B (zh) | 读写场景中读写元素三维坐标的智能认定方法及其应用 | |
US11900619B2 (en) | Intelligent vehicle trajectory measurement method based on binocular stereo vision system | |
US11922643B2 (en) | Vehicle speed intelligent measurement method based on binocular stereo vision system | |
US10699439B2 (en) | Method and an apparatus for determining a gaze point on a three-dimensional object | |
CN105354825B (zh) | 自动识别读写场景中读物位置的智能装置及其应用 | |
CN104173054B (zh) | 基于双目视觉技术的人体身高测量方法及其装置 | |
EP2870428B1 (en) | System and method for 3d measurement of the surface geometry of an object | |
US10582188B2 (en) | System and method for adjusting a baseline of an imaging system with microlens array | |
CN103559735B (zh) | 一种三维重建方法及*** | |
US9265414B2 (en) | Methods and systems for measuring interpupillary distance | |
CN105354822B (zh) | 自动识别读写场景中读写元素位置的智能装置及应用 | |
CN102592117B (zh) | 三维物体识别方法及*** | |
CN103971404B (zh) | 一种高性价比的3d实景复制装置 | |
US8086026B2 (en) | Method and system for the determination of object positions in a volume | |
CN109143215A (zh) | 一种基于双目视觉与v2x通信的协同预警设备与方法 | |
CN105354828B (zh) | 读写场景中读物三维坐标的智能认定方法及其应用 | |
Forkuo | Automatic fusion of photogrammetric imagery and laser scanner point clouds | |
CN104902246A (zh) | 视频监视方法和装置 | |
WO2018227576A1 (zh) | 地面形态检测方法及***、无人机降落方法和无人机 | |
CN104634248B (zh) | 一种双目视觉下的转轴标定方法 | |
CN104154898B (zh) | 一种主动测距方法及*** | |
CN106503605A (zh) | 基于立体视觉技术的人体目标识别方法 | |
CN105913013A (zh) | 双目视觉人脸识别算法 | |
CN109685855A (zh) | 一种道路云监控平台下的摄像机标定优化方法 | |
CN105574812A (zh) | 多角度三维数据配准方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
C41 | Transfer of patent application or patent right or utility model | ||
GR01 | Patent grant | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20160927 Address after: 518000 Nanhai Road, Guangdong, Shenzhen, No. 3688, No. Applicant after: Shenzhen University Address before: 518000 Department of medicine, Shenzhen University, Nanhai Avenue, Guangdong, Shenzhen, 3688, China Applicant before: Li Qiaoliang |