CN101271469B - 一种基于三维模型库下二维图像的识别和物体的重建方法 - Google Patents
一种基于三维模型库下二维图像的识别和物体的重建方法 Download PDFInfo
- Publication number
- CN101271469B CN101271469B CN 200810067000 CN200810067000A CN101271469B CN 101271469 B CN101271469 B CN 101271469B CN 200810067000 CN200810067000 CN 200810067000 CN 200810067000 A CN200810067000 A CN 200810067000A CN 101271469 B CN101271469 B CN 101271469B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- dimensional model
- model
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000012545 processing Methods 0.000 claims description 18
- 239000004744 fabric Substances 0.000 claims description 15
- 230000008878 coupling Effects 0.000 claims description 8
- 238000010168 coupling process Methods 0.000 claims description 8
- 238000005859 coupling reaction Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 230000013011 mating Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 230000008521 reorganization Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 10
- 238000011160 research Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000003208 petroleum Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000404095 Heteranthemis Species 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000010171 animal model Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 239000003643 water by type Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于三维模型库下二维图像的识别和物体的重建方法，所述方法包括以下步骤：构架用于二维投影的物体三维模型及组建三维模型库，并建立对应关联的属性库；比对待识别二维物体图像和相关物体三维模型的二维投影匹配度；对于符合匹配度要求的二维投影，将所关联的属性库内物体识别为二维图像中物体；以所识别属性库内物体相关联的三维模型库中三维模型重新构建物体。由于采用了比对二维物体图像与相关三维模型的二维投影，达到了识别该二维物体图像中物体的目的，实现了多角度、多方位拍摄的二维物体图像的识别；并且利用相关联的三维模型达到了重建该二维物体图像中物体的目的；加上采用并行化运算的方法，加快了识别和重建的速度。
Description
技术领域
本发明涉及一种二维图像的识别和物体的重建，尤其涉及的是一种基于三维模型库下二维图像的识别和物体的重建方法。
背景技术
人类生活在一个三维的世界中，因此要想真实地描述现实世界，最好也使用三维的技术；但是传统中的记录实际场景和描述实际物体都是使用物体图像的方法，这种方法的成本比较低廉同时技术非常成熟，而且近些年来随着数码照相技术的发展，人们获取二维的图片越来越具有真实感；数码照相技术的原理和以往的照相技术一样，实际上也是将实际的三维物体投影到二维平面上来获取物体图像的，但这中间就已经丢失了一些三维的形状信息，因此二维的图片不能准确地反映物体原有的三维真实信息，更重要的是人们尚不能从各个角度获取物体的真实几何信息。
上述的物体图像对人们并不陌生，它是利用各种观测***以不同形式和不同手段观测客观世界而获得的，可直接或间接作用于人眼并进而产生视知觉的实体；而人的视觉***相当于一个复杂的观测***，通过它可得到的物体图像就是客观景物在人心目中形成的影像；人类生活在一个信息时代，科学研究和统计表明，人类从外界获得的信息约有75％来自视觉***，也就是从物体图像中获得的；物体图像的概念是比较广义的，例如照片、绘图、视像、遥感影像、航空影像、医学影像、地质影像、气象物体图像和军事物体图像等；物体图像带有大量的信息，百闻不如一见，一图胜千字都说明了这个事实；识别物体图像还涉及到物体图像相似度(image semblance)或ISD(Image Similarity Degree)，是指一幅物体图像“旋入”另一幅物体图像的概 率；相似度包括在形状、结构、统计、纹理、环境和高低大小等方面的相似程度。
物体图像识别是物体图像分析的一个重要内容，是指识别出二维物体图像中的物体并能提取物体的特征，包括但不限于：位置、几何形状和类别；具体而言，物体图像识别主要是指依据输入的空域二维物体图像信息f(x，y，t)，根据物体图像识别特征，进行相关物体图像运算，分析并提取物体图像的识别特征，形成物体图像的特征参量，然后按物体图像特征对物体图像进行识别运算；它是利用计算机通过对物体图像中不同物体的空间信息和光谱信息进行分析、选择特征，并将特征空间划分为互不重叠的子空间，然后将物体图像中各个像元划归到子空间去；物体图像识别技术在各行各业得到了广泛的应用：如在城市遥感影像中识别违章建筑等；在医学影像中识别肿瘤和创伤等；在军事物体图像中识别军事目标等；目前中国国内和国际上对物体图像识别的研究主要集中在运用数学和物理的具体方法对物体图像进行识别的研究，这种对于物体图像识别方法的研究，还可从不同的方面划分为不同的类型；按照利用物体图像要素的不同，物体图像识别大体可以分为三种：一是基于物体图像灰度值的识别，二是基于物体图像纹理的识别，三是基于多源的信息融合的识别；计算机对物体图像进行识别的应用主要是模式识别技术，根据具体应用的数学方法不同又可分为：统计法即决策分类法、语言结构法即句法方法、模糊法以及神经网络法，分别简介如下：
1、统计决策法是近十多年来物体图像识别中应门较为广泛的—种方法。它是把每一个物体图像用一些特征参数表达为特征空间中的一个点，再根据各点之间的距离进行判别分类；统计决策法应用虽广，但对结构复杂、形式多变的物体图像，特别是物体图像的结构信息起着非常重要的作用，且识别的目的不仅在于把物体图像简单地分配到某一特定的类别中去，而且还要描述物体图像的性质，以便根据这些性质决定其属性时，统计决策法就有很大的局限性，例如图片识别及物景分析就是如此；对于这类物体图像，由于它 十分复杂，并且需要很多特征才能描述它，如用前述概率统计法进行识别，则特征抽取将会及其困难；而且，对同一物体图像往往采用各种不同的抽取方法，没有统一的理论依据，从而用概率统计分类法就无法进行识别；同时还因简单的分类往往不能达到识别的目的，还需要更多的信息，还需要对不同的物体图像进行更多的描述才能达到目的。
2、句法结构识别法是人们经过长期的大量实践，自然而然地想出的如何去描述这些特性，是先由物体图像的简单部分着手，再到复杂部分的识别方法；这就是对具有很多特征的复杂物体图像，可以一部分一部分地加以描述，可以用比较简单的子物体图像，将其用单层组合或多层组合来描述；并且，这种子物体图像的单层组合或多层组合的方法经实践证明，也是识别具有多种形式的极其复杂的物体图像的有效途径；因为在实际工作中，要想把物体图像的每一种可能具有的形式，都定义为一个类别是不实际的，也是不可能的；如人像鉴别、指纹识别、汉字识别及连续语音识别等，就不可能定义为一个类别；所以，实际问题对识别工作也有如下要求：只有对各个物体图像进行描述时，才能满足识别要求，而不是用简单的分类所能满足要求的，这就是近几年发展起来的句法结构法；它主要着眼于突出物体图像的结构信息，采用形式语言理论来分折和描述物体图像结构；句法结构识别法是一种近代的识别方法，它从物体图像的结构特性分析物体图像，识别物体图像，并能描述物体图像，它具有统计法所不具备的优点，因而近几年来，发展极快；该方法利用了句法结构分析的概念、方法和误差校正句法分析来说明句法结构的描述方法、句法分析、结构分析、树状语言、随机文法和句法模式的分类与聚合。
3、模糊集识别法是一种新型的识别法，它的理论基础是模糊数学；在物体图像识别中，有些问题会显得极其复杂，一下子很难辨识清楚，例如大批量多品种极其相似的零件混杂在一起，要使计算机极快地识别出某一零件，此时就需要利用上述的方法，使得计算机分析和综合出所有零件的特征，计 算并比较大量信息后才能做出决策，识别某一零件；就像日常生活中到电影院去找人一样，若用计算机来识别，就得收集所有人的各方面的特征，由计算机进行分析和综合，识别出要找的人；实际上，计算机在判断时还会遇到很多复杂问题，如果这类问题直接由人来进行，就能轻而易举地完成；人们可以根据一些模糊的印象，例如高个子、大胡子以及戴眼镜等，一下子就找到需要寻找的人，为什么呢？这是因为计算机是建立在二维逻辑基础上的，它对事物的分析是“非真”即“假”或者“非假”即“真”；可是对于识别物体图像及对不确定场合作判断等方面，就远不如人；这种二值逻辑不适于处理模糊的事物，可是客观世界中的事物之间都有着一定的联系，反映在人的认识上，有很多的概念普遍存在着模糊性；例如高个子或大胡子，并非要精确到多少位有效数字去衡量他的身长，更不需要精确计量他脸上究竟有多少根胡须以及每根胡须多粗多长；在人们头脑中，“高个子”和“大眼睛”也都是一些相对模糊的概念；识别一个人是否具备这些特征，并非要求做绝对的肯定或绝对的否定，而只考察一个人对这些特征，究竟符合到什么程度，这称为隶属度，按照隶属度进行筛选，择优选取便能很快达到识别与判决的目的。
4、神经网络识别法是近年来受到国内外广泛关注的高新技术，不同学科的科技人员对其进行了深入的研究，并取得了许多有价值的研究成果；神经网络在物体图像识别方面也取得了广泛应用；一种神经网络用于物体图像识别要先提取物体图像特征，然后把提取好的物体图像特征送入神经网络识别器进行识别；另一种BP(Back Propagation)神经网络做物体图像识别的方法，不对物体图像作特征提取，直接把物体图像数据如灰度值作为神经网络识别器的输入。
在物体图像识别过程中，根据是否已知训练样本的分类数据，物体图像识别方法又可以分为监督分类和非监督分类；监督分类的主要方法有：最大似然判别法、神经元网络分类法、模糊分类法、最小距离分类法和Fisher判 别分类法；非监督分类的主要方法有：动态聚类、模糊聚类法、***聚类和***法；区分监督分类与非监督分类的标准不是选择训练样本，而是先验知识，所谓先验知识是指与从物体图像本身获取不到的知识，而是人类总结出来的知识；非监督分类是指人们事先对分类过程不施加任何的先验知识，而仅凭数据即图像中物体光谱特征分布规律或自然聚类的特性，进行“盲目”的分类；也就是说，根据特征的相似程度将物体图像的不同部分归入到不同的类别；其分类的结果只是对不同类别达到了区分，但并不能确定类别的属性，即非监督分类只能把样本区分为若干类别，而不能给出样本的描述；物体类别的属性是通过分类结束后目视判读或实地调查确定的。
因此，非监督分类也称聚类分析，一般的聚类算法是，先选择若干个模式点作为聚类的中心，每一中心代表一个类别，按照某种相似性度量方法(如最小距离方法)将各个模式归入到各聚类中心所代表的类别，形成初始分类；然后由聚类准则来判断初始分类是否合理，如果不合理就修改分类，如此反复迭代运算，直到合理为止；与监督分类法的先学习后分类不同，非监督分类法是边学习边分类，通过学习找到相同的类别，然后将该类与其它类区分开，但是非监督分类法与监督分类法都是以物体图像的灰度为基础的；通过统计计算一些特征参数例如均值、协方差等进行分类的，所以也存在有一些共性。
三维模型一般指物体的三维几何模型，就是现实物体外形在计算机中的一种数字化描述，近几年来得到了人们越来越多的关注，已成为继音频、物体图像以及视频之后的第四种数字多媒体形式；三维模型库由各种物体的三维模型构成，该库可以根据物体的类型分为城市模型子库、医学模型子库、军事模型子库、地质模型子库和气象模型子库等，而城市模型子库又可以分为建筑模型子库、道路模型子库、桥梁模型子库、植物模型子库、动物模型子库、水域模型子库、大气模型子库和地层模型子库等；模型中包含了物体三维空间上的所有特征信息，包括形状、颜色和纹理等等；物体属性库：包 括物体的类型、形状、颜色和纹理等属性描述的特征库。
三维重建的手段包括但不限于：传统的手工测量方法并三维建模；应用三维激光扫描仪进行测量并构建物体三维模型；通过识别单幅物体图像中的物体底座判断物体的水平形状，通过物体阴影/投影判断物体的高度来进行物体图像三维建模；通过两幅二维的立体相对进行物体图像的三维重建的步骤；基于特征点或矢量数据的重建；以逐步重建三维点、三维线、三维面至三维体，以此为基础的自底向上边界识别的算法；按预定义物体局部基本模型并对其作预定义的并、差和交构造实体几何模型方式的算法；由垂直拉伸模型、绕垂直视图平面轴平面环路整周旋扫模型和简单棱锥体模型通过并和差所构成组合模型的三维重建。
随着计算机硬件和软件技术的不断发展，利用物体的三维模型作为精确描述实际场景和物体的有效手段，近些年来已经受到人们越来越多的关注，如何重建物体真实的三维模型也已经成为计算机领域越来越多的研究课题。
而现有技术的实现方案都是基于对二维物体图像的特征分析，进行二维物体图像中物体的识别和三维模型的重建；例如在卫星影像中判别车子，只能根据影像中该物体的形状是否属于圆角矩形来判定，这种识别方法应用于卫星影像时问题还小一些，因为卫星拍摄或遥感的高度高，基本上垂直下照，物体图像上显示的基本上是物体的顶部；但如果是航拍相片或数码相片，由于对物体的拍摄角度***，人们就很难利用现有的方法来识别物体，如果此时还根据二维物体图像中该物体是否属于圆角矩形，来识别它是否是车辆就不行了，如果图片是从侧面照的，那么车辆有呈矩形的，也有呈梯形的，连物体识别都恐怕做不到，无法通过现有技术从二维物体图像中提取物体的高度信息，因为没有一种特征可以用来提取高度信息，就更谈不上用此识别的结果进行物体的三维重建了；加上现有技术很少采用并行计算模式，识别和重建的速度缓慢。
这里的并行是相对串行而言的，所谓的串行计算是指，传统的基于PC机、 工作站、
服务器的计算模式都是串行计算，其所有的数据和任务都是按照程序中规定的顺序一步一步地计算；而并行计算是将一个大的计算问题分解为许多部分，在许多处理器机单元上同时进行计算的方法，目的在于加快问题的计算速度，即加快计算的速度、加大计算的规模、提高计算的精度以及提高计算的容错能力；完成此项处理的计算机***称为并行计算机***，它是将多个处理器，可以几个、几十个、几千个或几万个等通过网络连接以一定的方式有序地组织起来，如有一定的连接方式涉及网络的互联拓扑、通信协议等，而有序的组织则涉及操作***、中间件等；此处的并行有两种含义：一是同时性，指两个或多个事件在同一时刻发生；二是并发性，指两个或多个事件在同一时间间隔内发生；并行计算是提高计算机***计算速度和处理能力的一种有效手段；它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题分解成若干个部分，各部分均由一个独立的处理机来并行计算；并行计算***既可以是专门设计的含有多个处理器的超级计算机，也可以是以某种方式互连的若干***立的计算机构成的集群。
并行计算基于一个简单的想法：N台计算机应该能够提供N倍数的计算能力，不论当前计算机的速度如何，都可以期望被求解的问题在1/N的时间内完成；显然，这只是一个理想的情况，因为被求解的问题在通常情况下都不可能被分解为完全独立的各个部分，而是需要进行必要的数据交换和同步；尽管如此，并行计算仍然可以使整个计算机***的性能得到实质性的改进，而改进的程度取决于欲求解之问题的并行程度；并行计算的优点是具有巨大的数值计算和数据处理能力，能够被广泛地应用于国民经济、国防建设和科技发展中具有深远影响的重大课题，例如石油勘探、地震预测和预报、气候模拟和大范围天气预报、新型武器设计、核武器***的研究模拟、航空航天飞行器、卫星图像处理、天体和地球科学或实时电影动画***等，尤其是当前的虚拟现实***重建技术。
综上现有技术的缺点是，无法进行多角度、多方向拍摄的二维物体图像的识别和物体的重建，而且识别和重建的速度缓慢。
因此，现有技术尚有待改进和发展。
发明内容
本发明要解决的技术问题是，提供一种基于三维模型库下二维图像的识别和物体的重建方法，可以实现多角度、多方向拍摄的二维物体图像的识别和物体的重建，而且可以加快识别和重建的速度。
本发明的技术方案如下：
一种基于三维模型库下二维图像的识别和物体的重建方法，所述方法包括以下步骤：
A、构架用于二维投影的物体三维模型及组建三维模型库，并建立对应关联的属性库；
B、比对待识别二维物体图像和相关物体三维模型的二维投影匹配度；根据二维物体图像拍摄的角度和方向动态调整物体三维模型的投影角度和方向；将同一幅二维物体图像与同一个物体三维模型在不同角度和方向的投影进行匹配对比；
C、对于符合匹配度要求的二维投影，将所关联的属性库内物体识别为二维图像中物体；对于不符合匹配度要求的二维投影，进入最匹配的物体三维模型所对应的子级物体三维模型库进行比对；在匹配程度未达到要求时，加入动态调整待配比的物体三维模型库机制修改物体三维模型库；
D、以所识别属性库内物体相关联的三维模型库中三维模型重新构建物体；根据物体二维图像与最匹配的物体三维模型的最合适的投影之间相似度的差异，修正物体三维模型，得到的物体三维模型做为二维物体图像的输出。
所述的方法，其中，步骤A还包括：
A1、所述三维模型库结构按物体领域和物体类型分类和细分类；
A2、所述属性库结构按物体领域和物体类型分类和细分类；
A3、所述三维模型库和所述属性库通过物体一一对应关联。
所述的方法，其中，根据识别重建的需要，在运行时改变物体三维模型库和物体属性库的内容和结构。
所述的方法，其中，在匹配程度未达到要求时，加入动态调整待配比的物体三维模型库机制修改物体三维模型库。
所述的方法，其中，步骤B还包括：
B1、对物体图像中物体进行放大、缩小或旋转的预处理工作；
B2、从多个不同的角度和方向对物体三维模型进行二维投影。
所述的方法，其中，所述二维投影匹配度还包括设定图像特征相似度。
所述的方法，其中，步骤D中还包括，获取此物体三维模型中的高度信息，作为二维物体图像中的高度信息。
所述的方法，其中，所述二维物体图像的自动识别重建领域为城市物体图像的自动识别重建、医学物体图像的自动识别重建、地质物体图像的自动识别重建、视频物体图像的自动识别重建、气象物体图像的自动识别重建、军事物体图像的自动识别重建或视频的自动识别重建领域。
所述的方法，其中，所述二维投影和所述二维投影匹配度的处理采用并行处理方式。
所述的方法，其中，所述并行处理方式还包括采用以下方式中的一个或多个：
将不同幅的二维物体图像分配到不同的计算节点上并行地与物体三维模型库中的模型进行匹配比对；
将同一幅二维物体图像分配到不同的计算节点上并行地与物体三维模型库中的各个模型进行匹配比对；
将对同一幅二维物体图像与同一个物体三维模型在不同角度和方向的投影的进行匹配比对；
将分配到不同的计算节点上的并行处理根据需要可以继续细化并行下去。
本发明所提供的基于三维模型库下二维图像的识别和物体的重建方法，由于采用了比对二维物体图像与三维模型库中相关三维模型的各二维投影，对于匹配度达到要求的二维投影，则可根据该物体三维模型所对应的物体属性得知该二维物体图像中物体的属性，从而达到识别该二维物体图像中物体 的目的，实现了多角度、多方位拍摄的二维物体图像的识别；并将与该二维物体图像最匹配的该物体三维模型作为该二维物体图像的物体三维模型，从而达到重建该二维物体图像中物体的目的；而且采用并行化运算的方法，加快了识别和重建的速度。
附图说明
图1为本发明原理及动作顺序示意图；
图2为本发明总体流程示意图；
图3为本发明总体并行流程示意图；
图4为本发明物体三维模型库结构示意图；
图5为本发明物体属性库结构示意图。
具体实施方式
以下将结合附图，对本发明的具体实施方式加以详细说明。
本发明二维图像的识别和物体的重建方法的具体实施方式，主要核心点在于，通过比对待识别二维物体图像和已构建物体三维模型的二维投影匹配度，将满足图像特征相似度要求的二维投影所关联的属性库内物体识别为二维图像中物体，以满足图像特征相似度要求的二维投影所对应的三维模型重建物体，并采用并行化运算的方法加快识别和重建的速度；至于本发明具体实施方式如何在硬件上安装、调试和使用软件的过程为现有技术所熟知，在此不再赘述。
人们在观察二维物体图像时能在大脑中浮现出记忆中的相应类型物体的三维模型，然后将脑海中的物体三维模型与眼前的二维物体图像相比较，找到与二维物体图像最相似的物体三维模型后，就可以近似地将该物体三维模型中的物体和二维物体图像中的物体视为同一物体，因为人脑对记忆中该物体的三维模型已经有了较清楚的认识，所以对眼前的二维物体图像就有了较 清楚的认识，达到了识别二维物体图像中物体的目的；而记忆中的该物体三维模型就可认为是眼前二维物体图像的物体，从而又达到了三维重建二维物体图像中物体的目的。
受此启发，采用从三维到二维对图像进行识别，再从二维到三维对物体进行重建；由此提出基于物体三维模型投影匹配的二维物体图像中物体识别重建的新方法，其机理与人脑对二维物体图像中的物体进行识别和三维重建的原理相同，目的就是使得计算机识别和重建二维物体图像中物体的能力近似达到人脑的水平。
但本发明中物体的三维模型不是存在人脑的记忆中，而是构建在物体三维模型库中，通过投影将物体的三维模型变为二维图像，并与二维物体图像基于特征相似度进行比对，从而找出与二维物体图像最匹配的物体三维模型，如果匹配度符合或达到要求，则可以根据该物体三维模型所对应属性库内物体的属性得知该二维物体图像中物体的属性，并以该物体三维模型作为二维物体图像中物体的三维模型。
如图1为本发明二维图像的识别和物体的重建方法的具体实施方式原理及动作顺序示意图，首先建立物体的三维模型库和物体的属性库，然后将二维物体图像与所建三维模型库中相关物体三维模型的各投影根据特征相似度进行匹配，找出与该二维物体图像最相近似投影所对应的物体三维模型，如果匹配度符合要求，则可以根据该物体三维模型所对应物体的属性，得知该二维物体图像中物体的属性，从而达到识别该二维物体图像中物体的目的；且与二维物体图像最匹配的物体三维模型可以作为该二维物体图像的物体三维模型，从而达到重建二维物体图像中物体的目的；根据发明者的实际需要和条件，还可采用各种方式来实现“投影”、“特征提取”和“相似度比较”。
鉴于目前对物体三维模型进行投影的算法和软件技术都已经很成熟，不管是OpenGL还是DirectX或其他很多物体图像软件都能实现此功能；物体三维模型的投影与二维物体图像的匹配度，可以通过提取两者的图像特征，再比较 两者的特征来判别两者的相似度；其中提取物体图像特征的算法比较成熟，有现成的物体图像库和软件如OSSIM，ERDAS等可以实现此功能，如此比较两者特征的相似度就是一个数值比较和字符比较的过程，都有现成的算法和软件如MATLAB等可以实现此功能。
而且目前并行实现的软件条件也已具备，可以使用一种或综合使用几种如下并行软件的实现方式，其中，调用并行库，包括但不限于：MPI和PVM；使用编译指导语句和并行编译器，包括但不限于：HPF、HPC和OPENMP；使用多线程，包括但不限于：PTHREAD；使用任务的动态调度，包括但不限于：PBS；使用分布式或网格基础设施，包括但不限于：GLOBUS和CNGRID；这些并行软件实现的环境绝大部分都是开放源码或公开使用的，少数是商业化，，也可以购买的，各城市的院校政府和科研单位一般都具备这些环境；目前并行实现的硬件条件如高性能计算环境已经具备，可以使用一种或综合使用几种如下硬件条件，包括但不限于：超级计算机如曙光或蓝色基因、微机集群和分布式计算环境网格，各城市的院校政府和科研单位一般都购买了这些高性能计算资源，组建了微机集群，加入了国家或地区网格，进行***的并行化开发及其调试、测试和运行。
如图2为本发明二维图像的识别和物体的重建方法的具体实施方式总体流程示意图，利用物体三维模型库存储各种物体的各种三维模型；利用物体属性库存储物体三维模型库中各物体三维模型所对应的物体的各种属性；并在物体三维模型库与物体属性库之间通过物体建立关联；使得通过领域和物体类型的范围就能在物体三维模型库中选择出相关的物体三维模型；通过物体三维模型库中的物体三维模型就能从物体属性库中找到该物体三维模型所对应的物体的属性；较好的是，根据识别重建的需要，还可以在运行时随时改变物体三维模型库和物体属性库的内容和结构。
具体组建物体三维模型库和建立对应关联属性库的步骤如下：
A、组建物体三维模型库，根据领域如数字城市领域、数字医学领域等和 物体种类如数字城市领域中有建筑物、道路和花草等进行分类，其中每一类还可以一直继续细分，例如建筑物又可以分为厂房和居民楼等等，直至已涵盖需要识别重建的各种物体类型为止，分门别类地采集和归类各构建的物体三维模型并组建物体三维模型库，其结构如图4所示意，各子库中表的字段包括：领域字段、物体类型字段、物体三维模型字段和物体属性字段；其中物体三维模型字段的内容是指向物体三维模型文件的路径；物体属性字段的内容是指向物体属性库中物体属性的关联索引，该字段的内容等物体属性库建好后再添加；物体三维模型库建成后，还可以根据需要扩展或修改其结构和内容，增删或替换其中的物体三维模型；其中物体三维模型可以利用三维建模软件如3DMAX或MAYA或其他进行建模，也可以利用自主研发的三维重建算法代码或已有的三维重建算法代码进行建模，也可以搜集已有的物体三维模型。
B、建立物体属性库，根据与物体三维模型库同样的结构分门别类地采集和归类各物体属性到物体属性库，其结构如图5所示意，物体属性库结构必须和物体三维模型库一致，且属性库中物体必须与该物体三维模型一一对应，也就是说，物体三维模型库中每个物体三维模型的属性都能在物体属性库内找到，反之，物体属性库内每个物体也都能在物体三维模型库中找到；在识别过程中，从三维模型库中找到与待识别重建的二维物体图像最匹配的物体三维模型，并认为待识别重建的二维物体图像中物体与最匹配的物体三维模型中物体是同一物体后，同样认为最匹配的物体三维模型中物体的属性就是该二维物体图像中物体的属性，从而达到识别该二维物体图像中物体的目的；各子库中表的字段包括：领域字段、物体类型字段和物体属性字段；其中物体属性字段的内容是指向物体属性文件的路径；物体属性库建成后，还可以根据需要扩展或修改其结构和内容，增删或替换其中的物体属性；其中物体属性可以根据实物进行编写采集。
采集物体三维模型和物体属性时需要遵循以下原则：1)采集具有代表性 的模型，因为只有代表性的模型才能表现出物体的本质特征，才能表现出应用真正关心的特征；2)采集的物体三维模型之间需要有合理的差异间距，如果差异间距过小，可能需要非常多的物体三维模型才能表示完所有类型的物体，会导致物体三维模型库非常庞大，虽然会使得识别重建的精度更高，但会降低识别重建的速度，反之，如果差异间距过大，就会导致识别重建的精度过低；3)这里物体的概念不但包括整个物体，还包括物体的部件，换句话说，相应的物体三维模型既可以是整个物体的物体三维模型，也可以物体中某个部件的物体三维模型，如器械上零件的物体三维模型，或人脸上鼻子的物体三维模型，或建筑上窗户的物体三维模型；采集物体三维模型时，还要采集该物体三维模型对应的物体属性。
图3所示为本发明二维图像的识别和物体的重建方法的具体实施方式总体并行流程示意图，将二维物体图像与物体三维模型库中相关的物体三维模型的各投影根据特征相似度进行匹配，找出与该二维物体图像最相似的物体三维模型，如果匹配度达到要求，则可以根据该物体三维模型对应的物体属性得知该二维物体图像中物体的属性，从而达到识别该二维物体图像中物体的目的；且与该二维物体图像最匹配的该物体三维模型可以作为该二维物体图像的物体三维模型，从而达到重建该二维物体图像中物体的目的；如果匹配程度未达到要求，用与二维物体图像中物体匹配程度最大的物体三维模型所对应的子库作为待配比的物体三维模型库；较好的是，还可以加入动态调整待配比的物体三维模型库的机制，如程序或用户还可以在匹配程度未达到要求时以其他的方式和方法修改物体三维模型库；为了提高识别二维物体图像的准确性，将不同幅的二维物体图像分配到不同的计算节点上并行地与物体三维模型库中的模型进行匹配比对；如果需要进一步细的粒度，可将同一幅二维物体图像分配到不同的计算节点上并行地与物体三维模型库中的各个模型进行匹配比对；如果还需要进一步细的粒度，就将对同一幅二维物体图像与同一个物体三维模型在不同角度和方向的投影的匹配比对分配到不同的 计算节点上并行处理，如此可根据需要继续细化并行下去。
具体的细化并行步骤如下：
1、如果知道“待识别重建之图像”的领域，则将选择物体三维模型的范围缩小到相应领域的物体三维模型子库，否则选择物体三维模型的范围是所有领域的物体三维模型子库；如果进一步知道需要对哪些物体类型进行识别重建，则将选择物体三维模型的范围进一步缩小到相应物体类型的子库中，如果进一步知道需要对哪些更细化的物体类型进行识别重建，则将选择物体三维模型的范围也随之进一步缩小；此处适用于各种二维物体图像的自动识别重建领域，包括但不限于：城市物体图像的自动识别重建、医学物体图像的自动识别重建、地质物体图像的自动识别重建、视频物体图像的自动识别重建、气象物体图像的自动识别重建、军事物体图像的自动识别重建或视频的自动识别重建等各种需要对二维物体图像进行识别重建领域。
2、在进行匹配比对之前进一步缩小比较的范围，确定待配比的物体三维模型集，例如，通过现有的识别技术识别出待识别重建的二维物体图像的初步特征，然后根据该特征缩小需比较的物体三维模型库中物体三维模型的选择范围，即待配比的物体三维模型集的范围；比如说，如果通过现有的识别技术识别出物体图像中的某个建筑顶部是矩形的，则可以将该建筑物比较范围定位到三维建筑模型库的三维平顶房子库，此时待配比的物体三维模型集的范围为三维平顶房子库；如果通过现有的识别技术识别出物体图像中的某个建筑顶部是三角形的，则可以将该建筑物比较范围定位到三维建筑模型库的三维圆顶房子库，此时待配比的物体三维模型集的范围为三维圆顶房子库；当然还可以根据其他特性进行比较范围的进一步缩小，例如，如果通过现有的识别技术识别出物体图像中的某个建筑顶部是三角形，可以根据三角形的角度来判断该建筑物属于多少度范围内的三维圆顶房子库，此时待配比的物体三维模型集的范围为一定角度范围内的三维圆顶房子库，这样就可以进一步缩小比较的范围，提高比较的速度，进而提高利用二维物体图像的识别和 重建物体的速度和效率。
3、当确定了待配比的物体三维模型集后，将待识别并重建的二维物体图像与待配比的物体三维模型集内的所有物体三维模型的投影进行比较，通过投影可使物体三维模型变为二维，从而与二维物体图像中待识别重建的物体具备可比性；如果从该二维物体图像如包括但不限于卫星影像、航空影像等的数据中，可以获取它的物体图像投影角度，或者如果知道它所拍摄的角度如包括但不限于卫星影像、航空影像、数码相片等，此时，可以利用该角度对物体三维模型进行投影并与二维物体图像进行特征比较；如果物体图像的拍摄或遥感角度不知道，那么还可以从多个不同的角度和方向对物体三维模型进行不同的二维投影，而投影前需要对物体图像中物体进行放大、缩小或旋转等一系列的预处理工作，这些预处理工作都可以通过OpenGL或DirectX完成，而后与物体图像中物体进行比较；不同的应用、不同的识别重建准确率要求决定了具体可从什么角度进行投影；第一种情况：如果使用已经知道拍摄或遥感的角度，就可以从该角度对三维建筑模型进行投影；第二种情况：如果不知道拍摄或遥感的角度，那么至少可从几个常用的角度如包括但不限于：水平方向上的0度、45度、90度、135度、180度、225度、270度和315度等，垂直方向上的从顶往下90度、60度和30度等分别对三维建筑模型进行投影；而且不同的物体，在投影角度未知的情况下，对投影角度的选择也不同，例如假设是建筑物，则水平方向上可以选择面向四个面、四个边线的角度进行投影；假设是人脸，则应该选择鼻梁、耳朵等特征显著的凸出部位的角度进行投影；当对识别重建的精度要求越高，则投影的角度的划分就越细；投影确定后将会对所有角度的投影进行特征提取，并将物体三维模型所有角度的投影都与二维物体图像进行比较，只要存在某个投影与二维物体图像匹配度达到了要求，就可认为该物体三维模型中的物体与二维物体图像中的物体是同一物体；这里的特征提取和比较的方法具体为：利用已有的软件和程序如OSSIM、ERDAS等提取物体三维模型的投影与物体图像中待识别重建的物 体的特征，例如：形状特征、结构特征、统计特征、颜色特征、灰度特征、纹理特征、所处环境特征等；然后再利用已有的软件和程序如MATLAB等计算物体三维模型的投影与二维物体图像中待识别重建的物体的相似度；所述相似度包括但不限于：形状相似度、结构相似度、统计相似度、颜色相似度、灰度相似度、纹理相似度、所处环境相似度等；可见相似度有很多分量，计算总体相似度时可以给不同类型的相似度赋予不同的权值，然后采用加权的方法，比如识别建筑时，结构相似度最重要，其次是纹理相似度，所以可以根据结构相似度*80％+纹理相似度*20％来计算总体相似度。
4、如果待识别重建的二维物体图像与物体三维模型库中某物体三维模型的某投影的匹配程度如相似度不小于要求的匹配程度如相似度，或者符合结束的条件如时间约束条件或深度约束条件等，则识别重建过程结束，并输出匹配程度如相似度作为识别重建的可信度；要求的相似度大小一般由不同的用户、不同的应用、不同的识别准确率要求等决定；此时物体三维模型库中最匹配的物体三维模型可以作为该二维物体图像中物体的三维模型，同时通过最匹配的物体三维模型所对应的物体属性就可以知道该二维物体图像中物体的属性，从而达到了自动识别物体图像中物体并三维重建的目的；如果待识别重建的二维物体图像与现阶段待配比的物体三维模型集中各物体三维模型的各投影的最大匹配程度如相似度小于要求的匹配程度如相似度，则继续深入现阶段最匹配的物体三维模型对应的子级物体三维模型库，并依次执行第3步和第4步，如果现阶段最匹配的物体三维模型已经没有下一级子库，则将当前阶段的最匹配的物体三维模型及其对应的物体属性、匹配程度输出；如果用户对匹配程度不满意，还可以采集满意的物体三维模型加入到物体三维模型库。
5、可以根据物体二维图像与最匹配的物体三维模型的最合适的投影之间相似度的差异，修正物体三维模型，从而得到更为理想的物体三维模型最为合适的二维物体图像的输出；例如，如果物体二维图像与最匹配的物体三维 模型的最合适的投影的匹配程度如相似度达到80％，还可以判断出它们的20％差在哪里，根据这20％的差异，并将该差异分解到形状的差异、结构的差异、统计的差异、颜色的差异、灰度的差异、纹理的差异和所处环境的差异等；而这些差异与物体三维模型上的差异是对应的，根据这种对应关系，就可以对最匹配的物体三维模型进行修正，然后作为对二维物体图像的重建结果输出。(此步可选，但不是必选)
6、为了充分提高本发明识别重建的速度，将所述二维投影和所述二维投影匹配度的处理采用以下处理方式中的一个或多个并行处理方式：将不同幅的二维物体图像分配到不同的计算节点上并行地与物体三维模型库中的模型进行匹配比对；如果需要进一步细的粒度，将同一幅二维物体图像分配到不同的计算节点上并行地与物体三维模型库中的各个模型进行匹配比对；如果还需要进一步细的粒度，将对同一幅二维物体图像与同一个物体三维模型在不同角度和方向的投影的进行匹配比对；根据需要将分配到不同的计算节点上的并行处理可以继续细化并行下去；具体如何划分和分配要考虑拥有的计算节点数、需要处理的二维物体图像数和待配比的物体三维模型数；如果计算节点数较多，则并行的粒度可以细一些；如果需要处理的二维物体图像数较多、待配比的物体三维模型数较多，则并行的粒度可以粗一些。
总之，任何角度、任何高度拍的二维物体图像都能通过物体三维模型库中的物体三维模型的适当的投影变换和匹配来找到与该二维物体图像最匹配的物体三维模型库中的某个物体三维模型，作为该二维物体图像的物体三维模型；而且物体三维模型库中所有物体三维模型对应的物体属性都已存在物体属性库，因此二维物体图像中物体的属性也就知道了，从而达到了识别和三维重建的目的；根据拍摄的角度和方向来动态调整对物体三维模型的投影角度和方向，因此不管是从哪个角度和方向拍摄的物体图像或遥感的物体图像，该新方法都能一样准确地识别重建；所以该新方法的适用性更广，可以适用于卫星影像、航空影像、数码相片、医学影像城市物体图像、军事物体 图像、地质物体图像、气象物体图像等各种需要对二维物体图像进行识别重建的领域；同时，因为不同高度的物体三维模型的投影是不同的，通过将二维物体图像与不同高度的物体三维模型的投影进行匹配，就可以找到与二维物体图像最匹配的某高度的物体三维模型，则该二维物体图像中物体的高度，可以近似地为该物体三维模型的高度，也就是说，通过比对二维物体图像与物体三维模型的投影，则能够获取此物体三维模型中的高度信息，从而可以恢复出二维物体图像中的高度信息；为了使得该新方法既能提高识别重建的能力，又能保证识别重建的速度，在二维投影和二维投影匹配度的处理时采用了并行的方法，利用并行计算加快识别和重建的速度；经过了模拟使用实验，证明方案可行，而且大大提高了识别重建的功能和速度。
由于本发明二维图像的识别和物体的重建方法的具体实施方式中采用了比对未知二维物体图像和已知物体所建构三维模型下二维投影的匹配度，将满足图像特征相似度要求的二维投影所关联的属性库内物体识别为二维图像中物体，以满足图像特征相似度要求的二维投影所对应的三维模型重建物体，并采用并行化运算的方法加快识别和重建的速度，减少了由于识别重建能力和速度不够所带来的社会资源和经济成本浪费，从而产生了较大的社会和经济效益，在石油勘探、气象预报、资源监测和城市规划等社会重大应用领域中发挥了重大的作用。
本发明二维图像的识别和物体的重建方法的具体实施方式还可用于视频中物体的识别，因为视频实质上也是一些二维物体图像流，利用本发明照样可以对视频进行自动识别重建，其原理和步骤同前。
本发明二维图像的识别和物体的重建方法等技术根据实际应用可以采用现有各种可能的方案，例如应用到各个具体领域的接口设计等，为本领域技术人员所熟知，在此也不再赘述。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，例如采用图像特征相似度以外的二维投影比对方法；以及对本发 明中的总体步骤及其中各个小步骤自动的方式和方法、并行的方式和方法根据实际需要进行的增加、删减和修改等；又例如以下名称的变换，而所有这些改进和变换都本应属于本发明所附权利要求的保护范围：
1)本发明中的“二维物体图像”可有很多其它的替代称呼，包括但不限于：“影像”、“图片”、“视频”，而这些称呼的实质与“二维物体图像”相同或相等或相当；
2)本发明中的“识别”可有很多其它的替代称呼，包括但不限于：“分类”、“辨认”、“监测”，而这些称呼的实质与“识别”相同或相等或相当；
3)本发明中的“重建”可有很多其它的替代称呼，包括但不限于：“三维重建”、“虚拟重建”、“模型重建”，而这些称呼的实质与“重建”相同或相等或相当；
4)本发明中的“并行”可有很多其它的替代称呼，包括但不限于：“高性能”、“平行”，而这些称呼的实质与“并行”相同或相等或相当。
Claims (9)
1.一种基于三维模型库下二维图像的识别和物体的重建方法，所述方法包括以下步骤：
A、构架用于二维投影的物体三维模型及组建三维模型库，并建立对应关联的属性库；
B、比对待识别二维物体图像和相关物体三维模型的二维投影匹配度；根据二维物体图像拍摄的角度和方向动态调整物体三维模型的投影角度和方向；将同一幅二维物体图像与同一个物体三维模型在不同角度和方向的投影进行匹配对比；
C、对于符合匹配度要求的二维投影，将所关联的属性库内物体识别为二维图像中物体；对于不符合匹配度要求的二维投影，进入最匹配的物体三维模型所对应的子级物体三维模型库进行比对；在匹配程度未达到要求时加入动态调整待配比的物体三维模型库机制修改物体三维模型库；
D、以所识别属性库内物体相关联的三维模型库中三维模型重新构建物体；根据物体二维图像与最匹配的物体三维模型的最合适的投影之间相似度的差异，修正物体三维模型，得到的物体三维模型做为二维物体图像的输出。
2.根据权利要求1所述的方法，其特征在于，步骤A还包括：
A1、所述三维模型库结构按物体领域和物体类型分类和细分类；
A2、所述属性库结构按物体领域和物体类型分类和细分类；
A3、所述三维模型库和所述属性库通过物体一一对应关联。
3.根据权利要求1所述的方法，其特征在于，根据识别重建的需要，在运行时改变物体三维模型库和物体属性库的内容和结构。
4.根据权利要求1所述的方法，其特征在于，步骤B还包括：
B1、对物体图像中物体进行放大、缩小或旋转的预处理工作；
B2、从多个不同的角度和方向对物体三维模型进行二维投影。
5.根据权利要求1所述的方法，其特征在于，所述二维投影匹配度还包括设定图像特征相似度。
6.根据权利要求1所述的方法，其特征在于，步骤D中还包括，获取此物体三维模型中的高度信息，作为二维物体图像中的高度信息。
7.根据权利要求1所述的方法，其特征在于，所述二维物体图像的自动识别重建领域为城市物体图像的自动识别重建、医学物体图像的自动识别重建、地质物体图像的自动识别重建、视频物体图像的自动识别重建、气象物体图像的自动识别重建、军事物体图像的自动识别重建或视频的自动识别重建领域。
8.根据权利要求1所述的方法，其特征在于，所述二维投影和所述二维投影匹配度的处理采用并行处理方式。
9.根据权利要求8所述的方法，其特征在于，所述并行处理方式还包括采用以下方式中的一个或多个：
将不同幅的二维物体图像分配到不同的计算节点上并行地与物体三维模型库中的模型进行匹配比对；
将同一幅二维物体图像分配到不同的计算节点上并行地与物体三维模型库中的各个模型进行匹配比对；
将对同一幅二维物体图像与同一个物体三维模型在不同角度和方向的投影的进行匹配比对；
将分配到不同的计算节点上的并行处理根据需要可以继续细化并行下去。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200810067000 CN101271469B (zh) | 2008-05-10 | 2008-05-10 | 一种基于三维模型库下二维图像的识别和物体的重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 200810067000 CN101271469B (zh) | 2008-05-10 | 2008-05-10 | 一种基于三维模型库下二维图像的识别和物体的重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101271469A CN101271469A (zh) | 2008-09-24 |
| CN101271469B true CN101271469B (zh) | 2013-08-21 |
Family
ID=40005443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 200810067000 Expired - Fee Related CN101271469B (zh) | 2008-05-10 | 2008-05-10 | 一种基于三维模型库下二维图像的识别和物体的重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101271469B (zh) |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101807244B (zh) * | 2009-02-13 | 2012-02-08 | 北京邮电大学 | 机器识别和重构方法 |
| CN102163343B (zh) * | 2011-04-11 | 2013-11-06 | 西安交通大学 | 基于互联网图像的三维模型最佳视角自动获取方法 |
| US11086196B2 (en) | 2012-08-31 | 2021-08-10 | Audatex North America, Llc | Photo guide for vehicle |
| US9332243B2 (en) * | 2012-10-17 | 2016-05-03 | DotProduct LLC | Handheld portable optical scanner and method of using |
| US10674135B2 (en) | 2012-10-17 | 2020-06-02 | DotProduct LLC | Handheld portable optical scanner and method of using |
| US9058683B2 (en) * | 2013-02-21 | 2015-06-16 | Qualcomm Incorporated | Automatic image rectification for visual search |
| US9269022B2 (en) | 2013-04-11 | 2016-02-23 | Digimarc Corporation | Methods for object recognition and related arrangements |
| JP2015024453A (ja) * | 2013-07-25 | 2015-02-05 | トヨタ自動車株式会社 | 載置判断方法、載置方法、載置判断装置及びロボット |
| WO2015023950A1 (en) * | 2013-08-16 | 2015-02-19 | Landmark Graphics Corporation | Identifying and extracting fluid layers and fluid reservoirs in one or more bodies repressenting a geological structure |
| EP3175791B1 (en) * | 2013-11-04 | 2021-09-08 | Ecential Robotics | Method for reconstructing a 3d image from 2d x-ray images |
| CN103985153B (zh) * | 2014-04-16 | 2018-10-19 | 北京农业信息技术研究中心 | 模拟植株生长的方法和*** |
| CN104599320B (zh) * | 2014-12-31 | 2017-08-11 | 北京邮电大学 | 一种三维模型实时绘制与比对方法 |
| CN105547182B (zh) * | 2015-12-09 | 2017-12-26 | 中国科学院声学研究所东海研究站 | 喷丝板检测设备及方法 |
| CN105718904A (zh) * | 2016-01-25 | 2016-06-29 | 大连楼兰科技股份有限公司 | 基于组合特征与车载摄像头的盲人检测与识别方法与*** |
| CN105718905A (zh) * | 2016-01-25 | 2016-06-29 | 大连楼兰科技股份有限公司 | 基于行人特征与车载摄像头的盲人检测与识别方法与*** |
| CN106023061A (zh) * | 2016-05-18 | 2016-10-12 | 深圳市神州龙资讯服务有限公司 | 一种航拍建筑模型多终端并行计算生成方法 |
| CN107452049B (zh) * | 2016-05-30 | 2020-09-15 | 腾讯科技（深圳）有限公司 | 一种三维头部建模方法及装置 |
| CN106529394B (zh) * | 2016-09-19 | 2019-07-19 | 广东工业大学 | 一种室内场景物体同时识别与建模方法 |
| CN109151540B (zh) * | 2017-06-28 | 2021-11-09 | 武汉斗鱼网络科技有限公司 | 视频图像的交互处理方法及装置 |
| CN107492107B (zh) * | 2017-08-10 | 2020-09-22 | 昆山伟宇慧创智能科技有限公司 | 基于平面与空间信息融合的物体识别与重建方法 |
| CN107832664B (zh) * | 2017-10-09 | 2020-10-09 | 中国电子科技集团公司第二十八研究所 | 一种交通场景的感兴趣区域分析方法 |
| CN108171174A (zh) * | 2017-12-29 | 2018-06-15 | 盎锐（上海）信息科技有限公司 | 基于3d摄像的训练方法及装置 |
| CN108376245B (zh) * | 2018-02-02 | 2022-02-11 | 广西师范大学 | 基于ud通道的时空序列图像震源识别方法 |
| CN108960288B (zh) * | 2018-06-07 | 2021-05-04 | 山东师范大学 | 基于卷积神经网络的三维模型分类方法及*** |
| CN109062205A (zh) * | 2018-07-26 | 2018-12-21 | 武汉水草能源科技研发中心(有限合伙) | 人工智能汽车无人驾驶*** |
| CN109410319B (zh) * | 2018-09-30 | 2021-02-02 | Oppo广东移动通信有限公司 | 一种数据处理方法、服务器和计算机存储介质 |
| CN109614643B (zh) * | 2018-11-01 | 2022-07-26 | 厦门知本家科技有限公司 | 一种操控选择*** |
| CN109711472B (zh) * | 2018-12-29 | 2021-07-13 | 北京沃东天骏信息技术有限公司 | 训练数据生成方法和装置 |
| CN109871761A (zh) * | 2019-01-16 | 2019-06-11 | 中德（珠海）人工智能研究院有限公司 | 一种三维模型的识别*** |
| CN109949899B (zh) * | 2019-02-28 | 2021-05-28 | 未艾医疗技术(深圳)有限公司 | 图像三维测量方法、电子设备、存储介质及程序产品 |
| EP3757868A1 (en) * | 2019-06-25 | 2020-12-30 | Inter IKEA Systems B.V. | Method, device and computer program product for classifying an obscured object in an image |
| CN110348351B (zh) * | 2019-07-01 | 2021-09-28 | 达闼机器人有限公司 | 一种图像语义分割的方法、终端和可读存储介质 |
| CN110298918A (zh) * | 2019-08-02 | 2019-10-01 | 湖南海诚宇信信息技术有限公司 | 一种基于gpu实时三维建模显示装置及三维建模显示方法 |
| CN110689515B (zh) * | 2019-10-17 | 2022-04-15 | 河南大学 | 一种采用智能识别技术的计算机图像处理*** |
| CN110910580B (zh) * | 2019-11-11 | 2020-12-18 | 重庆特斯联智慧科技股份有限公司 | 一种利用人工智能识别的物品寄存*** |
| CN111222315B (zh) * | 2019-12-31 | 2023-04-18 | 天津外国语大学 | 一种电影剧本情节预测方法 |
| WO2021174414A1 (zh) * | 2020-03-03 | 2021-09-10 | 苏州七星天专利运营管理有限责任公司 | 微波识别方法及*** |
| CN111447504B (zh) * | 2020-03-27 | 2022-05-03 | 北京字节跳动网络技术有限公司 | 三维视频的处理方法、装置、可读存储介质和电子设备 |
| CN111461230B (zh) * | 2020-04-02 | 2023-08-04 | 上海微云实业集团有限公司 | 一种基于牙科stl模型和二维图像配准的牙模分类识别方法 |
| CN112232393A (zh) * | 2020-09-30 | 2021-01-15 | 深圳星寻科技有限公司 | 异形墙面图像与结构识别方法 |
| CN114841848A (zh) * | 2022-04-19 | 2022-08-02 | 珠海欧比特宇航科技股份有限公司 | 高带宽信号处理***、设备、方法和存储介质 |
| CN115393487B (zh) * | 2022-10-27 | 2023-05-12 | 科大讯飞股份有限公司 | 一种虚拟角色模型处理方法、装置、电子设备及存储介质 |
| CN116563505B (zh) * | 2023-05-09 | 2024-04-05 | 阿波罗智联(北京)科技有限公司 | 虚拟形象生成方法、装置、电子设备以及存储介质 |
| CN116433673A (zh) * | 2023-06-15 | 2023-07-14 | 安徽容知日新科技股份有限公司 | 紧固件松动检测方法、装置、电子设备和可读存储介质 |
| CN117152648B (zh) * | 2023-10-30 | 2023-12-26 | 泰州爱贝文化传媒有限公司 | 一种基于增强现实的辅助教学识图装置 |
-
2008
- 2008-05-10 CN CN 200810067000 patent/CN101271469B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN101271469A (zh) | 2008-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101271469B (zh) | 一种基于三维模型库下二维图像的识别和物体的重建方法 | |
| Huang et al. | Point cloud labeling using 3d convolutional neural network | |
| Grilli et al. | A review of point clouds segmentation and classification algorithms | |
| Li et al. | Building-a-nets: Robust building extraction from high-resolution remote sensing images with adversarial networks | |
| CN109800863B (zh) | 一种基于模糊理论和神经网络的测井相识别方法 | |
| CN105574510A (zh) | 一种步态识别方法及装置 | |
| CN110287880A (zh) | 一种基于深度学习的姿态鲁棒性人脸识别方法 | |
| CN111291639B (zh) | 基于分层变分自编码的跨源舰船特征融合学习与识别方法 | |
| Özdemir et al. | Aerial point cloud classification with deep learning and machine learning algorithms | |
| Li et al. | Sign language recognition based on computer vision | |
| CN101276420A (zh) | 一种融合光谱信息和多点模拟空间信息的分类方法 | |
| Hu et al. | RGB-D semantic segmentation: a review | |
| CN111401132A (zh) | 监控场景下高层语义指导的行人属性识别方法 | |
| CN109871812A (zh) | 一种基于神经网络的多时相遥感影像城市植被提取方法 | |
| CN114092697A (zh) | 注意力融合全局和局部深度特征的建筑立面语义分割方法 | |
| Lunga et al. | Resflow: A remote sensing imagery data-flow for improved model generalization | |
| CN101916284A (zh) | 基于形状朝向多分辨率分析的三维模型检索方法 | |
| Yang et al. | Automated semantics and topology representation of residential-building space using floor-plan raster maps | |
| CN111428650A (zh) | 一种基于sp-pggan风格迁移的行人重识别方法 | |
| Wang et al. | Action recognition using linear dynamic systems | |
| Gao et al. | Applying optimized YOLOv8 for heritage conservation: enhanced object detection in Jiangnan traditional private gardens | |
| CN117788810A (zh) | 一种无监督语义分割的学习*** | |
| Li et al. | [Retracted] Human Motion Representation and Motion Pattern Recognition Based on Complex Fuzzy Theory | |
| Li et al. | Few-shot meta-learning on point cloud for semantic segmentation | |
| Wu et al. | A novel Building Section Skeleton for compact 3D reconstruction from point clouds: A study of high-density urban scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170517 Address after: Room office building No. 1068 Shenzhen Institute of advanced technology A-301 518000 in Guangdong city of Shenzhen province Nanshan District Shenzhen University city academy Avenue Patentee after: Shenzhen shen-tech advanced Cci Capital Ltd. Address before: 518067, A, Nanshan Medical Instrument Industrial Park, No. 1019 Nanhai Road, Shekou, Guangdong, Shenzhen, Nanshan District Patentee before: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170605 Address after: 4, 8288 building, 66 Shenzhen software Town, Longgang Road, Longgang District, Shenzhen, Guangdong 518000, China Patentee after: SHENZHEN YAOYUAN TECHNOLOGY Co.,Ltd. Address before: Room office building No. 1068 Shenzhen Institute of advanced technology A-301 518000 in Guangdong city of Shenzhen province Nanshan District Shenzhen University city academy Avenue Patentee before: Shenzhen shen-tech advanced Cci Capital Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130821 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |