CN104080401B - 生成人体对象虚拟模型的方法及*** - Google Patents
生成人体对象虚拟模型的方法及*** Download PDFInfo
- Publication number
- CN104080401B CN104080401B CN201280056879.0A CN201280056879A CN104080401B CN 104080401 B CN104080401 B CN 104080401B CN 201280056879 A CN201280056879 A CN 201280056879A CN 104080401 B CN104080401 B CN 104080401B
- Authority
- CN
- China
- Prior art keywords
- scan module
- module
- image
- scanning
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 53
- 241000446313 Lamella Species 0.000 claims description 10
- 241000408521 Lucida Species 0.000 claims description 10
- 230000005672 electromagnetic field Effects 0.000 claims description 10
- 239000011521 glass Substances 0.000 claims description 4
- 240000006409 Acacia auriculiformis Species 0.000 claims description 3
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 210000005069 ears Anatomy 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 2
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 239000011159 matrix material Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000001699 lower leg Anatomy 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000001562 sternum Anatomy 0.000 description 2
- 208000009782 Plagiocephaly Diseases 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 210000004013 groin Anatomy 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001012 protector Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 210000002303 tibia Anatomy 0.000 description 1
- 210000001113 umbilicus Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- A—HUMAN NECESSITIES
- A41—WEARING APPAREL
- A41H—APPLIANCES OR METHODS FOR MAKING CLOTHES, e.g. FOR DRESS-MAKING OR FOR TAILORING, NOT OTHERWISE PROVIDED FOR
- A41H1/00—Measuring aids or methods
- A41H1/02—Devices for taking measurements on the human body
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43D—MACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
- A43D1/00—Foot or last measuring devices; Measuring devices for shoe parts
- A43D1/02—Foot-measuring devices
- A43D1/025—Foot-measuring devices comprising optical means, e.g. mirrors, photo-electric cells, for measuring or inspecting feet
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- A—HUMAN NECESSITIES
- A43—FOOTWEAR
- A43D—MACHINES, TOOLS, EQUIPMENT OR METHODS FOR MANUFACTURING OR REPAIRING FOOTWEAR
- A43D2200/00—Machines or methods characterised by special features
- A43D2200/60—Computer aided manufacture of footwear, e.g. CAD or CAM
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Textile Engineering (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
包括:提供与扫描模块相关的模块参考数据;使对象相对扫描模块固定;获得多幅固定的对象与扫描模块的深度图像,所述的深度图像来自相对于地面参照物相应的不同视点;使用模块参考数据确定扫描模块在每一幅深度图像中的位置和方向;生成对象的虚拟模型,包括使用确定的扫描模块的位置和方向配准所述多幅深度图像。
Description
技术领域
本发明主要涉及使用手持式扫描仪对活动对象进行3D扫描的技术领域,特别适用于对人体部分的扫描。
背景技术
3D扫描技术本身已为我们所熟知,市场上已经存在非接触、手持式扫描仪,可通过相对位于地面上的参照物(地面参照物),围绕静止对象移动该手持扫描仪,并保持该扫描仪的视场面对该对象,获得该静止对象的3D表现。非接触式扫描可以主动或者被动地进行。主动扫描涉及发射被要扫描的表面反射的光信号或类似信号,反之,被动扫描不控制发射,涉及一种类似于用人类双目视觉检测深度的方法。手持式扫描仪是典型的表面扫描仪。表面扫描不同于固定扫描,表面扫描仅仅能够获得扫描对象的表面信息来形成该对象的外壳模型,而固体扫描可以,例如,在X射线计算机断层扫描技术(CT)中,围绕该对象,在不同深度获得该对象的信息(通常密度)。
在大多数情况下,通过手持式扫描仪,在空间中根据该扫描仪的单一位置和方向进行单一扫描,无法得出对象的完整模型。通常情况下,为了获得标的物的所有表面信息,需要多次,甚至上百次从不同方向对其进行扫描。这些扫描中的每一次扫描都会产生一张深度图像,这些深度图像必须带入共同参考系,这一过程将被称为图像配准,用于创建一个包含了深度图像中的隐藏面的完整模型。深度图像通常至少包括一个深度值,从而每个像素对应该扫描仪的视场,因此,如果该扫描仪具备2D阵列的像素,那么这些深度图像将形成3D图像。
虽然基于现有手持式扫描仪的***及方法在某种程度上满足需求,但是仍然存在改进的空间。特别是,在图像配准的过程中依然会遇到困难。例如下面例子的情况,扫描***“丢失”共同参考系时,将无法用前面的图像配准后面的图像。在处理扫描过程中移动的或者形状变化的活动对象时,这种挑战尤其明显。
发明内容
人们发现,至少在某些人类对象的应用方面,精度和/或可靠性可借助独立的扫描模块加以提高,该扫描模块将与对象一起被扫描。软件可以识别出图像中扫描模块的位置和方向,借助扫描模块识别,可以为对象建立起共同参考系。通过这种方法,对象的多张图像,可以依照基于扫描模块的共同参考系配准。
按照本发明的一个方面,提供了一种使用至少一个手持式扫描仪和扫描模块生成对象虚拟模型的方法,该方法包含:提供与扫描模块相关的模块参考数据;使对象相对扫描模块固定;使用手持式扫描仪获得多幅固定的对象与扫描模块的深度图像,所述的深度图像来自手持式扫描仪相对地面参照物不同的位置;对于所述多幅深度图像的每一幅图像,使用模块参考数据确定扫描模块在深度图像中的位置和方向,并且使用确定的扫描模块的位置和方向为对象建立一个共同参考系;生成对象的虚拟模型,包括在与扫描模块相关的共同参考系中配准所述多幅深度图像。
按照本发明的另一方面,提供一种使用至少一个手持式扫描仪和扫描模块生成对象虚拟模型的方法,该方法包含:提供与扫描模块相关的模块参考数据;使对象相对扫描模块固定;获得多幅固定的对象与扫描模块的深度图像,所述的深度图像来自相对于地面参照物相应的不同视点;使用模块参考数据确定扫描模块在每一幅深度图像中的位置和方向;生成对象的虚拟模型,包括使用确定的扫描模块的位置和方向配准所述多幅深度图像。
按照本发明的还有一个方面,提供了生成对象虚拟模型的***,该***包括:扫描模块,该扫描模块与对象类型相适应,以便对象与扫描模块对接固定;手持式扫描仪,该手持式扫描仪可获得多幅所述固定的对象和扫描模块的深度图像,所述深度图像来自于手持式扫描仪相对地面参照物的不同位置;关于扫描模块的模块参考数据;软件,使用模块参考数据确定每一个深度图像中扫描模块的位置和方向,并使用确定的扫描模块位置和方向为对象建立共同参考系;其中,可以生成包括了在与扫描模块相关的共同参考系中配准了所述多幅深度图像的虚拟模型。。
涉及到对现有技术改进的许多进一步特征及其组合,将会在下面的内容中进一步披露。
附图说明
附图如下:
图1为生成对象的虚拟模型的示例方法的流程图;
图2为生成对象的虚拟模型的示例***的框图;
图3A-3C为生成人的脚的虚拟模型的示意图;
图4为用于人的头部的扫描模块的斜视图;
图5为用于人的躯干的扫描模块的斜视图。
具体实施方式
参考图1,示例方法包括相对于扫描模块固定要扫描的对象,步骤110。根据要扫描的对象的类型决定扫描模块的配置。下面将详细介绍几种对象类型和扫描模块的例子。通过手持式扫描仪拍摄对象与扫描模块相组合的深度图像,步骤112,本文中这种方式被称为扫描。深度图像通常包括至少一个深度值,以便每个像素都与扫描仪的视场相对应,因此,如果该扫描仪具备2D阵列的像素,那么这些深度图像通常为3D图像。这些深度图像的像素可以有选择地包含更多信息,例如颜色、亮度等。
通常情况下,每一个深度图像仅能显示对象和扫描模块在手持式扫描仪视场中的部分,因此,手持式扫描仪要相对地面参照物进行移动,以获得被要求包含在3D模型中能够显示对象所有面的深度图像。一旦可以得到这些的深度图像,它们通常都包含了对象及扫描模块的暴露的表面的信息。为了生成模型,这些包含了不同表面信息的深度图像需要在共同参考系中进行配准。
在本实施例中,建立关于扫描模块的共同参考系。更具体地,可以提供关于使用的特定扫描模块的模块参考数据,步骤114。如同下文详述,该步骤可以通过预先单独对扫描模块进行扫描来实现,或者可选地,通过由其它合适方式提供的扫描模块的符合要求的虚拟模型来实现。接着,软件识别扫描模块在深度图像中的位置和方向,并建立关于扫描模块的共同参考面,步骤116。接着,相同的软件或另一软件可根据共同参考面进行配准,步骤118。接着,如果需要的话,进行额外的软件操作来处理漏洞、纠正三角测距误差、去除噪音等,这可以使用对象参考数据进行,步骤120。如果需要的话,可以选择在扫描前在特定生理区域应用定位特征,如,粘连的扫描靶,在后续用作额外的对象参考数据点。
图2为实现图1所示方法的示例***的框图。在本实施例中,***包括三个主要组成部分:手持式扫描仪210、扫描模块220及软件230。作为举例,所述的软件230可以合并在单独的计算机中,或者合并在扫描仪中。对象将相对于扫描模块220被固定,并与该扫描模块一同被手持式扫描仪210扫描,并被软件230分析。与扫描模块相关的模块参考数据提供给软件,以便软件单元230能够从手持式扫描仪210的深度图像中识别扫描模块。任何输出对象的三角表示(triangulated
representation)的符合要求的手持式扫描仪210都可以被使用。扫描模块220可以依据数据采集的基本技术及所选择的手持式扫描仪的3D定位来选择。
所述的扫描模块220可以认为具有三个主要目的:对象的固定和稳定(相对于该扫描模块),使从所有需要的角度记录对象完整的扫描成为可能,并且预校准。预校准功能是所述软件单元230自动完成的关键。可以使用扫描模块不管使用的手持式扫描仪预校准对象,但是这之后的策略可能在不同技术间存在细微的差别。其中一个可以在此使用的手持式扫描仪的例子就是Creaform公司生产的ErgoSCAN™扫描仪。该类型的扫描仪能够识别5mm的圆形定位标的,该定位标的可以贴在手持式扫描仪的视场中的扫描模块上。观察到的这些标的样式可以通过扫描仪进行分析以确定手持式扫描仪相对扫描模块的相对位置与方向。标的的样式可以预先录制以构成模块参考数据。
在另一实施例中,扫描模块自身的形状和大小可能提供足够的区别特征,以致它的相对位置和方向可以通过软件根据拍摄的深度图像检测,而不需要使用扫描靶。。
在还有一个实施例中,可以使用安置在扫描模块中的电磁场发射器,其中在扫描模块周围发射的电磁场的准确配置是已知的。然后,通过使用手持式扫描仪中的电磁场探测器,可以为拍摄的每个深度图像确定手持式扫描仪相对于扫描模块的相对位置与方向,同时建立共同参考系。在这种情况下,电磁场的配置是模块参考数据的一部分,软件可访问该模块参考数据以建立共同参考系。
例如,软件可以:根据对象的类型预先设置扫描参数,对模型自动执行后处理操作,检测对象上的特征以便校正其对准,并计算一组预定义的测量值。
扫描过程的其中一个在于识别对象的类型,可以说是为了提供对象参考数据。例如,对象参考数据既可以预先定义在软件中,也可通过用户界面输入。在一个实施例中,对象参考数据可用于预先设置手持式扫描仪以记录对象的类型,包括,如分辨率、激光功率、照相机快门时间、扫描空间的大小和位置等设置。对象参考数据还可以包括对象的基本几何形状信息。另外,扫描靶可以用在对象的特定的生理特征上,以便帮助后续的配准、对准校正或虚拟模型的完成,在这种情况下,所述对象参考数据可以包括这类扫描靶的位置的清晰度。
例如,如果对象相对于扫描模块的预对准有瑕疵,软件可以使用对象参考数据识别已知对象类型的特征,并且每次都用同样的方法依据对象自身的特征来校正对象的对准。可选择地,当比较相同对象类型的虚拟图像时,对象参考数据可协助虚拟图像的相对校准。对象对准后,计算出一组预定义的测量值才成为可能。这些测量值可依据对象的类型以及该模型要使用的情况来确定。
已经一般性的讨论了本发明的方法及***,下文将详述不同的具体应用实例。
图3A展示了对象12为人的脚的***10的第一实施例。对于这类对象,扫描模块14的一个例子可以包括带有中心孔的固体框16(参见图3B),中心孔放置着脚容纳透明板20。。这使得脚相对扫描模块固定,且能同时扫描到脚的底部。在这个特定的实施咧中,扫描模块14有两个可拆卸的支架,这两个支架以相对地面24适当的倾斜角接纳固体框16和与固体框相关联的透明板20,使得在扫描过程中放在上面的脚在保持不动时能够相对舒适。
如图3A所示,人的脚12放置于对着脚容纳透明板的牢固接合面上,并在扫描的过程中相对于扫描模块的保持固定不变。扫描的过程包括,使用手持式扫描仪26获得多幅脚12与扫描模块14组合在一起的深度图像。通过操作员的手相对地面24手动地移动该手持式扫描仪26,从不同位置和方向拍摄深度图像。以获得的深度图像能够显示脚暴露的表面的每个部分的方式相对地面参照物移动该手持式扫描仪26。该手持式扫描仪26还移动到扫描模块与腿相对的面,穿过扫描模块14的透明板20拍摄脚12底部的深度图像。因为本实施例中,手持式扫描仪26是一个表面扫描仪,每幅深度图像仅包含对象面对扫描仪暴露的表面(即,暴露在手持式扫描仪的视场中)的信息,并不包含对象不朝着手持式扫描仪26的表面的信息。每一幅深度图像通常都包括,关于手持式扫描仪26视点内的每一个像素点光线遇到的第一个障碍物的距离信息。为了生成对象的虚拟模型,图3C展示了一个例子30,在不同深度图像中可用的信息需要在共同参考系中进行配准。在此需要注意的是,在该实施例中生成的虚拟模型将是3D外壳类型,即,它是一个结合来自不同深度图像的脚的外表面形状信息的脚的空心壳模型,但是它不包含来自脚的内部的信息,例如骨骼或者类似物。因此,可以预测到在壳模型的胫骨留有与扫描限制相对应的洞32。
在该方法中,所述的共同参考系34的建立与扫描模块14相关,在扫描的过程中对象12相对于该扫描模块固定。
更具体地,模块参考数据先于配准获得。模块参考数据具备这样的性质:能够为每一幅深度图像确定手持式扫描仪26相对于扫描模块14的位置和方向。由于对象相对扫描模块被固定,因此也可知对象的相对位置与方向。此后,建立关于扫描模块的共同参考系34相当于建立关于对象的共同参考系34。例如,若使用笛卡尔坐标系,对象的共同参考系34的原点可定位在相对扫描模块14的固定位置,坐标轴可以朝向相对于扫描模块14预定的方向。
例如,在这个对象类型为脚的特定实施例中, X轴与Y轴可以对应于与透明板20的脚接合面19相符的平面取向,而法线Z轴对应于高。
模块参考数据可以通过若干方法建立与扫描模块相关的共同参考系。
在使用ErgoSCAN™手持式扫描仪的第一实施例中,可以使用扫描模块上的多个反射标的40得到共同参考系。例如,圆形、直径为5mm,并且具有胶合剂背面的反射标的可以人工应用在扫描模块上。如果这些反射标的是人工施加的,那么它们将彼此间隔随机的一段距离,因此在手持式扫描仪的视场中检测到的三个或更多的扫描靶的任意组合将对应允许识别共同参考系的位置和方向的扫描靶排列的唯一组合。
然后,扫描模块可以单独被扫描以创建其虚拟模型,在该虚拟模型中,包含了它的扫描靶配置的准确识别标志还可包括共同参考系(原点及轴向)。该虚拟模型可形成模块参考数据。此后,当扫描仪用于拍摄扫描模块以及固定在扫描模块上的对象的深度图像时,只要在扫描仪视场内包含足够多的扫描靶,软件可以访问虚拟模型,将检测到的扫描靶与虚拟模型中的扫描靶进行比较,并自动确定相对于手持式扫描仪的位置与方向的、扫描模块的位置与方向。
这种方法在对象的扫描部分之间是间断的情况下尤其有用。
例如,在典型的依照现有技术对人的脚的扫描中,通过在单个的3D图像中识别对象的表面,以及以与识别的共同表面相匹配的方式将图像关联在相对的位置和方向中,对图像进行配准。然而,由于脚的一侧上暴露的表面的尺寸,手持式扫描仪从脚暴露的上部到脚暴露的下部的传递是特别复杂的,并且经常导致软件无法将脚的底部图像和脚的上部图像进行配准。
使用扫描模块,脚的底部图像和脚的上部图像都可以使用基于扫描模型的共同参考系单独进行参考,因此,即使手持式扫描仪在扫描模块的面上传递时发生图像的中断,仍可以基于共同参考系对图像进行配准。因此,只要在这两组图像中脚没有相对扫描模块移动,那么从脚的上部拍摄的图像可以在共同参考面中与从脚的底部拍摄的图像进行合并。
对模块参考数据的进一步使用,对象参考数据也可以在配准之前获得。对象参考数据包括粗略的预期形状、对象相对于扫描模块的位置与方向等信息,这些信息能够帮助创建对象的模型。例如,一旦扫描结束,将获得在扫描模块上预先对准的对象的粗糙表示形式。该表示形式由于包含空洞、噪声和/或三角测量误差,并不完善,还需要后处理操作。由于已知对象的类型以及它在空间中的全局方向,使用3D后处理算法自动的填补空洞、去除噪声以及纠正三角测量错误也成为可能。
对象参考数据还包括与用在对象上的定位特征有关的信息。例如,定位特征,如扫描靶,可以贴在对象上对应特定结构特征的关键位置处。例如,在脚的例子中,可以将扫描靶设置在外踝和内踝上。这样的定位特征可以协助软件识别这些对准和比较应用用到的点(即,实时监视对象的变化,或者在鞋子、靴子、矫正足部护具等中使用对象脚的扫描)。
在图示的实施例中,脚只是紧贴着透明板,然后,在关于共同参考系34的空间中确定与脚底部相对应的平面,,但是脚自身可以自由地绕Z轴旋转一定程度。在某些情况下,脚的特征具有与X轴或Y轴特定的对齐对后处理是有利的。这在某种程度上可以通过在扫描模块上设置额外的接合工具物理地锁定脚相对于预定特征(例如,突出的透明墙接合器,等等,未显示)的旋转来实现,或者通过软件虚拟实现。如果使用软件,需要依据对象参考数据,如对象的类型及其大概几何形状,或者对象扫描靶的预定位置。
例如,所述的软件可通过变换矩阵移动脚使脚的Brannock轴与坐标系的X轴相一致。原点也在脚后跟区域的中心位置。为了识别Brannock轴,使用如下两个点:脚后跟区域的内侧极值和球状区域的内侧极值。,可通过如下运算法则来寻找这些点及变换矩阵。“顶点”为定义3D模型的三角形的3D点。在该算法中,只有用到距离X、Y轴平面25mm的顶点。(Z<25)。
1,通过顶点的X坐标,计算预先对齐的脚的近似长度:长度=X最大值—X最小值。
2,定义后跟区域和球状区域如下:
a,后跟区域: X最小值 <
X < X最大值 + 0.25*脚的长度;
b,球状区域: X最小值 +
0.65*脚的长度 < X < X最大值。
3,创建一个与XZ轴平面相平行的平面A,该平面A穿过X最小值的顶点。
4,为模型的每一个顶点,创建一个平行于Z轴的平面B,该平面B穿过X最小值的顶点和当前顶点。
a,计算平面B与平面A之间的角W;
b,找到最小化(右脚)或者最大化(右脚)角度W的顶点V。
5,以前述新的顶点V代替X最小值的顶点开始,重复步骤4,并找到新的顶点V。当找到的顶点V位于球状区域,停止重复步骤4。
6,所述的Brannock轴为步骤5中找到的最后两个顶点V。
7,计算使得Brannock轴与X轴平行的旋转矩阵并旋转该模型。
8,找到新的X最小值顶点。
9,计算使得X最小值顶点在原点上的平移矢量并平移该模型。
10,现在脚已经与Brannock轴对齐并以后跟为中心。变换矩阵是旋转矩阵与平移矢量的组合。
一旦脚与Brannock轴对齐,便可以计算出一组预定义的测量值,用于矫形术、定制鞋等。
参考图4,以下将对生成虚拟模型的方法的第二实施例进行描述。在第二实施例中,对象为人的头部。例如,扫描婴儿的头部变化可为斜头畸形矫正治疗提供帮助。对于这种类型的对象,扫描模块的一个例子可以是一对眼镜300的形式。事实上,尽管婴儿的头比放在平坦表面上的成人的脚动得更多,使用眼镜300形式的扫描模块依然可以使扫描模块自身相对婴儿头部保持不变(即与婴儿的头一起移动)。更具体地,扫描模块可以根据3个特定特征位置与头部预对准:1)鼻子的顶部(两眼之间),使用鼻顶接合器;2)和3)连接耳朵与头部的区域的左右耳顶部,使用相应的左耳接合器312和右耳接合器314。
类似于对上述脚对象类型的描述,可以因此建立关于扫描模块的共同坐标系,以便所有深度图像彼此正确配准,从而生成头部的3D模型。
使用对象参考数据,软件可知模型的类型,并且软件可自动去除噪声、校正三角测量错误、填充模型壳体中不合需要的空洞、并且完成该模型,从而该模型是“无懈可击的”并且随时可以发送至数控机床或CAD软件。
为了比较头部的变化,扫描模块的三个特定接合点可以用于形成虚拟的参考面,该参考面与头部模型相交形成大致圆形的交集。根据该大致圆形的交集可以计算出中心点,并且头部的演化模型,例如,在治疗期间每月拍摄的,可以全都以中心点为中心,彼此进行比较。这可通过将模型的原点定位在中心点实现。例如,如果采用笛卡尔坐标系,X轴面向前方(鼻子),Y轴面向侧方(耳朵),Z轴指向头顶。
在这种背景下,由于头部可以被认为在它主要的对准特征上已经预对准了,可能不需要给出三个对象容纳接合器的存在,可以使用更简单的算法:
1、计算由XY平面的交集和3D模型的表面定义的曲线;
2、找到这条曲线的质心;
3、找到使得该质心移至原点所需要的平移矢量;
4、调整头部位置;
5、现在头部已经以它的对准特征为中心。
由于多次重复扫描使头部几何结构的曲线测量和统计具有可比性,即使头部正在成长,也可计算出对头部几何结构的曲线测量和统计结果。
如果在扫描模块上使用了扫描靶,那么扫描靶可以记录在对特定的扫描模块序列号是唯一的文档中。该虚拟模块模型将被当作模块参考数据下载,用于在共同参考系中头部的不同深度图像的配准。
通过前述介绍可以理解,由于眼镜扫描模块已经固定在头部相对静止的三个点上,可以相对扫描模块预设轴的完整取向。
参考图5,以下将对生成虚拟模型的方法的第三实施例进行描述。在第三实施例中,所述的对象为人的躯干。在本实施例中,扫描模块是以带400的形式提供,更具体地说,是以带扣410的形式,通过缠绕在人体腰部的腰带412固定在人的肚脐和腹股沟部位之间给定的位置。在这个特定的例子中,扫描模块参考数据与放置在带扣外表面上的多个扫描靶414的特有样式有关,它修正了相对于带扣的共同参考系416。例如,可选实施例可使用带扣的已知几何结构作为共同参考系的基础,而不设置扫描靶。例如,如果使用卡迪尔坐标系,原点可位于带扣上,X轴可指向前方,Z轴可指向上方,Y轴可指向对象的左方。
在扫描之前,对象的类型,如躯干,可以预先定义或者输入。一旦扫描结束,3D图像可以配准成为可能含有空洞和噪声的粗略3D模型。然而,例如,已知躯干模型类型及其相对搭扣的大致对准,软件可自动填充空洞,完成该模型,使其成为无懈可击的、无瑕疵的、没有三角测量错误的,并且可随时发送至数控机床或其他CAD软件。
作为举例而非限定,如果虚拟图像需要比带扣的位置获得的精度可以实现的更大精确度的对齐,那么在扫描之前,可以通过在躯干的关键生理部位使用额外的扫描靶来获得额外的精度。这类扫描靶可以贴在胸骨、尾椎及第7节颈椎上,作为一个可能的例子。
躯干在中轴上对齐的示例算法可以使用变换矩阵移动躯干,使得躯干的中轴与坐标系中的Z轴一致,并以该轴上的原点为中心。为了识别中轴,可使用以下2个点:最高水平圆周曲线的中心及最低水平圆周曲线的中心。为了找到这些点及变换矩阵,可使用如下算法:
1,在模型的Z轴上找到最高和最低点,并在ZMax-20mm及ZMin + 20mm计算出最高与最低圆周;
2,在X、Y轴平面找到ZMax和ZMin曲线的中点;
3,计算来自于ZMax曲线中点和ZMin曲线中点的中间轴矢量;
4,计算使得中间轴平行于Z轴的旋转矩阵,并旋转该模型;
5,计算使得最小ZMin中心顶点处于原点位置的平移矢量,并平移该模型;
6,现在,躯干已与中轴对齐,并以ZMin中心顶点为中心。所述变换矩阵是旋转矩阵与平移矢量的组合。
一旦躯干在其中轴上对齐,可以计算出一组完整的测量值,以便于,例如,矫形支架或其他类型装置的设计。
在定位特征贴在作为关键结构位置的胸骨、尾骨和第7节颈椎上的实施例中,也可以根据这些点对准躯干。这种类型的对准可以用于与另一个健康或患病的躯干进行比较,以便计算统计和辅助诊断。它也可以用于与运动装置或服装的虚拟模型进行比较,以评估形状和尺寸。
以上描述和举例说明的实施例仅是处于例示的目的。本发明的权利要求书限定了本发明的范围。
Claims (28)
1.用至少一个手持式扫描仪和扫描模块生成对象虚拟模型的方法,该扫描模块专门适用于在预定的位置和方向上接纳该对象,该方法包括:
提供与所述扫描模块相关的模块参考数据;
使所述对象相对于所述扫描模块在预定的方向和位置上固定;
获得多幅被固定的对象的深度图像和所述扫描模块的深度图像,所述深度图像来自相对于地面参照物的相应的不同视点;
使用所述模块参考数据来确定每一幅深度图像中扫描模块的位置与方向;
生成所述对象的虚拟模型,包括利用已确定的扫描模块的位置与方向配准多幅深度图像。
2.根据权利要求1所述的方法,其特征在于,该方法还包括提供对象参考数据;其中,生成对象虚拟模型的步骤还包括以下完成和校正动作的至少其中之一:使用所述对象参考数据完成和校正已配准的深度图像的对齐。
3.根据权利要求2所述的方法,其特征在于,所述对象参考数据包括粗略的预期形状,及所述对象相对所述扫描模块的位置和方向。
4.根据权利要求2所述的方法,其特征在于,该方法还包括在获得多幅深度图像之前,在所述对象对应的生理特征位置设置至少一个扫描靶,所述对象参考数据包括所述至少一个扫描靶的所述生理特征位置。
5.根据权利要求2所述的方法,其特征在于,所述对象为人的脚,所述扫描模块包括以透明板的平坦表面的形式提供的脚接合面,形成虚拟模型的步骤还包括:使用所述对象参考数据识别所述模型中所述脚的特征。
6.根据权利要求5所述的方法,其特征在于,所述确定所述扫描模块的位置和方向包括确定所述透明板的平坦表面的位置和方向,还包括使用所述识别的脚的特征确定所述脚在透明板上的方向。
7.根据权利要求5所述的方法,其特征在于,该方法还包括测量所述脚的其中一个所述特征。
8.根据权利要求2所述的方法,其特征在于,所述对象为人的头部,所述扫描模块包括鼻子接合器、左耳接合器和右耳接合器,该方法还包括根据确定的所述扫描模块的位置和方向,确定所述头部的位置和方向。
9.根据权利要求2所述的方法,其特征在于,所述对象为人的躯干,所述扫描模块可环绕所述躯干的腰部固定。
10.根据权利要求9所述的方法,其特征在于,该方法还包括:在获得多幅深度图像之前,在所述躯干上对应的生理特征位置设置至少一个扫描靶,并检测虚拟模型中的所述至少一个扫描靶的位置;以及用已检测到的所述至少一个扫描靶的位置确定所述躯干的方向。
11.根据权利要求2所述的方法,其特征在于,所述获得通过手持式扫描仪完成。
12.根据权利要求11所述的方法,其特征在于,所述手持式扫描仪为活性表面扫描仪,包括至少一个发射器和探测器,所述模型为壳模型,所述对象参考数据包括:相对于共同参考系中扫描模块的位置和方向,所述壳模型中至少一个期望的开口位置和尺寸。
13.根据权利要求1所述的方法,其特征在于,所述扫描模块在它的表面具有扫描靶,所述模块参考数据包括该扫描靶在该扫描模块上的位置信息,在所述深度图像中确定的所述扫描模块的位置和方向包括在所述深度图像中识别所述扫描靶,以及将所述识别的扫描靶与所述模块参考数据中的扫描点相关联。
14.根据权利要求1所述的方法,其特征在于,所述模块参考数据包括所述扫描模块形状的配置信息,在所述深度图像中确定所述扫描模块的位置和方向包括将所述深度图像中的形状与所述模块参考数据中的配置信息相关联。
15.根据权利要求1所述的方法,其特征在于,所述扫描模块包括在该扫描模块附近发射电磁场的电磁场发射器,所述手持式扫描仪包括电磁场探测器,所述模块参考数据包括所述电磁场的配置信息,其中在所述深度图像中确定所述扫描模块的位置和方向包括将所述电磁场探测器探测到的电磁场信号与所述模块参考数据中的所述配置信息进行比较。
16.根据权利要求1所述的方法,其特征在于,该方法还包括获得其它同类型对象的虚拟模型,并将所述对象的虚拟模型与所述其它同类型对象的虚拟模型进行比较。
17.根据权利要求1所述的方法,其特征在于,该方法还包括获得要穿在所述对象上的服装的虚拟模型,并将所述对象的虚拟模型与所述服装的虚拟模型进行比较。
18.根据权利要求1所述的方法,其特征在于,该方法还包括将所述虚拟模型用在要穿在所述对象身上的衣物设计中。
19.一种用于生成对象虚拟模型的***,包括:
扫描模块,具有至少一个与参考平面相关的对象容纳接合器;
存储器,用于存储所述扫描模块的模块参考数据,所述模块参考数据包括所述参考平面的位置信息;
处理器,用于访问所述模块参考数据,接收来自于多个视点的所述扫描模块和相对该扫描模块固定的所述对象的多幅深度图像,并且用于使用所述模块参考数据确定每幅所述深度图像中的所述参考平面的位置和方向;
其中,所述处理器还用于使用确定的所述参考平面的位置和方向配准所述多幅深度图像,并在此基础上生成所述对象的虚拟图像。
20.根据权利要求19所述的***,其特征在于,该***还包括:
用于存储对象参考数据的存储器;
所述处理器还用于使用所述对象参考数据确定每幅深度图像中所述对象的位置和方向。
21.根据权利要求19所述的***,其特征在于,所述对象为人的脚,所述至少一个对象容纳接合器包括透明板的平坦表面。
22.根据权利要求19所述的***,其特征在于,所述对象为人的头部,所述扫描模块以一副眼镜的形式提供,所述至少一个对象容纳接合器包括鼻子接合器、左耳接合器和右耳接合器。
23.根据权利要求19所述的***,其特征在于,其中所述对象为人的躯干,所述扫描模块以带的形式提供,所述至少一个对象接收接合器包括一个可围绕躯干腰部连接的带。
24.根据权利要求19所述的***,其特征在于,所述扫描模块在它的表面上设置有扫描靶,并且所述模块参考数据包括所述扫描靶在所述扫描模块上的位置和方向信息。
25.根据权利要求19所述的***,其特征在于,所述***还包括手持式扫描仪,所述扫描模块包括在所述扫描模块附近发射电磁场的电磁场发射器,所述手持式扫描仪包括电磁场探测器并且用于获得所述多幅深度图像,所述模块参考数据包括电磁场的配置信息。
26.根据权利要求19所述的***,其特征在于,所述模块参考数据包括所述扫描模块的形状的配置信息。
27.根据权利要求20所述的***,其特征在于,所述对象包括至少一个在其生理特征上的扫描靶,并且所述对象参考数据包括具有所述扫描靶的生理特征的信息。
28.根据权利要求19所述的***,其特征在于,还包括获得多幅深度图像的手持式扫描仪,所述手持式扫描仪为活体表面扫描仪,包括至少一个发射器和探测器,并且所述模型为壳模型。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161561057P | 2011-11-17 | 2011-11-17 | |
US61/561,057 | 2011-11-17 | ||
PCT/CA2012/001059 WO2013071416A1 (en) | 2011-11-17 | 2012-11-16 | Method and system for forming a virtual model of a human subject |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104080401A CN104080401A (zh) | 2014-10-01 |
CN104080401B true CN104080401B (zh) | 2016-08-24 |
Family
ID=48428883
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280056879.0A Expired - Fee Related CN104080401B (zh) | 2011-11-17 | 2012-11-16 | 生成人体对象虚拟模型的方法及*** |
Country Status (5)
Country | Link |
---|---|
US (1) | US9691176B2 (zh) |
EP (1) | EP2779898A4 (zh) |
CN (1) | CN104080401B (zh) |
CA (1) | CA2836201C (zh) |
WO (1) | WO2013071416A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10740857B2 (en) | 2014-03-11 | 2020-08-11 | Ossur Hf | Method and system for ordering custom prosthetic and orthopedic devices |
JP6618925B2 (ja) * | 2014-04-09 | 2019-12-11 | バイエル・コンシューマー・ケア・アクチェンゲゼルシャフトBayer Consumer Care AG | 1セットの推奨矯正器具製品を生成するための方法、装置、およびコンピュータが読み出し可能な媒体 |
EP2954798B1 (de) | 2014-06-11 | 2017-04-12 | VITRONIC Dr.-Ing. Stein Bildverarbeitungssysteme GmbH | Messverfahren zur Bestimmung biometrischer Daten menschlicher Füße |
CN107292685A (zh) * | 2016-03-30 | 2017-10-24 | 深圳市祈飞科技有限公司 | 一种自动推荐尺码的方法以及采用该方法的试衣柜*** |
AU2017311495B2 (en) | 2016-08-10 | 2019-11-07 | LymphaTech Inc. | Methods of generating compression garment measurement information for a patient body part or body area of interest and use thereof |
CN108846885A (zh) * | 2018-06-06 | 2018-11-20 | 广东您好科技有限公司 | 一种基于三维扫描的模型活化技术 |
JP7460532B2 (ja) | 2018-10-10 | 2024-04-02 | 株式会社Preferred Networks | システム、方法及び装置 |
CN109470141B (zh) * | 2018-11-17 | 2021-03-16 | 先临三维科技股份有限公司 | 扫描***及方法、扫描台、计算机装置及可读存储介质 |
CN110064200B (zh) * | 2019-04-25 | 2022-02-22 | 腾讯科技(深圳)有限公司 | 基于虚拟环境的物体构建方法、装置及可读存储介质 |
US20210106230A1 (en) * | 2019-10-10 | 2021-04-15 | Techmed 3D Inc. | Module for scanning a foot, and associated method of use |
FI20205807A1 (en) | 2020-08-20 | 2022-02-21 | Taika3D Oy | Biometric identification of shape |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1853576A (zh) * | 2005-04-26 | 2006-11-01 | 韦伯斯特生物官能公司 | 使用超声轮廓重建的三维心脏成像 |
CN101189487A (zh) * | 2005-03-11 | 2008-05-28 | 形创有限公司 | 三维扫描自动参考***和设备 |
CN101248330A (zh) * | 2005-06-28 | 2008-08-20 | 斯甘拉伊斯股份有限公司 | 相对于参考测量和绘制表面的***和方法 |
CN101862220A (zh) * | 2009-04-15 | 2010-10-20 | 中国医学科学院北京协和医院 | 基于结构光图像的椎弓根内固定导航手术***和方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2735859B1 (fr) * | 1995-06-23 | 1997-09-05 | Kreon Ind | Procede d'acquisition et de numerisation d'objets au travers d'une paroi transparente et systeme de mise en oeuvre d'un tel procede |
US5886775A (en) * | 1997-03-12 | 1999-03-23 | M+Ind | Noncontact digitizing imaging system |
US6262738B1 (en) * | 1998-12-04 | 2001-07-17 | Sarah F. F. Gibson | Method for estimating volumetric distance maps from 2D depth images |
US7068825B2 (en) * | 1999-03-08 | 2006-06-27 | Orametrix, Inc. | Scanning system and calibration method for capturing precise three-dimensional information of objects |
US7577583B2 (en) | 2001-08-09 | 2009-08-18 | Acushnet Company | Computerized article customization system and method for use thereof |
DE10309788A1 (de) * | 2003-03-05 | 2004-09-16 | Corpus.E Ag | Einfache optische Erfassung der Raumform von Körpern und Körperteilen mit mechanisch nur ungenau positionierten Bildgebern |
DE10328523B4 (de) * | 2003-06-24 | 2009-05-07 | Schreck-Mieves Gmbh | Verfahren und Meßvorrichtung zur berührungslosen Vermessung einer Kontur einer Oberfläche |
IL159520A0 (en) * | 2003-12-22 | 2004-06-01 | Fitracks Ltd | Foot measuring apparatus |
US8082120B2 (en) * | 2005-03-11 | 2011-12-20 | Creaform Inc. | Hand-held self-referenced apparatus for three-dimensional scanning |
US8035637B2 (en) * | 2006-01-20 | 2011-10-11 | 3M Innovative Properties Company | Three-dimensional scan recovery |
US7256899B1 (en) * | 2006-10-04 | 2007-08-14 | Ivan Faul | Wireless methods and systems for three-dimensional non-contact shape sensing |
WO2008070537A2 (en) * | 2006-12-01 | 2008-06-12 | Ingenious Targeting Laboratory, Inc. | System and methods of making custom footwear |
US20090067706A1 (en) * | 2007-09-12 | 2009-03-12 | Artec Ventures | System and Method for Multiframe Surface Measurement of the Shape of Objects |
GB2458927B (en) | 2008-04-02 | 2012-11-14 | Eykona Technologies Ltd | 3D Imaging system |
US8986234B2 (en) * | 2008-11-09 | 2015-03-24 | 3D Systems, Inc | Custom braces, casts and devices having fenestrations and methods for designing and fabricating |
CN102859317A (zh) * | 2010-05-04 | 2013-01-02 | 形创有限公司 | 使用参考的体积分析传感器的物体检查 |
-
2012
- 2012-11-16 US US14/359,056 patent/US9691176B2/en active Active
- 2012-11-16 CN CN201280056879.0A patent/CN104080401B/zh not_active Expired - Fee Related
- 2012-11-16 CA CA2836201A patent/CA2836201C/en active Active
- 2012-11-16 WO PCT/CA2012/001059 patent/WO2013071416A1/en active Application Filing
- 2012-11-16 EP EP12850361.2A patent/EP2779898A4/en not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101189487A (zh) * | 2005-03-11 | 2008-05-28 | 形创有限公司 | 三维扫描自动参考***和设备 |
CN101189487B (zh) * | 2005-03-11 | 2010-08-11 | 形创有限公司 | 三维扫描自动参考***和设备 |
CN1853576A (zh) * | 2005-04-26 | 2006-11-01 | 韦伯斯特生物官能公司 | 使用超声轮廓重建的三维心脏成像 |
CN101248330A (zh) * | 2005-06-28 | 2008-08-20 | 斯甘拉伊斯股份有限公司 | 相对于参考测量和绘制表面的***和方法 |
CN101862220A (zh) * | 2009-04-15 | 2010-10-20 | 中国医学科学院北京协和医院 | 基于结构光图像的椎弓根内固定导航手术***和方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2779898A1 (en) | 2014-09-24 |
US20140375629A1 (en) | 2014-12-25 |
US9691176B2 (en) | 2017-06-27 |
CN104080401A (zh) | 2014-10-01 |
CA2836201C (en) | 2014-07-29 |
CA2836201A1 (en) | 2013-05-23 |
WO2013071416A1 (en) | 2013-05-23 |
EP2779898A4 (en) | 2015-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104080401B (zh) | 生成人体对象虚拟模型的方法及*** | |
US10675485B2 (en) | Radiation dosage monitoring system | |
CN107468265A (zh) | 定位用以成像方法的检查对象 | |
US7348974B2 (en) | Image processing system for use with a patient positioning device | |
US20150097931A1 (en) | Calibration of 3d scanning device | |
Kovacs et al. | Accuracy and precision of the three-dimensional assessment of the facial surface using a 3-D laser scanner | |
CN107077745B (zh) | 校准与放射治疗装置一起使用的患者监控***的方法 | |
US7742635B2 (en) | Artifact mitigation in three-dimensional imaging | |
US9743912B2 (en) | Automated intraoperative ultrasound calibration | |
US9289158B2 (en) | Calibration-free and precise optical detection of a three-dimensional shape | |
US20150097968A1 (en) | Integrated calibration cradle | |
JP2006053147A (ja) | 物体を走査する装置および方法 | |
US8471222B2 (en) | Radiotherapy apparatus control method and radiotherapy apparatus control apparatus | |
EP2285279A2 (en) | Automatic patient positioning system | |
CN111627521A (zh) | 增强现实在放疗中的应用 | |
Pesce et al. | A low-cost multi camera 3D scanning system for quality measurement of non-static subjects | |
KR20190021027A (ko) | 엑스선 영상 장치 및 그 제어 방법 | |
US20060152704A1 (en) | Remote center range finder | |
Redaelli et al. | Low-cost 3D devices and laser scanners comparison for the application in orthopedic centres | |
WO2002061680A2 (en) | Surface imaging | |
Ernst et al. | Real time contact-free and non-invasive tracking of the human skull: First light and initial validation | |
RU2663387C1 (ru) | Контактное устройство для измерения конфигурации и размеров объемного тела, система измерения конфигурации и размеров объемного тела, способ измерения конфигурации и размеров объемного тела | |
WO2019240606A1 (ru) | Контактное устройство, блок и способ измерения конфигурации и размеров объемного тела | |
Kolose et al. | Part II: an overview of 3D body scanning technology | |
CN110992406B (zh) | 一种基于感兴趣区的放疗患者摆位刚体配准算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160824 |
|
CF01 | Termination of patent right due to non-payment of annual fee |