CN115546436A - 用于确定个体的相应中段尺寸的三维(3d)图像建模***和方法 - Google Patents

用于确定个体的相应中段尺寸的三维(3d)图像建模***和方法 Download PDF

Info

Publication number
CN115546436A
CN115546436A CN202210704427.4A CN202210704427A CN115546436A CN 115546436 A CN115546436 A CN 115546436A CN 202210704427 A CN202210704427 A CN 202210704427A CN 115546436 A CN115546436 A CN 115546436A
Authority
CN
China
Prior art keywords
individual
model
image
infant
fitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210704427.4A
Other languages
English (en)
Inventor
A.J.索尔
S.K.斯坦利
A.E.恩格
B.S.霍克泽马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Procter and Gamble Co
Original Assignee
Procter and Gamble Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Procter and Gamble Co filed Critical Procter and Gamble Co
Publication of CN115546436A publication Critical patent/CN115546436A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0631Item recommendations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Architecture (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

本文公开了用于确定个体的相应中段尺寸的三维(3D)图像建模***和方法。获得描绘个体的至少中段部分的数字图像。贴合性探测器应用程序(app)基于数字图像来确定粗糙3D模型。将预定义的个体的参数3D模型映射到虚拟3D空间中的粗糙3D模型以生成指示普通空间中个体的至少中段部分的物理大小的贴合的3D模型。然后基于贴合的3D模型来确定个体的中段尺寸。

Description

用于确定个体的相应中段尺寸的三维(3D)图像建模***和 方法
技术领域
本公开整体涉及三维(3D)图像建模***和方法,并且更具体地涉及用于确定个体的相应中段尺寸的三维(3D)图像建模***和方法。
背景技术
吸收制品诸如尿布、训练裤等等以多种大小和配置制造。为了确保吸收制品是令人舒适的并适当地执行,穿着适当的大小是重要的。就可供用于购买的多个产品系列而言,并且就通常具有多个大小设定选项的每条产品系列而言,确定哪条产品系列和哪一种大小均适用于特定穿着者可以是具有挑战性的。此外,一次性制品大小通常基于穿着者的体重而不是穿着者的物理尺寸来推荐。然而,穿着者的体重可能是穿着者的实际物理尺寸的较差预测因子,因此根据穿着者的体重选择产品大小可导致不适当的贴合性。此外,虽然对穿着者的物理尺寸的了解与适当的一次性制品贴合性相关,但穿着者的物理尺寸通常不是已知的并且可能难以手动测量。
用于解决此类问题的现有技术方法包括手动测量,这可能易于出错。更进一步,现有技术的数字成像方法需要缩放对象(例如,纸张),以正确地估计尺寸或以其他方式缩放数字图像或数字图像内的对象,以便确定3D相关性。更进一步,现有技术的3D成像解决方案固有地受到限制,因为它们假定了表现良好且可摆姿势的对象或个体,其可以站立或以其他方式定位,而在给定时间段(例如,几秒)内不移动。此外,许多此类现有技术***需要昂贵且消费者不易得到的专用硬件。此类现有技术方法可能易于出错,不方便并且/或者需要用户进行附加步骤,这可能导致引入来自错误实践的错误或不能遵守关于缩放、尺寸或其他方面的指令。
出于前述原因,需要用于确定婴幼儿的相应中段尺寸的3D图像建模***和方法,如本文进一步所述。
发明内容
通常,如本文所述,描述了用于确定个体的相应中段尺寸的3D图像建模***和方法,例如,作为非限制性示例,该个体包括婴幼儿、幼儿、或者不能遵循方向或在延长的时间段内保持静止的其他个体中的任一者。此类3D图像建模***和方法提供了基于数字成像的解决方案,用于克服由正确识别婴幼儿的尺寸而引起的问题。例如,本文描述的3D图像建模***和方法可用于准确地确定个体(例如,婴幼儿)的腰部尺寸、腿部尺寸和/或直裆尺寸。
更具体地,如本文所述,公开了一种用于确定婴幼儿(例如,个体)的相应中段尺寸的三维(3D)图像建模方法。3D图像建模方法包括由一个或多个处理器获得个体(例如,婴幼儿)的一个或多个数字图像。一个或多个数字图像中的每个数字图像描绘个体(例如,婴幼儿)的至少中段部分。3D图像建模方法还可包括由在一个或多个处理器上执行的贴合性探测器应用程序(app)基于一个或多个数字图像来确定粗糙3D模型。3D图像建模方法还可包括由贴合性探测器应用程序将预定义的个体(例如,婴幼儿)的参数3D模型映射到虚拟3D空间中的粗糙3D模型以生成贴合的3D模型。贴合的3D模型指示普通空间中个体(例如,婴幼儿)的至少中段部分的物理大小。3D图像建模方法还可包括由贴合性探测器应用程序基于贴合的3D模型来确定个体(例如,婴幼儿)的中段尺寸。
此外,如本文所述,公开了一种图像建模***。3D图像建模***被配置为确定婴幼儿(例如,个体)的相应中段尺寸。3D图像建模***包括一个或多个处理器以及贴合性探测器应用程序(app),该贴合性探测器应用程序包括被配置为在一个或多个处理器上执行的计算指令。贴合性探测器应用程序的计算指令在由一个或多个处理器执行时致使一个或多个处理器由一个或多个处理器获得个体(例如,婴幼儿)的一个或多个数字图像。一个或多个数字图像中的每个数字图像描绘个体(例如,婴幼儿)的至少中段部分。贴合性探测器应用程序的计算指令在由一个或多个处理器执行时可进一步致使一个或多个处理器由在一个或多个处理器上执行的贴合性探测器应用程序基于一个或多个数字图像来确定粗糙3D模型。贴合性探测器应用程序的计算指令在由一个或多个处理器执行时可进一步致使一个或多个处理器将预定义的个体(例如,婴幼儿)的参数3D模型映射到虚拟3D空间中的粗糙3D模型以生成贴合的3D模型。贴合的3D模型指示普通空间中个体(例如,婴幼儿)的至少中段部分的物理大小。贴合性探测器应用程序的计算指令在由一个或多个处理器执行时可进一步致使一个或多个处理器由贴合性探测器应用程序基于贴合的3D模型来确定个体(例如,婴幼儿)的中段尺寸。
此外,如本文所述,公开了一种有形的非暂态计算机可读介质,其存储用于确定婴幼儿(例如,个体)的相应中段尺寸的指令。指令在由一个或多个处理器执行时可致使一个或多个处理器获得个体(例如,婴幼儿)的一个或多个数字图像。一个或多个数字图像中的每个数字图像可描绘个体(例如,婴幼儿)的至少中段部分。指令在由一个或多个处理器执行时可进一步致使一个或多个处理器基于一个或多个数字图像来确定粗糙3D模型。指令在由一个或多个处理器执行时可进一步致使一个或多个处理器将预定义的个体(例如,婴幼儿)的参数3D模型映射到虚拟3D空间中的粗糙3D模型以生成贴合的3D模型。贴合的3D模型指示普通空间中个体(例如,婴幼儿)的至少中段部分的物理大小。指令在由一个或多个处理器执行时可进一步致使一个或多个处理器基于贴合的3D模型来确定个体(例如,婴幼儿)的中段尺寸。
本公开涉及对其他技术或技术领域的改进,至少因为本公开描述或介绍了对3D图像建模领域中的计算设备的改进,由此三维(3D)图像建模***和方法在成像设备或计算设备上执行,并且通过对个体(例如,婴幼儿)的一个或多个数字图像中的数字图像的基于数字的分析以及实现对此类婴幼儿(例如,个体)的尺寸确定,改进了3D成像和建模的领域。此类***和方法被配置为使用减少的处理和/或存储器来操作,并且因此可在有限的计算和存储器设备(包括移动设备)上操作。此类减小会释放潜在计算***的计算资源,由此使其更有效。
更进一步,本公开涉及对其他技术或技术领域的改进,至少因为本公开描述或介绍了对安全性和/或图像处理领域中计算设备的改进,其中至少在一些方面,可对用户的图像进行预处理(例如,裁剪、模糊、遮挡或以其他方式修改)以限定个体(例如,婴幼儿)的提取或描绘的区域,而不描绘个体(例如,婴幼儿)的个人可识别信息(PII)。例如,个体(例如,婴幼儿)的中段部分可被覆盖(例如,被尿布覆盖),或者在一些方面,数字图像至少相对于某些区域(诸如生殖区域或其他私密区域)被模糊或以其他方式遮挡。附加地或另选地,可使用图像的简单裁剪或编辑的部分,这消除了对个体的图像或个体的部分跨计算机网络传输的需要(其中此类图像可能易于被第三方拦截)。此外,通过使用如本文所述的预定义和/或贴合的模型,可以将个体的数据从任何详细的PII中完全提取,如原始图像中所示(例如,表面纹理、肤色、胎记等全部消失)。此类特征提供了安全性改进,即,其中PII(例如,私密区域特征)的移除提供了优于现有***的改进,因为裁剪或编辑的图像,尤其是可通过网络(例如,互联网)传输的图像在不包括个体的PII信息的情况下更安全。因此,本文描述的***和方法在不需要此类基本信息的情况下操作,这提供了优于现有***的改进,例如,安全性改进。此外,至少在一些方面,使用裁剪、编辑或遮挡的图像允许下面的***存储和/或处理较小的数据大小图像,这导致下面的***整体性能增加,因为较小的数据大小图像需要较少的存储存储器和/或处理资源来存储、处理和/或以其他方式由下面的计算机***操纵。
此外,本公开包括除本领域中众所周知的、例行的、常规活动之外的特定特征,并且该特征增加了将权利要求书限制为特定有用应用的非常规步骤,例如用于确定婴幼儿(例如,个体)的相应中段尺寸的三维(3D)图像建模***和方法。与使用常规重量范围相比,所公开的3D图像建模***和方法改善了吸收制品(例如,尿布)的大小确定的准确度。这提供了对现有技术***和/或方法的显著改进,该现有技术***和/或方法使用或依赖于单个测量尺寸或有限数量的尺寸,诸如依赖于平坦2D图像而没有如本文所述的3D成像增强。所公开的3D图像建模***和方法的附加优点还包括从不能遵循指令或保持静止以进行图像捕获的婴幼儿或其他个体捕获3D数据的能力;消除收集3D数据通常所需的专用硬件;从相对低质量起始数据集(例如,粗糙3d模型)提取可用数据的能力;以及消除缩放对象和其他不方便的要求以实现3D成像。
通过以举例说明的方式示出和描述的优选方面的以下描述,优点对于本领域的普通技术人员而言将变得更加显而易见。如将认识到的,本发明的方面可具有其他和不同的方面,并且它们的细节能够在各个方面进行修改。因此,附图和描述应被视为实质上是示例性的而非限制性的。
附图说明
下文所述的附图描绘了本文所公开的***和方法的各个方面。应当理解,每个附图描绘了所公开的***和方法的特定方面,并且每个附图旨在与其可能的方面保持一致。此外,在可能的情况下,以下描述提及了以下附图中包括的附图标号,其中多个附图中所示的特征部用一致的附图标号进行表示。
在当前讨论的附图中示出了布置,然而,应当理解,本方面不限于所示的精确布置和工具,其中:
图1示出了根据本文公开的各个方面的被配置为确定婴幼儿(例如,个体)的相应中段尺寸的示例性三维(3D)图像建模***。
图2示出了根据本文公开的各个方面的个体(例如,婴幼儿)的示例性数字图像,其描绘个体(例如,婴幼儿)的至少中段部分。
图3示出了根据本文公开的各个方面的用于确定婴幼儿(例如,个体)的相应中段尺寸的示例性三维(3D)图像建模方法。
图4示出了根据本文公开的各个方面的示例性粗糙3D模型。
图5示出了根据本文公开的各个方面的包括图2的个体(例如,婴幼儿)的位姿信息的示例性数字图像。
图6示出了根据本文公开的各个方面的预定义的个体(例如,婴幼儿)的示例性参数3D模型。
图7示出了根据本文公开的各个方面的示例性贴合的3D模型。
图8示出了根据本文公开的各个方面的表示图7的贴合的3D模型的重摆位姿型式的另外的示例性贴合的3D模型。
图9示出了根据本文公开的各个方面的在用户计算设备的显示屏上呈现的示例性用户界面。
附图仅出于说明的目的描绘了优选的方面。在不脱离本文所述的本发明的原理的情况下,可以采用本文所示的***和方法的替代方面。
具体实施方式
本公开涉及用于确定婴幼儿(例如,个体)的相应中段尺寸的三维(3D)图像建模***和方法。此类***和方法包括基于图像的处理来推荐一次性制品(例如,尿布)的大小和/或尺寸以确定预期穿着者(例如,个体(例如,婴幼儿))的物理属性。现在将描述本公开的各种非限制性实施方案以在总体上理解制造***和方法的功能、设计以及操作的原理。这些非限制性实施方案的一个或多个示例示出于附图中。本领域的普通技术人员将会理解,本文所述的以及附图所示出的***和方法为非限制性示例实施方案,并且本公开的各种非限制性实施方案的范围完全由权利要求书限定。结合一个非限制性实施方案所示或所述的特征部可与其他非限制性实施方案的特征部相组合。此类修改和变型旨在被包括在本公开的范围内。
如本文所用,术语“吸收制品”是指紧贴或邻近穿着者的身体放置以吸收和容纳从身体排出的各种流出物的一次性服装或设备诸如尿布,作为非限制性示例,包括个体(例如,婴幼儿)、儿童、成人尿布,裤型尿布,训练裤,女性卫生产品等。通常,这些制品包括顶片、底片、吸收芯、采集***(该采集***可称为液体管理***并且可由一个或若干层构成)和通常其它部件,其中吸收芯通常至少部分地置于底片和采集***之间或置于顶片和底片之间。然而,不应认为该描述是对权利要求的范围的限制。相反,本公开应用于任何合适形式的吸收制品(例如,训练裤、女性卫生产品、成人失禁产品等)。例如,本文所述的***和方法适用于一系列不同的吸收制品类型,诸如一次性的、半耐用的、单次使用的、多次使用的、多部分的、布料、裤、套穿或***类型的吸收制品和产品。根据本公开的吸收制品可以是预制的,使得这些吸收制品以被配置成由具有某些物理属性的穿着者穿着的预先确定的大小制造。在一些实施方案中,根据本公开的吸收制品至少部分地可定制,诸如,某些方面可基于预期穿着者的物理属性来配置。以举例的方式,待由特定穿着者穿着的吸收制品的腿部环箍大小和/或尺寸可被定制大小和/或尺寸以向该特定穿着者提供更好的贴合性。
在一些配置中,本文所述的***和方法可接收受试者(例如,个体(例如,婴幼儿))的一个或多个数字图像,并且通过各种图像处理技术来确定受试者的物理属性。受试者可为例如个体(例如,婴幼儿)、婴儿、学步儿童或吸收制品的其他穿着者。由本***和方法确定的特定物理属性可基于实施方式而变化,但是在一些配置中,执行图像分析以确定个体(例如,婴幼儿)或吸收制品的其他穿着者的中段尺寸,该中段尺寸可包括各种贴合性参数。贴合性参数的示例包括受试者的估计腰围或其他腰部尺寸,受试者的估计大腿围或其他腿部尺寸,以及诸如从肚脐到下背部测量的受试者的估计直裆测量结果或其他直裆尺寸。贴合性参数可应用于吸收制品的各种大小设定模型以评估哪一种或多种产品将贴合受试者。然后可提供受试者的吸收制品推荐。该推荐可识别例如产品大小、产品类型和产品系列中的任一者。在一些配置中,除图像之外的关于受试者的附加信息可用于确定推荐。可由本文所述的***和方法利用的关于受试者或个体的附加信息的非限制性示例包括但不限于受试者的年龄,受试者的胎龄、性别,受试者的地理位置和发育标志完成。示例性发育标志可包括但不限于爬行、攀靠在家具上、行走、开始如厕(即,卫生间)训练等。附加地或另选地,关于受试者的尺寸信息可由用户提供,该尺寸信息诸如受试者的身高、体重、头围等,该尺寸信息可在进行吸收制品推荐时由***利用。附加地或另选地,关于当前所用产品的贴合性评估或性能反馈以及其它基于使用的参数诸如每天的大便尿布的数目或每天的湿尿布的数目还可被提供为输入。附加地或另选地,吸收制品偏好诸如对更天然的产品的偏好、对适用于更活跃的儿童的产品的偏好、对高吸收性或夜用产品的偏好等可由用户提供并被考虑到。
其他用户提供的信息可包括例如穿着者是穿着衣服还是仅穿着尿布,或者该信息可通过例如算法来确定。在上述示例中的任一者中,与用户配置文件相关联的数据或其它用户提供的信息可用于确定推荐。附加地或另选地,从公共、私人和/或专有生长图表数据库获得的数据可用于确定推荐。在一些方面,此类生长数据库或包括存储在其中的数据的其他生长数据可包括专有的生长图表数据或数据库,诸如可从由应用程序本身收集的数据和/或包括个体的特定生长趋势的数据或数据库来汇编,诸如可由贴合性探测器应用程序(例如,贴合性探测器应用程序108)本身随时间推移确定。此外,***所利用的用户提供的信息的类型可取决于被推荐的吸收制品的类型。附加地或另选地,随着穿着者的年龄和/或体重显著变化,可使用生长数据和图表。对于失禁产品,用户提供的信息可包括失禁类型、所用的当前产品等。
本文所述的***和方法可用于生成对广泛多种吸收制品的推荐,这些吸收制品包括例如诸如尿布之类的产品。因此,虽然本文所述的许多附图和示例包括用于说明目的的婴儿,但本公开并不限于此。根据本公开处理的图像可以包括受试者(例如,图像),诸如全身体图像或受试者的一部分。受试者可以以各种位姿定位,例如受试者平躺在平坦表面上。
图1示出了根据本文公开的各个方面的被配置为确定婴幼儿(例如,个体)的相应中段尺寸的示例性三维(3D)图像建模***100。可从个体(例如,婴幼儿)的一个或多个数字图像(例如,202a、202b和/或202c)确定个体(例如,婴幼儿)的中段尺寸,其中一个或多个数字图像中的每个数字图像描绘个体(例如,婴幼儿)的至少中段部分。在一些方面,数字图像可以是二维的(2D)。附加地或另选地,数字图像可以是三维的(3D)或包含三维数据。数字图像可附加地或另选地包括2D和/或3D扫描(例如,其中计算包括扫描功能或能力),包括此类扫描的相应2D和/或3D数据。在各个方面,数字图像(例如,202a、202b和/或202c)可包括由各种2D和/或3D成像捕获***或相机捕获的各种数据类型和/或格式,作为非限制性示例,包括基于光检测和测距(LiDAR)的数字图像、基于飞行时间(ToF)的数字图像、如由2D和/或3D成像捕获***和/或相机捕获的其他类似类型的图像。例如,基于ToF的数字图像和/或相关数据是通过使用参考速度(例如,光(或声音)度速度)来确定距离而被确定的。ToF测量光(或声音)离开设备(例如,用户计算设备111c1),从对象、平面和/或表面(例如,个体(例如,婴幼儿))弹回并返回到设备所花费的时间。这样的时间测量可用于确定从设备到对象、平面和/或表面的距离。然后可使用此类信息来构造所捕获的图像的3D模型(例如,粗糙模型),如本文进一步描述。更一般地,LiDAR是使用光和光的速度来进行距离确定和3D图像确定的ToF的特定实施方式。通常,LiDAR特定实施方式使用脉冲激光器来构建点云,该点云然后可用于构造3D映射图或图像。与LiDAR相比,ToF图像分析的典型实施方式涉及通常通过标准RGB相机的基于光检测的类似但不同的创建“深度映射图”。关于本文的公开内容,LiDAR、ToF和/或其他3D成像技术是兼容的,并且可各自、一起或单独与本文的公开内容和/或方面一起使用。在各个方面,此类数字图像可以以包括但不限于例如JPG、TIFF、GIF、BMP、PNG和/或用于保存或存储此类图像的其他文件、数据类型和/或格式的格式来保存或存储。
此外,此类数字图像可包括颜色和/或通道数据,作为非限制性示例,包括红色-绿色-蓝色(RGB)数据、CIELAB(LAB)数据、色调饱和度值(HSV)数据和/或其他色彩格式和/或通道。此类数字图像可由3D图像建模***100捕获、存储、处理、分析和/或以其他方式操纵和使用,如本文所述。
在图1的示例性方面,3D图像建模***100包括服务器102,该服务器可包括一个或多个计算机服务器。在各个方面中,服务器102包括多个服务器,该多个服务器可包括作为服务器群的一部分的多个、冗余或复制的服务器。在另外的方面中,服务器102可被实现为基于云的服务器,诸如基于云的计算平台。例如,成像服务器102可以是任何一个或多个基于云的平台,诸如MICROSOFT AZURE、AMAZON AWS等。服务器102可包括一个或多个处理器104以及一个或多个计算机存储器106。在各种实施方案中,服务器102在本文中可被称为“成像服务器”。
存储器106可包括一种或多种形式的易失性和/或非易失性、固定和/或可移动存储器,诸如只读存储器(ROM)、电子可编程只读存储器(EPROM)、随机存取存储器(RAM)、可擦除电子可编程只读存储器(EEPROM)和/或其他硬盘驱动器、闪存存储器、MicroSD卡等。存储器106可存储能够促进如本文所讨论的功能、应用程序、方法或其他软件的操作***(OS)(例如,Microsoft Windows、Linux、UNIX等)。存储器106还可存储贴合性探测器应用程序(app)108,其可包括或可被配置为访问基于人工智能的模型,诸如在各种数字图像(例如,图像202a、202b和/或202c)上训练的机器学习模型,如本文所述。附加地或另选地,数字图像(例如,在一些方面,其可用作训练图像),诸如图像202a、202b和/或202c中的任一个或多个图像,也可以存储在数据库105中,该数据库可访问或以其他方式通信地耦接到成像服务器102。此外,存储器106还可存储机器可读指令,包括一个或多个应用程序(例如,如本文所述的成像应用程序)、一个或多个软件组件和/或一个或多个应用程序编程接口(API)中的任一者,其可被实现以促进或执行这些特征,功能或本文所述的其他公开内容,诸如针对本文的各种流程图、图示、图表、附图和/或其他公开内容所示、描绘或所述的任何方法、过程、元件或限制。应当理解,可设想由处理器104执行的一个或多个其他应用程序。应当理解,给定移动计算设备的进展状态,本文描述的所有过程功能和步骤可一起存在于移动计算设备(例如,用户计算设备111c1)上。
处理器104可经由计算机总线连接到存储器106,该计算机总线负责向和从处理器104和存储器106传输电子数据、数据分组或其他电子信号,以便实现或执行如针对本文的各种流程图、图示、图表、附图和/或其他公开内容所示、描绘或所述的机器可读指令、方法、过程、元件或限制。
处理器104可经由计算机总线与存储器106接口以执行操作***(OS)。处理器104还可经由计算机总线与存储器106接口以创建、读取、更新、删除或以其他方式访问存储在存储器106和/或数据库105(例如,关系数据库,诸如Oracle、DB2、MySQL,或基于NoSQL的数据库,诸如MongoDB)中的数据或与之进行交互。存储在存储器106和/或数据库105中的数据可包括本文所述的任何数据或信息的全部或部分,包括例如数字图像,该数字图像可用作训练图像(例如,包括图像202a、202b和/或202c中的任一者或多者)和/或关于给定吸收制品(例如,诸如尿布)或个体(例如,个体(例如,婴幼儿))或个体自身使用的尿布的其他图像和/或信息,包括健康数据,产品度量,参考数据等,或如本文另外描述的。
成像服务器102还可包括通信组件,该通信组件被配置为经由一个或多个外部/网络端口将数据传送(例如,发送和接收)到一个或多个网络或本地终端诸如本文所述的计算机网络120和/或终端109(用于呈现或可视化)。在一些方面中,成像服务器102可包括客户端-服务器平台技术,诸如ASP.NET、Java J2EE、Ruby on Rails、Node.js、web服务或在线API,其响应于接收并响应于电子请求。成像服务器102可以实现客户端-服务器平台技术,该技术可经由计算机总线与存储器106(包括存储在其中的应用程序、组件、API、数据等)和/或数据库105进行交互,以实现或执行如针对本文的各种流程图、图示、图表、附图和/或其他公开内容所示、描绘或所述的机器可读指令、方法、过程、元件或限制。
在各个方面中,成像服务器102可包括根据IEEE标准、3GPP标准或其他标准起作用并且可用于经由连接到计算机网络120的外部/网络端口接收和传输数据的一个或多个收发器(例如,WWAN、WLAN和/或WPAN收发器),或者与该一个或多个收发器进行交互。在一些方面中,计算机网络120可包括专用网络或局域网(LAN)。附加地或另选地,计算机网络120可包括公共网络,诸如互联网。
成像服务器102还可包括或实现操作者界面,该操作者界面被配置为向管理员或操作者呈现信息和/或从管理员或操作者接收输入。如图1所示,操作者界面可提供显示屏(例如,经由终端109)。成像服务器102还可提供I/O组件(例如,端口、电容式或电阻式触敏输入面板、按键、按钮、灯、LED),该I/O组件可经由成像服务器102直接访问或附接到配给服务器,或者可经由终端109间接访问或附接到终端。根据一些方面,管理员或操作者可经由终端109访问服务器102以查看信息,做出改变,输入训练数据或图像,启动位姿映射学习模型(例如,如针对图3和图5所述,和/或本文在其他地方所述)的训练和/或执行其他功能。
在一些方面,成像服务器102可执行如本文所讨论的作为“云”网络的一部分的功能,或者可以以其他方式与云内的其他硬件或软件组件通信以发送、检索或以其他方式分析本文所述的数据或信息。
一般来讲,计算机程序或基于计算机的产品、应用程序或代码(例如,模型诸如AI模型,或本文所述的其他计算指令)可存储在计算机可用存储介质或其中体现有此类计算机可读程序代码或计算机指令的有形非暂态性计算机可读介质(例如,标准随机存取存储器(RAM)、光盘、通用串行总线(USB)驱动器等)上,其中计算机可读程序代码或计算机指令可被安装或以其他方式适配成由(例如,与存储器106中的相应操作***结合工作的)处理器104执行以促进、实现或执行如针对本文的各种流程图、图示、图表、附图和/或其他公开内容所示、描绘或所述的机器可读指令、方法、过程、元件或限制。就这一点而言,程序代码可以任何期望的程序语言实施,并且可以被实施为机器代码、汇编代码、字节代码、可解释源代码等(例如,经由Golang、Python、C、C++、C#、Objective-C、Java、Scala、ActionScript、JavaScript、HTML、CSS、XML等)。
如图1所示,成像服务器102经由计算机网络120经由基站111b和112b通信地连接到一个或多个用户计算设备111c1-111c3和/或112c1-112c3。在一些方面,基站111b和112b可包括蜂窝基站诸如蜂窝塔,从而基于各种移动电话标准(包括NMT、GSM、CDMA、UMMTS、LTE、5G等)中的任一者或多者经由无线通信121与一个或多个用户计算设备111c1-111c3和112c1-112c3进行通信。附加地或另选地,基站111b和112b可包括路由器、无线交换机或基于各种无线标准中的任一个或多个无线标准经由无线通信122与一个或多个用户计算设备111c1-111c3和112c1-112c3通信的其他此类无线连接点,作为非限制性示例,该无线标准包括IEEE 802.11a/b/c/g(WIFI)、BLUETOOTH标准等。
一个或多个用户计算设备111c1-111c3和/或112c1-112c3中的任一者可包括用于访问成像服务器102和/或与该成像服务器通信的移动设备和/或客户端设备。此类移动设备可包括一个或多个移动处理器和/或成像设备,该成像设备用于捕获图像,诸如如本文所述的图像(例如,图像202a、202b和/或202c中的任一者或多者)。在各个方面,用户计算设备111c1-111c3和/或112c1-112c3可包括移动电话(例如,蜂窝电话)、平板设备、个人数据助理(PDA)等,作为非限制性示例,包括APPLE iPhone或iPad设备或基于GOOGLE ANDROID的移动电话或平板电脑。
在各个方面,一个或多个用户计算设备111c1-111c3和/或112c1-112c3可实现或执行操作***(OS)或移动平台,诸如APPLE iOS和/或Google ANDROID操作***。一个或多个用户计算设备111c1-111c3和/或112c1-112c3中的任一者可包括用于存储、实现或执行计算指令或代码(例如,移动应用程序)的一个或多个处理器和/或一个或多个存储器,如本文的各个方面中所述。如图1所示,如本文所述的贴合性探测器应用程序108和/或成像应用程序或至少其部分也可被本地存储在用户计算设备(例如,用户计算设备111c1)的存储器上。
用户计算设备111c1-111c3和/或112c1-112c3可包括无线收发器以向基站111b和/或112b传输无线通信121和/或122并从该基站接收无线通信。在各个方面,数字图像(例如,数字图像202a、202b和/或202c)可经由计算机网络120传输到成像服务器102以用于如本文所述的成像分析。
此外,一个或多个用户计算设备111c1-111c3和/或112c1-112c3可包括数字相机、数字摄像机和/或用于捕获或拍摄数字图像和/或帧(例如,其可以是图像202a、202b和/或202c中的任一者或多者)的其他成像捕获设备或***。每个数字图像可包括LiDAR、ToF和/或像素数据,其可用于成像分析和/或训练或实现如本文所述的模型(诸如AI或机器学习模型)。例如,(例如,用户计算设备111c1-111c3和/或112c1-112c3中的任一者的)数字相机和/或数字摄像机可被配置为拍摄、捕获或以其他方式生成数字图像(例如,数字图像202a、202b和/或202c),并且至少在一些方面,可将此类图像存储在相应用户计算设备的存储器中。另外地或另选地,此类数字图像也可被传输到和/或存储在服务器102的存储器106和/或数据库105上。
更进一步,一个或多个用户计算机设备111c1-111c3和/或112c1-112c3中的每一者可包括用于显示图形、图像、文本、中段尺寸、产品大小、数据、像素、特征和/或如本文所述的其他此类可视化或信息的显示屏。在各个方面,可从成像服务器102接收图形、图像、文本、中段尺寸、产品大小、数据、像素、特征和/或其他此类可视化或信息,以用于在用户计算机设备111c1-111c3和/或112c1-112c3中的任一者或多者的显示屏上显示。附加地或另选地,用户计算机设备可包括、实现、访问、呈现或以其他方式至少部分地暴露界面或引导用户界面(GUI)以用于在其显示屏上显示文本和/或图像。在各个方面,显示屏(例如,本文针对图9描述的显示屏900)还可以用于向给定设备(例如,用户计算设备111c1)的用户提供指令或引导。
在一些方面,在服务器(例如,服务器102)处和/或在移动设备(例如,移动设备111c1)处执行的计算指令和/或应用程序可通信地连接,以用于分析描绘婴幼儿(例如,个体)及其中段的一个或多个数字图像的LiDAR数据、ToF数据和/或像素数据。例如,服务器102的一个或多个处理器(例如,处理器104)可经由计算机网络(例如,计算机网络120)通信地耦接到移动设备。在此类方面,成像应用程序可包括被配置为在服务器(例如,服务器102)的一个或多个处理器上执行的服务器应用程序部分以及被配置为在移动设备(例如,一个或多个用户计算设备111c1-111c3和/或112c1-112c3中的任一者)和/或其他这样的独立成像设备的一个或多个处理器上执行的移动应用程序部分。在此类方面,服务器应用程序部分被配置为与移动应用程序部分通信。服务器应用程序部分或移动应用程序部分可各自被配置为实现或部分地实现以下中的一项或多项:(1)由一个或多个处理器获得个体(例如,婴幼儿)的一个或多个数字图像,该一个或多个数字图像中的每个数字图像描绘个体(例如,婴幼儿)的至少中段部分;(2)由在一个或多个处理器上执行的贴合性探测器应用程序(app)基于一个或多个数字图像来确定粗糙3D模型;(3)由贴合性探测器应用程序将预定义的个体(例如,婴幼儿)的参数3D模型映射到虚拟3D空间中的粗糙3D模型以生成贴合的3D模型,该贴合的3D模型指示普通空间中个体(例如,婴幼儿)的至少中段部分的物理大小;以及/或者(4)由贴合性探测器应用程序基于贴合的3D模型来确定个体(例如,婴幼儿)的中段尺寸。
图2示出了根据本文公开的各个方面的个体(例如,婴幼儿)的示例性数字图像(例如,数字图像202a、202b和202c),其描绘个体(例如,婴幼儿)的至少中段部分(例如,分别为202am、202bm和202cm)。在各个方面,图像202a、202b和/或202c可各自为由数字相机或其他数字成像捕获设备捕获的数字图像,如针对图1所述。数字图像202a、202b和/或202c中的每一者可经由计算机网络120在用户计算机设备(例如,用户计算设备111c1-111c3和/或112c1-112c3)中的任何一个或多个用户计算机设备之间或之中传输到服务器102以及从该服务器传输,如针对图1所示和所述。
更一般地,数字图像(诸如示例性图像202a、202b和202c)可在成像服务器102处收集或聚集,并且可用于成像分析,如本文所述。此外,在一些方面,此类数字图像可用于实现和/或训练人工智能学习模型(例如,AI模型,诸如如本文所述的机器学习成像模型)。此类AI模型可用于位姿分析、定位等,如本文所述。
在各个方面,数字图像202a、202b和202c可以是2D和/或3D数字图像,并且可包含相关的2D和/或3D信息。例如,在一些方面,用户计算设备(例如,用户计算设备111c1)可使用LiDAR、ToF和/或摄影测量3D使能成像***或相机来捕获个体(例如,婴幼儿)的3D图像。然后可使用此类图像来构造、生成或以其他方式确定个体(例如,婴幼儿)的粗糙3D模型(例如,图4的粗糙3D模型400)和相关尺寸。模型可基于用LIDAR或ToF获得的深度数据、专门配置的硬件和用于摄影测量3D***的校准过程获得的深度数据和/或以其他方式来生成或确定,其中一个或多个图像的位置数据可被恢复并分析(例如,放置标准相机以及从加速度计、缩放对象等确定位置)。模型可以是基于LiDAR和/或ToF数据的粗糙或初始模型,并且可包括粗糙3D模型的表面中的视觉或成像“孔”或空间。粗糙3D模型可包括来自不精确图像捕获的图像数据丢失、未填充的空间、间隙等,该不精确图像捕获由例如用户错误操作相机或图像捕获设备(例如,以不精确的角度或视角)和/或在捕获图像时个体(例如,婴幼儿)移动等引起。其他数据捕获问题可包括由于视觉和/或视场遮挡而仅确定或捕获部分表面。例如,当个体躺下时,相机可能不能对他或她的背部进行成像,并且/或者在没有非常小心地放置相机等的情况下不能捕获个体的腿部之间的图像数据。此外,其他数据捕获问题可包括低分辨率表面,例如,以便于快速扫描和降低处理功率要求。更进一步,在各个方面,数字图像可在个体(例如,婴幼儿)位于各种位姿或其他位置时被捕获,诸如躺在地面上(例如,在睡眠或休息时),玩耍或活动,被抱住(例如,被抱在空中,如图所示),穿戴尿布或不穿戴尿布,或者可以以其他方式在个体(例如,婴幼儿)的自然定位或自然环境中被捕获等。
此外,在各个方面,数字图像(例如,数字图像202a、202b和202c)中的每个数字图像可包括像素数据(例如,RGB数据),该像素数据包括特征数据并且对应于相应图像内的一个或多个图像特征。像素数据可由用户计算设备(例如,一个或多个用户计算机设备111c1-111c3和/或112c1-112c3)中的一者的成像设备捕获。例如,相对于如本文所述的数字图像,像素数据(例如,数字图像202a、202b和202c的像素数据)可包括图像内的数据的单独点或正方形,其中每个点或正方形表示图像内的单个像素(例如,像素202bp1、像素202bp2和像素202bp3中的每一者)。每个像素可位于图像内的特定位置处。此外,每个像素可具有特定颜色(或缺乏其)。像素颜色可通过与给定像素相关联的颜色格式和相关通道数据来确定。例如,流行的颜色格式是1976CIELAB(本文也称为“CIE L*-a*-b*”或简称为“L*a*b*”或“LAB”颜色格式)颜色格式,其被配置为模拟人类对颜色的感知。即,L*a*b*颜色格式被设计成使得表示L*a*b*颜色格式的三个值中的数值变化的量(例如,L*、a*和b*)大致对应于人类视觉上感知的相同变化量。这种颜色形式是有利的,例如,因为L*a*b*色域(例如,作为颜色格式的一部分包括的颜色的完整子集)包括红色(R)、绿色(G)和蓝色(B)(统称为RGB)以及青色(C)、品红色(M)、黄色(Y)和黑色(K)(统称为CMYK)颜色格式的色域。
在L*a*b*颜色格式中,颜色被视为三维空间中的点,如由三维坐标系(L*、a*、b*)限定的,其中L*数据、a*数据和b*数据中的每一者可对应于单独的颜色通道,并且因此可被称为通道数据。在该三维坐标系中,L*轴描述了颜色的亮度(辉度),其中值为0(黑色)至100(白色)。a*轴描述颜色的绿色或红色比率,其中正a*值(+a*)指示红色色调,而负a*值(-a*)指示绿色色调。b*轴描述颜色的蓝色或黄色比率,其中正b*值(+b*)指示黄色色调,而负b*值(-b*)指示蓝色色调。通常,对应于a*轴和b*轴的值可以是无限的,使得a*轴和b*轴可包括任何合适的数值以表达轴边界。然而,a*轴和b*轴通常可包括范围从约150至-150的下边界和上边界。因此,以这种方式,每个像素颜色值可被表示为L*、a*和b*值的三元组,以为给定像素产生最终颜色。
作为另一示例,附加或另选的颜色格式包括具有红色、绿色和蓝色通道的红色-绿色-蓝色(RGB)格式。也就是说,在RGB格式中,像素的数据由三个数字RGB分量(红色、绿色、蓝色)表示,其可被称为通道数据,以操纵图像内的像素区域的颜色。在一些实施方案中,三个RGB分量可表示为每个像素的三个8位数字。三个8位字节(针对RGB中的每一者有一个字节)可用于生成24位颜色。每个8位RGB分量可具有256个可能值,范围从0到255(即,在基础2二进制***中,8位字节可包含在0到255范围内的256个数字值中的一者)。这个通道数据(R、G和B)可被分配可用于设置像素颜色的0到255的值。例如,三个值如(250,165,0)(意味着(红色=250,绿色=165,蓝色=0))可表示一个橙色像素。作为另一示例,(红色=255,绿色=255,蓝色=0)意味着各自完全饱和(255是8位可为的明亮)的红色和绿色,没有蓝色(零),其中所得颜色为黄色。作为又一示例,颜色黑色具有RGB值(红色=0,绿色=0,蓝色=0)并且白色具有RGB值(红色=255,绿色=255,蓝色=255)。灰色的性质为具有相等或类似RGB值,例如(红色=220,绿色=220,蓝色=220)是浅灰色(近似白色),并且(红色=40,绿色=40,蓝色=40)深灰色(近似黑色)。
以此方式,三个RGB值的复合为给定像素产生最终颜色。关于24位RGB颜色图像,使用3个字节来定义颜色,可能存在256个红色阴影和256个绿色阴影及256个蓝色阴影。这为24位RGB颜色图像提供256×256×256,即16.7百万个可能的组合或颜色。因此,像素的RGB数据值指示红色、绿色和蓝色像素中的每一者组成的颜色或光的程度。三种颜色和其强度水平在该图像像素处组合,即在显示屏上的该像素位置处,以在该位置处用该颜色照亮显示屏。然而,应理解,具有更少或更多位的其他位大小,例如10位,可用于产生更少或更多的总体颜色和范围。此外,应当理解,像素数据可包含附加或另选的颜色格式和通道数据。例如,像素数据可包括以色调饱和度值(HSV)格式或色调饱和度亮度(HSL)格式表示的颜色数据。
作为整体,以网格模式定位在一起的各种像素(例如,包括像素数据202bp)形成数字图像或其部分。单个数字图像可包括数千或数百万个像素或通道。图像可以多种格式(诸如JPEG、TIFF、PNG和GIF)捕获、生成、存储和/或传输,。这些格式使用像素来存储或表示图像。
参考图2,数字图像202a、202b和202c中的每一者示出了个体(例如,婴幼儿),其描绘个体(例如,婴幼儿)的至少中段部分(例如,分别为中段部分202am、202bm和202cm)。图像中的每一个图像可包括多个像素。像素数据及其特征可限定个体(例如,婴幼儿)的关节(例如,髋部、膝部、肩部、肘部、颈部等),其可用于确定个体(例如,婴幼儿)的姿势。例如,像素可限定从数字图像中的一个或多个像素确定或以其他方式基于数字图像中的一个或多个像素的特征。例如,相对于图像202a,像素202bp1和202bp2可各自包括分别描绘或以其他方式指示肘关节和髋关节的像素集合或像素组或者作为该像素集合或像素组的一部分,其中每个像素包括指示图像的给定特征的较暗像素颜色(例如,具有相对较低L*值的像素和/或具有较低RGB值的像素)。例如,像素组可表示图像的特征。也就是说,在具体示例中,个体的身体的边缘可由指示相邻像素属于两个不同表面的RGB值的突然变化确定。表面边缘的集合可用于确定身体轮廓,并且这些边缘相对于身体的其他部分的位置可以用于确定哪个身体部分已被定位(例如,手指应附接到手,该手应附接到手臂等)。
除了像素202bp1和202bp2之外,数字图像202a(或其他此类数字图像)的像素数据包括各种其他像素,包括个体(例如,婴幼儿)的剩余部分,并且可限定个体(例如,婴幼儿)的位置、姿势等,其可如本文所述来分析,例如用于贴合性分析和/或用于AI模型的训练,和/或通过已经训练的模型进行的分析。例如,数字图像202a、202b和/或202c的像素数据可用于位姿操纵、检测或其他方面,如本文所述。
在一些方面,数字图像,诸如训练图像、由用户提交的图像、或其他数字图像(例如,图像202a、202b和/或202c中的任一者)可以是或者可包括裁剪或以其他方式被遮挡的图像。通常,裁剪或遮挡的图像是从原始捕获的图像中移除、删除、隐藏或模糊或以其他方式改变了一个或多个像素的图像。例如,参考图2,图像202c表示原始图像,不同之处在于至少遮挡的部分202co已被模糊或隐藏以移除、隐藏或遮挡个体(例如,婴幼儿)的部分(例如,个体(例如,婴幼儿)的面部),使得图像202c可能不包括个人可识别信息(PII)。附加地或另选地,个体(例如,婴幼儿)的中段部分202cm(以及相应部分202am和202bm)可被覆盖(例如,被尿布覆盖),或者在一些方面,如由(例如,服务器102和/或用户计算设备111c1的)一个或多个处理器接收的图像可至少相对于某些区域(诸如生殖区域)被模糊或以其他方式遮挡。在各个方面,分析和/或使用裁剪或遮挡的图像以进行训练可提高下面的计算机***的效率和性能,因为这样的***处理、存储和/或传输较小大小的数字图像。此外,此类特征提供了安全性改进,即,其中PII的移除提供了优于现有***的改进,因为裁剪或编辑的图像,尤其是可通过网络(例如,互联网)传输的图像在不包括个体的PII信息的情况下更安全。重要的是,本文描述的***和方法可在不需要此类非基本信息的情况下操作,这提供了优于常规***的改进,例如,安全性和性能改进。此外,虽然图2可描绘和描述裁剪或遮挡的图像,但是应当理解,也可以使用或替代其他图像类型,包括但不限于原始的、非裁剪的和/或非遮挡的图像(例如,原始图像202a和/或202b)。
在各个方面,数字图像(例如,图像202a、202b和202c)(无论是否用于图像分析)、训练图像、AI相关图像等可包括描绘婴幼儿(例如,个体)的不同角度、视点、视角或部分的多个角度或视角,其描绘个体(例如,婴幼儿)的至少中段部分。多个角度或视角可包括个体(例如,婴幼儿)和相关尿布的不同的视图、位置、接近度,个体(例如,婴幼儿)的部分,尿布部分,和/或背景,照明条件,或其中个体(例如,婴幼儿)和/或个体(例如,婴幼儿)的中段部分定位在给定图像内的其他环境。
图3示出了根据本文公开的各个方面的用于确定婴幼儿(例如,个体)的相应中段尺寸的示例性三维(3D)图像建模方法300。参考图3,在框302处,3D图像建模方法300包括由一个或多个处理器获得个体(例如,婴幼儿)的一个或多个数字图像(例如,数字图像202a、202b和/或202c)。一个或多个处理器可包括本地处理器(“边缘”处理器)(例如,在用户计算设备111c1上操作的处理器)和/或服务器(云)处理器(例如,在成像服务器102上操作的处理器)。在一些方面,一个或多个处理器可以是由PAMPERS品牌提供的LUMI设备的处理器,其中LUMI设备包括用于捕获数字图像(例如,数字图像202a、202b和/或202c)的相机。在一些方面,LUMI设备可以定位在个体(例如,婴幼儿)处或附近(例如,婴儿床附近),用于获得描绘个体(例如,婴幼儿)的至少中段部分的数字图像,如本文所述。可以在本地处理器和/或服务器处理器上例如由贴合性探测器应用程序108和/或其包括用于服务器-客户端通信的不同指令集的部分对2D、3D和/或像素数据进行分析,通过计算机网络120进行传送。应当理解,在一些方面,分析(例如,如本文所述的粗糙3D模型的分析或生成)可在不需要数字数据传输到服务器的情况下执行、创建或以其他方式生成,其中这样的生成完全在用户计算设备(例如,用户计算设备111c1)的本地处理器上发生。
一个或多个数字图像中的每个数字图像描绘个体(例如,婴幼儿)的至少中段部分。例如,此类数字图像可包括如图2所示和所述的那些数字图像,包括图像202a、202b和/或202c。如与方法300一起使用且更一般地如本文所述的数字图像可包括如由数字相机或其他成像设备(例如,成像设备,诸如用户计算设备111c1的相机)捕获的基于2D、3D和/或像素的图像。在一些方面,数字图像可包括或指代多个图像,诸如如使用用户计算设备111c1的数字摄像机收集的多个图像(例如,帧)。帧构成限定运动的连续图像,并且可构成电影、视频等。
附加地或另选地,至少在一些方面,可通过分析2D图像和缩放对象或参考对象(例如,8.5×11张纸)来生成数字图像(例如,图像202a、202b和/或202c中的任一者或多者)。在此类方面,可以从各个角度分析缩放对象,以正确地缩放数字图像以用于贴合性分析,例如,确定个体(例如,婴幼儿)的中段尺寸,如本文所述。然而,应当理解,此类缩放对象或标记对于本文描述的本发明不是必需的。
参考图3,在框304处,3D图像建模方法300包括由在一个或多个处理器(例如,用户计算设备111c1和/或服务器102的处理器)上执行的贴合性探测器应用程序(app)(例如,贴合性探测器应用程序108)基于一个或多个数字图像(例如,数字图像202a、202b和/或202c)来确定粗糙3D模型(例如,如针对图4所示和所述的粗糙模型400)。
图4示出了根据本文公开的各个方面的示例性粗糙3D模型400。粗糙3D模型400可基于数字图像信息,诸如基于LiDAR和/或ToF的数字图像的ToF和/或LiDAR数据。例如,如针对图4所示,粗糙3D模型400描绘了如从数字图像(例如,202a、202b和/或202c)构造、生成或以其他方式确定的个体(例如,婴幼儿)的3D表面的一部分。如图所示,如从数字图像(例如,202a、202b和/或202c)构造的粗糙模型400包括缺失的数据、表面和其他信息丢失,例如包括锯齿状边缘402j,不存在粗糙模型400的网格表面的背表面404a,以及顶点(例如,顶点406v1和顶点406v2)的随机分布,从而导致不完整或不完美的模型。在图4的方面,附加图像缺陷或丢失数据包括成像伪影,诸如在个体(例如,婴幼儿)的右臂下的孔408h和颈部410n周围的混乱网格。然而,应当注意,粗糙3D模型400包括个体(例如,婴幼儿)的至少粗糙中段部分(例如,粗糙中段部分202mr),例如对应于中段部分202am、202bm和/或202cm。如针对图2所述。通常,粗糙3D模型可包括更高、更低或相同质量(例如,更多、更少或相同的顶点),如针对图4所示。
参考图3,在框306处,3D图像建模方法300包括由贴合性探测器应用程序(例如,贴合性探测器应用程序108)将预定义的个体(例如,婴幼儿)的参数3D模型(例如,如针对图6所示和所述的参数模型600)映射到虚拟3D空间中的粗糙3D模型(例如,粗糙3D模型400)以生成贴合的3D模型(例如,如针对图7和图8所示和所述的贴合的3D模型700和800)。贴合的3D模型指示普通空间中(例如,真实世界物理空间中)个体(例如,婴幼儿)的至少中段部分的物理大小,并且可用于确定在普通空间中可贴合个体(例如,婴幼儿)的产品(例如,吸收制品,诸如尿布)的大小。
图6示出了根据本文公开的各个方面的预定义的个体(例如,婴幼儿)的示例性参数3D模型600。参数3D模型600可以是预定义的,因为它是针对个体(例如,婴幼儿)的特定年龄组、类别和/或大小或尺寸而创建的。在一些方面,参数3D模型600可选自参数模型的阵列,其中基于参数3D模型600与粗糙3D模型(例如,粗糙3D模型400)相比的相似性(例如,大小、形状、尺寸等)来确定和选择参数3D模型600。更进一步,参数3D模型600可被重新定位、移动和/或重摆位姿以与粗糙3D模型对准并且/或者便于测量提取和/或匹配。参数3D模型600可具有与在数字图像202a、202b、202c和/或粗糙3D模型400中出现的个体(例如,婴幼儿)相似的年龄、类别、大小和/或尺寸。在各个方面,粗糙3D模型(例如,粗糙3D模型400)包括虚拟3D空间中个体(例如,婴幼儿)的至少中段部分(例如,粗糙中段部分202mr)的粗糙表面。参数3D模型(例如,参数3D模型600)同样可包括虚拟3D空间中预定义的个体(例如,婴幼儿)的至少中段部分(例如,预定义中段部分202mp)的精细表面。参数3D模型600通常具有较高质量(例如,与粗糙3D模型400相比,附加的顶点、更明确限定的表面和/或更少的数据或更少的表面损失)。
例如,参数3D模型(例如,参数3D模型600)被设计成具有相对于缩放、摆位姿以及表面尺寸和数据明确限定的几何形状(例如,顶点放置在明确限定的、形成良好的和/或间隔合适的位置中)。而诸如粗糙3D模型400之类的扫描或雕刻模型具有较低质量和/或较不明确限定的成像方面。将参数3D模型(例如,示例性参数3D模型600)映射到粗糙3D模型(例如,粗糙3D模型400)允许基于示例性参数3D模型600的明确限定的成像方面来恢复、替换或以其他方式模仿粗糙3D模型400的错误和丢失数据。在一个示例中,参数3D模型可经由将每个模型的顶点映射在一起来映射在粗糙3D模型上。例如,在一些方面,粗糙3D模型400的粗糙表面可包括粗糙顶点(例如,顶点406v1和406v2),并且参数3D模型600的精细表面可包括精细顶点(例如,顶点606v1和606v2)。映射两个模型(例如,粗糙3D模型400和示例性参数3D模型600)可包括通过将顶点(诸如顶点的子集)中的一个或多个顶点(例如,分别为顶点406v1和406v2以及顶点606v1和606v2)配对或定位来将模型的表面映射在一起,其中此类顶点包括如在两个模型中识别的顶点(例如,分别对于顶点406v1和606v1位于个体(例如,婴幼儿)的胸部的模型上,以及对于顶点406v2和606v2位于腰部的模型上)。附加地或另选地,可以使用其他顶点,例诸如个体(例如,婴幼儿)的中段部分上的顶点。附加地或另选地,映射两个模型(例如,粗糙3D模型400和示例性参数3D模型600)可包括通过将两个模型的表面在3D空间中匹配在一起来将模型的表面映射在一起。
应当理解,也可使用其他映射方法(不依赖于顶点)。例如,通常,可以基于两个模型(例如,粗糙3D模型400和参数3D模型600)的形状的一致性来映射模型。在一个示例中,参数3D模型600参数模型可包括参数化实体(例如,数学定义的表面,没有顶点),而粗糙3D模型400可包括点云(没有顶点),其中此类模型可被映射在一起,例如,其中粗糙3D模型400的点云的点可被映射到参数3D模型600的参数化实体的表面。本文也考虑了其他映射,包括基于体素的映射和/或3D数学函数映射(例如,基于限定球形形状或表面的球形公式)。
应当理解,无论是否可由顶点、点云、体素、公式等限定,各种类型的模型都可被映射在一起以用于创建或生成如本文所述的贴合的模型。例如,贴合的3D模型(例如,贴合的3D模型700和/或贴合的3D模型800,如针对图7和8所示和所述)可通过将参数3D模型600(例如,参数3D模型600)的精细表面映射到粗糙3D模型(例如,粗糙3D模型400)的粗糙表面来生成。
在一些方面,3D图像建模方法300还可包括由贴合性探测器应用程序基于一个或多个数字图像(例如,数字图像202a、202b和/或202c)或粗糙3D模型(例如,粗糙3D模型400)确定个体(例如,婴幼儿)的位姿。在各个方面,将粗糙3D模型(例如,粗糙3D模型400)映射到参数3D模型(例如,示例性参数3D模型600)还包括将参数3D模型输出或操纵成与个体(例如,婴幼儿)的位姿相同的位姿,例如如相对于图5所示和所述。
图5示出了根据本文公开的各个方面的包括图2的个体(例如,婴幼儿)的位姿信息(例如,数字图像202b)的示例性数字图像500。位姿信息可包括限定个体(例如,婴幼儿)的身体的位置的坐标数据。这样的坐标数据可包括关节位置数据,其指示关于例如髋关节,肘关节等的数字图像或模型的位置。通常,基于关节的位置提供人体定位的参考点以用于数字成像和映射。在其他方面,坐标数据还可以限定个体(例如,婴幼儿)的身体的轮廓。
通常,坐标数据用于位姿匹配,其中如由捕获的数字图像(例如,图像202a、202b和/或202c)确定的个体(例如,婴幼儿)的位姿可用于映射或排列到粗糙3D模型和/或示例性参数3D模型的表面。像素数据可用于确定坐标数据,其中跨模型的已知坐标的像素可被对准以将一个模型的位姿映射到另一个模型。附加地或另选地,可以从3D模型(例如,粗糙3D模型400和/或示例性参数3D模型600)的点(例如,顶点、体素等)确定坐标数据。例如,像素202bp1和502bp1可用于映射或以其他方式对准粗糙3D模型400和参数3D模型600的位姿。在一些方面,可以使用OPENPOSE软件来确定或检测数字图像和/或模型内的坐标信息。附加地或另选地,也可以使用其他位姿软件和/或位姿模型,诸如POSENET、HRNET、WRNCHAI、BODYNET、NEURAL BODY FIT、CSANET、ALPHAPOSE等,或如POSENET、HRNET、WRNCHAI、BODYNET、NEURAL BODY FIT、CSANET、ALPHAPOSE等所提供的。例如,在一些方面,位姿模型(例如,OPENPOSE模型)可被执行或运行2D图像(例如,图像202a、202b和/或202c)。附加地或另选地,可以对粗糙3d模型运行或执行不同的位姿模型(例如,粗糙3D模型400)。这些模型中的每个摩擦都估计关节的位置和/或角度。在使用2D位姿模型的方面,2D位姿模型提供2D角度。在此类方面,可以组合多个2D位姿模型的输出以重建3D关节角度。在使用3D位姿模型的方面,3D位姿模型可能已经包括3D关节角度。在此类方面,参数模型可以是装配的或预定义的,这意味着每个顶点或其表面的部分与虚拟骨架相关联。此类虚拟骨架进一步与本身相关联,使得其在3D空间中保持连接在一起。3D模型可以在3D空间中操纵,例如,指示以使得肩关节向上旋转,其中臂骨和手骨必须跟随,并且与它们一起的是与这些骨相关联的3d表面的任何部分。3D参数体可包括限定的位姿,例如,其可以被定义为其创建的一部分。一旦确定了2D图像和/或粗糙3d模型中的关节的一个或多个3D角度,就可以在参数模型中设置或建立对应的关节角度。然后,参数模型可在3D空间中变形或操纵成与粗糙模型相同的位姿。一旦参数模型正确地摆位姿,其表面就可以进一步变形或操纵(例如,缩放,例如使臂更长或更短,或者使腿部更厚或更薄等),使得参数模型的表面与粗糙模型的表面重合。一旦映射了两个模型,则可以在虚拟空间中数字地操纵个体(例如,婴幼儿)的位姿以使个体(例如,婴幼儿)重摆位姿,如本文针对图7和图8所述。
在一些方面,人工智能模型可以被训练并用于确定个体(例如,婴幼儿)在数字图像中的位姿。在各个方面,例如,将粗糙3D模型(例如,粗糙3D模型400)映射到参数3D模型(例如,示例性参数3D模型600)还包括将一个或多个数字图像(例如,202a、202b和/或202c)输入到可由所述贴合性探测器应用程序(例如,贴合性探测器应用程序108)电子访问的位姿映射学习模型中。在一些方面,位姿映射模型可在个体(例如,婴幼儿和/或非婴幼儿)的数据集(例如,图像)上训练。
在各个方面,位姿映射学***台(例如,成像服务器102)的一个或多个处理器可经由计算机网络(例如,计算机网络120)接收多个个体的多个训练图像。在此类方面,服务器和/或基于云的计算平台可用多个训练图像的LiDAR数据、ToF数据和/或像素数据(和/或由其确定的坐标数据)训练位姿映射学习模型。
在各个方面,可使用监督或无监督的机器学习程序或算法来训练如本文所述的机器学习成像模型(例如,位姿映射学习模型)。机器学习程序或算法可采用神经网络,该神经网络可以是卷积神经网络、深度学习神经网络、或组合学习模块或程序,其学习在特定感兴趣区域中的两个或更多个特征或特征数据集(例如,像素数据)。机器学习程序或算法还可包括自动推理、回归分析、支持向量机(SVM)分析、决策树分析、随机森林分析、K最近邻分析、朴素初贝叶斯分析、聚类、增强学习和/或其他机器学习算法和/或技术。在一些方面,基于人工智能和/或机器学习的算法可被包括为在成像服务器102上执行的库或分组。例如,库可包括基于TENSORFLOW的库、PYTORCH库和/或SCIKIT-LEARN Python库。
机器学习可以涉及标识和识别现有数据中的模式,诸如标识数字图像(例如,数字图像202a、202b和/或202c)或相关模型(例如,粗糙3D模型400)的坐标数据(例如,关节位置数据),以便促进对后续数据进行预测或标识(诸如使用新的数字图像上的位姿映射学习模型,以便输出具有与训练图像中所描绘相同或类似的位姿的新配置的参数模型,该参数模型然后可用于映射到粗糙模型并且促进基于位姿的映射)。
可基于示例性数据(例如,“训练数据”和相关像素数据、LiDAR数据和/或ToF数据)作为输入或数据(其可被称为“特征”和“标签”)来创建和训练机器学***或生产水平数据或输入)进行有效且可靠的预测。在监督机器学习中,在服务器、计算设备或另外的处理器上操作的机器学习程序可被设置有示例性输入(例如,“特征”)及其相关联的或观察到的输出(例如,“标签”),以便例如通过跨各种特征类别确定权重或其他度量和/或将权重或其他度量分配给模型来使机器学习程序或算法确定或发现将此类输入(例如,“特征”)映射到输出(例如,“标签”)的规则、关系、模式或另外的机器学习“模型”。然后,此类规则、关系或其他模型可被提供后续输入以便使在服务器、计算设备或如本文所述的其他处理器上执行的模型基于所发现的规则、关系或模型来预测预期输出、分数或值。
在无监督机器学***或生产水平数据或输入时提供足够预测准确度的模型。
监督学习和/或无监督机器学习还可包括重新训练模型、重新学习模型、或通过新的或不同的信息以其他方式更新模型,该信息可包括随时间推移接收、摄入、生成或以其他方式使用的信息。本文的公开内容可使用此类监督或无监督机器学习技术中的一者或两者。
各种类型的训练图像和/或训练技术可用于训练,并且以其他方式确定或输出和/或执行AI模型,诸如本文所述的位姿映射学习模型。在各个方面,图像分析可包括在描绘个体(例如,婴幼儿)的至少中段部分的图像的LiDAR数据、ToF数据和/或像素数据上训练基于机器学习的模型(例如,位姿映射学习模型)。在一些方面,可以使用多个AI模型,其可包括模型的集合,其中来自一个模型的输出被用作到另一个模型的输入,或者其中各种模型的输出被结合在一起以执行或预测一个值或值集。例如,图像分析可包括使用如先前训练的机器学习成像模型来基于像素数据(例如,包括其L*、a*和b*值和/或一个或多个数字图像(包括202a、202b和/或202c)的RGB值)确定或输出如从训练图像确定的位姿相关数据。然后可以使用确定性模型或算法来基于位姿相关数据确定或配置具有相同或相似位姿的参数模型。可以通过分析给定图像的各个像素的各种LiDAR数据、ToF数据和/或LAB和/或RGB值来训练模型的权重。例如,相对于图像202a,像素202bp1和202bp2可分别描绘或以其他方式指示肘关节和髋关节,其中每个像素或像素组或集合包括较暗像素颜色和/或边缘(例如,具有相对低L*值的像素和/或具有较低RGB值的像素,以及在标识关节的某些模式或布置中的此类像素的组等)。以这种方式,10,000s训练图像的LiDAR数据、ToF数据和/或像素数据(例如,详细描述个体(例如,婴幼儿)的至少中段部分)可用于训练或使用机器学习成像模型来确定或生成具有与训练图像中所描绘的相同或相似的位姿的新配置的参数模型。
在各个方面,描绘个体(例如,婴幼儿)的至少中段部分的多个训练图像(例如,202a、202b和/或202c)包括由不同个体捕获和提交的数字图像。如所捕获的图像可以是由操作计算设备111c1-111c3和/或112c1-112c3的用户捕获的未处理和/或未修剪的图像(例如,“野生图像”),并且可包括移动设备,诸如移动电话,和/或其他成像设备,诸如LUMI设备和其相关相机。此类“野生”图像可包括在多个角度或视角下捕获的多个图像中的一个或多个图像,其描绘个体(例如,婴幼儿)的至少中段部分。附加地或另选地,如所提交的图像可以是裁剪的或未裁剪的。例如,在一些方面,多个训练图像中的一个或多个训练图像可包括至少一个裁剪的图像,其描绘个体(例如,婴幼儿)的至少中段部分。附加地或另选地,训练图像可包括如由数字相机捕获的图像(例如,无论是否包括作为移动设备的一部分或作为独立的数字相机)。在其他另外的方面,附加地或另选地,训练图像可以包括模拟图像和/或人工图像,例如包括完全或部分计算机生成的人工渲染场景的数字图像。
图7示出了根据本文公开的各个方面的示例性贴合的3D模型700。贴合的3D模型700描绘了参数3D模型600,该参数3D模型被映射到粗糙3D模型400,从而形成更完全形成或完成的模型,该模型包括如从数字图像(例如202a、202b和/或202c)捕获的用于生成粗糙3D模型400的数据和来自参数3D模型600的数据,其中来自参数3D模型600的数据用于填充粗糙3D模型400的间隙或完全缺失或丢失的数据以生成贴合的3D模型700。
在各个方面,贴合的3D模型700可表示基于参数网格的模型(例如,参数3D模型600)与重构网格模型(例如,粗糙3D模型400)之间的最佳贴合性(例如,最匹配的顶点、体素和/或表面)。例如,映射的顶点706v1可表示个体(例如,婴幼儿)的胸部的模型的贴合的3D模型700内的映射点或坐标,其中粗糙3D模型400的顶点406v1和参数3D模型600的顶点606v1已被映射或贴合在一起。同样,映射的顶点706v2可表示个体(例如,婴幼儿)的腰部的模型的贴合的3D模型700内的映射点或坐标,其中粗糙3D模型400的顶点406v2和参数3D模型600的顶点606v2已被映射或贴合在一起。然而,应当理解,除了基于顶点的映射之外或作为其替代,可以使用其他映射技术(诸如映射表面,体素,或使用限定表面的数学公式的映射)以便将参数3D模型600映射到粗糙3D模型400以用于生成贴合的3D模型700。例如,附加地或另选地,两个模型的映射可包括通过使两个模型的表面在3D空间中匹配在一起来将模型的表面映射在一起。
在各个方面,贴合的3D模型700可表示为了匹配由用户捕获的数字图像中的个体(例如,婴幼儿)的原始位姿的目的而定位的摆位姿模型。例如,贴合的3D模型800可表示图像202a、202b和/或202c中的任何一者或多者的相同或原始位姿。
此外,贴合的3D模型700可表示如3D或虚拟空间中所描绘的个体(例如,婴幼儿)的未摆位姿型式。
图8示出了根据本文公开的各个方面的表示图7的贴合的3D模型700的重摆位姿型式的另外的示例性贴合的3D模型800。在重摆位姿时,贴合的3D模型800维持贴合的3D模型700的映射,并且如本文所述例如相对于图3至图7维持映射。图7和图8中的每一者表示可在3D或虚拟空间中操纵、测量或以其他方式分析贴合的高质量模型(例如,具有均匀且遵循围绕个体(例如,婴幼儿)身体的流线型圆周的网格线)。
在一些方面,贴合的3D模型800表示重摆位姿成中立站立位姿的贴合的参数网格。贴合的3D模型800可用于进行测量,诸如确定个体(例如,婴幼儿)的中段尺寸,但是应当理解,也可以使用贴合的3D模型,例如,贴合的3D模型700。
参考图3,在框308处,3D图像建模方法300包括由贴合性探测器应用程序基于贴合的3D模型来确定个体(例如,婴幼儿)的中段尺寸。例如,可以在3D或虚拟空间中测量贴合的3D模型700和/或贴合的3D模型800中的任一者以确定中段尺寸。在各个方面,个体(例如,婴幼儿)的中段尺寸可包括以下中的一项或多项:腰部尺寸、腿部尺寸或直裆尺寸。附加地或另选地,腰部尺寸和腿部尺寸可被测量为周长(闭环),而直裆是开放式的(没有周长)。
图9示出了根据本文公开的各个方面的在用户计算设备(例如,用户计算设备111c1)的显示屏900上呈现的示例性用户界面。例如,如图9的示例所示,用户界面902可经由应用程序(在用户计算设备111c1上执行的应用程序)来实现或呈现。例如,如图9的示例所示,用户界面902可经由在用户计算设备111c1上执行的本机应用程序来实现或呈现。在图9的示例中,用户计算设备111c1是如针对图1所述的用户计算机设备,例如,其中111c1被示出为实现APPLE iOS操作***并具有显示屏900的APPLE iPhone。用户计算设备111c1可在其操作***上执行一个或多个本机应用程序(app),包括例如本文所述的成像应用程序(例如,贴合性探测器应用程序108)。此类本机应用程序可以以由用户计算设备操作***(例如,APPLE iOS)通过用户计算设备111c1的处理器执行的计算语言(例如,SWIFT)来实现或编码(例如,作为计算指令)。在各个方面,在诸如用户计算设备111c1之类的移动设备上执行的成像应用程序(例如,贴合性探测器应用程序108)可被称为“贴合性”应用程序或“顾问”应用程序,其被设计成基于对贴合的3D模型的分析来相对于个体(例如,婴幼儿)的中段尺寸对用户进行建议,诸如本文相对于图1至图8所述。
附加地或另选地,用户界面902可经由web接口来实现或呈现,诸如经由web浏览器应用程序,例如Safari和/或Google Chrome应用程序,或其他此类web浏览器等。
在各个方面,用于个体(例如,婴幼儿)的个体(例如,婴幼儿)特定推荐可被生成并呈现在显示屏(例如,显示屏900)上。个体(例如,婴幼儿)特定推荐可包括文本推荐、基于成像的推荐、和/或包括虚拟呈现施加到贴合的3D模型的至少一部分的产品的推荐。例如,推荐可以是在婴儿身上移动尿布,如图像中所描绘的,以提供更好的贴合性。此外,推荐可基于附加数据,例如,个体(例如,婴幼儿)特定推荐可基于所进行的最后一次购买(例如,尿布的最后尺码),同胞数据(例如,个体(例如,婴幼儿)的同胞的数据),地理位置(例如,婴儿居住的已知位置),个体(例如,婴幼儿)的体重,个体(例如,婴幼儿)的人口统计资料等,它们可涉及存储在用户简档中或针对用户简档存储的数据。更进一步,在一些方面,可以生成增强现实(AR)推荐。在此类方面,新产品或产品配置可被实时地呈现,就好像其被施加到个体(例如,婴幼儿)一样。例如,用户可用相机(例如,用户计算设备111c1的相机)对婴幼儿进行成像。在捕获一个或多个图像帧之后,可以如本文所述构造婴幼儿的粗糙模型(例如,参数模型可被贴合到粗糙模型)。可以基于贴合的模型来生成对应的尿布推荐。推荐的尿布可被贴合到参数模型,并且参数模型可重摆位姿(用尿布)以匹配婴幼儿的当前实时视图位姿(如由相机成像的)。在一些方面,然后可以将贴合的尿布成像或投射到婴幼儿的实时图像上作为AR反馈。
如图9的示例中所示,具有图形注释(例如,标识髋部区域的像素数据202bp)、文本注释(例如,文本202bt)、中段部分202bm、中段尺寸910和/或个体(例如,婴幼儿)特定推荐912的基于图像的表示(例如,图像202b)可经由计算机网络(例如,从成像服务器102和/或一个或多个处理器)传输到用户计算设备111c1,以在显示屏900上呈现。在其他方面,到用户的特定图像的成像服务器的传输不发生,其中图形注释(例如,标识髋部区域的像素数据202bp)、文本注释(例如,文本202bt)、中段部分202bm、和中段尺寸910和/或个体(例如,婴幼儿)特定推荐912(和/或产品特定推荐)可替代地例如由在用户的移动设备(例如,用户计算设备111c1)上执行和/或实现的贴合性探测器应用程序108在“边缘”设备上本地生成,并且由移动设备的处理器呈现在移动设备(例如,用户计算设备111c1)的显示屏900上。在其他另外的方面,可以本地处理图像,并且然后可以将基于图像分析的数据(并且其中这样的数据可以包括少于完整图像的数据,例如,关节数据)传输到服务器(例如,服务器102)以用于处理。此类方面包括以下优点:在允许数据库(例如,数据库105)填充有可用于改进产品设计、推荐准确度等的数据的同时,将PII本地维持在用户的电话上。
如图9的示例中所示,用户界面902包括个体(例如,婴幼儿)的中段部分202bm的图形图像或表示(例如,图像202b)。图像202b可包括如本文所述的特征的像素数据(例如,像素数据202bp)。在图9的示例中,个体(例如,婴幼儿)的图像(例如,图像202b)的描绘或图形表示与对应于数字图像内可识别的各种特征的一个或多个图形(例如,中段部分202bm)和/或文本呈现(例如,文本202bt)一起示出。例如,中段部分202bm的区域可以被注释或覆盖在个体(例如,婴幼儿)的图像的顶部上,以突出显示像素数据(例如,特征数据和/或原始像素数据)内识别的区域或特征,诸如包括个体(例如,婴幼儿)的髋部区域的像素202bp2。在各个方面,被识别为特定特征的像素(例如,像素202bp)可以在呈现在显示屏900上时突出显示或以其他方式注释。
文本呈现(例如,文本202bt)指示个体(例如,婴幼儿)相对于个体(例如,婴幼儿)的中段尺寸具有尺码2型腰部,如基于贴合的3D模型(例如,贴合的3D模型700和/或贴合的3D模型800)确定的。“尺码2”预测或尺寸指示个体(例如,婴幼儿)的中段尺寸对应于尺码2尿布或其他吸收制品大小。应当理解,本文涵盖其他文本呈现类型或值,其中可以例如呈现文本渲染类型或值以指示如本文所述的腰部尺寸、腿部或大腿尺寸、直裆尺寸和/或其他值。
如针对图9所示,用户界面902还可包括或呈现中段尺寸910。在图9的方面,中段尺寸910包括消息910m,其被设计成如基于贴合的模型(例如,贴合的3D模型700和/或贴合的3D模型800)的分析和测量来指示对应于在个体(例如,婴幼儿)的图像(例如,图像202b)中检测到的特征的中段尺寸值。如图9的示例所示,消息910m指示图像202b中描绘的个体(例如,婴幼儿)的腰部为10英寸-24英寸(25cm-60cm),图像202b中描绘的个体(例如,婴幼儿)的腿部或大腿为4.5英寸-14英寸(11.5cm-35cm),并且图像202b中描绘的个体(例如,婴幼儿)的直裆是12英寸-16英寸(30cm-40cm)。
如针对图9进一步所示,基于在数字图像(例如,图像202b)内可识别的特征和/或从贴合的3D模型(例如,贴合的3D模型700和/或贴合的3D模型800)确定的个体(例如,婴幼儿)特定推荐912可呈现在显示屏900上。此类个体(例如,婴幼儿)特定推荐可包括特定于个体(例如,婴幼儿),并且更具体地,特定于个体(例如,婴幼儿)的中段的推荐或评估。附加地或另选地,如在显示屏900上呈现的这样的个体(例如,婴幼儿)特定推荐还可包括用于处理或解决在包括个体(例如,婴幼儿)的中段部分202bm的数字图像的像素数据中可识别的任何问题或可能问题的指令。如针对个体(例如,婴幼儿)特定推荐912所示,消息912m包括对应于与图像202b相关的个体的示例性个体(例如,婴幼儿)特定推荐。消息912m包括对用户的特定推荐,尺码2尿布是图像202b中个体(例如,婴幼儿)的推荐大小(例如,“基于对所提供的图像的分析,为婴儿推荐尺码2尿布”),并且进一步推荐在个体(例如,婴幼儿)上向上移动尺码2尿布(例如,“向上移动尺码2尿布可为婴儿提供最佳贴合性”)。在图9的示例中,个体(例如,婴幼儿)特定推荐可以基于在3D或虚拟空间中标识的尺寸,贴合的3D模型700和/或贴合的3D模型800的测量结果。
在一些方面,贴合性探测器应用程序108可被配置为通过增强现实(AR)设备的视场或显示屏幕来呈现基于数字图像(例如,数字图像202b)和/或贴合的3D模型(例如,贴合的3D模型700和/或贴合的3D模型800)的个体(例如,婴幼儿)特定推荐的虚拟表示。在一些方面,显示屏可以是能够呈现AR和/或VR图像的计算设备(例如,计算设备111c1)的显示屏(例如,显示屏900),诸如实现和AR和/或VR应用程序,诸如GOOGLE CARDBOARD应用程序等的IPHONE或GOOGLE ANDROID设备。应当理解,AR图像和/或AR相关数据或信息可在没有任何沉浸(例如,没有VR沉浸)的情况下呈现在显示屏(例如,显示屏900)上,其中在此类方面,AR图像、数据和/或信息可以叠加或覆盖在具有如由用户计算设备(例如,用户计算设备111c1)的相机捕获的一个或多个帧的显示屏上。附加地或另选地,AR图像可显示在其他屏幕和/或显示设备(例如,电视(TV)显示器、平板显示器、VR/AR设备显示器等)上。在此类方面,个体(例如,婴幼儿)特定推荐的虚拟表示可叠加在个体(例如,婴幼儿)的一个或多个图像上。例如,AR和/或VR图像可指示尿布的大小,或者可以示出叠加在图像内的个体(例如,婴幼儿)上的正确尺码的尿布。附加地或另选地,个体(例如,婴幼儿)特定推荐的虚拟表示还可包括、提供或呈现(例如,在显示屏900上)日常护理实践建议,诸如如何相对于袖口、腰部、胯部、扣紧件等应用尿布位置和尿布的紧密度。
在各个方面,个体(例如,婴幼儿)特定推荐可包括对所制造的产品的产品推荐。例如,产品推荐可包括对于个体(例如,婴幼儿)的吸收制品(例如,尿布)大小或类型推荐。附加地或另选地,产品推荐可包括通过将个体(例如,婴幼儿)的中段尺寸(例如,中段尺寸202bm,包括腰部,腿部或直裆中的任一者)与产品类型的产品范围进行比较而确定的产品大小(例如,小、中、大和/或尺码数0、1、2、3等)。此类分析可包括将个体(例如,婴幼儿)的尺寸与产品的现有集合的尺寸进行比较,以及找到最接近的匹配或贴合。此类分析还可包括例如从贴合的3D模型700和/或贴合的3D模型800确定个体(例如,婴幼儿)的尺寸,以及生成从一个或多个预先存在的产品及其相应形状、尺寸、属性、大小等的排列中选择的产品推荐。
例如,进一步参考图9,个体(例如,婴幼儿)特定推荐还可包括对所制造的产品的产品推荐。此外,个体(例如,婴幼儿)特定推荐可用用于相对于个体(例如,婴幼儿)的中段使用或施加所制造的产品的指令显示在显示屏(例如,显示屏900)上,如数字图像(例如,图像202b)中所描绘的和/或以其他方式从贴合的模型(例如,贴合的3D模型700和/或贴合的3D模型800)确定的。例如,消息912m推荐使用尿布尺码2,其可以是对图像202b的个体(例如,婴幼儿)的最佳贴合。可以基于中段尺寸910来进行尿布尺码推荐。
更一般地,作为非限制性示例,产品推荐可包括用于最佳尿布或尿布尺码的推荐,例如,以防止个体的排出和/或泄漏。此外,产品推荐可帮助用户基于个体的改变的皮肤需求(例如,诸如尿布、沐浴露、乳膏、洗剂、软膏等的产品)和/或活动水平等来标识最佳产品。
在图9的示例中,用户界面902呈现或提供由贴合性探测器应用程序108以及图像202b及其像素数据和/或贴合的模型(例如,贴合的3D模型700和/或贴合的3D模型800)的相关图像分析确定的推荐产品(例如,所制造的产品924r)。在图9的示例中,这在用户界面902上指示和注释(924p)。
用户界面902还可包括可选择的用户界面(UI)按钮924s以允许用户选择购买或运送对应的产品(例如,所制造的产品924r)。在一些方面,选择可选择UI按钮924s可以使推荐的产品运送到用户并且/或者可通知第三方个体对产品感兴趣。例如,用户计算设备111c1和/或成像服务器102可基于中段尺寸910和/或个体(例如,婴幼儿)特定推荐912来开始将所制造的产品924r(例如,尿布尺码2)运送给用户。在此类方面,产品可被包装并运送给用户。
在各个方面,个体(例如,婴幼儿)特定推荐在获得描绘个体(例如,婴幼儿)的至少中段部分的一个或多个数字图像期间或之后实时或接近实时地呈现在显示屏上。例如,相对于图9,在接收到数字图像期间或之后,可以实时或接近实时地呈现(例如,在显示屏幕900上本地呈现)图形表示,图像(例如,图像202b)中的任一者或多者,其具有图形注释(例如,中段部分202bm),文本注释(例如,文本202bt),中段尺寸910,个体(例如,婴幼儿)特定推荐912和/或产品推荐922。在其中由成像服务器102分析图像的方面,可由成像服务器102实时或接近实时地传输和分析图像。
在一些方面,用户可提供新图像,该新图像可被传输到成像服务器102以用于由贴合性探测器应用程序108和/或位姿映射学习模型更新、重新训练或重新分析。在其他方面,新图像可在计算设备111c1上本地接收,并且由贴合性探测器应用程序108在计算设备111c1上分析。例如,如图9的示例中所示,用户可以选择可选按钮912i以用于重新分析(例如,在计算设备111c1处本地或在成像服务器102处远程)新数字图像。可选按钮912i可以使用户界面902提示用户附接或捕获以用于分析新图像。成像服务器102和/或用户计算设备(如用户计算设备111c1)可接收新图像,该新图像包括至少包括个体(例如,婴幼儿)的中段的数字图像的LiDAR数据,ToF数据和/或像素数据。
在各个方面,可以使用新图像或图像集合来生成第二贴合的3D模型。例如,第二贴合的3D模型可基于个体(例如,婴幼儿)的一个或多个数字图像的第二集合来生成。贴合性探测器应用程序(例如,贴合性探测器应用程序108)然后可基于第二贴合的3D模型来确定个体(例如,婴幼儿)的第二中段尺寸。第二中段尺寸在第二时间处确定并且包括与在第一时间处确定的个体(例如,婴幼儿)(例如,图像202a、202b和/或202c的个体(例如,婴幼儿))的中段尺寸的差异。在此类方面,个体(例如,婴幼儿)特定推荐包括基于第二中段尺寸和个体(例如,婴幼儿)的中段尺寸之间的差异来增加或减少产品(例如,尿布)的大小或类型的推荐。此类方面可以包括随时间推移跟踪个体(例如,婴幼儿)生长并允许随时间推移进行推荐(例如,“婴儿已经生长;是时候增大到下一个尺码了”,这可以与消息912m一起显示或代替其显示)。
在附加方面,第一时间与第二时间之间的时间差可以是以下中的至少一项:一天或多天;一周或多周;或者一个或多个月。附加地或另选地,增加或减少产品(例如,尿布或其他吸收制品)的大小或类型的推荐可包括预测的未来时间,在该预测的未来时间增加或减少产品的大小或类型。在此类方面,预测的未来时间可基于对于在第一时间和第二时间拍摄的图像之间的时间确定的生长曲线。这允许贴合性探测器应用程序(例如,贴合性探测器应用程序108)确定个体(例如,婴幼儿)何时可能需要改变尿布尺码(例如,“在15天内,我们建议转到尺码3”,这可以与消息912m一起显示或代替其显示)。
本公开的方面
以下方面作为根据本文公开内容的示例提供,并且不旨在限制公开内容的范围。
1.一种用于确定个体的相应中段尺寸的三维(3D)图像建模方法,该3D图像建模方法包括:由一个或多个处理器获得个体的一个或多个数字图像,该一个或多个数字图像中的每个数字图像描绘个体的至少中段部分;由在一个或多个处理器上执行的贴合性探测器应用程序(app)基于一个或多个数字图像来确定粗糙3D模型;由贴合性探测器应用程序将预定义的个体的参数3D模型映射到虚拟3D空间中的粗糙3D模型以生成贴合的3D模型,贴合的3D模型指示普通空间中个体的至少中段部分的物理大小;以及由贴合性探测器应用程序基于贴合的3D模型来确定个体的中段尺寸。
2.根据方面1所述的3D图像建模方法,其中个体的中段尺寸包括以下中的一项或多项:腰部尺寸、腿部尺寸或直裆尺寸。
3.根据方面1至2中任一项所述的3D图像建模方法,其中粗糙3D模型包括虚拟3D空间中个体的至少中段部分的粗糙表面,其中参数3D模型包括虚拟3D空间中预定义的个体的至少中段部分的精细表面,并且其中生成贴合的3D模型包括将精细表面映射到粗糙表面。
4.根据方面1至3中任一项所述的3D图像建模方法,还包括:由贴合性探测器应用程序基于一个或多个数字图像或粗糙3D模型确定个体的位姿,并且其中将粗糙3D模型映射到参数3D模型还包括将参数3D模型输出或操纵成与个体的位姿相同的位姿。
5.根据权利要求4所述的3D图像建模方法,其中将粗糙3D模型映射到参数3D模型还包括将一个或多个数字图像输入到可由贴合性探测器应用程序电子访问的位姿映射学习模型中,其中用至少描绘3D空间中个体的相应中段部分的多个训练数字图像的坐标数据或像素数据来训练位姿映射学习模型,位姿映射学习模型被配置为将参数3D模型输出或操纵成与多个训练数字图像中的个体的相应位姿相同的位姿。
6.根据方面1至5中任一项所述的3D图像建模方法,还包括基于个体的中段尺寸生成针对个体的个体特定推荐,个体特定推荐呈现在显示屏上。
7.根据方面6所述的3D图像建模方法,其中个体特定推荐包括对所制造产品的产品推荐。
8.根据方面7所述的3D图像建模方法,其中产品推荐包括对个体的吸收制品大小或类型推荐。
9.根据方面8所述的3D图像建模方法,其中产品推荐包括如通过将个体的中段尺寸与产品类型的产品范围进行比较来确定的产品大小。
10.根据方面6所述的3D图像建模方法,其中个体特定推荐包括文本推荐、基于成像的推荐、或包括虚拟呈现施加到贴合的3D模型的至少一部分的产品的推荐。
11.根据方面6所述的3D图像建模方法,其中个体特定推荐在获得描绘个体的至少中段部分的一个或多个数字图像期间或之后实时或接近实时地呈现在显示屏上。
12.根据方面6所述的3D图像建模方法,还包括:基于个体的一个或多个数字图像的第二集合生成第二贴合的3D模型;以及由贴合性探测器应用程序基于第二贴合的3D模型确定个体的第二中段尺寸,其中在第二时间处确定的第二中段尺寸包括与在第一时间处确定的个体的中段尺寸的差异,并且其中个体特定推荐包括基于第二中段尺寸和个体的中段尺寸之间的差异来增加或减少产品的大小或类型的推荐。
13.根据方面12所述的3D图像建模方法,其中第一时间与第二时间之间的时间差是以下中的至少一项:一天或多天;一周或多周;或者一个或多个月。
14.根据方面12所述的3D图像建模方法,其中增加或减少产品的大小或类型的推荐包括预测的未来时间,在该预测的未来时间增加或减少产品的大小或类型。
15.一种被配置为确定个体的相应中段尺寸的三维(3D)图像建模***,该3D图像建模***包括:一个或多个处理器;贴合性探测器应用程序(app),该贴合性探测器应用程序包括被配置为在一个或多个处理器上执行的计算指令,其中贴合性探测器应用程序的计算指令在由一个或多个处理器执行时致使一个或多个处理器:由一个或多个处理器获得个体的一个或多个数字图像,该一个或多个数字图像中的每个数字图像描绘个体的至少中段部分;由在一个或多个处理器上执行的贴合性探测器应用程序基于一个或多个数字图像来确定粗糙3D模型;由贴合性探测器应用程序将预定义的个体的参数3D模型映射到虚拟3D空间中的粗糙3D模型以生成贴合的3D模型,该贴合的3D模型指示普通空间中个体的至少中段部分的物理大小;并且由贴合性探测器应用程序基于贴合的3D模型来确定个体的中段尺寸。
16.根据方面15所述的3D图像建模***,其中个体的中段尺寸包括以下中的一项或多项:腰部尺寸、腿部尺寸或直裆尺寸。
17.根据方面15至16中任一项所述的3D图像建模***,其中粗糙3D模型包括虚拟3D空间中个体的至少中段部分的粗糙表面,其中参数3D模型包括虚拟3D空间中预定义的个体的至少中段部分的精细表面,并且其中生成贴合的3D模型包括将精细表面映射到粗糙表面。
18.根据方面15至17中任一项所述的3D图像建模***,其中贴合性探测器应用程序的计算指令在由一个或多个处理器执行时致使一个或多个处理器:基于一个或多个数字图像或粗糙3D模型确定个体的位姿,并且其中将粗糙3D模型映射到参数3D模型还包括将参数3D模型输出或操纵成与个体的位姿相同的位姿。
19.根据方面18所述的3D图像建模***,其中将粗糙3D模型映射到参数3D模型还包括将一个或多个数字图像输入到可由贴合性探测器应用程序电子访问的位姿映射学习模型中,其中用至少描绘3D空间中个体的相应中段部分的多个训练数字图像的坐标数据或像素数据来训练位姿映射学习模型,位姿映射学习模型被配置为将参数3D模型输出或操纵成与多个训练数字图像中的个体的相应位姿相同的位姿。
20.一种有形的非暂态计算机可读介质,其存储用于确定个体的相应中段尺寸的指令,该指令在由一个或多个处理器执行时致使一个或多个处理器:获得个体的一个或多个数字图像,该一个或多个数字图像中的每个数字图像描绘个体的至少中段部分;基于一个或多个数字图像确定粗糙3D模型;将预定义的个体的参数3D模型映射到虚拟3D空间中的粗糙3D模型以生成贴合的3D模型,该贴合的3D模型指示普通空间中个体的至少中段部分的物理大小;并且基于贴合的3D模型来确定个体的中段尺寸。
附加的考虑
虽然本公开陈述了多个不同方面的具体实施方式,但应当理解,本说明书的法律范围由本专利结尾处所陈述的权利要求书及其等同物的内容来限定。具体实施方式被理解为仅是示例性的,而非描述每一种可能的方面,因为描述每一种可能的方面是不切实际的。可使用当前技术或在本专利的申请日期之后开发的技术来实施众多另选的方面,该另选的方面将仍然落入本权利要求书的范围内。
以下附加的考虑适用于前述讨论。在本说明书通篇中,多个实例可实现被描述为单个实例的部件、操作或结构。虽然一个或多个方法的各个操作被示出和描述为单独的操作,但各个操作中的一个或多个操作可同时执行,并且不需要按所示顺序来执行这些操作。在示例性配置中作为单独部件展示的结构和功能可被实现为组合的结构或部件。类似地,展示为单个部件的结构和功能可被实现为单独的部件。这些型、修改、添加和改进以及其他变型、修改、添加和改进均属于本文主题范围之内。
另外,某些方面在本文中被描述为包括逻辑或多个例程、子例程、应用程序或指令。这些可构成软件(例如,机器可读介质上或传输信号中体现的代码)或硬件。在硬件中,例程等是能够执行某些操作的有形单元并且可按某种方式进行配置或布置。在示例性方面中,一个或多个计算机***(例如,独立的客户端或服务器计算机***)或计算机***的一个或多个硬件模块(例如,处理器或处理器组)可通过软件(例如,应用程序或应用程序部分)配置为用于执行如本文所述的某些操作的硬件模块。
本文所述的示例性方法的各种操作可至少部分地由经临时配置(例如,由软件)或永久性配置以执行相关操作的一个或多个处理器来执行。无论是临时配置还是永久性配置,此类处理器都可构成处理器实现型模块,用以执行一个或多个操作或功能。在一些示例性方面中,本文提及的模块可包括处理器实现型模块。
类似地,本文所述的方法或例程可至少部分地由处理器实现。例如,方法的至少一些操作可由一个或多个处理器或处理器实现型硬件模块来执行。操作中的某些操作的执行可分配给一个或多个处理器,这些处理器不仅驻留在单个机器内,而且部署于多个机器之间。在一些示例性方面中,一个或多个处理器可位于单个位置,而在其他方面中,处理器可分布于多个位置。
操作中的某些操作的执行可分配给一个或多个处理器,这些处理器不仅驻留在单个机器内,而且部署于多个机器之间。在一些示例性方面,一个或多个处理器或处理器实现的模块可位于单个地理位置(例如,在家庭环境、办公室环境或服务器群内)。在其他方面中,一个或多个处理器或处理器实现型模块可分布于多个地理位置。
本具体实施方式被理解为仅是示例性的,而非描述每一种可能的方面,因为描述每一种可能的方面即使可能也是不切实际的。本领域普通技术人员可使用当前技术或在本申请提交日期之后所开发的技术来实现众多另选的方面。
本领域的普通技术人员将认识到,在不脱离本发明范围的前提下,可对上述方面进行多种修改、更改和组合,并且这些修改、更改和组合应视为落入本发明构思的范围内。
本专利申请末尾的专利权利要求不旨在根据35 U.S.C.§112(f)来解释,除非明确引用了传统的装置加功能语言,诸如权利要求中明确引用的“用于......的装置”或“用于......的步骤”语言。本文所述的***和方法涉及对计算机功能的改进,以及改进常规计算机的功能。
本文所公开的量纲和值不应理解为严格限于所引用的精确数值。相反,除非另外指明,否则每个此类量纲旨在表示所述值以及围绕该值功能上等同的范围。例如,公开为“40mm”的量纲旨在表示“约40mm”。
除非明确排除或以其它方式限制,否则本文中引用的每一篇文献,包括任何交叉引用或相关专利或专利申请以及本申请对其要求优先权或其有益效果的任何专利申请或专利,均据此全文以引用方式并入本文。对任何文献的引用不是对其作为与本发明的任何所公开或本文受权利要求书保护的现有技术的认可,或不是对其自身或与任何一个或多个参考文献的组合提出、建议或公开任何此类发明的认可。此外,当本发明中术语的任何含义或定义与以引用方式并入的文献中相同术语的任何含义或定义矛盾时,应当服从在本发明中赋予该术语的含义或定义。
虽然已经举例说明和描述了本发明的具体方面,但是对于本领域的技术人员来说显而易见的是,在不背离本发明的实质和范围的情况下可以做出各种其它改变和变型。因此,本文旨在于所附权利要求书中涵盖属于本发明范围内的所有此类变化和修改。

Claims (15)

1.一种用于确定个体的相应中段尺寸的三维(3D)图像建模方法,所述3D图像建模方法包括:
由一个或多个处理器获得个体的一个或多个数字图像,所述一个或多个数字图像中的每个数字图像描绘所述个体的至少中段部分;
由在所述一个或多个处理器上执行的贴合性探测器应用程序(app)基于所述一个或多个数字图像来确定粗糙3D模型;
由所述贴合性探测器应用程序将预定义的个体的参数3D模型映射到虚拟3D空间中的所述粗糙3D模型以生成贴合的3D模型,所述贴合的3D模型指示普通空间中所述个体的至少所述中段部分的物理大小;以及
由所述贴合性探测器应用程序基于所述贴合的3D模型来确定所述个体的中段尺寸。
2.根据权利要求1所述的3D图像建模方法,其中所述个体的所述中段尺寸包括以下中的一项或多项:腰部尺寸、腿部尺寸或直裆尺寸。
3.根据权利要求1所述的3D图像建模方法,其中所述粗糙3D模型包括虚拟3D空间中所述个体的至少所述中段部分的粗糙表面,其中所述参数3D模型包括虚拟3D空间中所述预定义的个体的至少中段部分的精细表面,并且其中生成所述贴合的3D模型包括将所述精细表面映射到所述粗糙表面。
4.根据权利要求1所述的3D图像建模方法,还包括:
由所述贴合性探测器应用程序基于所述一个或多个数字图像或所述粗糙3D模型确定所述个体的位姿,并且其中将所述粗糙3D模型映射到所述参数3D模型还包括将所述参数3D模型输出或操纵成与所述个体的所述位姿相同的位姿。
5.根据权利要求4所述的3D图像建模方法,其中将所述粗糙3D模型映射到所述参数3D模型还包括将所述一个或多个数字图像输入到能够由所述贴合性探测器应用程序电子访问的位姿映射学习模型中,
其中用至少描绘3D空间中个体的相应中段部分的多个训练数字图像的坐标数据或像素数据来训练所述位姿映射学习模型,所述位姿映射学习模型被配置为将所述参数3D模型输出或操纵成与所述多个训练数字图像中的所述个体的相应位姿相同的位姿。
6.根据权利要求1所述的3D图像建模方法,还包括基于所述个体的所述中段尺寸生成针对所述个体的个体特定推荐,所述个体特定推荐呈现在显示屏上。
7.根据权利要求6所述的3D图像建模方法,其中所述个体特定推荐包括对所制造产品的产品推荐。
8.根据权利要求7所述的3D图像建模方法,其中所述产品推荐包括对所述个体的吸收制品大小或类型推荐。
9.根据权利要求8所述的3D图像建模方法,其中所述产品推荐包括如通过将所述个体的所述中段尺寸与产品类型的产品范围进行比较来确定的产品大小。
10.根据权利要求6所述的3D图像建模方法,其中所述个体特定推荐包括文本推荐、基于成像的推荐、或包括虚拟呈现施加到所述贴合的3D模型的至少一部分的产品的推荐。
11.根据权利要求6所述的3D图像建模方法,其中所述个体特定推荐在获得描绘所述个体的至少中段部分的所述一个或多个数字图像期间或之后实时或接近实时地呈现在所述显示屏上。
12.根据权利要求6所述的3D图像建模方法,还包括:
基于所述个体的一个或多个数字图像的第二集合生成第二贴合的3D模型;以及
由所述贴合性探测器应用程序基于所述第二贴合的3D模型来确定所述个体的第二中段尺寸,
其中在第二时间处确定的所述第二中段尺寸包括与在第一时间处确定的所述个体的所述中段尺寸的差异,并且
其中所述个体特定推荐包括基于所述第二中段尺寸和所述个体的所述中段尺寸之间的所述差异来增加或减少产品的大小或类型的推荐。
13.根据权利要求12所述的3D图像建模方法,其中所述第一时间与所述第二时间之间的时间差是以下中的至少一项:一天或多天;一周或多周;或者一个或多个月。
14.根据权利要求12所述的3D图像建模方法,其中增加或减少产品的所述大小或类型的所述推荐包括预测的未来时间,在所述预测的未来时间增加或减少产品的所述大小或类型。
15.一种被配置为确定个体的相应中段尺寸的三维(3D)图像建模***,所述3D图像建模***包括:
一个或多个处理器;
贴合性探测器应用程序(app),所述贴合性探测器应用程序包括被配置为在所述一个或多个处理器上执行的计算指令,
其中所述贴合性探测器应用程序的所述计算指令在由所述一个或多个处理器执行时致使所述一个或多个处理器:
由所述一个或多个处理器获得个体的一个或多个数字图像,所述一个或多个数字图像中的每个数字图像描绘所述个体的至少中段部分;
由在所述一个或多个处理器上执行的所述贴合性探测器应用程序基于所述一个或多个数字图像来确定粗糙3D模型;
由所述贴合性探测器应用程序将预定义的个体的参数3D模型映射到虚拟3D空间中的所述粗糙3D模型以生成贴合的3D模型,所述贴合的3D模型指示普通空间中所述个体的至少所述中段部分的物理大小;以及
由所述贴合性探测器应用程序基于所述贴合的3D模型来确定所述个体的中段尺寸。
CN202210704427.4A 2021-06-29 2022-06-21 用于确定个体的相应中段尺寸的三维(3d)图像建模***和方法 Pending CN115546436A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163216236P 2021-06-29 2021-06-29
US63/216,236 2021-06-29

Publications (1)

Publication Number Publication Date
CN115546436A true CN115546436A (zh) 2022-12-30

Family

ID=84541205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210704427.4A Pending CN115546436A (zh) 2021-06-29 2022-06-21 用于确定个体的相应中段尺寸的三维(3d)图像建模***和方法

Country Status (2)

Country Link
US (1) US11875468B2 (zh)
CN (1) CN115546436A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020131518A1 (en) * 2018-12-19 2020-06-25 Seddi, Inc. Learning-based animation of clothing for virtual try-on
US11995826B2 (en) * 2021-12-16 2024-05-28 Metal Industries Research & Development Centre Auxiliary screening system and auxiliary screening method for a hip joint of a baby

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7373284B2 (en) * 2004-05-11 2008-05-13 Kimberly-Clark Worldwide, Inc. Method of evaluating the performance of a product using a virtual environment
US9510141B2 (en) 2012-06-04 2016-11-29 Apple Inc. App recommendation using crowd-sourced localized app usage data
US20210233157A1 (en) 2012-12-04 2021-07-29 Crutchfield Corporation Techniques for providing retail customers a seamless, individualized discovery and shopping experience between online and physical retail locations
US20160063320A1 (en) * 2014-08-29 2016-03-03 Susan Liu Virtual body scanner application for use with portable device
US11127163B2 (en) * 2015-06-24 2021-09-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Skinned multi-infant linear body model
WO2017099580A1 (en) 2015-12-11 2017-06-15 N.V. Nutricia Baby tracker
JP6427511B2 (ja) 2016-02-01 2018-11-21 ユニ・チャーム株式会社 使い捨ておむつの着用状態の評価方法、使い捨ておむつの着用状態の評価システム、及び、使い捨ておむつの着用状態を評価するためのプログラム
US20180015379A1 (en) * 2016-07-14 2018-01-18 Nevin Pratt Method of creating a doll modeled after a baby
US11461630B1 (en) 2017-03-06 2022-10-04 Max-Planck-Gesellschaft zur Förderung der Wisenschaften e.V. Machine learning systems and methods for extracting user body shape from behavioral data
US20200327549A1 (en) 2017-11-08 2020-10-15 Paypal, Inc. Robust and Adaptive Artificial Intelligence Modeling
US20190220738A1 (en) 2018-01-18 2019-07-18 Amit Flank Skin analysis system and method
US10884769B2 (en) 2018-02-17 2021-01-05 Adobe Inc. Photo-editing application recommendations
US11037222B1 (en) 2018-08-27 2021-06-15 A9.Com, Inc. Dynamic recommendations personalized by historical data
JP7395604B2 (ja) 2018-12-04 2023-12-11 ジャン・ルオウェイ 深層学習を用いた自動的な画像ベースの皮膚診断
KR20200142374A (ko) 2019-06-12 2020-12-22 삼성전자주식회사 입력 데이터에 근거한 ai 모델 선택 방법 및 그에 따른 방법을 수행하는 디스플레이 장치
US11741523B2 (en) 2019-07-31 2023-08-29 L'oreal Personalized skincare recommendations based on biomarker analysis
US11536581B2 (en) 2019-10-11 2022-12-27 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for determining a usage preference of a vehicle operator
US11783025B2 (en) 2020-03-12 2023-10-10 International Business Machines Corporation Training diverse and robust ensembles of artificial intelligence computer models
US11316808B1 (en) 2020-11-04 2022-04-26 FiscalNote, Inc. Use of machine-learning models in creating messages for advocacy campaigns
US11574362B2 (en) 2021-03-09 2023-02-07 Tricolor Holdings, LLC AI-based vehicle support system and method for use therewith

Also Published As

Publication number Publication date
US11875468B2 (en) 2024-01-16
US20220415002A1 (en) 2022-12-29

Similar Documents

Publication Publication Date Title
US10540757B1 (en) Method and system for generating combined images utilizing image processing of multiple images
US11875468B2 (en) Three-dimensional (3D) image modeling systems and methods for determining respective mid-section dimensions of individuals
ES2693028T3 (es) Sistema y método para derivar mediciones de talla de cuerpo precisas a partir de una secuencia de imágenes en 2D
CN107924579A (zh) 生成个性化3d头部模型或3d身体模型的方法
US11315298B2 (en) Personalized stylized avatars
US11908151B2 (en) System and method for mobile 3D scanning and measurement
US12039732B2 (en) Digital imaging and learning systems and methods for analyzing pixel data of a scalp region of a users scalp to generate one or more user-specific scalp classifications
JP2022544353A (ja) 裸の身体の形状を身体の隠れているスキャン像から推定する方法
EP3933851A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin laxity
Kaashki et al. Anet: A deep neural network for automatic 3d anthropometric measurement extraction
CN108363964A (zh) 一种预先处理的皮肤皱纹评估方法及***
US20230110263A1 (en) Computer-implemented systems and methods for analyzing examination quality for an endoscopic procedure
US20220224876A1 (en) Dermatological Imaging Systems and Methods for Generating Three-Dimensional (3D) Image Models
US20230196579A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin pore size
US20220157016A1 (en) System and method for automatically reconstructing 3d model of an object using machine learning model
JP6458300B2 (ja) 身体情報取得装置および身体情報取得方法
Xia Predict 3D body measurements with 2D images
US20230196550A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining body contour
US20230196552A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin oiliness
US20230196551A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin roughness
US11967031B2 (en) Digital imaging analysis of biological features detected in physical mediums
US20230196816A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin hyperpigmentation
US20230196553A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining skin dryness
US20230196835A1 (en) Digital imaging systems and methods of analyzing pixel data of an image of a skin area of a user for determining dark eye circles
US20240257479A1 (en) Digital imaging analysis of biological features detected in physical mediums

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination