CN111225611B - 用于帮助分析目标对象中的伤口的***和方法 - Google Patents

用于帮助分析目标对象中的伤口的***和方法 Download PDF

Info

Publication number
CN111225611B
CN111225611B CN201780095973.XA CN201780095973A CN111225611B CN 111225611 B CN111225611 B CN 111225611B CN 201780095973 A CN201780095973 A CN 201780095973A CN 111225611 B CN111225611 B CN 111225611B
Authority
CN
China
Prior art keywords
wound
digital images
neural network
images
deep neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780095973.XA
Other languages
English (en)
Other versions
CN111225611A (zh
Inventor
H·内加提
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cronicare Pty Ltd
Original Assignee
Cronicare Pty Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cronicare Pty Ltd filed Critical Cronicare Pty Ltd
Publication of CN111225611A publication Critical patent/CN111225611A/zh
Application granted granted Critical
Publication of CN111225611B publication Critical patent/CN111225611B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445—Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/447—Skin evaluation, e.g. for skin disorder diagnosis specially adapted for aiding the prevention of ulcer or pressure sore development, i.e. before the ulcer or sore has developed
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077—Imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Dermatology (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)

Abstract

提供了一种用于帮助分析目标对象中的伤口的***和方法。所述方法包括：获得所述伤口的至少一部分的一个或多个数字图像；从所述一个或多个数字图像提取多个特征向量；以及使用第一经训练的深度神经网络基于所述多个提取出的特征向量来识别伤口组织的类型。所述方法可以进一步包括：使用第二经训练的深度神经网络来构建所述伤口的三维模型，处理所述伤口的三维模型以将所述伤口与其它周围组织分割，以及确定所述伤口的至少一个关键尺寸。

Description

用于帮助分析目标对象中的伤口的***和方法
技术领域
本公开涉及用于帮助分析目标对象中的伤口的***和方法。
背景技术
伤口评估和分析对于确定损伤程度以及评估伤口愈合的进展至关重要。常规的伤口评估需要从伤口中获得组织并将伤口的组织发送到实验室进行分析。这种伤口评估是费时的，因为其需要数小时至数天才能确定损伤程度和要对伤口进行的必要治疗。
近年来，可以通过不同的成像装置，例如，手持相机、热成像装置或红外相机来执行伤口分析。然而，存在许多缺陷。例如，现有的热成像装置体积庞大，并且在拍摄伤口图像之前浪费了大量时间来设定该装置。进一步地，对所捕获图像的分析会花费很长时间，并且这些装置也无法提供对伤口的完整分析，因此护士还需要进行数项其它手动评估，因此不能为护士能力提供经济高效的附加助力。
此外，护士需要检测七种不同类型的组织以确定伤口状况和所需的治疗。另一方面，现有的方法只能检测/分析最多三种类型的伤口组织，即，坏死、脱落(slough)和肉芽。通过仅检测三种类型的伤口，现有的自动组织评估***将所有三种类型的肉芽合并为一类，标记为肉芽，并且还将脱落和感染类型合并为一类，标记为脱落。这可能会误导执业医师，从而导致误诊、误治和进一步的并发症。现有的热成像装置和红外相机还很昂贵，而其它类型的装置，例如，金属氧化物气体传感器使用接触传感器，这将需要该装置与伤口接触。
因此，需要提供一种用于帮助分析目标对象中的伤口的方法和***，以寻求解决至少一些上述问题。
发明内容
根据本发明的第一方面，提供了一种用于帮助分析目标对象的伤口的方法，所述方法包括：获得伤口的至少一部分的一个或多个数字图像；从一个或多个数字图像提取多个特征向量；以及使用第一经训练的深度神经网络基于多个提取出的特征向量来识别伤口组织的类型。
在一个实施方案中，所述方法可以包括：在从一个或多个数字图像提取多个特征向量之前，处理伤口的一个或多个数字图像以将伤口与伤口的其它周围组织分割开。
在一个实施方案中，所述处理伤口的一个或多个数字图像以分割伤口的步骤可以包括：对伤口的一个或多个数字图像进行下采样；对下采样的一个或多个数字图像进行粗分割；以及对粗分割的一个或多个数字图像进行细化(refinement)。
在一个实施方案中，可以从彼此间隔开的两个数字图像捕获装置分别获得伤口的两个数字图像，并且所述方法可以进一步包括：基于伤口的两个数字图像来构建伤口的三维模型；以及在从一个或多个数字图像提取多个特征向量之前，处理伤口的三维模型以将伤口与伤口的其它周围组织分割开。
在一个实施方案中，所述方法可以包括：基于分割的三维模型来确定伤口的至少一个关键尺寸。
在一个实施方案中，第二经训练的深度神经网络可以用于帮助构建伤口的三维模型。
在一个实施方案中，可以获得伤口的两个数字图像，并且两个数字图像中的一个可以包括伤口的热图像，并且所述方法可以进一步包括：从热图像提取热签名数据；以及基于所提取的热签名数据来识别继发性并发症。
在一个实施方案中，所述继发性并发症可以包括以下项中的至少一种：血液循环、伤口感染、皮肤相关病症、伤口破坏和压点。
在一个实施方案中，所识别的伤口组织类型可以包括以下项中的至少一种：坏死、脱落、健康肉芽、不健康肉芽、肉芽生长过度(hyper granulation)、感染和上皮形成。
在一个实施方案中，所述方法可以包括：接收与以下项中的一个或多个相对应的伤口数据：(i)所识别的伤口组织类型、(ii)伤口的尺寸、以及(iii)所识别的继发性并发症；使用深度散列函数(hashing function)基于伤口数据来生成编码向量，编码向量表示对伤口的综合评估；从数据库中检索与编码向量相对应的处理数据。
根据本发明的第二方面，提供了一种用于帮助分析目标对象的伤口的***，所述***包括：一个或多个图像捕获模块，该一个或多个图像捕获模块被配置成获得伤口的至少一部分的一个或多个数字图像；处理器模块，所述处理器模块被配置成从一个或多个数字图像提取多个特征向量；以及第一神经网络模块，该第一神经网络模块被配置成实施第一经训练的深度神经网络以基于多个提取的特征向量来识别伤口组织的类型。
在一个实施方案中，所述处理器模块可以被进一步配置成：在从一个或多个数字图像提取多个特征向量之前，处理伤口的一个或多个数字图像以将伤口与伤口的其它周围组织分割开。
在一个实施方案中，所述处理器模块可以被进一步配置成：对伤口的一个或多个数字图像执行下采样；对下采样的一个或多个数字图像执行粗分割；以及对粗分割的一个或多个数字图像执行细化，以将伤口与伤口的其它周围组织分割开。
在一个实施方案中，所述***可以包括两个数字图像捕获装置，所述两个数字图像捕获装置彼此间隔开并且被配置成分别获得伤口的两个数字图像，其中，所述处理器模块被进一步配置成：基于伤口的两个数字图像来构建伤口的三维模型；以及在从一个或多个数字图像提取多个特征向量之前，处理伤口的三维模型以将伤口与伤口的其它周围组织分割开。
在一个实施方案中，所述处理器模块可以被进一步配置成：基于分割的三维模型来确定伤口的至少一个关键尺寸。
在一个实施方案中，所述***可以包括第二神经网络模块，所述第二神经网络模块被配置成实施第二经训练的深度神经网络以帮助构建伤口的三维模型。
在一个实施方案中，可以获得伤口的两个数字图像，并且所述两个数字图像中的一个包括伤口的热图像，其中，所述处理器模块可以被进一步配置成：从热图像提取热签名数据；以及基于所提取的热签名数据来识别继发性并发症。
在一个实施方案中，所述处理器模块可以被进一步配置成：接收与以下项中的一个或多个相对应的伤口数据：(i)所识别的伤口组织类型、(ii)伤口的尺寸、以及(iii)所识别的继发性并发症；使用深度散列函数基于伤口数据来生成编码向量，所述编码向量表示对伤口的综合评估；从数据库中检索与所述编码向量相对应的处理数据。
附图说明
从仅以示例方式给出并结合附图进行的以下书面描述中，实施方案将得到更好地理解并且对于所属领域中的普通技术人员而言显而易见，其中在附图中：
图1示出了流程图，该流程图中示出根据一个示例性实施方案的、用于帮助分析目标对象的伤口的方法。
图2示出了示意图，该示意图中示出根据一个示例性实施方案的、用于帮助分析目标对象的伤口的***中的信息流。
图3示出了根据一个示例性实施方案的、具有两个数字图像捕获装置的智能手机的侧视图。
图4a和图4b示出了流程图，该流程图中示出根据一个示例性实施方案的、用于训练第二深度神经网络的方法。
图5示出了根据一个示例性实施方案的、通过第一深度神经网络对伤口进行识别的图。
图6示出了流程图，该流程图中示出根据一个示例性实施方案的、训练第一深度神经网络的方法。
图7示出了根据一个示例性实施方案的、在基于所提取出的热签名数据的识别期间的继发性并发症的图像。
图8示出了根据一个示例性实施方案的、图像处理过程的示意图。
图9示出了根据一个示例性实施方案的、用于检测伤口的血液循环的视频放大过程。
图10示出了根据一个示例性实施方案的、适合于实现模块的计算机装置/***的示意图。
图11示出了示意图，该示意图中示出根据一个示例性实施方案的、用于帮助分析目标对象的伤口的方法期间在各个实体之间的信息流。
具体实施方式
以下描述的一些部分明确或暗示性地以计算机存储器内数据运算的算法和功能或符号表示的形式呈现。这些算法描述和功能或符号表示是数据处理领域技术人员用来最有效地向所属领域其它技术人员传达其工作实质的手段。算法在本文中以及一般地被认为是产生预期结果的自相容步骤序列。这些步骤是需要对物理量，例如能够被储存、传递、组合、比较和以其它方式操纵的电信号、磁信号或光信号进行物理操纵的步骤。
除非另有特别说明，并且如从下文中显而易见的，否则将理解，在本说明书全文中，利用术语例如“扫描”、“计算”、“确定”、“更换”、“生成”、“初始化”、“输出”、“识别”、“授权”、“验证”等进行的讨论是指计算机***或相似电子装置的动作和过程，其操纵表示为计算机***内的物理量的数据并将其转换成被类似地表示为计算机***或其它信息储存、传输或显示装置内的物理量的其它数据。
本说明书还公开了用于执行所述方法的操作的设备。此类设备可以被专门构建用于所需目的，或者可以包括计算机或由储存在计算机中的计算机程序选择性地启动或重新配置的其它装置。本文呈现的算法和显示并不固有地与任何特定计算机或其它设备关联。根据本文的教导，各种机器可以与程序一起使用。可替代地，用于执行所需方法步骤的更专门的设备的构建可能是合适的。计算机的结构将从下面的描述中显现出来。
此外，本说明书还暗示性地公开了一种计算机程序，因为对于所属领域的技术人员而言显而易见的是，本文所描述的方法的各个步骤可以通过计算机代码来实现。计算机程序不意在限制于任何特定编程语言及其实施。应理解，各种编程语言及其编码可以用于实施本文所包含的本公开的教导。此外，计算机程序不意在限制于任何特定控制流(control flow)。计算机程序还有许多其它变体，这些变体在不背离本公开的精神或范围的情况下，可以使用不同的控制流。
此外，计算机程序的一个或多个步骤可以并行而不是顺序地执行。这种计算机程序可以被储存在任何计算机可读介质上。计算机可读介质可以包括存储装置，例如磁盘或光盘、存储芯片、或适合于与计算机接口的其它存储装置。计算机可读介质还可以包括硬连线介质例如互联网***中所例示的，或者无线介质，例如GSM移动电话***中所例示的。当计算机程序在这种计算机上加载并执行时，有效地产生了实施优选方法的步骤的设备。
图1示出了流程图100，该流程图示出根据一个示例性实施方案的、用于帮助分析目标对象的伤口的方法。在步骤102中，获得伤口的至少一部分或怀疑在不久的将来会出现伤口的身体部分(例如，卧床患者的背面)的一个或多个数字图像。在步骤104中，从一个或多个数字图像提取多个特征向量。在步骤106中，使用第一经训练的深度神经网络基于多个提取出的特征向量来识别伤口组织的类型。
所述方法可以进一步包括：在从一个或多个数字图像提取多个特征向量之前，处理伤口的一个或多个数字图像以将伤口与伤口的其它周围组织分割。处理伤口的一个或多个数字图像以分割伤口的步骤可以包括：对伤口的一个或多个数字图像进行下采样；对下采样的一个或多个数字图像进行粗分割；以及对粗分割的一个或多个数字图像进行细化。伤口的两个数字图像可以从彼此间隔开的两个数字图像捕获装置分别获得。所述方法可以进一步包括：基于伤口的两个数字图像来构建伤口的三维模型；以及在从一个或多个数字图像提取多个特征向量之前，处理伤口的三维模型以将伤口与伤口的其它周围组织分割。
所述方法还可以进一步包括：基于分割的三维模型来确定伤口的至少一个关键尺寸。第二经训练的深度神经网络可以用于帮助构建伤口的三维模型。可以获得伤口的两个数字图像，并且两个数字图像中的一个可以包括伤口的热图像。所述方法还可以包括：从热图像提取热签名数据，以及基于所提取出的热签名数据来识别继发性并发症。继发性并发症可以包括以下项中的至少一种：血液循环、伤口感染、皮肤相关病症、伤口破坏和压点，并且所识别的伤口组织类型可以包括以下项中的至少一种：坏死、脱落、健康肉芽、不健康肉芽、肉芽生长过度、感染和上皮形成。所述方法还可以包括：接收与以下项中的一个或多个相对应的伤口数据：(i)所识别的伤口组织类型、(ii)伤口的尺寸、以及(iii)所识别的继发性并发症；使用深度散列函数基于伤口数据来生成编码向量，其中编码向量表示对伤口的综合评估；以及从数据库中检索与编码向量相对应的处理数据。
图2示出了示意图，该示意图示出用于帮助分析目标对象的伤口的***200中的信息流。***200包括处理器模块202、第一神经网络模块204、第二神经网络模块206、数据库210和图像捕获模块208。图像捕获模块208被配置成获得伤口的至少一部分的一个或多个数字图像。处理器模块202被配置成从一个或多个数字图像提取多个特征向量。第一神经网络模块204被配置成实施第一经训练的深度神经网络以基于多个提取出的特征向量来识别伤口组织的类型。图像捕获模块208与处理器模块202通信，该处理器模块又与第一神经网络模块204、第二神经网络模块206和数据库210通信。
在图2中的步骤A中，图像捕获模块208捕获伤口的数字图像。数字图像可以包括一个或多个可见光图像和/或一个或多个红外图像，并且图像捕获模块208可以与如图3所示智能手机集成一体。图像捕获模块208可以包括两个或更多个数字图像捕获装置，该两个或更多个数字图像捕获装置彼此间隔开并且被配置成分别获得伤口的两个数字图像，例如，红外图像、热图像和/或可见光图像(见图3)。例如，图像捕获模块208可以包括两个可见光图像捕获装置301a、301b和热图像捕获装置301c，如图3所示。随后在图2中的步骤B中将数字图像发送至处理器模块202以将伤口与数字图像中伤口的其它周围组织分割。
图像分割是使用孤立物体或被边界隔开的物体的视觉特征来执行的，以将图像划分为几个区段。需要图像分割来定位感兴趣的区域以分析和评估伤口。具体来说，在可以执行对伤口的其它分析之前，首先需要将伤口定位在所接收的数字图像例如可见光图像中。因此，必须在便携式装置例如智能手机的同时存储和计算约束下执行图像分割。
在一个实施方式中，图像分割涉及数字图像的像素域下采样并且包括两个主要步骤：首先，对下采样的数字图像执行粗分割，以及之后，对数字图像的粗分割结果进行细化。此外，提供了框架，该框架可以实现图像分割的有竞争力的精度。该框架可以包括使用信号处理分析来检查下采样对分割的影响。该分析可以在粗分割之后确定伤口上的不确定区域，例如，像素标记不确定的小图像区域。进一步地，基于最小生成树(MST)的有效算法被用于将标记传播到不确定区域中。这类图像分割的框架和方法不仅可以提高分割精度，而且可以比现有方法使用更少的计算时间和内存，因而使其适合于便携式装置上的图像分析应用程序。
进一步地，处理器模块202还可以基于伤口的两个数字图像来构建伤口的三维模型，以及在从一个或多个数字图像提取多个特征向量之前，处理伤口的三维模型以将伤口与伤口的其它周围组织分割。
由于存在立体视觉，因此可以重建伤口的完整三维模型。这可以通过使两个数字图像捕获装置(例如，如图3所示的两个可见光相机301a、301b)彼此相隔已知的距离以捕获伤口的图像来实现，并且三维模型可以是使用相机固有特性和三角测量方法进行重建。
在一个实施方案中，压缩第二神经网络模块206可以被配置成实施第二经训练的深度神经网络以帮助构建伤口的三维模型，以便在便携式装置上构建伤口的三维模型估计(见图2的步骤C)。例如，第二神经网络模块206可以与处理器模块202一起在便携式装置上运行。第二经训练的深度神经网络可以被压缩到智能手机的架构中，使得处理器模块202与第二神经网络模块206一起能够以较低的能耗在手机上快速估计伤口的尺寸。
图4a示出了流程图，该流程图示出训练第二经训练的深度神经网络的方法。可以使用大量的合成三维图像对来训练第二深度神经网络，以获得三维估计的预期精度，如图4a所示。随后，可以基于来自伤口黏土模型的真实图像对第二深度神经网络进行微调(如图4b所示)。第二深度神经网络的这种两步训练可以提高效率，因为可以轻松获得具有已知尺寸的合成图像。随后，当以一般三维估计对第二深度神经网络进行训练时，可以实施针对特定问题的训练图像以针对伤口测量进行微调。
可替代地，第二经训练的深度神经网络可以位于服务器中(图2中未示出)。因为服务器上可用的计算能力和能量更多，可以从由两个数字图像捕获装置获得的两个数字图像中得到更高清晰度的三维模型。可以使用运动恢复结构(structure from motion,SfM)，从由便携式装置(例如，智能手机)捕获的伤口的视频重建伤口的三维模型。具体来说，可以通过如下文所描述的以下方法来实现利用应用程序对伤口进行迅速且精确的小尺度物体(small-scale object)的三维模型重建。
首先，需要估计不同二维图像之间的相对相机位姿(pose)。其次，基于所估计的位姿，可以将二维图像上的图像点反投影到三维空间上。反投影射线的交点确定三维点和重建的三维模型。在该方法中，改进对相对相机位姿的估计可能是实现SfM的良好精度的最重要因素。
相对相机位姿估计涉及几个步骤。具体来说，需要应用稳健模型估计算法来估计二维图像之间的相对几何变换并去除离群值对应。实施方案包括应用复杂的采样以及模型检查和验证以显著地提高模型估计的精度并降低计算复杂度。
此外，当前的智能手机陀螺仪和加速度传感器可以产生相机固有参数的原始值(crude value)。许多数字相机还将焦距和其它信息嵌入图像文件的可交换图像文件格式(EXIF)标签中。此类信息可以在实施第二经训练的深度神经网络的服务器上使用，以捕获粗略的相机运动，从而通过将值限制设定为每个像素已从一个数字图像移动至另一数字图像的量来提高收敛速度。该限制显著地减少了服务器端的点匹配时间。
在图2的步骤C中，处理器模块202可以基于分割的三维模型来确定伤口的至少一个关键尺寸。关键尺寸包括伤口长度、伤口宽度和伤口深度中的至少一个，其可以根据局部三维伤口区域来计算。分割的三维模型可以通过以下组合得到：将伤口从数字图像中伤口的其它周围组织中分割(图2的步骤B)以及构建伤口的三维模型(图2的步骤C)。
更具体地，可以从数字图像提取多个特征向量。例如，每个三维点都与一个或多个局部特征描述符或向量相关联(例如，使用尺度不变量特征变换SIFT)。二维图像中的局部特征可以与三维点的局部特征匹配。该匹配将二维图像配准(register)到三维模型上。在二维图像配准后，可以基于二维分割结果在三维模型中识别伤口区域边界。
在这方面，对于二维至三维特征匹配，可以使用主动对应搜索，这可以降低计算复杂度。此外，当前的智能手机陀螺仪和加速度传感器可以产生相机固有参数的原始值。许多典型的数字相机也将焦距和其它信息嵌入图像文件的EXIF标签中。此类信息可以在服务器上使用，以捕获粗略的相机运动，从而通过将值限制设定为每个像素已从一个图像移动至另一图像的量来提高收敛速度。该值限制可以显著地减少服务器端的点匹配时间。其后，可以使用局部三维伤口区域和相机固有信息来得到伤口的关键尺寸，例如伤口面积和深度。
在图2的步骤D中，在提取了特征向量并且确定了伤口的关键尺寸之后，第一深度神经网络模块204被配置成实施第一经训练的深度神经网络，该第一深度神经网络模块204基于多个提取出的特征向量来识别伤口组织的类型。
伤口组织分析对诊断伤口类型和治疗决策很重要。实施方案有利地使得能够识别以下七种类型的伤口组织：坏死、脱落、健康肉芽、不健康肉芽、肉芽生长过度、感染和上皮形成。
坏死是干燥的死组织，其颜色为黑色，并且在伤口内部的皮肤细胞死亡时发生。脱落组织是一种自身从伤口部位分离的湿性坏死组织，并且经常可见为白色、黄色或灰色。健康肉芽是指伤口表面区域通过出现在表面的细小血管开始愈合时生成的新生组织，颜色为浅红色或粉红色并且是湿润的。不健康肉芽组织是指当肉芽形成过程受到例如感染或缺乏良好的血液供应等问题的刺激时，而表现为暗红色、有点蓝或非常苍白，并且可表示局部缺血或伤口感染。肉芽生长过度(hyper-granulating)组织是指通常由于细菌失衡或刺激力而导致愈合的增殖期延长时，在伤口边缘和皮肤水平以上生长的组织。感染组织是由细菌感染引起的带有臭味的略呈绿色组织，其可扩散到伤口的不同部位及其周围组织。最后，上皮形成组织是一组紧密堆积的细胞，其在肉芽组织上提供保护层。
所要求保护的***可以检测所有七种类型的伤口组织。第一经训练的深度神经网络可以确定每个像素的组织类型。换言之，第一经训练的深度神经网络可以用作像素分类器，使得其是最大池化卷积神经网络。第一经训练的深度神经网络将小的方形像素块(patch)作为输入，其中该块可以是均匀块或数字图像的一段。数字图像可以是可见光图像，或者是组合在一起以形成单数字图像的可见光图像和热图像的组合。该块提供中央像素的上环境信息，并且第一经训练的深度神经网络确定中央组织像素(或块中的大多数像素)的类别标记。使用滑动窗口方法对伤口中的组织像素进行分类，并且第一经训练的深度神经网络会根据训练数据自动学习一组视觉特征。因此，有了庞大的训练数据的数据集，第一经训练的深度神经网络就可以为该分类任务挖掘色彩和纹理之外的丰富而有区别的视觉特征，如图5所示。
以下方法解决了在训练深度神经网络以识别伤口组织类型中的典型问题。问题的实例包括在有限数量的医学数据上训练这几个深度神经网络，而不会面临过度拟合问题。另一实例是压缩所得经训练的网络以使其在具有有限计算能力、内存和能量的智能手机上运行。
该方法的第一步是基于人脑如何感知图像来训练第一深度神经网络。人类感知物体的颜色在不同光照条件下相似，这是也在“色觉实验”中示出的早期视觉皮层中的过程的结果。为了重复这种感知一致性，使用大约一千张在不同光照下具有相同场景的图像来训练第一深度神经网络(如图6的X部分所示)。这些图像与伤口无关，但是有助于第一深度神经网络学习不同光照条件下的颜色一致性。
随后，如图6的Y部分所示，使用来自公共图像数据库(例如，ImageNet)的一千个不同物体(与伤口无关)的超过120万张图像，针对一般物体检测对第一深度神经网络进行训练。这训练了第一深度神经网络拾取“物体”的不同方面，包括线条和曲线、颜色、纹理等。由于现在已将第一深度神经网络训练成在不同光照和“物体”的一般特点下具有稳健性，因此特别针对伤口图像对第一深度神经网络进行训练，以微调网络中区分不同伤口或组织类型的更高层次的决策(见图6的Z部分)。
联合分割组织分析方法也可以用于训练第一深度神经网络。更具体地，在背景-皮肤-伤口分割中，对伤口执行过度分割以获得皮肤/伤口的较小分区。每个分区的大小可以标准化，并且然后直接被传递至第一深度神经网络中以分类为皮肤/伤口组织类别。第一深度神经网络为属于同一分区的所有组织像素分配相同的标记。
第一深度神经网络可以被训练，以使得可以将背景-皮肤-伤口分割和伤口组织分割包括在单架构中。第一深度神经网络可以接收与可见光相对应的热图像，作为可见光图像的附加通道，使得其可以实现更好的分割/组织标记结果。还能够直接从智能手机上的可见光相机接收红外签名(infrared signature)，而无需具有热附件。这可以是通过移除手机相机上的红外滤镜来实现，然后将未经过滤的图像作为第一深度神经网络的输入以输出组织标记。为了在便携式装置(例如智能手机)上高效地运行网络，通过变量的量化和散列来压缩第一深度神经网络，这可以将网络大小压缩到正常大小的十倍，同时将其速度提高至正常速度的三倍。
在一个替代实施方案中，可以使用二维图像合成来论证训练数据集：使用这种方法，可以在不同的光照条件下、使用不同的装置以及在不同的相机设定下对同一伤口进行成像，从而创建具有可能不同特点的不同图像。通过估计伤口在这些不同情况下看起来如何，可以以指数方式增加训练数据库大小。图像处理方法和计算摄影视野可以用于合成训练数据集中的图像。换言之，可以将由某一装置且在某一相机设定下拍摄的图像传递至任何其它装置以及转换成在任何相机设定下。
在又一实施方案中，可以将逼真运动模糊合成用作图像数据库的一组图像。这是因为便携式装置拍摄的许多图像容易产生运动模糊，因此第一经训练的深度神经网络应处理这种类型的成像伪像。典型的去模糊技术包括使用利用加速度计记录的真实运动核(motion kernel)。这些运动核可以用于从原始数据库图像重新生成模糊图像，就好像其是在便携式装置移动时实际捕获的一样。该组合成图像不仅可以有助于增加图像数据库大小，其还可以开发对这些伪像具有稳健性的分类模型。相同的方法可以应用于其它类型的成像伪像，例如噪声和光线不良。
在图2中的步骤E中，处理器模块202可以被配置成从热图像提取热签名数据，并且基于所提取出的热签名数据来识别继发性并发症。继发性并发症可以包括以下项中的至少一种：血液循环、伤口感染、皮肤相关病症、伤口破坏和压点。
皮肤和伤口的可见和热签名(VTS)可因各种医学状况而发生变化，这些医学状况包括愈合过程、对抗感染、皮肤中的化学沉积物(由于不同器官例如肾脏或肝脏的正常功能中断)。VTS的这些变化可与不同的医学状况相关，所述医学状况例如不同的愈合状态、伤口是否正在改善或退化或受到感染、这些是否是早期并发症的征兆、或者甚至是导致特定并发症(例如，褥疮、坏疽、糖尿病等)的状态的征兆。
在一个实施方案中，具有可见图像和对应温度图像的大量数据被收集来估计伤口、伤口区域周围的皮肤(伤口周围)以及甚至看起来正常的四肢的温度。随后，用所收集的VTS数据执行与不同医学状态(当前或将来暂时的)的关联。基于大量的稀疏温度标签图像，可以基于观察到的像素值来实现对皮肤/伤口的相对热图的估计。尽管肉眼可能无法检测到可见或热签名的变化，但是可以使用高级信号挖掘方法对伤口的普通数字图像中的VTS签名执行***搜索。随后，基于文献以及数据库中伤口/皮肤/患者状况的个人历史，预测模型可以用于使用估计的VTS来预测当前以及将来的医学状态。
在一个实施方案中，处理器模块202可以通过对瞬时VTS或VTS中的时间变化进行建模来自动识别与伤口相关的不同并发症。这可以适用于并发症管理(例如，监测受感染伤口)和预防性护理(早期血液循环中断、糖尿病或伤口形成之前皮肤的变化)。例如，如图7所示，处理器模块202可以检测四肢中的血液循环问题(左下)或皮肤上可最终形成伤口的压点(右下)。
在一个实施方案中，具有温度标签的大量数据用于估计伤口相对于其周围皮肤区域的温度，并且在相对温度估计与伤口愈合的不同状态之间执行关联。基于大量可见-红外图像对以及稀疏温度标签图像，根据观察到的颜色对皮肤的相对热图执行估计。可见-红外图像对可以使用便携式装置和附接的热感摄像机来捕获。深度自动编码器(DAE)架构与来自数字相机的图像一起使用，并且发送由手机附件捕获的对应热图像(见图8)。尽管肉眼可能看不到颜色变化，但可以使用高级信号挖掘方法在伤口的普通数字图像中搜索热签名。可以使用不同模型的RGB基于图像的内容进行热图传递。例如，包含人体的图像部分具有与包含背景的图像部分不同的模型。
由于被切断/阻塞的静脉，伤口内和周围的血液循环可被中断。随着身体抵抗感染，伤口周围的血液循环模式也会改变。因此，可以使用血液循环模式的检测来估计伤口状态。如图9所示，视频放大方法可以通过放大视频中用肉眼难以或无法看到的时间变化来揭示来自皮肤视频的脉冲。在该方法中，将空间分解和随后的时域滤波应用于帧序列。给定人类心跳的正常频率，可以使用从身体部分拍摄的视频来完成过滤，并放大由于血液循环(脉冲)以及血液所采取的路径而导致的皮肤上的颜色变化。
在一个实施方案中，递归卷积神经网络(RCNN)可以用于重复相同的结果，但是具有显著更低的复杂度，接近实时并且对于不受控制的环境是稳健的，并且适合于在便携式装置例如智能手机上运行。视频放大方法的输入和输出与人脉率和肤色变化的拟合参数一起使用。在给定皮肤视频的情况下，将网络训练成产生相同的所得放大脉冲输出。当检测到由于血液循环引起的皮肤颜色变化时，可以估计整个皮肤的血液流动。在另一实施方案中，这种结构可以与伤口分割进行组合，以将颜色变化放大聚焦到皮肤和伤口面积，以便随后获得与血液循环有关的光流。
在第二神经网络模块206确定伤口的尺寸之后，处理器模块202接收与以下项中的一个或多个相对应的伤口数据：(i)所识别的伤口组织类型、(ii)伤口的尺寸以及(iii)所识别的继发性并发症。然后，处理器模块202使用深度散列函数基于伤口数据来生成编码向量。编码向量可以表示对伤口的综合评估和/或目标对象的概况。
更具体地，深度散列函数可以为任何接收到的伤口数据和/或目标对象的概况(target subject)(例如，患者概况)提供几种代码。所接收到的伤口数据例如伤口类型、伤口尺寸和继发性并发症以及目标对象概况中的每一个都是直接从相应模块内的网络获得的值的向量，并且不处于任何特定的人类可理解的格式。这些值向量与基于这些模块的测量输出创建的人类可理解的报告不同。这些向量是这些模块中使用的深度神经结构的一层或多层，而不是单个值。处理器模块202接收所有这样的值向量，并且生成定义当前案例的当前状态的编码向量。然后，将编码向量储存在数据库210中，该数据库210与处理器模块202通信。所生成的编码向量可以用于估计护理状况并且预测愈合过程，并且还与任何其它案例进行匹配以选择数据库210中与查询案例最相关的案例。
在一个实施方案中，处理器模块202可以生成包括几个子值的编码向量。第一子值可以是表明该案例在愈合方面的当前集体状态的单个值。随后的子值是集体愈合状态的预测值(例如，未来一周、两周和一个月)。由于这些子值是由编码向量确定的并且编码向量包含对当前伤口的当前评估和目标对象的概况二者，因此所得愈合状态的估计会受到所有这些因素的影响。处理器模块202可以通过使用作为输入的编码向量以及临床专业人员所得到的实际集体愈合状态来训练。每种医学状况具有不同的模型(例如，伤口模型是不同的皮肤状况模型)。子值可以用于跟踪和预测每个案例的愈合状态。
在图2中的步骤F中，处理器模块202从数据库210检索与编码向量相对应的处理数据。换言之，处理器模块202匹配查询编码向量并检索在数据库210中找到的最佳匹配案例。可以通过用户装置(图2中未示出)将匹配的数据呈现给目标对象和/或用户。匹配分三个步骤执行。第一步是状况匹配，例如，伤口、血液循环问题、皮肤状况等。第二步是集群匹配，其在数据库210中找到与查询编码向量最匹配的数据集群。第三步，也是最后一步是在样本集群内找到最匹配项，并且将其返回呈现给用户。该三步匹配过程可以提高匹配的精度以及大大减少搜索时间。此外，当前***使用位于便携式装置(例如，智能手机)的前端和服务器的后端这两者上的不同神经网络模块，储存在数据库210中的数据是链接这些不同模块的数据并且不是人类可理解的，因此使得所储存的数据即使在被泄露给外部资源的情况下也是安全的。
本文中术语“模块”的使用可以理解为是指单个计算装置或一起操作以执行特定功能的多个互连计算装置。即，模块可以被包含在单个硬件单元内或者分布在几个不同的硬件单元之间。更具体地，就硬件而言，模块是被设计成与其它组件或模块一起使用的功能硬件单元。例如，模块可以使用分立电子组件来实施，或者可以形成整个电子电路例如专用集成电路(ASIC)的一部分。存在许多其它可能性。所属领域的技术人员将理解，该***也可以作为硬件和软件模块的组合被实施。
下面参照图10描述了可以作为模块***作的示例性计算装置。
图10示出了适合于实现处理器模块202、第一神经网络模块204、第二神经网络模块206和/或图像捕获模块208的计算机装置或计算机***1000的示意图。对计算装置1000的以下描述仅以示例的方式提供，而不意图是限制性的。
如图10所示，示例性计算装置1000包括用于执行软件程序的处理器1004。尽管为了清楚起见示出了单个处理器，但是计算装置1000也可以包括多处理器***。处理器1004连接至通信基础设施1006，以用于与计算装置1000的其它组件进行通信。通信基础设施1006可以包括例如通信总线、交叉条(cross-bar)或网络。
计算装置1000进一步包括主存储器1008例如随机存取存储器(RAM)和辅助存储器1010。辅助存储器1010可以包括例如硬盘驱动器1012，该硬盘驱动器1012可以是硬盘驱动器、固态驱动器或混合驱动器和/或可移动存储驱动器1014，其可以包括磁带驱动器、光盘驱动器、固态存储驱动器(例如USB闪存驱动器、闪存存储装置、固态驱动器或存储卡)等。可移动存储驱动器1014以熟知的方式从可移动存储单元1018读取和/或向其写入。可移动存储单元1018可以包括由可移动存储驱动器1014读取和写入的磁带、光盘、非易失性存储器存储介质等。如相关领域的技术人员将理解的，可移动存储单元1018包括其中储存有计算机可执行程序代码指令和/或数据的计算机可读存储介质。
在一个替代实施方式中，辅助存储器1010可以附加地或替代地包括用于允许将计算机程序或其它指令加载到计算装置1000中的其它相似装置。这类装置可以包括例如可移动存储单元1022和接口1020。可移动存储单元1022和接口1020的实例包括程序盒式存储器和盒式接口(例如视频游戏控制台装置中所配备的)、可移动存储芯片(例如EPROM或PROM)和相关联的插座、可移动固态存储驱动器(例如USB闪存驱动器、闪存存储装置、固态驱动器或存储卡)以及允许将软件和数据从可移动存储单元1022传递至计算机***1000的其它可移动存储单元1022和接口1020。
计算装置1000还包括至少一个通信接口1024。通信接口1024使得软件和数据能够经由通信路径1026在计算装置1000与外部装置之间传递。在各个实施方案中，通信接口1024容许数据在计算装置1000与数据通信网络，例如公共数据或私有数据通信网络之间进行传递。通信接口1024可以用于在不同的计算装置1000之间交换数据，这些计算装置1000形成互连计算机网络的一部分。通信接口1024的实例可以包括调制解调器、网络接口(例如以太网卡)、通信端口(例如，串行、并行、打印机、GPIB、IEEE 1394、RJ45、USB)、带有相关联电路的天线等。通信接口1024可以是有线的或者可以是无线的。经由通信接口1024传递的软件和数据是信号的形式，该信号可以是能够通过通信接口1024接收的电子信号、电磁信号、光信号或其它信号。这些信号经由通信路径1026被提供给通信接口。
如图10所示，计算装置1000进一步包括显示接口1002和音频接口1032，其中显示接口1002执行用于将图像提供给相关联显示器1030的操作，音频接口1032用于执行经由(一个或多个)相关联扬声器1034播放音频内容的操作。
本文所使用的术语“计算机程序产品”可以部分地指代可移动存储单元1018、可移动存储单元1022、安装在硬盘驱动器1012中的硬盘或通过通信路径1026(无线链路或电缆)将软件传送至通信接口1024的载波。计算机可读存储介质是指将记录的指令和/或数据提供给计算装置1000以执行和/或处理的任何非暂时性有形存储介质。这类存储介质的实例包括磁带、CD-ROM、DVD、Blu-rayTM光盘、硬盘驱动器、ROM或集成电路、固态驱动器(例如USB闪存驱动器、闪存存储器装置、固态驱动器或存储卡)、混合驱动器、磁光盘或计算机可读卡例如PCMCIA卡等，无论此类装置是在计算装置1000的内部还是外部。同样可以参与向计算装置1000提供软件、应用程序、指令和/或数据的暂时性或非有形计算机可读传输介质的实例包括：无线电或红外传输通道以及与另一计算机或联网装置的网络连接、以及包括电子邮件传输和网站上记录的信息的互联网或内联网等。
计算机程序(也称为计算机程序代码)被储存在主存储器1008和/或辅助存储器1010中。计算机程序也可以经由通信接口1024来接收。此类计算机程序在被执行时使计算装置1000能够执行本文所讨论的实施方案的一个或多个特征。在各个实施方案中，计算机程序在被执行时使处理器1004能够执行上述实施方案的特征。因此，此类计算机程序表示计算机***1000的控制器。
可以使用可移动存储驱动器1014、硬盘驱动器1012或接口1020将软件储存在计算机程序产品中并加载到计算装置1000中。可替代地，可以通过通信路径1026将计算机程序产品下载到计算机***1000。软件在被处理器1004执行时使得计算装置1000执行本文所描述的实施方案的功能。
应理解，图10的实施方案仅通过示例的方式呈现。因此，在一些实施方案中，可以省略计算装置1000的一个或多个特征。同样，在一些实施方案中，可以将计算装置1000的一个或多个特征组合在一起。此外，在一些实施方案中，可以将计算装置1000的一个或多个特征分到一个或多个组成部件中。
图11示出了示意图，该示意图示出根据一个示例性实施方案的各个实体之间在用于帮助分析目标对象的伤口的方法期间的信息流。在步骤1中，便携式装置例如智能手机捕获目标对象的伤口的数字图像。智能手机可以包括红外相机附件，使得所捕获的数字图像包括但不限于红外图像和可见光图像。在步骤2中，处理数字图像并将伤口从周围组织分割。在步骤3中，构建伤口的三维模型。在步骤4中，处理三维模型以将伤口从周围组织分割。在步骤5中，在分割伤口之后，确定伤口的关键尺寸，例如伤口大小和深度。
在可能与步骤4并行发生的步骤6中，通过深度神经网络识别伤口组织的类型。在步骤7中，识别伤口的继发性并发症，例如伤口温度、血液循环、破坏和压点。在步骤8中，综合和评估伤口尺寸、伤口组织类型和继发性并发症的结果。在步骤9中，基于在步骤8中收集的结果提供预测愈合时间。同时，在步骤10中，基于在步骤8中收集的结果从数据库中检索与当前伤口数据匹配的相似案例。
所属领域的技术人员将理解，在不背离广义地描述的本发明的精神或范围的情况下，可以对具体实施方案中示出的本发明作出多种变化和/或修改。因此，本发明实施方案在所有方面都应被认为是说明性的而不是限制性的。

Claims (18)

1.一种用于帮助分析目标对象的伤口的方法，所述方法包括：
获得所述伤口的至少一部分的一个或多个数字图像；
从一个或多个经处理的数字图像提取多个特征向量；
使用第一经训练的深度神经网络，基于多个提取出的特征向量来识别七种伤口组织类型中的一种或多种；
其中所述第一经训练的深度神经网络在第一步中被训练以在不同光照下具有稳健性，其包括使用与伤口无关的相同场景的不同光照下的图像来进行训练的至少一个卷积层；以及
其中所述第一经训练的深度神经网络在第二步中使用与伤口无关的不同物体的图像来进行训练以检测物体的不同方面，并且在第三步中使用伤口图像来进行训练以微调网络中区分不同伤口组织的更高层次的决策；并且
其中所述七种伤口组织类型由以下各项组成：坏死、脱落、健康肉芽、不健康肉芽、肉芽生长过度、感染和上皮形成。
2.根据权利要求1所述的方法，所述方法进一步包括：
在从所述一个或多个数字图像提取所述多个特征向量之前，处理所述伤口的所述一个或多个数字图像以将所述伤口与所述伤口的其它周围组织分割。
3.根据权利要求2所述的方法，其中，处理所述伤口的所述一个或多个数字图像以分割所述伤口的步骤包括：
对所述伤口的所述一个或多个数字图像进行下采样；
对所述下采样的一个或多个数字图像进行粗分割；以及
对所述粗分割的一个或多个数字图像进行细化。
4.根据权利要求1所述的方法，其中，所述伤口的两个数字图像从彼此间隔开的两个数字图像捕获装置分别获得，其中，所述方法进一步包括：
基于所述伤口的所述两个数字图像来构建所述伤口的三维模型；以及
在从所述一个或多个数字图像提取所述多个特征向量之前，处理所述伤口的所述三维模型以将所述伤口与所述伤口的其它周围组织分割。
5.根据权利要求4所述的方法，所述方法进一步包括：
基于分割的三维模型来确定所述伤口的至少一个关键尺寸。
6.根据权利要求4所述的方法，使用大量的合成三维图像对来训练第二深度神经网络，以获得三维估计的预期精度，随后，基于来自伤口黏土模型的真实图像对第二深度神经网络进行微调，其中，所述第二经训练的深度神经网络用于帮助构建所述伤口的所述三维模型。
7.根据权利要求5所述的方法，其中，获得所述伤口的两个数字图像，并且所述两个数字图像中的一个包括所述伤口的热图像，其中，所述方法进一步包括：
从所述热图像提取热签名数据；以及
基于所提取出的热签名数据来识别继发性并发症。
8.根据权利要求7所述的方法，其中，所述继发性并发症包括以下项中的至少一种：血液循环、伤口感染、皮肤相关病症、伤口破坏和压点。
9.根据权利要求7所述的方法，所述方法进一步包括：
接收与以下项中的一个或多个相对应的伤口数据：（i）所识别的伤口组织类型、（ii）所述伤口的尺寸、以及（iii）所识别的继发性并发症；
使用深度散列函数基于所述伤口数据来生成编码向量，所述编码向量表示对所述伤口的综合评估；
从数据库中检索与所述编码向量相对应的处理数据。
10.一种用于帮助分析目标对象的伤口的***，所述***包括：
一个或多个图像捕获模块，所述一个或多个图像捕获模块被配置成获得所述伤口的至少一部分的一个或多个数字图像；
第一神经网络模块，所述第一神经网络模块被配置成实施第一经训练的深度神经网络，其中所述第一经训练的深度神经网络在第一步中被训练以在不同光照下具有稳健性，其包括使用与伤口无关的相同场景的不同光照下的图像来进行训练的至少一个卷积层；以及其中所述第一经训练的深度神经网络在第二步中使用与伤口无关的不同物体的图像来进行训练以检测物体的不同方面，并且在第三步中使用伤口图像来进行训练以微调网络中区分不同伤口组织的更高层次的决策；以及
处理器模块，所述处理器模块被配置成从一个或多个数字图像提取多个特征向量；
其中所述第一经训练的深度神经网络被进一步配置成基于多个提取出的特征向量来识别七种伤口组织类型中的一种或多种；
其中所述七种伤口组织类型由以下各项组成：坏死、脱落、健康肉芽、不健康肉芽、肉芽生长过度、感染和上皮形成。
11.根据权利要求10所述的***，其中，所述处理器模块被进一步配置成在从所述一个或多个数字图像提取所述多个特征向量之前，处理所述伤口的所述一个或多个数字图像以将所述伤口与所述伤口的其它周围组织分割。
12.根据权利要求11所述的***，其中，所述处理器模块被进一步配置成：
对所述伤口的所述一个或多个数字图像执行下采样；
对所述下采样的一个或多个数字图像执行粗分割；以及
对所述粗分割的一个或多个数字图像执行细化，以将所述伤口与所述伤口的其它周围组织分割。
13.根据权利要求10所述的***，所述***进一步包括两个数字图像捕获装置，所述两个数字图像捕获装置彼此间隔开并且被配置成分别获得所述伤口的两个数字图像，其中，所述处理器模块被进一步配置成：
基于所述伤口的所述两个数字图像来构建所述伤口的三维模型；以及
在从所述一个或多个数字图像提取所述多个特征向量之前，处理所述伤口的所述三维模型以将所述伤口与所述伤口的其它周围组织分割。
14.根据权利要求13所述的***，其中，所述处理器模块被进一步配置成：
基于所述分割的三维模型来确定所述伤口的至少一个关键尺寸。
15.根据权利要求13所述的***，所述***进一步包括第二神经网络模块，所述第二神经网络模块被配置成实施第二经训练的深度神经网络以帮助构建所述伤口的所述三维模型。
16.根据权利要求14所述的***，其中，获得所述伤口的两个数字图像，并且所述两个数字图像中的一个包括所述伤口的热图像，其中，所述处理器模块被进一步配置成：
从所述热图像提取热签名数据；以及
基于所提取的热签名数据来识别继发性并发症。
17.根据权利要求16所述的***，其中，所述继发性并发症包括以下项中的至少一种：血液循环、伤口感染、皮肤相关病症、伤口破坏和压点。
18.根据权利要求16所述的***，其中，所述处理器模块被进一步配置成：
接收与以下项中的一个或多个相对应的伤口数据：（i）所识别的伤口组织类型、（ii）所述伤口的尺寸、以及（iii）所识别的继发性并发症；
使用深度散列函数基于所述伤口数据来生成编码向量，所述编码向量表示对所述伤口的综合评估；
从数据库中检索与所述编码向量相对应的处理数据。
CN201780095973.XA 2017-10-17 2017-10-17 用于帮助分析目标对象中的伤口的***和方法 Active CN111225611B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SG2017/050519 WO2018217162A1 (en) 2017-10-17 2017-10-17 System and method for facilitating analysis of a wound in a target subject

Publications (2)

Publication Number Publication Date
CN111225611A CN111225611A (zh) 2020-06-02
CN111225611B true CN111225611B (zh) 2024-03-05

Family

ID=64395752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780095973.XA Active CN111225611B (zh) 2017-10-17 2017-10-17 用于帮助分析目标对象中的伤口的***和方法

Country Status (5)

Country Link
US (1) US11185280B2 (zh)
EP (1) EP3697300A4 (zh)
CN (1) CN111225611B (zh)
AU (1) AU2017415626B2 (zh)
WO (1) WO2018217162A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220240783A1 (en) 2017-03-02 2022-08-04 Spectral Md, Inc. Machine learning systems and techniques for multispectral amputation site analysis
US11100350B2 (en) * 2018-02-19 2021-08-24 Avigilon Corporation Method and system for object classification using visible and invisible light images
CN108932508B (zh) * 2018-08-13 2022-03-18 杭州大拿科技股份有限公司 一种题目智能识别、批改的方法和***
CN113260303B (zh) 2018-12-14 2024-07-05 光谱Md公司 用于评估、愈合预测和治疗创伤的机器学习***和方法
WO2020123722A1 (en) 2018-12-14 2020-06-18 Spectral Md, Inc. System and method for high precision multi-aperture spectral imaging
US12014500B2 (en) 2019-04-14 2024-06-18 Holovisions LLC Healthy-Selfie(TM): methods for remote medical imaging using a conventional smart phone or augmented reality eyewear
US11308618B2 (en) 2019-04-14 2022-04-19 Holovisions LLC Healthy-Selfie(TM): a portable phone-moving device for telemedicine imaging using a mobile phone
US11222409B2 (en) * 2019-05-22 2022-01-11 Nec Corporation Image/video deblurring using convolutional neural networks with applications to SFM/SLAM with blurred images/videos
CN116157065A (zh) * 2020-07-13 2023-05-23 光谱Md公司 用于伤口组织学评估的光谱成像***和方法
IL305007A (en) * 2021-02-09 2023-10-01 Adiuvo Diagnostics Private Ltd Fluorescence-based identification of problematic cellular entities
FR3122758B1 (fr) * 2021-05-10 2024-05-10 Pixacare Suivi semi-automatisé d’une plaie
GB2613347A (en) * 2021-11-30 2023-06-07 Streamlined Forensic Reporting Ltd System for wound analysis
CN115252124B (zh) * 2022-09-27 2022-12-20 山东博达医疗用品股份有限公司 一种基于伤情图片数据分析的缝线用量预估方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201055383Y (zh) * 2007-07-03 2008-05-07 周雄鄂 多功能体部立体固定定位***
CN101516262A (zh) * 2006-09-19 2009-08-26 凯希特许有限公司 用于跟踪组织的愈合进展的***和方法
CN106164929A (zh) * 2013-12-03 2016-11-23 儿童国家医疗中心 用于创面评估与管理的方法和***

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100185064A1 (en) * 2007-01-05 2010-07-22 Jadran Bandic Skin analysis methods
US8923954B2 (en) * 2010-07-12 2014-12-30 The Johns Hopkins University Three-dimensional thermal imaging for the detection of skin lesions and other natural and abnormal conditions
US10206604B2 (en) * 2013-05-23 2019-02-19 Cutosense Oy Arrangement for facilitating wound healing, a method for measuring wound healing and a wound dressing
US9996925B2 (en) 2013-10-30 2018-06-12 Worcester Polytechnic Institute System and method for assessing wound
US10032287B2 (en) * 2013-10-30 2018-07-24 Worcester Polytechnic Institute System and method for assessing wound
US9286537B2 (en) 2014-01-22 2016-03-15 Cognizant Technology Solutions India Pvt. Ltd. System and method for classifying a skin infection
SG10201405182WA (en) * 2014-08-25 2016-03-30 Univ Singapore Technology & Design Method and system
US10117617B2 (en) * 2014-10-08 2018-11-06 Revealix, Inc. Automated systems and methods for skin assessment and early detection of a latent pathogenic bio-signal anomaly
CN107106020A (zh) * 2014-10-29 2017-08-29 组织分析股份有限公司 用于分析并且传输与哺乳动物皮损病有关的数据、图像和视频的***与方法
US20160120459A1 (en) * 2014-10-30 2016-05-05 Flawless Service Corporation Wound Acknowledgement Interface
US9990472B2 (en) * 2015-03-23 2018-06-05 Ohio State Innovation Foundation System and method for segmentation and automated measurement of chronic wound images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101516262A (zh) * 2006-09-19 2009-08-26 凯希特许有限公司 用于跟踪组织的愈合进展的***和方法
CN201055383Y (zh) * 2007-07-03 2008-05-07 周雄鄂 多功能体部立体固定定位***
CN106164929A (zh) * 2013-12-03 2016-11-23 儿童国家医疗中心 用于创面评估与管理的方法和***

Also Published As

Publication number Publication date
US20200330028A1 (en) 2020-10-22
EP3697300A1 (en) 2020-08-26
US11185280B2 (en) 2021-11-30
EP3697300A4 (en) 2020-10-14
AU2017415626B2 (en) 2020-08-06
CN111225611A (zh) 2020-06-02
AU2017415626A1 (en) 2020-04-23
WO2018217162A1 (en) 2018-11-29

Similar Documents

Publication Publication Date Title
CN111225611B (zh) 用于帮助分析目标对象中的伤口的***和方法
Fernandes et al. Predicting heart rate variations of deepfake videos using neural ode
US10810735B2 (en) Method and apparatus for analyzing medical image
CN114820494B (zh) 用于可视化流动的使用机器学习的散斑对比度分析
CN111091536B (zh) 医学图像处理方法、装置、设备、介质以及内窥镜
WO2018188453A1 (zh) 人脸区域的确定方法、存储介质、计算机设备
WO2016069463A2 (en) A system and method for the analysis and transmission of data, images and video relating to mammalian skin damage conditions
EP2797051B1 (en) Image processing device, image processing method, program, and recording medium
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
CN110197474B (zh) 图像处理方法和装置及神经网络模型的训练方法
CN112419295A (zh) 医学图像处理方法、装置、计算机设备和存储介质
CN110009656B (zh) 目标对象的确定方法、装置、存储介质及电子装置
JP2013152669A (ja) 画像監視装置
Mathew et al. Transform based bleeding detection technique for endoscopic images
Chen et al. Ulcer detection in wireless capsule endoscopy video
Szankin et al. Long distance vital signs monitoring with person identification for smart home solutions
CN110874572B (zh) 一种信息检测方法及装置、存储介质
Alam et al. Rat-capsnet: A deep learning network utilizing attention and regional information for abnormality detection in wireless capsule endoscopy
Vasudeva et al. Classifying Skin Cancer and Acne using CNN
CN112716468A (zh) 基于三维卷积网络的非接触心率测量方法及装置
CN111582278B (zh) 人像分割方法、装置及电子设备
Codella et al. Segmentation of both diseased and healthy skin from clinical photographs in a primary care setting
KR101910843B1 (ko) 오목점과 슈퍼픽셀 정보를 이용한 깊이 기반 근접 돼지 구분 방법
Yancey Deep Learning for Localization of Mixed Image Tampering Techniques
CN117523652A (zh) 一种跌倒检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant