CN112837264B - 肋骨定位、骨折临床结局预测装置及自动诊断*** - Google Patents
肋骨定位、骨折临床结局预测装置及自动诊断*** Download PDFInfo
- Publication number
- CN112837264B CN112837264B CN202011535974.1A CN202011535974A CN112837264B CN 112837264 B CN112837264 B CN 112837264B CN 202011535974 A CN202011535974 A CN 202011535974A CN 112837264 B CN112837264 B CN 112837264B
- Authority
- CN
- China
- Prior art keywords
- fracture
- rib
- detection
- clinical
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 19
- 206010017076 Fracture Diseases 0.000 claims abstract description 184
- 208000010392 Bone Fractures Diseases 0.000 claims abstract description 171
- 208000027790 Rib fracture Diseases 0.000 claims abstract description 90
- 208000005250 Spontaneous Fractures Diseases 0.000 claims abstract description 24
- 230000035876 healing Effects 0.000 claims abstract description 22
- 238000012216 screening Methods 0.000 claims abstract description 19
- 206010034156 Pathological fracture Diseases 0.000 claims abstract description 18
- 208000007356 Fracture Dislocation Diseases 0.000 claims abstract description 12
- 238000010837 poor prognosis Methods 0.000 claims abstract description 9
- 238000001514 detection method Methods 0.000 claims description 125
- 238000012549 training Methods 0.000 claims description 46
- 238000013145 classification model Methods 0.000 claims description 27
- 208000014674 injury Diseases 0.000 claims description 15
- 230000008733 trauma Effects 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 12
- 239000013598 vector Substances 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004393 prognosis Methods 0.000 claims description 9
- 206010028980 Neoplasm Diseases 0.000 claims description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 6
- 210000004369 blood Anatomy 0.000 claims description 6
- 239000008280 blood Substances 0.000 claims description 6
- 230000003902 lesion Effects 0.000 claims description 6
- 229910052760 oxygen Inorganic materials 0.000 claims description 6
- 239000001301 oxygen Substances 0.000 claims description 6
- 210000002966 serum Anatomy 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000000391 smoking effect Effects 0.000 claims description 4
- 208000007848 Alcoholism Diseases 0.000 claims description 3
- 108010074051 C-Reactive Protein Proteins 0.000 claims description 3
- 102100032752 C-reactive protein Human genes 0.000 claims description 3
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 claims description 3
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 claims description 3
- 102000001554 Hemoglobins Human genes 0.000 claims description 3
- 108010054147 Hemoglobins Proteins 0.000 claims description 3
- 206010020772 Hypertension Diseases 0.000 claims description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 102100027378 Prothrombin Human genes 0.000 claims description 3
- 108010094028 Prothrombin Proteins 0.000 claims description 3
- 201000007930 alcohol dependence Diseases 0.000 claims description 3
- 230000036772 blood pressure Effects 0.000 claims description 3
- 230000036760 body temperature Effects 0.000 claims description 3
- 239000011575 calcium Substances 0.000 claims description 3
- 229910052791 calcium Inorganic materials 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 206010012601 diabetes mellitus Diseases 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 229910052698 phosphorus Inorganic materials 0.000 claims description 3
- 239000011574 phosphorus Substances 0.000 claims description 3
- 229940039716 prothrombin Drugs 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 2
- 230000002349 favourable effect Effects 0.000 abstract description 2
- 210000000988 bone and bone Anatomy 0.000 description 8
- 210000000038 chest Anatomy 0.000 description 7
- 206010027476 Metastases Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000009401 metastasis Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 206010020649 Hyperkeratosis Diseases 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 208000018084 Bone neoplasm Diseases 0.000 description 3
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 201000005202 lung cancer Diseases 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 230000000472 traumatic effect Effects 0.000 description 3
- 206010056377 Bone tuberculosis Diseases 0.000 description 2
- 208000004852 Lung Injury Diseases 0.000 description 2
- 208000009360 Osteoarticular Tuberculosis Diseases 0.000 description 2
- 208000001132 Osteoporosis Diseases 0.000 description 2
- 206010069363 Traumatic lung injury Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000013211 curve analysis Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 231100000515 lung injury Toxicity 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010061386 Chest injury Diseases 0.000 description 1
- 206010048612 Hydrothorax Diseases 0.000 description 1
- 206010027452 Metastases to bone Diseases 0.000 description 1
- 208000002151 Pleural effusion Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 206010037370 Pulmonary contusion Diseases 0.000 description 1
- 208000029224 Thoracic injury Diseases 0.000 description 1
- 206010049514 Traumatic fracture Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000010072 bone remodeling Effects 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000001370 mediastinum Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 201000003144 pneumothorax Diseases 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000011309 routine diagnosis Methods 0.000 description 1
- 210000001991 scapula Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- General Physics & Mathematics (AREA)
- Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种肋骨定位、骨折临床结局预测装置及自动诊断***，其中，所述肋骨定位装置用于输出肋骨的解剖学定位标签；所述肋骨骨折临床结局预测装置用于预测肋骨骨折的临床结局。本发明还公开了一种肋骨骨折分类装置，可检测并分类肋骨骨折，输出精细化的肋骨骨折分类标签，包括新鲜错位/非错位骨折、愈合期骨折、陈旧性骨折、病理性骨折。基于上述装置，本发明还公开了一种肋骨骨折自动诊断***。本发明提高了肋骨骨折自动诊断中肋骨定位的精确度、骨折分类的精细度，并能进一步预测临床结局，有利于筛选预后不良患者而提前干预治疗。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种肋骨定位、骨折临床结局预测装置及自动诊断***。
背景技术
肋骨骨折是最常见的胸部钝性伤(约占40～80％)，患者疼痛剧烈，愈合时间长。对于多根多处肋骨骨折，患者的致残率、死亡率明显增加。目前，计算机辅助诊断(computer-aided diagnosis，CAD)技术已应用于胸部肋骨骨折的自动检测，以减少漏诊、减少诊断时间从而提高诊断效率，有利于患者的临床治疗。
现有的肋骨定位模型多仅在CT图像上用矩形框自动标记骨折的位置。然而，肋骨骨折的具体解剖学定位(例如左/右第1-12肋骨)及骨折根数并未获得。在影像科医师日常诊断中，肋骨骨折不仅需要准确检测，骨折的具体解剖学定位亦需要精确指出。因为胸外科医师往往根据骨折的错位程度结合解剖学位置以及骨折根数来判断患者的临床预后及手术方案的选择，准确的影像学报告可减少过度手术或因迟发性肺损伤而再次手术，减少因定位错位而致手术野的偏差等。此外，精确的肋骨骨折解剖学定位有利于患者的法医学鉴定及伤残等级判断。然而，肋骨的解剖学定位和骨折检测一样是件非常耗时、费力、易错的任务。影像科医师需要从第一层开始逐层往下数，一旦漏数、错数，整个肋骨必须重新计数。
从分类结果上看，现有的肋骨骨折自动检测和分类模型只能做到肋骨的新鲜/陈旧骨折，或者新鲜/愈合期/陈旧骨折的区分，尚未实现对于新鲜骨折错位程度的区分，例如错位骨折/非错位骨折。而由于骨折的错位与否对患者的临床预后关系密切，新鲜错位性骨折多数会合并肺炎、肺挫伤、血气胸、大量胸腔积液等临床并发症。此外，临床医师一般根据是否为多发、多处新鲜错位性骨折来判断患者是否需要做肋骨切开复位手术。因此，骨折的错位程度比现有模型区分的骨折新鲜程度具有更大、更深的临床意义。同样具有重要临床意义的骨折类型是病理性骨折，患者会因为本身肋骨骨质疏松、骨结核、骨肿瘤、骨转移瘤等致肋骨异常脆弱而易因外伤骨折，对于此类骨折，患者需要和普通骨折接受不一样的治疗(例如骨肿瘤、骨转移瘤的化学治疗等)。由此可见，因外伤意外而准确检测的此类病理性骨折将对患者具有重要临床意义。
从实现手段上看，现有的肋骨骨折自动检测和分类模型仅训练患者的肋骨CT图像，没有结合或仅结合了性别、年龄等较少的临床信息，诸如患者的肿瘤史、BMI指数、合并症、疼痛VAS评分的与外伤及骨折的性质及严重程度的临床信息尚未纳入模型。众所周知，影像诊断的结论是一个综合影像图片和临床病史的过程，通常这些信息对影像结论的得出具有至关重要的作用。例如，患者甲是一个肺癌患者，当他因外伤来医院做胸部CT检查，发现左右两侧肋骨具有多发低密度区，部分可见骨折线，这样的结论应该是多发低密度区考虑为肺癌骨转移，部分合并病理性骨折。如果模型没有接受肋骨骨转移及骨转移病理性骨折的训练，那么就会将该患者的肺癌骨转移误诊为普通的新鲜骨折而影响患者的及时治疗。
此外，目前尚未有相关装置及***可以对骨折的临床结局进行预测。
发明内容
发明目的：本发明提出一种可以精准定位的肋骨自动化定位装置。本发明还提出了一种的对肋骨骨折进行精细划分的分类装置。本发明的又一目的在于提出一种可预测骨折临床结局的预测装置。本发明的再一目的在于提出一种基于上述三种装置的肋骨骨折自动诊断***。
技术方案：本发明所述的肋骨自动化定位装置包括：
采集模块，用于获取肋骨横截面图像，生成肋骨横截面图像训练集；
目标检测模块，用于对采集模块获取的肋骨横截面图像进行目标检测，生成至少一个检测矩形框，判断所述检测矩形框所属的对应于解剖学定位标签的子集，根据子集得到对应的定位标签；
训练模块，用于根据所述解剖学定位标签及肋骨横截面图像训练集，训练得到肋骨定位模型；
定位模块，用于将待定位的肋骨横截面图像输入到所述肋骨定位模型中，输出其对应的定位标签。
进一步地，所述目标检测模块包括：
目标识别单元，用于获取所述肋骨横截面图像，以所述肋骨横截面为xoy平面，建立空间直角坐标系，其中所述肋骨横截面图像中的水平、竖直方向分别为x、y轴，以空间直角坐标系中的z轴为基准，将肋骨分为不同层面；对所述肋骨横截面图像进行目标检测，生成检测矩形框；
判断子单元，用于对连续层面的，所述检测矩形框进行合并，根据合并后的检测矩形框生成肋骨的定位标签，采用交并比(Intersection over Union，IoU)判断连续两个层面是否属于同一个肋骨：
当所述检测矩形框较小时，即当areaX/areaY>4时，计算第一判断标准：
X表示当前层面，Y表示相邻层面，当IoU1>0.8时，表示当前层面和相邻层面属于同一个肋骨，并被归为一个子集；否则，
计算第二判断标准：
其中，X和Y是位于连续的不同层面的检测矩形框；
当IoU2>0.5时，表示连续的两个层面属于同一个肋骨，并被归为一个子集；多层时，按照层所在z轴位置由上到下，如果一个层面的检测框与一个子集z轴最下的层面检测框满足公式，则合并该检测框；
根据以上第一或第二判断标准保留检测框数目最多的前24个子集的矩形框；
根据肋骨在同一层面y轴坐标值的大小对肋骨进行打分：当y轴坐标值相等时，保持得分；y轴坐标值越大时，得分增大；y轴坐标值越小，得分越低；沿着y轴的子集从最大的分数排序到最小的分数，相应的肋骨解剖学定位从第1排序到第12排序；
所述肋骨横截面的原点右侧的肋骨为左肋骨，左侧的为右肋骨；
输出子集对应的定位标签，所述定位标签包括肋骨属于左肋骨或右肋骨、肋骨解剖学定位序号。
进一步地，所述肋骨自动化定位装置还包括矫正模块，所述矫正模块用于对获取的所述肋骨横截面图像进行x-y轴矫正，并将矫正后的肋骨横截面图像发送给目标检测模块进行目标检测，其中所述x-y轴矫正包括：
(111)绘制一个包含所有检测矩形框的最小外接矩阵；
(112)以所述最小外接矩阵的中心为原点，最小外接矩阵的横轴为x轴，纵轴为y轴。
本发明所述的肋骨骨折分类装置包括：
采集模块，用于获取临床信息数据集及所述临床信息数据对应骨折图像；
第一训练模块，用于根据肋骨骨折类型标签，基于所述采集模块获取的临床信息数据集及所述临床信息数据对应骨折图像，构建初级肋骨骨折检测和分类模型，所述初级肋骨骨折检测和分类模型输出四分类中的一种，所述四分类包括新鲜骨折、愈合期骨折、陈旧性骨折、病理性骨折；
第二训练模块，用于根据新鲜错位、新鲜非错位骨折图像训练构建错位、非错位精细骨折分类模型；
分类模块，用于获取待分类肋骨骨折图像，输入所述初级肋骨骨折检测和分类模型，当输出结果为新鲜骨折时，采用所述错位、非错位精细骨折分类模型识别是否错位，否则输出愈合期骨折、陈旧性骨折、病理性骨折中的一种。
进一步地，所述第一训练模块包括：
检测子单元，用于获取骨折图像，进行目标检测，生成检测矩形框；
三维建模子单元，用于以所述骨折图像的肋骨横截面为xoy平面，建立空间直角坐标系，其中所述肋骨横截面图像中的水平、竖直方向分别为x、y轴，以空间直角坐标系中的z轴为基准，将肋骨分为不同层面；
判断子单元，用于判断位于不同层面或同一层面不同部位的检测结果是否属于同一骨折病灶：
其中，X和Y是位于连续的不同层面或同一层面不同部位的检测矩形框；若Dice值>0.75，则认为其为同一骨折病灶；否则它们被认为是不同的骨折病灶；
输出结果中出现最频繁的骨折类别输出为可能的骨折类型；
当两种骨折类型出现的频率相同时，选择置信分数较高的骨折类型作为可能的骨折类型输出；
所述骨折类型为四分类中的一种，所述四分类包括新鲜骨折、愈合期骨折、陈旧性骨折、病理性骨折；
当仅仅只有1-2层的骨折被识别出来，则结果为假阳性。
进一步地，所述临床信息数据为采集的患者的各临床指标数据，所述临床指标包括以下至少一种：患者的年龄、性别、外伤史、肿瘤史、疼痛视觉模拟评分、合并症、BMI指数、呼吸、心率、血压、体温、职业、吸烟指数、酗酒、糖尿病、高血压、慢性阻塞性肺疾病、血氧分压、血氧饱和度、血清钙浓度、血清磷浓度、血红蛋白水平、血小板计数、凝血酶原、C反应蛋白、外伤、骨折严重程度、骨折类型、临床结局相关的多量临床指标。
进一步地，所述采集模块还包括临床指标筛选子模块，用于对所述临床信息数据进行变量筛选：
(11)构建临床指标与肋骨骨折类型的多元线性模型：
Y＝Xβ+ε
其中，Y＝[y1，y2，…，yn]，yi为第i个样本的肋骨骨折类型，n为收集到的样本量；Y＝[y1，y2，…，yn]是各临床指标的系数，p为临床指标的数目；为各临床指标的采集值；xij为第i个样本的第j个临床指标的观测值；
ε＝[ε1，ε2，…，εp]为误差项；
得到β的最小二乘估计：
(12)采用Lasso方法，得到引入惩罚后的β的估计：
其中，N为样本个数，λ是Lasso方法的惩罚项的系数，通过交叉验证得到λ的最优值，在参数估计时，通过将部分参数压缩到0来达到变量选择的目的；
(13)根据λ筛选出临床指标，得到变量筛选后的临床信息数据；
(14)对所述变量筛选后的临床信息数据进行归一化处理，将分类型数据使用one-hot算法进行编码；然后合并数值型临床数据和编码后的分类型数据得到n维向量；随后将区域建议网络的输出结果进行编码x_RPN，RPN＝1,…,1024；将患者信息的n维向量通过全链接层编码为128维向量x_FC，FC＝1,…,128；最终，将x_RPN和x_FC的结果合并作为所述初级肋骨骨折检测和分类模型输入的分类特征。
本发明所述的肋骨骨折临床结局预测装置包括：
预处理模块，用于获取患者的胸部CT图像及临床信息，筛选出与临床结局相关的临床信息，将患者划分为预后良好组和预后不良组；
训练模块，用于根据获取的患者的胸部CT图像生成骨折3D数据，根据所述筛选出的与结局相关的临床信息构建肋骨骨折患者的临床结局预测模型；
评估模块，用于对所述临床结局预测模型进行筛选，得到最优临床结局预测模型。
本发明所述的肋骨骨折自动诊断***，包括上述肋骨自动化定位装置、肋骨骨折分类装置、检测模块，其中，所述检测模块，用于计算所述肋骨自动化定位装置生成的检测矩形框与任一所述肋骨骨折分类装置生成的检测矩形框的IoU值，当IoU>0.5时，表示两者重叠，此时该定位位置存在骨折，输出所述肋骨自动化定位装置生成的定位标签、所述肋骨骨折分类装置生成的骨折类型，所述骨折类型为以下一种：新鲜错位骨折、新鲜非错位骨折、愈合期骨折、陈旧性骨折、病理性骨折；当IoU≤0.5时，表示该骨折不与任何一个肋骨定位结果重叠，说明该骨折检测结果为假阳，移除该结果。
进一步地，该肋骨骨折自动诊断***还包括上述肋骨骨折临床结局预测装置。
有益效果：本发明具有以下优点：
1、本发明的肋骨自动化定位装置能够输出准确的肋骨骨折解剖学定位；
2、本发明的肋骨骨折分类装置在骨折类型中增加了新鲜骨折的错位/非错位骨折、病理性骨折，提高了分类精度、准确度；
3、本发明的肋骨骨折分类装置在进行检测分类时融合了对骨折分类、性质、严重度具有显著相关性的临床信息，有助于准确区分是否为外伤性/病理性骨折，骨折新鲜程度，错位程度，提高了检测精度；
4、本发明的肋骨骨折临床结局预测装置能预测患者肋骨骨折后的不良并发症及各种迟发性损伤，有利于筛选预后不良患者以便提前干预治疗，减少不良预后的发生率，减少不良医患纠纷。
附图说明
图1是本发明所述的肋骨自动化定位装置框架示意图；
图2是本发明所述的肋骨自动化定位装置中的目标检测模块的检测流程示意图；
图3(a)是本发明所述的肋骨自动化定位装置对骨折肋骨右侧的定位测试热图；
图3(b)是本发明所述的肋骨自动化定位装置对骨折肋骨右侧的定位测试热图；
图4是本发明所述的肋骨骨折分类装置框架示意图；
图5是本发明所述的肋骨骨折分类装置中第一训练模块的训练流程示意图；
图6是本发明所述的肋骨骨折分类装置中第二训练模块的训练流程示意图；
图7是本发明所述的肋骨骨折分类装置的分类结果示意图；
图8是本发明所述的肋骨骨折临床结局预测装置中训练模块的训练示意图；
图9是本发明所述的肋骨定位、骨折临床结局预测装置及自动诊断***实施流程示意图；
图10是本发明所述的肋骨定位、骨折临床结局预测装置及自动诊断***诊断结果示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
如图1所示，本发明所述的肋骨自动化定位装置包括：
采集模块，用于获取肋骨横截面图像，生成肋骨横截面图像训练集；
目标检测模块，用于对采集模块获取的肋骨横截面图像进行目标检测，生成至少一个检测矩形框，判断所述检测矩形框所属的对应于解剖学定位标签的子集，根据子集得到对应的定位标签；
训练模块，用于根据所述解剖学定位标签及肋骨横截面图像训练集，训练得到肋骨定位模型；
定位模块，用于将待定位的肋骨横截面图像输入到所述肋骨定位模型中，输出其对应的定位标签。
本实施例中，采集模块获取30例正常患者的肋骨横截面CT图像。训练模块用于构建Retina Net，Retina Net为一阶段检测模型，需要调整的参数较少。由于30例正常患者的肋骨解剖学定位标签对于左右各12肋骨的24分类来说尚不够训练，因此采用半监督学习的方法及肋骨解剖学定位技术构建肋骨定位模型。将1000例骨折患者输入到30例病人训练的初级定位模型中，得到1000例病人的定位标签，(部分定位标签有误，删除前面的位置标签，只保留正常标签)。此时获得1000例患者的大量包含定位信息的正常标签。
由于在每例患者的每层CT图像上标注所有肋骨截面是个非常繁琐且耗时的任务，因此我们采用循环迭代方法(Human in the loop，HITL)来标注。具体来说，将训练数据分成N批。每批由10名正常患者组成，先由放射科医生进行手工标记和审核。用第一批训练的检测网络作为第一次迭代定位模型。将此模型应用到下一批(另外10例患者，没有任何注释)，放射科医师手动修改错位的定位标签。然后，将校正好的图像和标签作为新的训练数据输入模型，将模型更新为第二次迭代定位模型。这样，我们一个进行3次迭，30例正常患者共获得58653个定位标签。
对CT图像使用os和putil Python库(http://www.python.org)将所有数据转换为VOC2007格式。然后，MXNet(https://github.com/apache/incubat-mxnet)生成一个包含原始图像数据、标签数据(x、y和z坐标)以及长度和宽度信息的记录文件。然后根据所有训练数据集计算DICOM值的最大值和最小值，然后按照公式V＝(V-min)/(Max-Min)对像素值进行归一化。其中，V为像素值，Min为整个输入数据像素最小值；Max为整个输入像素最大值。接着进行图像增强，包括在线随机旋转(360度)、随机翻转(垂直、水平和两者都有)和随机剪切(中心剪切)。
所述目标检测模块包括：
目标识别单元，用于获取所述肋骨横截面图像，以所述肋骨横截面为xoy平面，建立空间直角坐标系，其中所述肋骨横截面图像中的水平、竖直方向分别为x、y轴，以空间直角坐标系中的z轴为基准，将肋骨分为不同层面；对所述肋骨横截面图像进行目标检测，生成检测矩形框；
判断子单元，用于对所述检测矩形框进行合并，根据合并后的检测矩形框生成肋骨的定位标签(如图2所示)：
当areaX/areaY>4时，计算第一判断标准：
X表示当前层面，Y表示相邻层面，当IoU1>0.8时，表示当前层面和相邻层面属于同一个肋骨，并被归为一个子集；否则，
计算第二判断标准：
其中，X和Y是位于连续的不同层面的检测矩形框；
当IoU2>0.5时，表示连续的两个层面属于同一个肋骨，并被归为一个子集；多层时，按照层所在z轴位置由上到下，如果一个层面的检测框与一个子集z轴最下的层面检测框满足公式，则合并该检测框；
根据以上第一或第二判断标准保留检测框数目最多的前24个子集的检测矩形框；其余的可能是假阳性(FP)，如锁骨、肩胛骨或体外异物。
根据肋骨在同一层面y轴坐标值的大小对肋骨进行打分：当y轴坐标值相等时，保持得分；y轴坐标值越大时，得分增大；y轴坐标值越小，得分越低；沿着y轴的子集从最大的分数排序到最小的分数，相应的肋骨解剖学定位从第1排序到第12排序；
所述肋骨横截面的原点右侧的肋骨为左肋骨，左侧的为右肋骨；
输出子集对应的定位标签，所述定位标签包括肋骨属于左肋骨或右肋骨、肋骨解剖学定位序号。
所述肋骨自动化定位装置还包括矫正模块，所述矫正模块用于对获取的所述肋骨横截面图像进行x-y轴矫正(如图2所示)，并将矫正后的肋骨横截面图像发送给目标检测模块进行目标检测，其中所述x-y轴矫正包括：
(111)绘制一个包含所有检测矩形框的最小外接矩阵；
(112)以所述最小外接矩阵的中心为原点，最小外接矩阵的横轴为x轴，纵轴为y轴。
通过x-y轴矫正可以纠正由于检查时睡姿倾斜、不正引起的冠状面和矢状面倾斜。
对肋骨定位模型进行测试，测试集包含90例肋骨骨折患者，所有患者采用肋骨薄层CT检查。采用检测敏感度、定位热图等测试本发明所述肋骨自动化定位装置的定位效能。
基于90例肋骨骨折患者的测试集，如图3(a)所示，骨肋骨左侧的检测敏感度为97.11％；如图3(b)所示，右侧的检测敏感度在为94.87％。
如图4所示，本发明所述的肋骨骨折分类装置，该装置包括：
采集模块，用于获取临床信息数据集及所述临床信息数据对应骨折图像；
第一训练模块，用于根据肋骨骨折类型标签，基于所述采集模块获取的临床信息数据集及所述临床信息数据对应骨折图像，构建初级肋骨骨折检测和分类模型，所述初级肋骨骨折检测和分类模型输出四分类中的一种，所述四分类包括新鲜骨折、愈合期骨折、陈旧性骨折、病理性骨折；
第二训练模块，用于根据新鲜错位、新鲜非错位骨折图像训练构建错位、非错位精细骨折分类模型；
分类模块，用于获取待分类肋骨骨折图像，输入所述初级肋骨骨折检测和分类模型，当输出结果为新鲜骨折时，采用所述错位、非错位精细骨折分类模型识别是否错位，否则输出愈合期骨折、陈旧性骨折、病理性骨折中的一种。
其中，新鲜骨折定义为外伤后约2周内，CT图像表现为骨折线锐利，无骨膜反应或骨痂形成。其中新鲜骨折又根据骨折断断是否分离大于2mm细分为错位和非错位骨折。愈合期骨折定义为新鲜骨折和陈旧性骨折之间的阶段，该期骨折线边缘模糊，伴有骨痂形成，骨愈合通常需要约12周。陈旧性骨折定义为外伤3个月后，CT图像上显示成熟的骨痂、骨重塑、骨折线不可见的特征，且随访扫描无变化。病理性骨折定义为患者因肋骨骨质疏松、骨结核、骨肿瘤、骨转移瘤等致肋骨因轻微外伤或无外伤引起的骨折。对于骨折图像标注的矩形边界盒大小为包括全部骨折线约1cm左右。
在本实施例中，所述第一训练模块包括：
检测子单元，用于获取骨折图像，进行目标检测，生成检测矩形框；
三维建模子单元，用于以所述骨折图像的肋骨横截面为xoy平面，建立空间直角坐标系，其中所述肋骨横截面图像中的水平、竖直方向分别为x、y轴，以空间直角坐标系中的z轴为基准，将肋骨分为不同层面；
判断子单元，用于判断位于不同层面或同一层面不同部位的检测结果是否属于同一骨折病灶：
其中，X和Y是位于连续的不同层面或同一层面不同部位的检测矩形框；若Dice值>0.75，则认为其为同一骨折病灶；否则它们被认为是不同的骨折病灶；
输出结果中出现最频繁的骨折类别输出为可能的骨折类型；
当两种骨折类型出现的频率相同时，选择置信分数较高的骨折类型作为可能的骨折类型输出；
所述骨折类型为四分类中的一种，所述四分类包括新鲜骨折、愈合期骨折、陈旧性骨折、病理性骨折；
当仅仅只有1-2层的骨折被识别出来，则结果为假阳性。
本实施例中，采集临床信息数据的临床指标包括：年龄、性别、外伤史、肿瘤史、疼痛视觉模拟评分(Visual analogue scale，VAS)、合并症(其他部位骨折、脏器损伤)、BMI指数(体重千克数/身高米数2)、呼吸、心率、血压、体温、职业、吸烟指数(每天吸烟支数×吸烟年数)、酗酒、糖尿病、高血压、慢性阻塞性肺疾病、血氧分压(mmHg)、血氧饱和度、血清钙浓度(mmol/L)、血清磷浓度(mmol/L)、血红蛋白水平(g/dL)、血小板计数、凝血酶原(mg/dl)、C反应蛋白等与外伤、骨折严重程度、骨折类型、临床结局相关的多量临床指标。
本实施例中，所述采集模块还包括临床指标筛选子模块，用于对所述临床信息数据进行变量筛选：
(11)构建临床指标与肋骨骨折类型的多元线性模型：
Y＝[y1，y2，…，yn]
其中，Y＝[y1，y2，…，yn]，yi为第i个样本的肋骨骨折类型，n为收集到的样本量；β＝[β0，β1，…，βp]是各临床指标的系数，p为临床指标的数目；为各临床指标的采集值，xij为第i个样本的第j个临床指标的观测值；ε＝[ε1，ε2，…，εp]为误差项；
得到β的最小二乘估计：
(12)采用Lasso方法，得到引入惩罚后的β的估计：
其中，N为样本个数，λ是Lasso方法的惩罚项的系数；
(13)根据λ筛选出对肋骨骨折分类有显著影响的临床指标(6-7个)，得到变量筛选后的临床信息数据；
(14)对所述变量筛选后的临床信息数据进行归一化处理，将分类型数据使用one-hot算法进行编码；然后合并数值型临床数据和编码后的分类型数据得到n维向量；随后将区域建议网络的输出结果进行编码x_RPN，RPN＝1,…,1024；将患者信息的n维向量通过全链接层编码为128维向量x_FC，FC＝1,…,128；最终，将x_RPN和x_FC的结果合并作为所述初级肋骨骨折检测和分类模型输入的分类特征。
对外伤性肋骨骨折患者出院后1-3个月电话随访，记录患者的临床结局，分为预后良好组和预后不佳组。预后良好组指患者出院后3月内疼痛VAS评分≤2分，随访CT显示骨痂生长较好，达到临床骨愈合。预后不佳组指患者出院后3月内疼痛VAS频分大于4分，或者出现迟发性肺损伤、继发性胸水、骨折不愈合等，此类患者一般需要再次入院治疗。以随访后分类为患者的临床结局分类金标准。
1000例患者共62479个标签参与训练，其中新鲜骨折标签21956个包括8081个新鲜错位标签和13875个新鲜非错位骨折标签，17489个愈合期骨折标签，11865个陈旧性骨折标签和11169个病理性性骨折标签。
因为新鲜错位和新鲜非错位骨折的差异较小而和愈合期、陈旧、病理性骨折差异较大。因此我们首先采用2D faster R-CNN训练患者新鲜骨折(将新鲜错位和新鲜非错位骨折归为新鲜骨折)、愈合期骨折、陈旧性骨折、病理性骨折四分类图像和患者的相关临床信息构建初级肋骨骨折检测和分类模型。然后采用3D ResNet18以单独训练新鲜错位和非错位骨折图像。
具体地，首先使用修改后的2D faster R-CNN模型融合患者的临床信息训练患者新鲜骨折、愈合期骨折、陈旧性骨折、病理骨折的以构建初级肋骨骨折检测和分类模型，如图5所示。采用了融合临床信息的faster R-CNN结构，其中损失1包括前景和背景的分类损失和检测框回归损失，计算公式如下：
其中，i表示训练的第i个样本，ti是一个向量表示在RPN训练阶段，anchor相对于GT(Ground Truth，即目标所在的真实框)预测的偏移量。是与ti维度相同的向量，表示在RPN训练阶段，anchor相对于GT实际的偏移量。对于每一个anchor计算完/>部分后还要乘以/>有物体时(positive)为1，没有物体(negative)时为0，意味着只有前景才计算损失，背景不计算损失。pi即为表示前景与背景的GT。Ncls，Nreg和λ是平衡分类损失和回归损失的归一化权重。
损失2包括四分类损失和检测框回归损失。其计算与损失1类似，只不过将损失1对的二分类损失更换为多分类的交叉熵损失。
其中k表示类别个数，i表示第i个样本，N为样本总数。然后经过基础网络结构提取特征图，然后对候选框进行前景背景分类和检测框预测，根据获得的前景框提取其图像特征，将图像特征与临床特征拼接进行最终的分类和检测框预测。
然后利用结合临床信息的3D ResNet18进行错位、非错位的分类训练已构建错位、非错位精细肋骨分类模型。首先获取新鲜骨折的2D检测结果，然后将2D检测框合并成3D检测框并统一尺寸，将3D影像进行提取送入3D ResNet18网络结构中提取3D影像信息特征，最后结合临床信息特征进行分类。分类过程进行3分类，包括非新鲜骨折(愈合期骨折、陈旧骨折、病理性骨折)，错位新鲜骨折和非错位新鲜骨折，如图6所示。
当检测结果为新鲜骨折时，按照上述方式，合并2D检测结果为3D检测结果，并扣取ROI区域作为输入样本至错位、非错位精细骨折分类模型进行分类。
两个模型均采用五折交叉验证的方式来选择超参数。其过程为将训练集分成五等份，每次选择其中一份作为验证集进行测试，其余四份进行训练，共进行五次，取平均指标如F1值或AUC值比较模型性能。通过这样的方式不断调整超参数进行模型五折交叉验证，选择平均指标较好的超参数进行最终的整个训练集的模型训练。第一个四分类检测模型的超参数主要包含候选框的大小、候选框的长宽比例、正负样本的划分阈值，正样本个数以及各个分类的阈值等。第二个3D三分类模型超参数主要包括dropout概率和各类别分类阈值等。
本发明所述的肋骨骨折临床结局预测装置包括：
预处理模块，用于获取患者的胸部CT图像及临床信息，筛选出与临床结局相关的临床信息，将N例患者划分为预后良好组和预后不良组；
训练模块，用于根据获取的患者的胸部CT图像生成骨折3D数据，根据所述筛选出的与结局相关的临床信息构建肋骨骨折患者的临床结局预测模型；
评估模块，用于对所述临床结局预测模型进行筛选，得到最优临床结局预测模型。
如图8所示，本实施例随访了N例患者，将他们分为预后良好组和预后不良组，训练患者的胸部CT图像(DICOM格式包括患者的肺窗/骨窗/纵隔窗)及患者预后相关的临床信息。具体地，患者带标记的DICOM图像经窗宽窗位调整、去噪、边缘提取等步骤转变为三种窗位的DICOM图像；将三窗位图像进行缩放，确保图像的大小和分辨率相同；最后将三窗位图像所对应的矩阵进行融合，以合成三通道图像。将多层的骨折图像叠加为3D数据，采用3DResNet 18网络，提取N个3D骨折影像特征，结合数个相关临床信息构建肋骨骨折患者的临床结局预测模型。
评估模块采用决策曲线分析(Decision curve analysis，DCA)、AUC、灵敏度、特异度等度量指标评估预测模型对于测试集的预测效能，从而筛选出最优临床结局预测模型。
本发明所述的肋骨骨折自动诊断***，包括上述肋骨自动化定位装置、肋骨骨折分类装置、肋骨骨折临床结局预测装置、检测模块，其中，所述检测模块，用于计算所述肋骨自动化定位装置生成的检测矩形框与任一所述肋骨骨折分类装置生成的检测矩形框的IoU值，当IoU>0.5时，表示两者重叠，此时该定位位置存在骨折，输出所述肋骨自动化定位装置生成的定位标签、所述肋骨骨折分类装置生成的骨折类型，所述骨折类型为以下一种：新鲜错位骨折、新鲜非错位骨折、愈合期骨折、陈旧性骨折、病理性骨折，同时输出的矩形框为定位矩形框或分类矩形框中面积较大者；当IoU≤0.5时，表示该骨折不与任何一个肋骨定位结果重叠，说明该骨折检测结果为假阳，移除该结果。预测流程如图9所示，利用30例患者的肋骨定位标签构建初级肋骨定位模型，然后将1000例肋骨骨折患者的CT图像输入初级定位模型获得正常标签，最后结合肋骨解剖学定位技术，构建肋骨定位模型；利用1000例肋骨骨折患者的各种类型骨折标签及筛选后的骨折类型相关临床信息构建初级肋骨骨折检测和分类模型，再基于此初级模型构建精细肋骨新鲜错位/非错位骨折分类模型；随访N例患者的临床结局并根据临床结局分类，基于患者肋骨骨折CT图像、与临床结局相关临床信息构建肋骨骨折预测模型并进行验证与评估。最后整合以上三个模型，形成肋骨自动诊断***。图10为一个实施例的***诊断结果图。
Claims (7)
1.一种肋骨自动化定位装置，其特征在于，该装置包括：
采集模块，用于获取肋骨横截面图像，生成肋骨横截面图像训练集；
目标检测模块，用于对采集模块获取的肋骨横截面图像进行目标检测，生成至少一个检测矩形框，判断所述检测矩形框所属的对应于解剖学定位标签的子集，根据子集得到对应的定位标签；
训练模块，用于根据所述解剖学定位标签及肋骨横截面图像训练集，训练得到肋骨定位模型；
定位模块，用于将待定位的肋骨横截面图像输入到所述肋骨定位模型中，输出其对应的定位标签；
所述目标检测模块包括：
目标识别单元，用于获取所述肋骨横截面图像，以所述肋骨横截面为xoy平面，建立空间直角坐标系，其中所述肋骨横截面图像中的水平、竖直方向分别为x、y轴，以空间直角坐标系中的z轴为基准，将肋骨分为不同层面；对所述肋骨横截面图像进行目标检测，生成检测矩形框；
判断子单元，用于对连续层面的所述检测矩形框进行合并，根据合并后的检测矩形框生成肋骨的定位标签：
当areaX/areaY>4时，计算第一判断标准：
X表示当前层面，Y表示相邻层面，当IoU1>0.8时，表示当前层面和相邻层面属于同一个肋骨，并被归为一个子集；否则，
计算第二判断标准：
当IoU2>0.5时，表示连续的两个层面属于同一个肋骨，并被归为一个子集；多层时，按照层所在z轴位置由上到下，如果一个层面的检测框与一个子集z轴最下的层面检测框满足公式，则合并该检测框；
根据以上第一或第二判断标准保留检测框数目最多的前24个子集的矩形框；
根据肋骨在同一层面y轴坐标值的大小对肋骨进行打分：当y轴坐标值相等时，保持得分；y轴坐标值越大时，得分增大；y轴坐标值越小，得分越低；沿着y轴的子集从最大的分数排序到最小的分数，相应的肋骨解剖学定位从第1排序到第12排序；
所述肋骨横截面的原点右侧的肋骨为左肋骨，左侧的为右肋骨；
输出子集对应的定位标签，所述定位标签包括肋骨属于左肋骨或右肋骨、肋骨解剖学定位序号。
2.根据权利要求1所述的肋骨自动化定位装置，其特征在于，所述装置还包括矫正模块，所述矫正模块用于对获取的所述肋骨横截面图像进行x-y轴矫正，并将矫正后的肋骨横截面图像发送给目标检测模块进行目标检测，其中所述x-y轴矫正包括：
(111)绘制一个包含所有检测矩形框的最小外接矩阵；
(112)以所述最小外接矩阵的中心为原点，最小外接矩阵的横轴为x轴，纵轴为y轴。
3.一种肋骨骨折分类装置，其特征在于，该装置包括：
采集模块，用于获取临床信息数据集及所述临床信息数据对应骨折图像；
第一训练模块，用于根据肋骨骨折类型标签，基于所述采集模块获取的临床信息数据集及所述临床信息数据对应骨折图像，构建初级肋骨骨折检测和分类模型，所述初级肋骨骨折检测和分类模型输出四分类中的一种，所述四分类包括新鲜骨折、愈合期骨折、陈旧性骨折、病理性骨折；
第二训练模块，用于根据新鲜错位、新鲜非错位骨折图像训练构建错位、非错位精细骨折分类模型；
分类模块，用于获取待分类肋骨骨折图像，输入所述初级肋骨骨折检测和分类模型，当输出结果为新鲜骨折时，采用所述错位、非错位精细骨折分类模型识别是否错位，否则输出愈合期骨折、陈旧性骨折、病理性骨折中的一种；
所述第一训练模块包括：
检测子单元，用于获取骨折图像，进行目标检测，生成检测矩形框；
三维建模子单元，用于以所述骨折图像的肋骨横截面为xoy平面，建立空间直角坐标系，其中所述肋骨横截面图像中的水平、竖直方向分别为x、y轴，以空间直角坐标系中的z轴为基准，将肋骨分为不同层面；
判断子单元，用于判断位于不同层面或同一层面不同部位的检测结果是否属于同一骨折病灶：
其中，X和Y是位于连续的不同层面或同一层面不同部位的检测矩形框；若Dice值>0.75，则认为其为同一骨折病灶；否则它们被认为是不同的骨折病灶；
输出结果中出现最频繁的骨折类别输出为可能的骨折类型；
当两种骨折类型出现的频率相同时，选择置信分数较高的骨折类型作为可能的骨折类型输出；
所述骨折类型为所述四分类中的一种；
当仅仅只有1-2层的骨折被识别出来，则结果为假阳性。
4.根据权利要求3所述的肋骨骨折分类装置，其特征在于，所述临床信息数据为采集的患者的各临床指标数据，所述临床指标包括以下至少一种：患者的年龄、性别、外伤史、肿瘤史、疼痛视觉模拟评分、合并症、BMI指数、呼吸、心率、血压、体温、职业、吸烟指数、酗酒、糖尿病、高血压、慢性阻塞性肺疾病、血氧分压、血氧饱和度、血清钙浓度、血清磷浓度、血红蛋白水平、血小板计数、凝血酶原、C反应蛋白、外伤、骨折严重程度、骨折类型、临床结局相关的多量临床指标。
5.根据权利要求3所述的肋骨骨折分类装置，其特征在于，所述采集模块还包括临床指标筛选子模块，用于对所述临床信息数据进行变量筛选：
(11)构建临床指标与肋骨骨折类型的多元线性模型：
Y＝Xβ+ε
其中，Y＝[y1,y2,…,yn]，yi为第i个样本的肋骨骨折类型，n为收集到的样本量；β＝[β0,β1,…,βp]是各临床指标的系数，p为临床指标的数目；xij为第i个样本的第j个临床指标的观测值；
ε＝[ε1,ε2,…,εp]为误差项；
得到β的最小二乘估计：
(12)采用Lasso方法，得到引入惩罚后的β的估计：
其中，N为样本个数，λ是Lasso方法的惩罚项的系数；
(13)根据λ筛选出临床指标，得到变量筛选后的临床信息数据；
(14)对所述变量筛选后的临床信息数据进行归一化处理，将分类型数据使用one-hot算法进行编码；然后合并数值型临床数据和编码后的分类型数据得到n维向量；随后将区域建议网络的输出结果进行编码x_RPN，RPN＝1,…,1024；将患者信息的n维向量通过全连接层编码为128维向量x_FC，FC＝1,…,128；最终，将x_RPN和x_FC的结果合并作为所述初级肋骨骨折检测和分类模型输入的分类特征。
6.一种肋骨骨折自动诊断***，其特征在于，包括权利要求1-2任一项所述的肋骨自动化定位装置、权利要求3-5中任一项所述的肋骨骨折分类装置、检测模块，其中，所述检测模块，用于计算所述肋骨自动化定位装置生成的检测矩形框与任一所述肋骨骨折分类装置生成的检测矩形框的IoU值，当IoU>0.5时，表示两者重叠，此时定位位置存在骨折，输出所述肋骨自动化定位装置生成的定位标签、所述肋骨骨折分类装置生成的骨折类型，所述骨折类型为以下一种：新鲜错位骨折、新鲜非错位骨折、愈合期骨折、陈旧性骨折、病理性骨折；当IoU≤0.5时，表示该骨折不与任何一个肋骨定位结果重叠，说明该骨折检测结果为假阳，移除该结果。
7.根据权利要求6所述的肋骨骨折自动诊断***，其特征在于，该***还包括肋骨骨折临床结局预测装置，该装置包括：
预处理模块，用于获取患者的胸部CT图像及临床信息，筛选出与临床结局相关的临床信息，将患者划分为预后良好组和预后不良组；
训练模块，用于根据获取的患者的胸部CT图像生成骨折3D数据，根据所述筛选出的与结局相关的临床信息构建肋骨骨折患者的临床结局预测模型；
评估模块，用于对所述临床结局预测模型进行筛选，得到最优临床结局预测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011535974.1A CN112837264B (zh) | 2020-12-23 | 2020-12-23 | 肋骨定位、骨折临床结局预测装置及自动诊断*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011535974.1A CN112837264B (zh) | 2020-12-23 | 2020-12-23 | 肋骨定位、骨折临床结局预测装置及自动诊断*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112837264A CN112837264A (zh) | 2021-05-25 |
| CN112837264B true CN112837264B (zh) | 2023-12-15 |
Family
ID=75924175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011535974.1A Active CN112837264B (zh) | 2020-12-23 | 2020-12-23 | 肋骨定位、骨折临床结局预测装置及自动诊断*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112837264B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119564B (zh) * | 2021-11-29 | 2024-06-18 | 苏州体素信息科技有限公司 | 肋骨ct图像的处理方法及*** |
| CN114974579B (zh) * | 2022-04-20 | 2024-02-27 | 山东大学齐鲁医院 | 消化道粘膜下肿瘤内镜治疗预后的辅助判定***及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107025627A (zh) * | 2017-04-12 | 2017-08-08 | 中南大学 | Ct影像中骨的运动和接近参数的标定和量化方法 |
| JP2018077719A (ja) * | 2016-11-10 | 2018-05-17 | 学校法人立命館 | 破面解析装置および破面解析方法 |
| CN109785303A (zh) * | 2018-12-28 | 2019-05-21 | 上海联影智能医疗科技有限公司 | 肋骨标记方法、装置、设备以及图像分割模型的训练方法 |
| CN111986177A (zh) * | 2020-08-20 | 2020-11-24 | 太原科技大学 | 一种基于注意力卷积神经网络的胸部肋骨骨折检测方法 |
-
2020
- 2020-12-23 CN CN202011535974.1A patent/CN112837264B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018077719A (ja) * | 2016-11-10 | 2018-05-17 | 学校法人立命館 | 破面解析装置および破面解析方法 |
| CN107025627A (zh) * | 2017-04-12 | 2017-08-08 | 中南大学 | Ct影像中骨的运动和接近参数的标定和量化方法 |
| CN109785303A (zh) * | 2018-12-28 | 2019-05-21 | 上海联影智能医疗科技有限公司 | 肋骨标记方法、装置、设备以及图像分割模型的训练方法 |
| CN111986177A (zh) * | 2020-08-20 | 2020-11-24 | 太原科技大学 | 一种基于注意力卷积神经网络的胸部肋骨骨折检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 多层螺旋CT与DR片在诊断外伤肋骨骨折中的应用;党亚蒙;;临床医学研究与实践(04);全文 * |
| 螺旋CT检查、三维重建在胸部肋骨骨折中的应用;肖卫平;;中国当代医药(24);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112837264A (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108364006B (zh) | 基于多模式深度学习的医学图像分类装置及其构建方法 | |
| ES2914873T3 (es) | Sugerencia de segunda lectura | |
| JP5186269B2 (ja) | 画像認識結果判定装置、方法、およびプログラム | |
| CN101742961B (zh) | 诊断支持设备及*** | |
| CN112292691A (zh) | 用于使用深度学习提高癌症检测的方法与*** | |
| CN112734757B (zh) | 一种脊柱X光图像cobb角测量方法 | |
| CN112837264B (zh) | 肋骨定位、骨折临床结局预测装置及自动诊断*** | |
| CN112184617A (zh) | 一种基于深度学习的脊椎mri影像关键点检测方法 | |
| US7873196B2 (en) | Medical imaging visibility index system and method for cancer lesions | |
| CN116823767B (zh) | 一种基于图像分析的肺移植活性等级判断方法 | |
| CN114897760A (zh) | 一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及*** | |
| CN112638262A (zh) | 相似度确定装置、方法及程序 | |
| Sha et al. | The improved faster-RCNN for spinal fracture lesions detection | |
| CN116504406A (zh) | 基于影像组合病理的肺癌术后风险模型构建方法和*** | |
| Abid et al. | Detection of lungs cancer through computed tomographic images using deep learning | |
| Makhdoomi et al. | Development of Scoliotic Spine Severity Detection using Deep Learning Algorithms | |
| KR102218900B1 (ko) | 질환 진단 장치 및 진단 방법 | |
| WO2022112731A1 (en) | Decision for double reader | |
| Bhaskar et al. | A survey on early detection and prediction of lung cancer | |
| Tan et al. | An Automatic Classification Method for Adolescent Idiopathic Scoliosis Based on U-net and Support Vector Machine. | |
| EP4156021A1 (en) | A method and system for annotation of medical images | |
| Kodavati et al. | Detection and Segmentation of Skull Fractures via CNN and U-Net Hybrid Model using Computed Tomography Images | |
| Narvaez et al. | Development of a Convolutional Neural Network for Detection of Lung Cancer Based on Computed Tomography Images | |
| Khalili et al. | Automatic lung segmentation in chest X-ray images using SAM with prompts from YOLO | |
| Akmakchi et al. | Geometric Analysis Of Brain Pathology Using MRI For Tumor Diagnosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhang Hong Inventor after: Zhou Qingqing Inventor after: Yu Yusheng Inventor after: Hu Zhangchun Inventor after: Tang Wen Inventor after: Wang Jiashuo Inventor before: Zhou Qingqing Inventor before: Zhang Hong Inventor before: Tang Wen Inventor before: Wang Jiashuo Inventor before: Hu Zhangchun Inventor before: Yu Yusheng |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |