TW202046241A - 一種圖像處理方法和裝置、電子設備 - Google Patents

一種圖像處理方法和裝置、電子設備 Download PDF

Info

Publication number
TW202046241A
TW202046241A TW109113374A TW109113374A TW202046241A TW 202046241 A TW202046241 A TW 202046241A TW 109113374 A TW109113374 A TW 109113374A TW 109113374 A TW109113374 A TW 109113374A TW 202046241 A TW202046241 A TW 202046241A
Authority
TW
Taiwan
Prior art keywords
image data
sub
neural network
convolutional neural
data
Prior art date
Application number
TW109113374A
Other languages
English (en)
Other versions
TWI758714B (zh
Inventor
陳奕志
劉暢
高云河
趙亮
Original Assignee
大陸商上海商湯智能科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商上海商湯智能科技有限公司 filed Critical 大陸商上海商湯智能科技有限公司
Publication of TW202046241A publication Critical patent/TW202046241A/zh
Application granted granted Critical
Publication of TWI758714B publication Critical patent/TWI758714B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本公開實施例公開了一種圖像處理方法和裝置、電子設備。所述方法包括：獲得包含目標對象的圖像資料；所述目標對象包括至少一個子對象；基於全卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，所述目標圖像資料至少包括所述目標對象中每個子對象的中心點。

Description

一種圖像處理方法和裝置、電子設備
本公開關於圖像處理技術，具體關於一種圖像處理方法和裝置、電子設備。
通常情況下，人脊椎上有26塊椎骨，從上到下依次排列。椎骨是重要的人體位置參考物體。檢測、定位、識別26塊椎骨的中心，可以為其他器官、組織的定位提供相對位置資訊，從而有利於隨後開展的手術規劃、病理檢測、術後效果評估等活動；另一方面，檢測和定位椎骨中心，可以對脊椎進行數學建模，從而提供椎骨形狀的先驗資訊，有利於進行脊椎其他組織的分割。因此，椎骨中心的定位具有重要的應用價值。
目前，椎骨中心的定位主要採用以下方式：一是人工定位，但在三維電腦斷層掃描(CT，Computed Tomography)圖像中進行椎骨種類的識別和椎骨中心的定位非常耗時費力，並且容易產生人為疏忽，在某些困難複雜的圖像中，人工的定位會具有一定的主觀性，有可能 造成錯誤；二是採用自動診斷系統，但目前的自動診斷系統採用的演算法採用人工選擇的特徵，泛化性能差，導致系統性能差，椎骨中心定位的準確度不高。
本公開實施例提供一種圖像處理方法和裝置、電子設備。
本公開實施例的技術方案是如下這樣實現的。
本公開實施例提供了一種圖像處理方法，所述方法包括：獲得包含目標對象的圖像資料；所述目標對象包括至少一個子對象；基於全卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，所述目標圖像資料至少包括所述目標對象中每個子對象的中心點。
在本公開的一些可選實施例中，所述基於全卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，包括：基於第一全卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，所述目標圖像資料包括所述目標對象中每個子對象的中心點。
在本公開的一些可選實施例中，所述基於全卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，包括：基於第一全卷積神經網路對所述圖像資料進行處理，獲得第一圖像資料，所述第一圖像資料包括所述目標對象中每個子對象的中心點；基於第二全卷積神經網路對所述圖像資料和所述第一圖像資料進行處理，獲得第二圖像資 料，所述第二圖像資料用於指示所述目標對象中每個子對象的類別。
在本公開的一些可選實施例中，所述基於第一全卷積神經網路對所述圖像資料進行處理，包括：基於所述第一全卷積神經網路對所述圖像資料進行處理，獲得所述圖像資料中的像素對應的第一位移資料；所述第一位移資料表徵所述像素與距離所述像素最近的子對象的中心的位移；基於所述第一位移資料和所述像素自身的位置資料確定距離所述像素最近的第一子對象的中心點的初始位置；所述第一子對象為所述至少一個子對象中的任一子對象；獲得所述圖像資料中的至少部分像素對應的所述第一子對象的中心點的初始位置，確定位置相同的初始位置的數量，基於數量最多的初始位置確定所述第一子對象的中心點。
在本公開的一些可選實施例中，所述基於所述第一位移資料和所述像素自身的位置資料確定距離所述像素最近的第一子對象的中心點的初始位置之前，所述方法還包括：基於所述圖像資料中的至少一個像素對應的第一位移距離對所述至少一個像素進行篩選，獲得與距離所述至少一個像素最近的第一子對象的中心之間的距離滿足特定條件的至少一個第一像素；所述基於所述第一位移資料和所述像素自身的位置資料確定距離所述像素最近的第一子對象的中心點的初始位置，包括：基於所述第一像素的第一位移資料和所述第一像素自身的位置資料確定距 離所述第一子對象的中心點的初始位置。
在本公開的一些可選實施例中，所述基於第二全卷積神經網路對所述圖像資料和所述第一圖像資料進行處理，獲得第二圖像資料，包括：將所述圖像資料和所述第一圖像資料進行合併，獲得目標圖像資料；基於第二全卷積神經網路對所述目標圖像資料進行處理，獲得所述目標圖像資料中的像素屬於的子對象的類別的概率值，將最大概率值對應的子對象的類別確定為所述像素屬於的子對象的類別；基於所述目標圖像資料中的像素屬於的子對象類別獲得第二圖像資料。
在本公開的一些可選實施例中，所述獲得所述目標圖像資料中的像素屬於的子對象的類別的概率值，將最大概率值對應的子對象的類別確定為所述像素屬於的子對象的類別，包括：獲得所述目標圖像資料中的第二子對象的中心點對應像素屬於的子對象的類別的概率值；所述第二子對象為所述至少一個子對象中的任一子對象；將最大概率值對應的第二子對象的類別確定為所述第二子對象的類別。
在本公開的一些可選實施例中，所述基於第二全卷積神經網路對所述圖像資料和所述第一圖像資料進行處理，獲得第二圖像資料，包括：對所述圖像資料進行下採樣處理，獲得第三圖像資料；基於第二全卷積神經網路對所述第三圖像資料和所述第一圖像資料進行處理，獲得第二圖像資料。
在本公開的一些可選實施例中，所述第一全卷積神經網路的訓練過程包括：獲得包含目標對象的第一樣本圖像資料以及所述第一樣本圖像資料對應的第一標注資料；所述第一標注資料用於指示所述第一樣本圖像資料中的目標對象中每個子對象的中心點；根據所述第一樣本圖像資料和對應的第一標注資料訓練所述第一全卷積神經網路。
在本公開的一些可選實施例中，所述根據所述第一樣本圖像資料和對應的第一標注資料訓練所述第一全卷積神經網路，包括：根據第一全卷積神經網路對所述第一樣本圖像資料進行處理，獲得初始圖像資料，所述初始圖像資料包括所述第一樣本圖像資料中的目標對象中每個子對象的初始中心點；基於所述初始圖像資料和所述第一標注資料確定損失函數，基於所述損失函數調整所述第一全卷積神經網路的參數，以訓練所述第一全卷積神經網路。
在本公開的一些可選實施例中，所述第二全卷積神經網路的訓練過程包括：獲得包含目標對象的第一樣本圖像資料、所述第一樣本圖像資料相關的第二樣本圖像資料以及所述第一樣本圖像資料對應的第二標注資料；所述二樣本圖像資料包括所述第一樣本圖像資料中的目標對象中每個子對象的中心點；所述第二標注資料用於指示所述第一樣本圖像資料中的目標對象中每個子對象的類別；基於所述第一樣本圖像資料、所述第二樣本圖像資料和所述 第二標注資料訓練所述第二全卷積神經網路。
在本公開的一些可選實施例中，所述基於所述第一樣本圖像資料、所述第二樣本圖像資料和所述第二標注資料訓練所述第二全卷積神經網路，包括：對所述第一樣本圖像資料進行下採樣處理，獲得第三樣本圖像資料；基於所述第三樣本圖像資料、所述第二樣本圖像資料和所述第二標注資料訓練所述第二全卷積神經網路。
在本公開的一些可選實施例中，所述目標對象包括脊椎骨骼；所述脊椎骨骼包括至少一個椎骨。
本公開實施例還提供了一種圖像處理裝置，所述裝置包括：獲取單元和圖像處理單元；其中，所述獲取單元，配置為獲得包含目標對象的圖像資料；所述目標對象包括至少一個子對象；所述圖像處理單元，配置為基於卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，所述目標圖像資料至少包括所述目標對象中每個子對象的中心點。
在本公開的一些可選實施例中，所述圖像處理單元，配置為基於第一卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，所述目標圖像資料包括所述目標對象中每個子對象的中心點。
在本公開的一些可選實施例中，所述圖像處理單元，配置為基於第一卷積神經網路對所述圖像資料進行處理，獲得第一圖像資料，所述第一圖像資料包括所述目標對象中每個子對象的中心點；基於第二卷積神經網路對所述圖 像資料和所述第一圖像資料進行處理，獲得第二圖像資料，所述第二圖像資料用於指示所述目標對象中每個子對象的類別。
在本公開的一些可選實施例中，所述圖像處理單元包括第一處理模組，配置為基於所述第一全卷積神經網路對所述圖像資料進行處理，獲得所述圖像資料中的像素對應的第一位移資料；所述第一位移資料表徵所述像素與距離所述像素最近的子對象的中心的位移；基於所述第一位移資料和所述像素自身的位置資料確定距離所述像素最近的第一子對象的中心點的初始位置；所述第一子對象為所述至少一個子對象中的任一子對象；獲得所述圖像資料中的至少部分像素對應的所述第一子對象的中心點的初始位置，確定位置相同的初始位置的數量，基於數量最多的初始位置確定所述第一子對象的中心點。
在本公開的一些可選實施例中，所述第一處理模組，配置為基於所述圖像資料中的至少一個像素對應的第一位移距離對所述至少一個像素進行篩選，獲得與距離所述至少一個像素最近的第一子對象的中心之間的距離滿足特定條件的至少一個第一像素；基於所述第一像素的第一位移資料和所述第一像素自身的位置資料確定距離所述第一子對象的中心點的初始位置。
在本公開的一些可選實施例中，所述圖像處理單元包括第二處理模組，配置為將所述圖像資料和所述第一圖像資料進行合併，獲得目標圖像資料；基於第二全卷積神 經網路對所述目標圖像資料進行處理，獲得所述目標圖像資料中的像素屬於的子對象的類別的概率值，將最大概率值對應的子對象的類別確定為所述像素屬於的子對象的類別；基於所述目標圖像資料中的像素屬於的子對象類別獲得第二圖像資料。
在本公開的一些可選實施例中，所述第二處理模組，配置為獲得所述目標圖像資料中的第二子對象的中心點對應像素屬於的子對象的類別的概率值；所述第二子對象為所述至少一個子對象中的任一子對象；將最大概率值對應的第二子對象的類別確定為所述第二子對象的類別。
在本公開的一些可選實施例中，所述圖像處理單元，配置為對所述圖像資料進行下採樣處理，獲得第三圖像資料；基於第二卷積神經網路對所述第三圖像資料和所述第一圖像資料進行處理，獲得第二圖像資料。
在本公開的一些可選實施例中，所述裝置還包括第一訓練單元，配置為獲得包含目標對象的第一樣本圖像資料以及所述第一樣本圖像資料對應的第一標注資料；所述第一標注資料用於指示所述第一樣本圖像資料中的目標對象中每個子對象的中心點；根據所述第一樣本圖像資料和對應的第一標注資料訓練所述第一卷積神經網路。
在本公開的一些可選實施例中，所述第一訓練單元，配置為根據第一卷積神經網路對所述第一樣本圖像資料進行處理，獲得初始圖像資料，所述初始圖像資料包括所述第一樣本圖像資料中的目標對象中每個子對象的初始 中心點；基於所述初始圖像資料和所述第一標注資料確定損失函數，基於所述損失函數調整所述第一卷積神經網路的參數，以訓練所述第一卷積神經網路。
在本公開的一些可選實施例中，所述裝置還包括第二訓練單元，配置為獲得包含目標對象的第一樣本圖像資料、所述第一樣本圖像資料相關的第二樣本圖像資料以及所述第一樣本圖像資料對應的第二標注資料；所述二樣本圖像資料包括所述第一樣本圖像資料中的目標對象中每個子對象的中心點；所述第二標注資料用於指示所述第一樣本圖像資料中的目標對象中每個子對象的類別；基於所述第一樣本圖像資料、所述第二樣本圖像資料和所述第二標注資料訓練所述第二卷積神經網路。
在本公開的一些可選實施例中，所述第二訓練單元，配置為對所述第一樣本圖像資料進行下採樣處理，獲得第三樣本圖像資料；基於所述第三樣本圖像資料、所述第二樣本圖像資料和所述第二標注資料訓練所述第二卷積神經網路。
在本公開的一些可選實施例中，所述目標對象包括脊椎骨骼；所述脊椎骨骼包括至少一個椎骨。
本公開實施例還提供了一種電腦可讀儲存介質，其上儲存有電腦程式，該程式被處理器執行時實現本公開實施例所述方法的步驟。
本公開實施例還提供了一種電子設備，包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的電腦程 式，所述處理器執行所述程式時實現本公開實施例所述方法的步驟。
本公開實施例還提供了一種電腦程式，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現本公開實施例所述的圖像處理方法。
本公開實施例提供的圖像處理方法和裝置、電子設備，所述方法包括：獲得包含目標對象的圖像資料；所述目標對象包括至少一個子對象；基於卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，所述目標圖像資料至少包括所述目標對象中每個子對象的中心點。採用本公開實施例的技術方案，通過全卷積神經網路對圖像資料進行處理，獲得至少包括目標對象中至少一個子對象的中心點的目標圖像資料，例如獲得至少包括脊椎骨骼中每個椎骨的中心點的目標圖像資料，一方面，通過全卷積神經網路自動進行圖像資料的特徵識別、特徵選擇和特徵分類，相比於人工選擇特徵的方式，提升系統性能，提高椎骨中心定位的準確度；另一方面，全卷積神經網路能夠對每個像素點進行分類，也就是說，通過全卷積神經網路能夠更多的利用椎體之間的空間關係提高訓練效率，提升網路性能。
61:獲取單元
62:圖像處理單元
621:第一處理模組
622:第二處理模組
63:第一訓練單元
64:第二訓練單元
71:處理器
72:記憶體
73:匯流排系統
圖1為本公開實施例的圖像處理方法的流程示意圖一；
圖2為本公開實施例的圖像處理方法的流程示意圖二；
圖3為本公開實施例的圖像處理方法的流程示意圖三；
圖4為本公開實施例的圖像處理方法的一種應用示意圖；
圖5為本公開實施例的圖像處理方法中的網路訓練方法的一種流程示意圖；
圖6為本公開實施例的圖像處理方法中的網路訓練方法的另一種流程示意圖；
圖7為本公開實施例的圖像處理裝置的組成結構示意圖一；
圖8為本公開實施例的圖像處理裝置的組成結構示意圖二；
圖9為本公開實施例的圖像處理裝置的組成結構示意圖三；
圖10為本公開實施例的圖像處理裝置的組成結構示意圖四；
圖11為本公開實施例的圖像處理裝置的組成結構示意圖五；
圖12為本公開實施例的電子設備的組成結構示意圖。
下面結合附圖及具體實施例對本公開作進一步詳細的說明。
本公開實施例提供了一種圖像處理方法。圖1為本公開實施例的圖像處理方法的流程示意圖一；如圖1所示，所述方法包括如下步驟。
步驟101：獲得包含目標對象的圖像資料；所述目標對象包括至少一個子對象。
步驟102：基於全卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，所述目標圖像資料至少包括所述目標對象中每個子對象的中心點。
本實施例步驟101中，圖像資料為包含目標對象的圖像資料；本實施例所述的圖像資料為包含目標對象的三維圖像資料。本實施例中，所述目標對象包括脊椎骨骼；所述脊椎骨骼包括至少一個椎骨。在以下各實施例中，均以目標對象為脊椎骨骼(則目標對象包括至少一個椎骨)為例進行說明，在其他實施例中，目標對象不限於是椎骨骨骼，本實施例中對此不做限定。
作為一種示例，所述圖像資料可以為通過成像技術獲得的包含脊椎骨骼的三維圖像資料，例如，所述圖像資料可以是包含脊椎骨骼的電子電腦斷層掃描(CT，Computed Tomography)圖像資料、核磁共振成像(MRI，Nuclear Magnetic Resonance Imaging)圖像資料等，當然，本實施例中的圖像資料不限於是上述方式獲得的圖像資料，其他任何通過成像技術獲得的脊椎骨骼的三維圖像資料均為本實施例中的圖像資料。
其中，本實施例中的脊椎骨骼包括但不限於是人類 的脊椎骨骼，還可以是具有脊椎的其他動物的脊椎骨骼。一般情況下，以人類為例，脊椎骨骼包括26塊脊椎骨，其中包括24塊椎骨(頸椎7塊、胸椎12塊、腰椎5塊)、骶骨1塊和尾骨1塊，本實施例中所述的圖像資料包括26塊脊椎骨中的至少部分脊椎骨。可以理解，所述圖像資料中可包括完整的脊椎骨，也可僅包括部分椎骨。在圖像資料中僅包括部分椎骨的情況下，椎骨分類更為困難，也即確定哪個椎骨中心是屬於哪塊椎骨更為困難。
本實施例步驟102中，所述基於全卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，包括：將所述圖像資料作為輸入資料登錄至訓練好的全卷積神經網路，獲得至少包括所述目標對象中每個子對象的中心點的目標圖像資料。
以目標對象為脊椎骨骼為例，本實施例通過全卷積神經網路對所述圖像資料進行處理，獲得至少包括脊椎骨骼中每個椎骨的中心點的目標圖像資料。其中，一方面，通過全卷積神經網路自動進行圖像資料的特徵識別、特徵選擇和特徵分類，相比於人工選擇特徵的方式，提升系統性能，提高椎骨中心定位的準確度；另一方面，全卷積神經網路能夠對每個像素點進行分類，也就是說，通過全卷積神經網路能夠更多的利用椎體之間的空間關係提高訓練效率，提升網路性能。
基於前述實施例步驟101至步驟102所述，本公開實施例還提供了一種圖像處理方法。本實施例針對步驟 102進行進一步闡述。具體的，步驟102中，所述基於全卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，包括：基於第一全卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，所述目標圖像資料包括所述目標對象中每個子對象的中心點。
本實施例中，以目標對象為脊椎骨骼為例，通過第一全卷積神經網路實現椎骨骨骼中每個椎骨的中心點的定位。可以理解，第一全卷積神經網路為預先訓練獲得的，通過將圖像資料輸入至第一全卷積神經網路，獲得包括所述脊椎骨骼中每個椎骨的中心點的目標圖像資料，以通過所述目標圖像資料確定每個椎骨的中心點的位置。這樣，用戶(例如專業醫生)在拿到目標圖像資料後，可基於經驗確定各中心點所歸屬的椎骨類別，即採用人工方式確定中心點所對應的椎骨類別。
在本公開的一種可選實施例中，所述基於第一全卷積神經網路對所述圖像資料進行處理，獲得目標資料，包括：基於所述第一全卷積神經網路對所述圖像資料進行處理，獲得所述圖像資料中的像素對應的第一位移資料；所述第一位移資料表徵所述像素與距離所述像素最近的子對象的中心的位移；基於所述第一位移資料和所述像素自身的位置資料確定距離所述像素最近的第一子對象的中心點的初始位置；所述第一子對象為所述至少一個子對象中的任一子對象；獲得所述圖像資料中的至少部分像素對應的所述第一子對象的中心點的初始位置，確定位置相同 的初始位置的數量，基於數量最多的初始位置確定所述第一子對象的中心點；基於確定的所述第一子對象的中心點獲得目標圖像資料。
本實施例中，通過已訓練好的第一全卷積神經網路對包含脊椎骨骼的圖像資料進行處理，獲得所述圖像資料中各像素與距離最近的椎骨的中心的第一位移資料，該第一位移資料包括x軸方向、y軸方向和z軸方向三個方向的位移資料；進一步基於像素自身的位置和所述像素對應的第一位移資料確定與所述像素距離最近的椎骨的中心點的初始位置。可以理解，每個像素均可確定出與該像素距離最近的椎骨的中心點的初始位置，而對於同一個椎骨來說，也可以基於圖像資料中的部分像素確定出對應於該椎骨的多個初始位置，確定的多個初始位置很可能是部分相同、部分不同的；基於此，本實施例中採用投票法，也即統計相同的初始位置的數量，例如，有100個初始位置，其中，有50個初始位置為a，20個初始位置為b，15個初始位置為c，10個初始位置為d，5個初始位置為e，則確定初始位置為a的初始位置為該椎骨的中心點所在位置。
作為一種實施方式，所述基於所述第一位移資料和所述像素自身的位置資料確定距離所述像素最近的第一子對象的中心點的初始位置之前，所述方法還包括：基於所述圖像資料中的至少一個像素對應的第一位移距離對所述至少一個像素進行篩選，獲得與距離所述至少一個像 素最近的第一子對象的中心之間的距離滿足特定條件的至少一個第一像素；所述基於所述第一位移資料和所述像素自身的位置資料確定距離所述像素最近的第一子對象的中心點的初始位置，包括：基於所述第一像素的第一位移資料和所述第一像素自身的位置資料確定距離所述第一子對象的中心點的初始位置。
本實施例中，在確定椎骨的中心點的初始位置之前，可以先對參與初始位置確定的像素進行初步篩選，也即無需將圖像資料中所有像素均參與到椎骨中心點的初始位置的確定。具體的，由於每個像素對應的第一位移距離表徵所述像素與距離所述像素最近的椎骨的中心的位移，而在確定椎骨的中心點的初始位置的過程中，可以僅採用距離椎骨的中心點一定範圍內的像素。
作為一種實施方式，所述獲得與距離所述至少一個像素最近的第一子對象的中心之間的距離滿足特定條件的至少一個第一像素，包括：獲得與距離所述至少一個像素最近的第一子對象的中心之間的距離小於預設閾值的至少一個第一像素。實際應用中，由於第一位移資料包括x軸方向、y軸方向和z軸方向三個方向的位移資料，則可判斷該第一位移資料中x軸方向、y軸方向和z軸方向三個方向的位移資料的數值是否均小於所述預設閾值；在第一位移資料中x軸方向、y軸方向和z軸方向三個方向的位移資料的數值均小於所述預設閾值的情況下，表明該像素是滿足特定條件的第一像素。通過篩選出的至少一個 第一像素的第一位移資料和所述第一像素自身的位置資料確定距離所述第一子對象的中心點的初始位置，這種方式能夠大大減少資料處理量。
本實施例通過第一全卷積神經網路對所述圖像資料進行處理，獲得至少包括目標對象中至少一個子對象的中心點的目標圖像資料，例如獲得至少包括脊椎骨骼中每個椎骨的中心點的目標圖像資料。其中，一方面，通過第一全卷積神經網路自動進行圖像資料的特徵識別、特徵選擇和特徵分類，相比於人工選擇特徵的方式，提升系統性能，提高椎骨中心定位的準確度；另一方面，全卷積神經網路能夠對每個像素點進行分類，也就是說，通過第一全卷積神經網路能夠更多的利用椎體之間的空間關係提高訓練效率，提升網路性能。
本公開實施例還提供了一種圖像處理方法。圖2為本公開實施例的圖像處理方法的流程示意圖二；如圖2所示，所述方法包括如下步驟。
步驟201：獲得包含目標對象的圖像資料；所述目標對象包括至少一個子對象。
步驟202：基於第一全卷積神經網路對所述圖像資料進行處理，獲得第一圖像資料，所述第一圖像資料包括所述目標對象中每個子對象的中心點。
步驟203：基於第二全卷積神經網路對所述圖像資料和所述第一圖像資料進行處理，獲得第二圖像資料，所述第二圖像資料用於指示所述目標對象中每個子對象 的類別。
本實施例步驟201的相關闡述具體可參照前述實施例中步驟101的詳細闡述，為節省篇幅，這裡不再贅述。
本實施例步驟202中，通過第一全卷積神經網路實現椎骨骨骼中每個椎骨的中心點的定位。可以理解，第一全卷積神經網路為預先訓練獲得的，通過將圖像資料輸入至第一全卷積神經網路，獲得包括所述脊椎骨骼中每個椎骨的中心點的第一圖像資料，以通過所述第一圖像資料確定每個椎骨的中心點的位置。
在本公開的一種可選實施例中，所述基於第一全卷積神經網路對所述圖像資料進行處理，獲得第一圖像資料，包括：基於所述第一全卷積神經網路對所述圖像資料進行處理，獲得所述圖像資料中的像素對應的第一位移資料；所述第一位移資料表徵所述像素與距離所述像素最近的子對象的中心的位移；基於所述第一位移資料和所述像素自身的位置資料確定距離所述像素最近的第一子對象的中心點的初始位置；所述第一子對象為所述至少一個子對象中的任一子對象；獲得所述圖像資料中的至少部分像素對應的所述第一子對象的中心點的初始位置，確定位置相同的初始位置的數量，基於數量最多的初始位置確定所述第一子對象的中心點；基於確定的所述第一子對象的中心點獲得第一圖像資料。
本實施例中，通過已訓練好的第一全卷積神經網路 對包含脊椎骨骼的圖像資料進行處理，獲得所述圖像資料中各像素與距離最近的椎骨的中心的第一位移資料，該第一位移資料包括x軸方向、y軸方向和z軸方向三個方向的位移資料；進一步基於像素自身的位置和所述像素對應的第一位移資料確定與所述像素距離最近的椎骨的中心點的初始位置。可以理解，每個像素均可確定出與該像素距離最近的椎骨的中心點的初始位置，而對於同一個椎骨來說，也可以基於圖像資料中的部分像素確定出對應於該椎骨的多個初始位置，確定的多個初始位置很可能是部分相同、部分不同的；基於此，本實施例中採用投票法，也即統計相同的初始位置的數量，例如，有100個初始位置，其中，有50個初始位置為a，20個初始位置為b，15個初始位置為c，10個初始位置為d，5個初始位置為e，則確定初始位置為a的初始位置為該椎骨的中心點所在位置。
作為一種實施方式，所述基於所述第一位移資料和所述像素自身的位置資料確定距離所述像素最近的第一子對象的中心點的初始位置之前，所述方法還包括：基於所述圖像資料中的至少一個像素對應的第一位移距離對所述至少一個像素進行篩選，獲得與距離所述至少一個像素最近的第一子對象的中心之間的距離滿足特定條件的至少一個第一像素；所述基於所述第一位移資料和所述像素自身的位置資料確定距離所述像素最近的第一子對象的中心點的初始位置，包括：基於所述第一像素的第一位 移資料和所述第一像素自身的位置資料確定距離所述第一子對象的中心點的初始位置。
本實施例中，在確定椎骨的中心點的初始位置之前，可以先對參與初始位置確定的像素進行初步篩選，也即無需將圖像資料中所有像素均參與到椎骨中心點的初始位置的確定。具體的，由於每個像素對應的第一位移距離表徵所述像素與距離所述像素最近的椎骨的中心的位移，而在確定椎骨的中心點的初始位置的過程中，可以僅採用距離椎骨的中心點一定範圍內的像素。
作為一種實施方式，所述獲得與距離所述至少一個像素最近的第一子對象的中心之間的距離滿足特定條件的至少一個第一像素，包括：獲得與距離所述至少一個像素最近的第一子對象的中心之間的距離小於預設閾值的至少一個第一像素。實際應用中，由於第一位移資料包括x軸方向、y軸方向和z軸方向三個方向的位移資料，則可判斷該第一位移資料中x軸方向、y軸方向和z軸方向三個方向的位移資料的數值是否均小於所述預設閾值；在第一位移資料中x軸方向、y軸方向和z軸方向三個方向的位移資料的數值均小於所述預設閾值的情況下，表明該像素是滿足特定條件的第一像素。通過篩選出的至少一個第一像素的第一位移資料和所述第一像素自身的位置資料確定距離所述第一子對象的中心點的初始位置，這種方式能夠大大減少資料處理量。
為了進一步確定第一圖像資料中的中心點是歸屬 於哪一塊椎骨的問題，本實施例步驟203中，通過第二全卷積神經網路對椎骨骨骼中每個椎骨的類別的進行分類，從而確定圖像資料中每個椎骨的類別，進而與第一圖像資料中的中心點進行對應，從而確定相應的中心點屬於的椎骨類型。可以理解，第二全卷積神經網路為預先訓練獲得的，通過將所述圖像資料和所述第一圖像資料輸入至第二全卷積神經網路獲得用於指示所述脊椎骨骼中每個椎骨的類別的第二圖像資料。
在本公開的一種可選實施例中，所述基於第二全卷積神經網路對所述圖像資料和所述第一圖像資料進行處理，獲得第二圖像資料，包括：將所述圖像資料和所述第一圖像資料進行合併，獲得目標圖像資料；基於第二全卷積神經網路對所述目標圖像資料進行處理，獲得所述目標圖像資料中的像素屬於的子對象的類別的概率值，將最大概率值對應的子對象的類別確定為所述像素屬於的子對象的類別；基於所述目標圖像資料中的像素屬於的子對象類別獲得第二圖像資料。
本實施例中，通過已訓練好的第二全卷積神經網路對包含脊椎骨骼的圖像資料和包含脊椎骨骼中每個椎骨的中心點的第一圖像資料進行處理；首先對圖像資料和第一圖像資料進行合併處理，實際應用中，可針對圖像資料中的每個像素對應通道資料進行合併，獲得目標圖像資料，再通過第二全卷積神經網路對所述目標圖像資料進行處理，獲得目標圖像資料中每個像素或者部分像素屬於的椎 骨類別的概率值，將最大概率值對應的椎骨類別確定為所述像素屬於的椎骨類別。例如，某個像素屬於第一塊椎骨的概率為0.01，屬於第二塊椎骨的概率為0.02，屬於第三塊椎骨的概率為0.2，屬於第四塊椎骨的概率為0.72，屬於第五塊椎骨的概率為0.15，屬於第六塊椎骨的概率為0.03等等，確定出概率最大值為0.72，則可確定該像素屬於第四塊椎骨。
在其他實施方式中，可通過對目標圖像資料中每個像素屬於的椎骨類別進行確定，進而基於每個像素屬於的椎骨類別進行脊椎骨骼中包括的至少一個椎骨的分割，從而確定出所述目標圖像資料中包括的至少一個椎骨。
作為一種實施方式，所述獲得所述目標圖像資料中的像素屬於的子對象的類別的概率值，將最大概率值對應的子對象的類別確定為所述像素屬於的子對象的類別，包括：獲得所述目標圖像資料中的第二子對象的中心點對應像素屬於的子對象的類別的概率值；所述第二子對象為所述至少一個子對象中的任一子對象；將最大概率值對應的第二子對象的類別確定為所述第二子對象的類別。
本實施例中，通過上述實施方式，可直接確定椎骨中心點所述的椎骨類別，則可確定該椎骨中心點所在的椎骨的類別。
作為另一種實施方式，所述獲得所述目標圖像資料中的像素屬於的子對象的類別的概率值，將最大概率值對應的子對象的類別確定為所述像素屬於的子對象的類別， 包括：獲得所述目標圖像資料中的第二子對象的中心點對應像素屬於的子對象的類別的第一概率值，以及獲得與所述中心點距離特定閾值的其他像素屬於的子對象的類別的第二概率值，確定所述第一概率值和所述第二概率值中具有相同數值的概率值的數量，將數量最多的概率值對應的子對象的類別確定為所述第二子對象的類別。
本實施例中，通過椎骨中心點以及椎骨中心點附近的其他像素確定所述的椎骨類別。實際應用中，各個像素均可確定出對應的椎骨類別，而椎骨中心點以及椎骨中心點附近的其他像素有可能確定出的椎骨類別不同，則本實施例中可採用投票法，統計椎骨中心點以及椎骨中心點附近的其他像素確定出的椎骨類別中相同類別的數量，例如確定出第四塊椎骨的數量最多，則可確定該椎骨的類別為第四塊椎骨。
可以理解，本實施例中的所述第一圖像資料和所述第二圖像資料對應於前述實施例中的目標圖像資料，即目標圖像資料為兩個，包括用於確定椎骨中心點的第一圖像資料和用於指示椎骨類別的第二圖像資料。
本實施例通過第一全卷積神經網路對所述圖像資料包括的脊椎骨骼中每個椎骨的中心點進行定位，通過第二全卷積神經網路對圖像資料包括的脊椎骨骼中每個椎骨的類別進行分類，相當於通過第一全卷積神經網路對圖像資料的局部資訊進行處理，確定每個椎骨的中心點；通過第二全卷積神經網路對圖像資料的全域資訊進行處理， 確定每個椎骨的類別。一方面，通過全卷積神經網路(包括第一全卷積神經網路和第二全卷積神經網路)自動進行圖像資料的特徵識別、特徵選擇和特徵分類，相比於人工選擇特徵的方式，提升系統性能，提高椎骨中心定位的準確度；另一方面，全卷積神經網路能夠對每個像素點進行分類，也就是說，通過全卷積神經網路能夠更多的利用椎體之間的空間關係提高訓練效率，具體通過第二全卷積神經網路對圖像資料的全域資訊進行處理，依據脊椎骨骼中每個椎骨之間的空間關係訓練第二全卷積神經網路，提升網路性能。
基於前述實施例，本公開實施例還提供了一種圖像處理方法。圖3為本公開實施例的圖像處理方法的流程示意圖三；如圖3所示，所述方法包括如下步驟。
步驟301：獲得包含目標對象的圖像資料；所述目標對象包括至少一個子對象。
步驟302：基於第一全卷積神經網路對所述圖像資料進行處理，獲得第一圖像資料，所述第一圖像資料包括所述目標對象中每個子對象的中心點。
步驟303：對所述圖像資料進行下採樣處理，獲得第三圖像資料。
步驟304：基於第二全卷積神經網路對所述第三圖像資料和所述第一圖像資料進行處理，獲得第二圖像資料，所述第二圖像資料用於指示所述目標對象中每個子對象的類別。
本實施例步驟301至步驟302的詳細闡述具體可參照前述步驟201至步驟202的詳細闡述，為節省篇幅，這裡不再贅述。
與前述實施例的區別在於，本實施例中在基於第二全卷積神經網路獲得第二圖像資料之前，對所述圖像資料進行下採樣處理，也即縮小所述圖像資料，獲得第三圖像資料，將所述第三圖像資料和所述第一圖像資料輸入所述第二全卷積神經網路，獲得第二圖像資料。其中，縮小圖像資料的作用在於減少資料量，從而解決了顯存受限的問題，從另一方面也通過整合圖像的全域資訊(即通過椎骨的關聯資訊，即椎骨的“上下文資訊”)也大大提升了系統性能。
下面結合具體的應用場景對本公開實施例的圖像處理方案進行說明。
圖4為本公開實施例的圖像處理方法的一種應用示意圖；結合圖4所示，在脊椎受損的病人前往醫院就診的場景下，拍攝了關於脊椎的CT圖像(所述CT圖像具體為三維圖像)；醫生可通過本公開實施例的圖像處理方案對CT圖像中的各脊椎的中心點進行定位。
具體的，結合圖4所示，假設拍攝的CT圖像記為原始CT圖像，一方面，通過第一全卷積神經網路對原始CT圖像進行處理，獲得第一圖像資料；所述第一圖像資料包括所述脊椎骨骼中每個椎骨的中心點。其中，由於每個椎骨的中心點是獨立存在的，其不受其他椎骨的影響， 只要給出某個椎骨及其周圍的圖像便能夠通過第一全卷積神經網路確定該椎骨的中心點，但椎骨中心點需要通過例如椎骨邊界等細節資訊進行確定，因此，本實施例中通過所述第一全卷積神經網路對原始CT圖像中各椎骨的中心點進行定位，並且通過保留更多的細節資訊的原始CT圖像對各椎骨的中心點進行定位，可以理解，所述第一全卷積神經網路是用於處理局部資訊的。
另一方面，為了減少資料量，解決現存受限的問題，本實施例對原始CT圖像進行下採樣處理，獲得縮小後的CT圖像；通過第二全卷積網路對縮小後的CT圖像和所述第一圖像資料進行處理，獲得第二圖像資料；所述第二圖像資料用於指示所述脊椎骨骼中每個椎骨的類別。
在一種實施方式中，可通過經驗等方式確定第一圖像資料中確定的中心點歸屬的椎骨類別。但若原始CT圖像中缺失某塊椎骨，或者通過第一全卷積神經網路獲得的第一圖像資料對椎骨的中心點的定位結果不佳，漏掉了某些椎骨的中心點，則會出現椎骨中心點歸屬的椎骨類別確定有無的問題。基於此，本實施例中提出了通過第二全卷積神經網路確定椎骨類別。為確定椎骨類別，需要綜合考慮椎骨與其他椎骨的相對位置關係，因此，可以理解，所述第二全卷積神經網路是用於處理全域資訊的。實際應用中，全卷積神經網路中的卷積核的感受也是有限的，如果輸入的圖像太大，則卷積核無法感知圖像的全貌，則無法整合圖像的全域資訊；另一方面，由於椎骨的分類需要考 慮椎骨與其他椎骨的相對關係，而椎骨周邊的具體細節資訊並不重要，因此本實施例中通過下採樣的方式縮小原始CT圖像，作為用於確定椎骨類別的輸入資料。
關於前述第一全卷積神經網路的訓練方式，圖5為本公開實施例的圖像處理方法中的網路訓練方法的一種流程示意圖；如圖5所示，所述方法包括如下步驟。
步驟401：獲得包含目標對象的第一樣本圖像資料以及所述第一樣本圖像資料對應的第一標注資料；所述第一標注資料用於指示所述第一樣本圖像資料中的目標對象中每個子對象的中心點。
步驟402：根據所述第一樣本圖像資料和對應的第一標注資料訓練所述第一全卷積神經網路。
本實施例中，所述目標對象包括脊椎骨骼；所述脊椎骨骼包括至少一個椎骨。
本實施例步驟401中，第一樣本圖像資料和對應的第一標注資料為用於訓練第一全卷積神經網路的資料。其中，所述第一樣本圖像資料包含目標對象，所述目標對象例如脊椎骨骼。實際應用中，為訓練第一全卷積神經網路，可預先獲得多個第一樣本圖像資料，多個第一樣本圖像資料中包含的脊椎骨骼為同一類別，所述類別例如人類或具有脊椎骨骼的動物等等；可以理解，獲得的多個第一樣本圖像資料為包含有人類脊椎骨骼的樣本圖像資料，或者，獲得的多個第一樣本圖像資料為包含有某品種犬類脊椎骨骼的樣本圖像資料等等。
其中，所述第一標注資料標注了第一樣本圖像資料中的脊椎骨骼中每個椎骨的中心點。作為一種示例，所述第一標注資料可以是對應於每個椎骨的中心點的座標資料；作為另一種示例，所述第一標注資料也可以是對應於所述第一樣本圖像資料的、包括每個椎骨的中心點的圖像資料。
在本實施例步驟402中，所述根據所述第一樣本圖像資料和對應的第一標注資料訓練所述第一全卷積神經網路，包括：根據第一全卷積神經網路對所述第一樣本圖像資料進行處理，獲得初始圖像資料，所述初始圖像資料包括所述第一樣本圖像資料中的目標對象中每個子對象的初始中心點；基於所述初始圖像資料和所述第一標注資料確定損失函數，基於所述損失函數調整所述第一全卷積神經網路的參數，以訓練所述第一全卷積神經網路。
本實施例在對第一全卷積神經網路的訓練過程中，將所述第一樣本圖像資料輸入至第一全卷積神經網路，通過所述第一全卷積神經網路按照初始參數對所述第一樣本圖像資料進行處理，獲得初始圖像資料；所述初始圖像資料包括第一樣本圖像資料中的脊椎骨骼中每個椎骨的初始中心點。通常情況下，獲得的椎骨的初始中心點與第一標注資料中對應的椎骨的中心點之間是有差異的，本實施例中基於這種差異確定損失函數，基於確定的損失函數對第一全卷積神經網路的參數進行調整，從而訓練所述第一全卷積神經網路。可以理解，訓練獲得的第一全卷積神 經網路確定的椎骨的中心點與第一標注資料中對應椎骨的中心點之間的差異滿足預設條件，所述預設條件可以是預設閾值，例如，訓練獲得的第一全卷積神經網路確定的椎骨的中心點與第一標注資料中對應椎骨的中心點之間的位移小於所述預設閾值。
作為一種實施方式，所述基於所述初始圖像資料和所述第一標注資料確定損失函數，包括：基於所述初始圖像資料中椎骨的初始中心點的第一位置信息和所述第一標注資料中相應椎骨的中心點的第二位置資訊確定第一組位移；所述第一組位移包括三個維度的位移；基於所述第一組位移確定所述椎骨的初始中心點是否在所述第一標注資料中對應椎骨的中心點的預設距離範圍內，獲得第一結果；基於所述第一組位移和/或所述第一結果確定損失函數。
本實施例中，由於未訓練完成的第一全卷積神經網路的參數並非是最優的，因此初始圖像資料中的椎骨的初始中心點相比準確的中心點之間是有差異的。本實施例中的第一全卷積神經網路是對三維圖像資料進行處理，因此獲得的初始中心點的第一位置信息包括三個維度的資料。假設在水平面建立x和y軸，以垂直水平面的方向建立z軸，生成xyz三維坐標系，則所述第一位置信息可以是xyz三維坐標系中的(x,y,z)三維座標資料；相應的，所述第一標注資料中相應椎骨的中心點可表示為(x’,y’,z’)三維座標資料。則所述第一組位移可表 示為((x’-x),(y’-y),(z’-z))。進一步可通過所述第一組位移判定所述初始中心點是否在第一標注資料中對應椎骨的中心點的預設距離範圍。本實施例中確定的損失函數可與所述第一組位移和/或所述第一結果相關；假設損失函數與第一組位移和第一結果相關，則所述損失函數中可包括四個相關參數：(x’-x)、(y’-y)、(z’-z)以及所述椎骨的初始中心點是否在所述第一標注資料中對應椎骨的中心點的預設距離範圍內的第一結果；本實施例中根據所述損失函數(例如所述損失函數中的上述四個相關參數)對所述第一全卷積神經網路的參數進行調整。實際應用中，需要通過多次的參數調整對所述第一全卷積神經網路進行訓練，最終訓練獲得的第一全卷積神經網路，能夠滿足對第一樣本圖像資料進行處理後獲得的椎骨中心點與所述第一標注資料中對應椎骨的中心點之間的差異在預設閾值範圍內。
本實施例中，所述第一全卷積神經網路可以是具有編碼器-解碼器(Encoder-Decoder)架構的V-Net全卷積神經網路。
本實施例通過第一全卷積神經網路對所述圖像資料包括的脊椎骨骼中每個椎骨的中心點進行定位。一方面，通過第一全卷積神經網路自動進行圖像資料的特徵識別、特徵選擇和特徵分類，相比於人工選擇特徵的方式，提升系統性能，提高椎骨中心定位的準確度；另一方面，本實施例通過端到端的對第一全卷積神經網路進行訓練，能夠 準確的得到每個椎骨的中心點的位置。
關於前述第二全卷積神經網路的訓練方式，圖6為本公開實施例的圖像處理方法中的網路訓練方法的另一種流程示意圖；如圖6所示，所述方法包括如下步驟。
步驟501：獲得包含目標對象的第一樣本圖像資料、所述第一樣本圖像資料相關的第二樣本圖像資料以及所述第一樣本圖像資料對應的第二標注資料；所述第二樣本圖像資料包括所述第一樣本圖像資料中的目標對象中每個子對象的中心點；所述第二標注資料用於指示所述第一樣本圖像資料中的目標對象中每個子對象的類別。
步驟502：基於所述第一樣本圖像資料、所述第二樣本圖像資料和所述第二標注資料訓練所述第二全卷積神經網路。
本實施例步驟501中，第一樣本圖像資料和對應的第一標注資料為用於訓練第一全卷積神經網路的資料。其中，所述第一樣本圖像資料包含目標對象，所述目標對象例如脊椎骨骼。實際應用中，為訓練第二全卷積神經網路，可預先獲得多個第一樣本圖像資料，多個第一樣本圖像資料中包含的脊椎骨骼為同一類別，所述類別例如人類或具有脊椎骨骼的動物等等；可以理解，獲得的多個第一樣本圖像資料為包含有人類脊椎骨骼的樣本圖像資料，或者，獲得的多個第一樣本圖像資料為包含有某品種犬類脊椎骨骼的樣本圖像資料等等。
其中，所述第二樣本圖像資料包含了與第一樣本圖 像資料中的目標對象(例如脊椎骨骼)對應的每個子對象(例如椎骨)的中心點。作為一種實施方式，所述第二樣本圖像資料可以是通過前述訓練獲得的第一全卷積神經網路獲得的包括椎骨中心點的圖像資料。
其中，所述第二標注資料是對應於第一樣本圖像資料中每個椎骨類別的資料。作為一種示例，所述第二標注資料可以是例如圖4中所示的第二圖像資料，即通過人工標注的方式標識出的每個類別的椎骨的輪廓從而生成的圖像資料。
本實施例步驟502中，所述基於所述第一樣本圖像資料、所述第二樣本圖像資料和所述第二標注資料訓練所述第二全卷積神經網路，包括：對所述第一樣本圖像資料進行下採樣處理，獲得第三樣本圖像資料；基於所述第三樣本圖像資料、所述第二樣本圖像資料和所述第二標注資料訓練所述第二全卷積神經網路。
本實施例中，為了減少網路訓練過程中的資料量，解決顯存受限的問題，在對第二全卷積神經網路進行訓練之前，首先對第一樣本圖像資料進行下採樣處理，獲得第三樣本圖像資料；基於所述第三樣本圖像資料、所述第二樣本圖像資料和所述第二標注資料訓練所述第二全卷積神經網路。與前述第一全卷積神經網路的訓練方式相似，通過所述第二全卷積神經網路按照初始參數對所述第三樣本圖像資料和所述第二樣本圖像資料進行處理，獲得的包含有每個椎骨的初始類別的初始圖像資料；基於所述初 始圖像資料和所述第二標注資料之間的差異確定損失函數，基於所述損失函數對所述第二全卷積神經網路的參數進行調整，從而訓練所述第二全卷積神經網路。
本實施例中，所述第二全卷積神經網路可以是V-Net全卷積神經網路。
本實施例通過第一全卷積神經網路對所述圖像資料包括的脊椎骨骼中每個椎骨的中心點進行定位，通過第二全卷積神經網路對圖像資料包括的脊椎骨骼中每個椎骨的類別進行分類，相當於通過第一全卷積神經網路對圖像資料的局部資訊進行處理，確定每個椎骨的中心點；通過第二全卷積神經網路對圖像資料的全域資訊進行處理，確定每個椎骨的類別。一方面，通過全卷積神經網路(包括第一全卷積神經網路和第二全卷積神經網路)自動進行圖像資料的特徵識別、特徵選擇和特徵分類，相比於人工選擇特徵的方式，提升系統性能，提高椎骨中心定位的準確度；另一方面，全卷積神經網路能夠對每個像素點進行分類，也就是說，通過全卷積神經網路能夠更多的利用椎體之間的空間關係提高訓練效率，具體通過第二全卷積神經網路對圖像資料的全域資訊進行處理，依據脊椎骨骼中每個椎骨之間的空間關係訓練第二全卷積神經網路，提升網路性能。
本公開實施例還提供了一種圖像處理裝置。圖7為本公開實施例的圖像處理裝置的一種組成結構示意圖；如圖7所示，所述裝置包括：獲取單元61和圖像處理單 元62。
所述獲取單元61，配置為獲得包含目標對象的圖像資料；所述目標對象包括至少一個子對象。
所述圖像處理單元62，配置為基於全卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，所述目標圖像資料至少包括所述目標對象中每個子對象的中心點。
作為一種實施方式，所述圖像處理單元62，配置為基於第一全卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，所述目標圖像資料包括所述目標對象中每個子對象的中心點。
作為另一種實施方式，所述圖像處理單元62，配置為基於第一全卷積神經網路對所述圖像資料進行處理，獲得第一圖像資料，所述第一圖像資料包括所述目標對象中每個子對象的中心點；基於第二全卷積神經網路對所述圖像資料和所述第一圖像資料進行處理，獲得第二圖像資料，所述第二圖像資料用於指示所述目標對象中每個子對象的類別。
在本公開的一種可選實施例中，如圖8所示，所述圖像處理單元62包括第一處理模組621，配置為基於所述第一全卷積神經網路對所述圖像資料進行處理，獲得所述圖像資料中的像素對應的第一位移資料；所述第一位移資料表徵所述像素與距離所述像素最近的子對象的中心的位移；基於所述第一位移資料和所述像素自身的位置 資料確定距離所述像素最近的第一子對象的中心點的初始位置；所述第一子對象為所述至少一個子對象中的任一子對象；獲得所述圖像資料中的至少部分像素對應的所述第一子對象的中心點的初始位置，確定位置相同的初始位置的數量，基於數量最多的初始位置確定所述第一子對象的中心點。
在一種可選實施例中，所述第一處理模組621，配置為基於所述圖像資料中的至少一個像素對應的第一位移距離對所述至少一個像素進行篩選，獲得與距離所述至少一個像素最近的第一子對象的中心之間的距離滿足特定條件的至少一個第一像素；基於所述第一像素的第一位移資料和所述第一像素自身的位置資料確定距離所述第一子對象的中心點的初始位置。
在本公開的一種可選實施例中，如圖9所示，所述圖像處理單元62包括第二處理模組622，配置為將所述圖像資料和所述第一圖像資料進行合併，獲得目標圖像資料；基於第二全卷積神經網路對所述目標圖像資料進行處理，獲得所述目標圖像資料中的像素屬於的子對象的類別的概率值，將最大概率值對應的子對象的類別確定為所述像素屬於的子對象的類別；基於所述目標圖像資料中的像素屬於的子對象類別獲得第二圖像資料。
在一種可選實施例中，所述第二處理模組622，配置為獲得所述目標圖像資料中的第二子對象的中心點對應像素屬於的子對象的類別的概率值；所述第二子對象 為所述至少一個子對象中的任一子對象；將最大概率值對應的第二子對象的類別確定為所述第二子對象的類別。
在本公開的一種可選實施例中，所述圖像處理單元62，配置為對所述圖像資料進行下採樣處理，獲得第三圖像資料；基於第二全卷積神經網路對所述第三圖像資料和所述第一圖像資料進行處理，獲得第二圖像資料。
在本公開的一種可選實施例中，如圖10所示，所述裝置還包括第一訓練單元63，配置為獲得包含目標對象的第一樣本圖像資料以及所述第一樣本圖像資料對應的第一標注資料；所述第一標注資料用於指示所述第一樣本圖像資料中的目標對象中每個子對象的中心點；根據所述第一樣本圖像資料和對應的第一標注資料訓練所述第一全卷積神經網路。
本實施例中，所述第一訓練單元63，配置為根據第一全卷積神經網路對所述第一樣本圖像資料進行處理，獲得初始圖像資料，所述初始圖像資料包括所述第一樣本圖像資料中的目標對象中每個子對象的初始中心點；基於所述初始圖像資料和所述第一標注資料確定損失函數，基於所述損失函數調整所述第一全卷積神經網路的參數，以訓練所述第一全卷積神經網路。
在本公開的一種可選實施例中，如圖11所示，所述裝置還包括第二訓練單元64，配置為獲得包含目標對象的第一樣本圖像資料、所述第一樣本圖像資料相關的第二樣本圖像資料以及所述第一樣本圖像資料對應的第二 標注資料；所述二樣本圖像資料包括所述第一樣本圖像資料中的目標對象中每個子對象的中心點；所述第二標注資料用於指示所述第一樣本圖像資料中的目標對象中每個子對象的類別；基於所述第一樣本圖像資料、所述第二樣本圖像資料和所述第二標注資料訓練所述第二全卷積神經網路。
可選地，所述第二訓練單元64，配置為對所述第一樣本圖像資料進行下採樣處理，獲得第三樣本圖像資料；基於所述第三樣本圖像資料、所述第二樣本圖像資料和所述第二標注資料訓練所述第二全卷積神經網路。
本實施例中，所述目標對象包括脊椎骨骼；所述脊椎骨骼包括至少一個椎骨。
本公開實施例中，所述裝置中的獲取單元61、圖像處理單元62(包括第一處理模組621和第二處理模組622)、第一訓練單元63和第二訓練單元64，在實際應用中均可由中央處理器(CPU，Central Processing Unit)、數位訊號處理器(DSP，Digital Signal Processor)、微控制單元(MCU，Microcontroller Unit)或可程式設計閘陣列(FPGA，Field-Programmable Gate Array)實現。
需要說明的是：上述實施例提供的圖像處理裝置在進行圖像處理時，僅以上述各程式模組的劃分進行舉例說明，實際應用中，可以根據需要而將上述處理分配由不同的程式模組完成，即將裝置的內部結構劃分成不同的程式 模組，以完成以上描述的全部或者部分處理。另外，上述實施例提供的圖像處理裝置與圖像處理方法實施例屬於同一構思，其具體實現過程詳見方法實施例，這裡不再贅述。
本公開實施例還提供了一種電子設備，圖12為本公開實施例的電子設備的組成結構示意圖，如圖12所示，所述電子設備包括記憶體72、處理器71及儲存在記憶體72上並可在處理器71上運行的電腦程式，所述處理器71執行所述程式時實現本公開實施例所述方法的步驟。
本實施例中，電子設備中的各個元件可通過匯流排系統73耦合在一起。可理解，匯流排系統73用於實現這些元件之間的連接通信。匯流排系統73除包括資料匯流排之外，還包括電源匯流排、控制匯流排和狀態信號匯流排。但是為了清楚說明起見，在圖12中將各種匯流排都標為匯流排系統73。
可以理解，記憶體72可以是易失性記憶體或非易失性記憶體，也可包括易失性和非易失性記憶體兩者。其中，非易失性記憶體可以是唯讀記憶體(ROM，Read Only Memory)、可程式設計唯讀記憶體(PROM，Programmable Read-Only Memory)、可擦除可程式設計唯讀記憶體(EPROM，Erasable Programmable Read-Only Memory)、電可擦除可程式設計唯讀記憶體(EEPROM，Electrically Erasable Programmable Read-Only Memory)、 磁性隨機存取記憶體(FRAM，ferromagnetic random access memory)、快閃記憶體(Flash Memory)、磁表面記憶體、光碟、或唯讀光碟(CD-ROM，Compact Disc Read-Only Memory)；磁表面記憶體可以是磁碟記憶體或磁帶記憶體。易失性記憶體可以是隨機存取記憶體(RAM，Random Access Memory)，其用作外部快取記憶體。通過示例性但不是限制性說明，許多形式的RAM可用，例如靜態隨機存取記憶體(SRAM，Static Random Access Memory)、同步靜態隨機存取記憶體(SSRAM，Synchronous Static Random Access Memory)、動態隨機存取記憶體(DRAM，Dynamic Random Access Memory)、同步動態隨機存取記憶體(SDRAM，Synchronous Dynamic Random Access Memory)、雙倍數據速率同步動態隨機存取記憶體(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增強型同步動態隨機存取記憶體(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步連接動態隨機存取記憶體(SLDRAM，SyncLink Dynamic Random Access Memory)、直接記憶體匯流排隨機存取記憶體(DRRAM，Direct Rambus Random Access Memory)。本公開實施例描述的記憶體72旨在包括但不限於這些和任意其它適合類型的記憶體。
上述本公開實施例揭示的方法可以應用於處理器71中，或者由處理器71實現。處理器71可能是一種積體電路晶片，具有信號的處理能力。在實現過程中，上述方法的各步驟可以通過處理器71中的硬體的集成邏輯電路或者軟體形式的指令完成。上述的處理器71可以是通用處理器、數位訊號處理器(DSP，Digital Signal Processor)，或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。處理器71可以實現或者執行本公開實施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者任何常規的處理器等。結合本公開實施例所公開的方法的步驟，可以直接體現為硬體解碼處理器執行完成，或者用解碼處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於儲存介質中，該儲存介質位於記憶體72，處理器71讀取記憶體72中的資訊，結合其硬體完成前述方法的步驟。
在示例性實施例中，電子設備可以被一個或多個應用專用積體電路(ASIC，Application Specific Integrated Circuit)、DSP、可程式設計邏輯器件(PLD，Programmable Logic Device)、複雜可程式設計邏輯器件(CPLD，Complex Programmable Logic Device)、現場可程式設計閘陣列(FPGA，Field-Programmable Gate Array)、通用處理器、控制器、微控制器(MCU，Micro Controller Unit)、微處理器(Microprocessor)、或其他電子元件實現， 用於執行前述方法。
本公開實施例還提供了一種電腦程式，包括電腦可讀代碼，當上述電腦可讀代碼在電子設備中運行時，上述電子設備中的處理器執行用於實現上述的圖像處理方法。
本公開實施例還提供了一種電腦可讀儲存介質，其上儲存有電腦程式，該程式被處理器執行時實現本公開實施例所述方法的步驟。
在本公開所提供的幾個實施例中，應該理解到，所揭露的裝置、設備和方法，可以通過其它的方式實現。以上所描述的設備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，如：多個單元或元件可以結合，或可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些介面，設備或單元的間接耦合或通信連接，可以是電性的、機械的或其它形式的。
上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元，即可以位於一個地方，也可以分佈到多個網路單元上；可以根據實際的需要選擇其中的部分或全部單元來實現本實施例方案的目的。
另外，在本公開各實施例中的各功能單元可以全部集成在一個處理單元中，也可以是各單元分別單獨作為一 個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能單元的形式實現。
本領域普通技術人員可以理解：實現上述方法實施例的全部或部分步驟可以通過程式指令相關的硬體來完成，前述的程式可以儲存於一電腦可讀取儲存介質中，該程式在執行時，執行包括上述方法實施例的步驟；而前述的儲存介質包括：移動儲存裝置、ROM、RAM、磁碟或者光碟等各種可以儲存程式碼的介質。
或者，本公開上述集成的單元如果以軟體功能模組的形式實現並作為獨立的產品銷售或使用時，也可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本公開實施例的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備(可以是個人電腦、伺服器、或者網路設備等)執行本公開各個實施例所述方法的全部或部分。而前述的儲存介質包括：移動存放裝置、ROM、RAM、磁碟或者光碟等各種可以儲存程式碼的介質。
以上所述，僅為本公開的具體實施方式，但本公開的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本公開揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本公開的保護範圍之內。因此，本公開的保護範圍應以所述申請專利範圍的保護範圍為準。
101:步驟
102:步驟

Claims (15)

  1. 一種圖像處理方法，所述方法包括：
    獲得包含目標對象的圖像資料；所述目標對象包括至少一個子對象；
    基於全卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，所述目標圖像資料至少包括所述目標對象中每個子對象的中心點。
  2. 根據請求項1所述的方法，其中，所述基於全卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，包括：
    基於第一全卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，所述目標圖像資料包括所述目標對象中每個子對象的中心點。
  3. 根據請求項1所述的方法，其中，所述基於全卷積神經網路對所述圖像資料進行處理，獲得目標圖像資料，包括：
    基於第一全卷積神經網路對所述圖像資料進行處理，獲得第一圖像資料，所述第一圖像資料包括所述目標對象中每個子對象的中心點；
    基於第二全卷積神經網路對所述圖像資料和所述第一圖像資料進行處理，獲得第二圖像資料，所述第二圖像資料用於指示所述目標對象中每個子對象的類別。
  4. 根據請求項2或3所述的方法，其中，所述基於第一全卷積神經網路對所述圖像資料進行處理，包 括：
    基於所述第一全卷積神經網路對所述圖像資料進行處理，獲得所述圖像資料中的像素對應的第一位移資料；所述第一位移資料表徵所述像素與距離所述像素最近的子對象的中心的位移；
    基於所述第一位移資料和所述像素自身的位置資料確定距離所述像素最近的第一子對象的中心點的初始位置；所述第一子對象為所述至少一個子對象中的任一子對象；
    獲得所述圖像資料中的至少部分像素對應的所述第一子對象的中心點的初始位置，確定位置相同的初始位置的數量，基於數量最多的初始位置確定所述第一子對象的中心點。
  5. 根據請求項4所述的方法，其中，所述基於所述第一位移資料和所述像素自身的位置資料確定距離所述像素最近的第一子對象的中心點的初始位置之前，所述方法還包括：
    基於所述圖像資料中的至少一個像素對應的第一位移距離對所述至少一個像素進行篩選，獲得與距離所述至少一個像素最近的第一子對象的中心之間的距離滿足特定條件的至少一個第一像素；
    所述基於所述第一位移資料和所述像素自身的位置資料確定距離所述像素最近的第一子對象的中心點的初始位置，包括：
    基於所述第一像素的第一位移資料和所述第一像素自身 的位置資料確定距離所述第一子對象的中心點的初始位置。
  6. 根據請求項3所述的方法，其中，所述基於第二全卷積神經網路對所述圖像資料和所述第一圖像資料進行處理，獲得第二圖像資料，包括：
    將所述圖像資料和所述第一圖像資料進行合併，獲得目標圖像資料；
    基於第二全卷積神經網路對所述目標圖像資料進行處理，獲得所述目標圖像資料中的像素屬於的子對象的類別的概率值，將最大概率值對應的子對象的類別確定為所述像素屬於的子對象的類別；
    基於所述目標圖像資料中的像素屬於的子對象類別獲得第二圖像資料。
  7. 根據請求項6所述的方法，其中，所述獲得所述目標圖像資料中的像素屬於的子對象的類別的概率值，將最大概率值對應的子對象的類別確定為所述像素屬於的子對象的類別，包括：
    獲得所述目標圖像資料中的第二子對象的中心點對應像素屬於的子對象的類別的概率值；所述第二子對象為所述至少一個子對象中的任一子對象；
    將最大概率值對應的第二子對象的類別確定為所述第二子對象的類別。
  8. 根據請求項3所述的方法，其中，所述基於第二全卷積神經網路對所述圖像資料和所述第一圖像資料 進行處理，獲得第二圖像資料，包括：
    對所述圖像資料進行下採樣處理，獲得第三圖像資料；
    基於第二全卷積神經網路對所述第三圖像資料和所述第一圖像資料進行處理，獲得第二圖像資料。
  9. 根據請求項2或3所述的方法，其中，所述第一全卷積神經網路的訓練過程包括：
    獲得包含目標對象的第一樣本圖像資料以及所述第一樣本圖像資料對應的第一標注資料；所述第一標注資料用於指示所述第一樣本圖像資料中的目標對象中每個子對象的中心點；
    根據所述第一樣本圖像資料和對應的第一標注資料訓練所述第一全卷積神經網路。
  10. 根據請求項9所述的方法，其中，所述根據所述第一樣本圖像資料和對應的第一標注資料訓練所述第一全卷積神經網路，包括：
    根據第一全卷積神經網路對所述第一樣本圖像資料進行處理，獲得初始圖像資料，所述初始圖像資料包括所述第一樣本圖像資料中的目標對象中每個子對象的初始中心點；
    基於所述初始圖像資料和所述第一標注資料確定損失函數，基於所述損失函數調整所述第一全卷積神經網路的參數，以訓練所述第一全卷積神經網路。
  11. 根據請求項3、6或7所述的方法，其中，所述第二全卷積神經網路的訓練過程包括：
    獲得包含目標對象的第一樣本圖像資料、所述第一樣本圖像資料相關的第二樣本圖像資料以及所述第一樣本圖像資料對應的第二標注資料；所述二樣本圖像資料包括所述第一樣本圖像資料中的目標對象中每個子對象的中心點；所述第二標注資料用於指示所述第一樣本圖像資料中的目標對象中每個子對象的類別；
    基於所述第一樣本圖像資料、所述第二樣本圖像資料和所述第二標注資料訓練所述第二全卷積神經網路。
  12. 根據請求項11所述的方法，其中，所述基於所述第一樣本圖像資料、所述第二樣本圖像資料和所述第二標注資料訓練所述第二全卷積神經網路，包括：
    對所述第一樣本圖像資料進行下採樣處理，獲得第三樣本圖像資料；
    基於所述第三樣本圖像資料、所述第二樣本圖像資料和所述第二標注資料訓練所述第二全卷積神經網路。
  13. 根據請求項1至3所述的方法，其中，所述目標對象包括脊椎骨骼；所述脊椎骨骼包括至少一個椎骨。
  14. 一種電腦可讀儲存介質，其上儲存有電腦程式，該程式被處理器執行時實現請求項1至13任一項所述方法的步驟。
  15. 一種電子設備，包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的電腦程式，所述處理器執行所述程式時實現請求項1至13任一項所述方法的步 驟。
TW109113374A 2019-05-31 2020-04-21 一種圖像處理方法和裝置、電子設備 TWI758714B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910473265.6A CN110223279B (zh) 2019-05-31 2019-05-31 一种图像处理方法和装置、电子设备
CN201910473265.6 2019-05-31

Publications (2)

Publication Number Publication Date
TW202046241A true TW202046241A (zh) 2020-12-16
TWI758714B TWI758714B (zh) 2022-03-21

Family

ID=67819324

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109113374A TWI758714B (zh) 2019-05-31 2020-04-21 一種圖像處理方法和裝置、電子設備

Country Status (7)

Country Link
US (1) US20210374452A1 (zh)
JP (1) JP2022516970A (zh)
KR (1) KR20210115010A (zh)
CN (1) CN110223279B (zh)
SG (1) SG11202108960QA (zh)
TW (1) TWI758714B (zh)
WO (1) WO2020238007A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110223279B (zh) * 2019-05-31 2021-10-08 上海商汤智能科技有限公司 一种图像处理方法和装置、电子设备
CN111179247A (zh) * 2019-12-27 2020-05-19 上海商汤智能科技有限公司 三维目标检测方法及其模型的训练方法及相关装置、设备
CN112219224B (zh) * 2019-12-30 2024-04-26 商汤国际私人有限公司 图像处理方法及装置、电子设备和存储介质
US11704798B2 (en) * 2020-12-02 2023-07-18 Ping An Technology (Shenzhen) Co., Ltd. Method and device for vertebra localization and identification
CN115204383A (zh) * 2021-04-13 2022-10-18 北京三快在线科技有限公司 中心点预测模型的训练方法及装置
KR102564737B1 (ko) * 2022-05-25 2023-08-10 주식회사 래디센 X-ray 이미지의 노이즈 제거를 위한 장치의 학습방법 및 이를 위한 컴퓨팅 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016138416A1 (en) * 2015-02-27 2016-09-01 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Double component mandrel for electrospun stentless, multi-leaflet valve fabrication
EP3171297A1 (en) * 2015-11-18 2017-05-24 CentraleSupélec Joint boundary detection image segmentation and object recognition using deep learning
CN107305635A (zh) * 2016-04-15 2017-10-31 株式会社理光 对象识别方法、对象识别装置和分类器训练方法
CN106682697B (zh) * 2016-12-29 2020-04-14 华中科技大学 一种基于卷积神经网络的端到端物体检测方法
JP6778625B2 (ja) * 2017-01-31 2020-11-04 株式会社デンソーアイティーラボラトリ 画像検索システム、画像検索方法及び画像検索プログラム
JP7229174B2 (ja) * 2017-04-14 2023-02-27 コーニンクレッカ フィリップス エヌ ヴェ 人識別システム及び方法
CN109214403B (zh) * 2017-07-06 2023-02-28 斑马智行网络(香港)有限公司 图像识别方法、装置及设备、可读介质
AU2018351078B2 (en) * 2017-10-20 2023-07-06 Nuvasive, Inc. Intervertebral disc modeling
JP2021500901A (ja) * 2017-10-26 2021-01-14 エッセンリックス コーポレーション Ｃｒｏｆおよび機械学習を使用する画像ベースのアッセイのシステムおよび方法
CN107977971A (zh) * 2017-11-09 2018-05-01 哈尔滨理工大学 基于卷积神经网络的椎骨定位的方法
CN108038860A (zh) * 2017-11-30 2018-05-15 杭州电子科技大学 基于3d全卷积神经网络的脊柱分割方法
CN108614999B (zh) * 2018-04-16 2022-09-16 贵州大学 基于深度学习的眼睛睁闭状态检测方法
CN108596904B (zh) * 2018-05-07 2020-09-29 北京长木谷医疗科技有限公司 生成定位模型的方法及对脊柱矢状位图像进行处理的方法
CN108634934B (zh) * 2018-05-07 2021-01-29 北京长木谷医疗科技有限公司 对脊柱矢状位图像进行处理的方法和设备
CN109190444B (zh) * 2018-07-02 2021-05-18 南京大学 一种基于视频的收费车道车辆特征识别***的实现方法
CN109166104A (zh) * 2018-08-01 2019-01-08 沈阳东软医疗***有限公司 一种病变检测方法、装置及设备
CN109544537A (zh) * 2018-11-26 2019-03-29 中国科学技术大学 髋关节x光图像快速自动分析方法
CN109785303B (zh) * 2018-12-28 2020-12-11 上海联影智能医疗科技有限公司 肋骨标记方法、装置、设备以及图像分割模型的训练方法
CN110223279B (zh) * 2019-05-31 2021-10-08 上海商汤智能科技有限公司 一种图像处理方法和装置、电子设备

Also Published As

Publication number Publication date
KR20210115010A (ko) 2021-09-24
CN110223279B (zh) 2021-10-08
CN110223279A (zh) 2019-09-10
JP2022516970A (ja) 2022-03-03
SG11202108960QA (en) 2021-09-29
US20210374452A1 (en) 2021-12-02
TWI758714B (zh) 2022-03-21
WO2020238007A1 (zh) 2020-12-03

Similar Documents

Publication Publication Date Title
TWI758714B (zh) 一種圖像處理方法和裝置、電子設備
US10248756B2 (en) Anatomically specific movie driven medical image review
JP5393968B2 (ja) 内視鏡を較正するためのシステム及び方法
WO2007052634A1 (ja) 画像解析装置及び方法
CN110717905B (zh) 脑部图像检测方法、计算机设备和存储介质
Anping et al. Assessment for facial nerve paralysis based on facial asymmetry
KR20130136519A (ko) 파노라마 엑스선 사진을 이용한 진단 지원 시스템, 및 파노라마 엑스선 사진을 이용한 진단 지원 프로그램
CN110246580B (zh) 基于神经网络和随机森林的颅侧面影像分析方法和***
CN105556567B (zh) 用于脊椎位置探测的方法和***
CN110742631A (zh) 一种医学图像的成像方法和装置
EP3047455B1 (en) Method and system for spine position detection
CN109983502A (zh) 用于医学图像数据集的质量评估的设备和方法
CN107122754A (zh) 姿势识别方法和装置
CN111419399A (zh) 定位跟踪件、定位球的识别方法、存储介质及电子设备
Vrtovec et al. Spinopelvic measurements of sagittal balance with deep learning: systematic review and critical evaluation
CN111445575A (zh) 威利斯环的图像重建方法、装置、电子设备、存储介质
CN109087357A (zh) 扫描定位方法、装置、计算机设备及计算机可读存储介质
Zhang et al. A novel tool to provide predictable alignment data irrespective of source and image quality acquired on mobile phones: what engineers can offer clinicians
CN111275754A (zh) 一种基于深度学习的脸部痘印比例计算方法
Landi et al. Applying geometric morphometrics to digital reconstruction and anatomical investigation
KR20230030682A (ko) Ct를 이용한 3d 두부 계측 랜드마크 자동 검출 장치 및 방법
CN113781496A (zh) 基于cbct脊椎图像的椎弓根螺钉通道自动规划***和方法
CN115620053B (zh) 气道类型确定***及电子设备
DE102012213923B4 (de) Vorrichtung und Verfahren zur Positionskorrelation in medizinischen Aufnahmen
CN115272588B (zh) 一种基于深度图像的人体脊柱拟合方法、***及电子设备