JP7120965B2 - 頭部イメージ分析装置及びイメージ分析方法 - Google Patents

頭部イメージ分析装置及びイメージ分析方法 Download PDF

Info

Publication number
JP7120965B2
JP7120965B2 JP2019107639A JP2019107639A JP7120965B2 JP 7120965 B2 JP7120965 B2 JP 7120965B2 JP 2019107639 A JP2019107639 A JP 2019107639A JP 2019107639 A JP2019107639 A JP 2019107639A JP 7120965 B2 JP7120965 B2 JP 7120965B2
Authority
JP
Japan
Prior art keywords
image
head image
head
landmark
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019107639A
Other languages
English (en)
Other versions
JP2020006152A (ja
Inventor
ソプ ヨム,ムン
ウン キム,テ
ミン パク,ジェ
ジュン リ,ソク
ベ パク,ソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180128188A external-priority patent/KR102130963B1/ko
Application filed by Individual filed Critical Individual
Publication of JP2020006152A publication Critical patent/JP2020006152A/ja
Application granted granted Critical
Publication of JP7120965B2 publication Critical patent/JP7120965B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本明細書で開示する実施例は頭部イメージ分析装置及び方法に関し、より詳しくは、歯科、顎又は顔面整形手術用の、患者の頭部を計測したイメージを分析するための装置及び方法に関する。
歯科、又は両顎及び顔面整形手術のために、患者の頭蓋又は顔面を分析した資料が必要である。このため、従来、医師が前記手術を行う前に、X線機器又はコンピュータ断層スキャン(CT)診断機器で患者の頭部を撮影したイメージを医療陣が分析し、分析されたファイルから患者の予想手術部位を決定している。ここで、医療陣は前記イメージに主要地点をマーキングする方式で分析する。このように分析する方法は長期間にわたって蓄積された医療陣の経験によっている。
ただ、このような方法は医療陣が直接地点を選定しなければならないため、実時間で分析資料を得ることができず、医療陣が患者に正確な診断結果を提示するまでに長い時間がかかるという問題点がある。また、前記方法は、医療陣の経験によっているため、熟練していない医療陣が地点を選定する場合、地点を誤って選定して歪曲した分析資料を作り、誤った分析資料に基づいて手術するために問題が発生するという問題点がある。
これに関連して、先行技術文献である特許文献1では、患者の医療診察結果などの全ての情報をデジタル化し、医師は家やオフィスなど、インターネット接続が可能な場所で楽に診療することができる内容について開示しているのみであり、医学関連イメージを分析した結果を医療陣に提供して向上した医療サービスを医療陣が患者に提供することができるようにする内容については開示していない。したがって、前述した問題点を解決するための技術が必要になった。
一方、前述した背景技術は発明者が本発明の導出のために保有していたか、本発明の導出過程で習得した技術情報で、必ずしも本発明の出願前に一般公衆に公開された公知の技術であるとは言えない。
韓国特許公開第10-2000-0054062号公報
本明細書で開示する実施例は頭部イメージ分析装置及び方法を提示することに目的がある。
また、本明細書で開示する実施例は頭部イメージに基づいて正確な分析結果を提供することに他の目的がある。
また、本明細書で開示する実施例は頭部イメージを分析した結果を速かに提供することにさらに他の目的がある。
また、本明細書で開示する実施例は頭部イメージを分析した結果を一度加工することによって医療陣はもちろんのこと患者が理解しやすいレポートを提供することにさらに他の目的がある。
上述した技術的課題を達成するための技術的手段は、一実施例によれば、頭部イメージを分析するための装置であって、頭部イメージ上のランドマーク地点を抽出して分析イメージを生成する制御部と、生成された分析イメージを記憶するメモリとを含むことができる。
上述した技術的課題を達成するための技術的手段は、他の実施例によれば、頭部イメージ分析装置が頭部イメージを分析する方法であって、頭部イメージ上のランドマーク地点を抽出する段階と、抽出されたランドマーク地点に基づいて分析イメージを生成する段階とを含むことができる。
上述した技術的課題を達成するための技術的手段は、さらに他の実施例によれば、頭部イメージ分析方法を行うプログラムが記録されたコンピュータ可読の記録媒体であってもよく、前記頭部イメージ分析方法は、頭部イメージ上のランドマーク地点を抽出する段階と、抽出されたランドマーク地点に基づいて分析イメージを生成する段階とを含むことができる。
上述した技術的課題を達成するための技術的手段は、さらに他の実施例によれば、頭部イメージ分析装置によって実行され、頭部イメージ分析方法を実行するために媒体に記憶されたコンピュータプログラムであってもよく、前記頭部イメージ分析方法は、頭部イメージ上のランドマーク地点を抽出する段階と、抽出されたランドマーク地点に基づいて分析イメージを生成する段階とを含むことができる。
前述した課題解決手段のいずれか一つによれば、頭部イメージ分析装置及び方法を提示することができる。
前述した課題解決手段のいずれか一つによれば、頭部イメージに基づき正確な分析結果を提供して、医療陣が患者の予想手術部位を決定する役に立つことができる。
前述した課題解決手段のいずれか一つによれば、頭部イメージを分析した結果を速かに提供することによって必要な手術が延ばされることを防止することができる。
前述した課題解決手段のいずれか一つによれば、頭部イメージを分析した結果を一度加工することにより、医療陣はもちろんのこと患者が理解しやすいレポートを提供することができる。
開示する実施例から得られる効果は以上で言及した効果に制限されず、言及しなかった他の効果は下記の記載によって開示される実施例が属する技術分野で通常の知識を有する者に明らかに理解可能であろう。
一実施例によるイメージ分析装置を示すブロック図である。 一実施例によるイメージ分析装置を示すブロック図である。 一実施例によるイメージ分析装置を説明するための例示図である。 一実施例によるイメージ分析方法を説明するためのフローチャートである。 一実施例によるイメージ分析方法を説明するためのフローチャートである。 一実施例によるイメージ分析方法を説明するためのフローチャートである。 一実施例によるイメージ分析方法を説明するための例示図である。 一実施例によるイメージ分析方法を説明するための例示図である。
以下では添付図面に基づいて多様な実施例を詳細に説明する。以下で説明する実施例は様々な相異なる形態に変形されて実施されることもできる。実施例の特徴をより明確に説明するために、以下の実施例が属する技術分野で通常の知識を有する者に広く知られている事項についての詳細な説明は省略する。そして、図面で実施例の説明に関係ない部分は省略し、明細書全般にわたって類似の部分に対しては類似の図面符号を付けた。
明細書全般にわたって、ある構成が他の構成と“連結”されていると言うとき、これは直接的に連結されている場合だけではなく、その中間にさらに他の構成を挟んで連結されている場合も含む。また、ある構成が他の構成を“含む”と言うとき、これは特に反対の記載がない限り、他の構成を除くものではなく他の構成をさらに含むこともできることを意味する。
以下、添付図面に基づいて実施例を詳細に説明する。
実施例の説明に先立ち、以下で使われる用語の意味を先に定義する。
「頭部イメージ」は、患者の頭蓋又は顔面を撮影したイメージであり、これは頭部観察又は頭部計測に用いられることができ、例えば頭部の解剖学的部位の位置又は頭部の解剖学的位置間の寸法を示すことができる。
頭部イメージは、通常患者の頭部の正面又は側面を放射線撮影又はコンピュータ断層スキャン(CT)で診断した写真であってもよいが、頭部イメージの獲得方法は上述した例に制限されない。また、頭部イメージは2次元イメージ及び3次元イメージのいずれも可能である。
以上で定義した用語以外に説明が必要な用語は以下でそれぞれ別に説明する。
図1及び図2は一実施例によるイメージ分析装置を説明するためのブロック図である。
イメージ分析装置100は獲得された頭部イメージに対して識別イメージを結合した分析イメージを生成することができる。
このようなイメージ分析装置100は、電子端末機によって具現されることができるか又はサーバークライアントシステム(又はクラウドシステム)によって具現されることができる。前記システムは使用者とのインタラクションのためのオンラインサービス用アプリケーションが組み込まれた電子端末機を含むことができる。
ここで、電子端末機は、ネットワークを介して遠隔地のサーバーに接続するか、他の端末及びサーバーと連結可能なコンピュータや携帯用端末機、テレビ、ウェアラブルデバイス(Wearable Device)などによって具現されることができる。ここで、コンピュータは、例えばウェブブラウザー(WEB Browser)が搭載されたノートブック型パソコン、デスクトップ(desktop)、ラップトップ(laptop)などを含み、携帯用端末機は、例えば携帯性及び移動性が保障される無線通信装置であって、PCS(Personal Communication System)、PDC(Personal Digital Cellular)、PHS(Personal Handyphone System)、PDA(Personal Digital Assistant)、GSM(登録商標)(Global System for Mobile communications)、IMT(International Mobile Telecommunication)-2000、CDMA(Code Division Multiple Access)-2000、W-CDMA(W-Code Division Multiple Access)、Wibro(Wireless Broadband Internet)、スマートフォン(Smart Phone)、モバイルWiMAX(Mobile Worldwide Interoperability for Microwave Access)などの全種類のハンドヘルド(Handheld)に基づく無線通信装置を含むことができる。また、テレビはIPTV(Internet Protocol Television)、インターネットTV(Internet Television)、地上波TV、ケーブルTVなどを含むことができる。さらに、ウェアラブルデバイスは、例えば時計、めがね、アクセサリー、衣服、履物など、人体に直接着用可能なタイプの情報処理装置であって、直接又は他の情報処理装置を介してネットワークを経由して遠隔地のサーバーに接続するか他の端末と連結することができる。
一実施例による頭部イメージ分析装置100は、制御部110及びメモリ120を含むことができる。
制御部110は頭部イメージ分析装置100の全体動作を制御し、CPUなどのプロセッサを含むことができる。制御部110は、例えば入出力部130を介して受信した使用者入力に対応する動作を実施するように、頭部イメージ分析装置100に含まれた他の構成を制御することができる。
例えば、制御部110は、メモリ120に記憶されたプログラムを実行させるか、メモリ120に記憶されたファイルを読み取るか、新しいファイルをメモリ120に記憶することもできる。
本明細書に記載された一実施例によれば、制御部110は頭部イメージを獲得することができる。
例えば、制御部110は、頭部の放射線撮影又はコンピュータ断層スキャン診断が可能な装置(図示せず)を含むか、前記装置と通信することによって前記装置から頭部イメージを獲得することができる。
また、他の実施例によれば、制御部110は、獲得したイメージに対する前処理を実行した後、前処理されたイメージを頭部イメージとして獲得したと決定することができる。
例えば、制御部110は、獲得したイメージに対してCLAHEパラメーターを適用するか、ガウスブラー(Gaussian Blur)を適用するか、ワーピング(warping)を適用することができ、あるいはX軸及び/又はY軸にスケーリング(scale)するか学習イメージを縮小又はクロップ(crop)するか、画素値などを変更して解像度を高めることによってイメージに対する前処理を実行することができる。
また、他の実施例によれば、制御部110は、獲得したイメージがローイメージ(raw image)の場合、ローイメージから頭部イメージを獲得することができる。このために、制御部110はローイメージに対する前処理を実行することができる。
これに関連して、ローイメージは頭部イメージを含むイメージであって、例えば患者の上体を撮ったx-rayイメージのように頭部イメージを含めて患者の他の身体部位がともに撮れたイメージであってもよい。
制御部110は、ローイメージ上の所定の領域内に所定の識別子が位置しているかを探索することができる。例えば、ローイメージ上の所定の領域内に「眼窩」と認識される識別子が位置するかを探索することができる。ここで、頭部イメージ分析装置100は、任意のサイズ及び形状を有する閉曲線形のウィンドウがローイメージ上に位置するとき、前記ウィンドウ内の領域を所定の領域に設定することができ、前記ウィンドウはローイメージ上で移動しながら多様な範囲の領域を設定することができる。
また、例えば、頭部イメージ分析装置100は、ウィンドウ内の所定の領域内に所定の識別子が位置するかを探索するために、マシンラーニング(又はディープラーニング又はCNN)を用いることができる。例えば、頭部イメージ分析装置100は、所定の領域に対してCNNを行って前記領域内の識別子が位置する座標を抽出することができる。前記座標は一つ以上の座標からなることができ、所定の領域内の座標であってもよく、ローイメージ上の座標であってもよい。
このようにローイメージ上の所定の識別子に対する座標を抽出した制御部110は、抽出した座標に基づいて頭部イメージを獲得することができる。
例えば、制御部110は、ローイメージから頭部イメージとして特定することができる「眼窩」、「下顎骨」及び「鼻腔」の3個の識別子を抽出することができる。3個の識別子を抽出するために、制御部110はウィンドウを移動させながら識別子に対応する座標を抽出することができる。そして、抽出された座標に基づいて頭部イメージと判断される領域をローイメージ上に設定することにより、制御部110は頭部イメージを獲得することができる。例えば、頭部イメージ分析装置100は、前記3個の識別子を含むとともに各識別子から所定の範囲を含む領域を頭部イメージに設定することができる。
ここで、識別子が3個であることは例示であり、識別子の個数は制限されない。これに関連して、識別子は一座標からなることができるが、複数の座標からなる身体の特定器官であってもよい。したがって、識別子は、例えば「眼窩」の中心地点であってもよいが、「眼窩」、「鼻」、「脊椎1番」などの身体器官そのものであってもよい。
獲得した頭部イメージに対して追加的に規格化処理することにより、制御部110はランドマーク地点の抽出が容易になるように頭部イメージを加工することができる。すなわち、制御部110は、学習イメージで学習することにより、学習イメージに対して設定された設定値と同一又は類似の頭部イメージを規格化処理することができる。例えば、頭部イメージ分析装置100は、頭部イメージの解像度、明るさなどを変更するか頭部イメージのサイズを拡大/縮小させるなどの規格化処理を実行することができる。制御部110は、規格化処理が完了した後の頭部イメージを、獲得した頭部イメージに決定することができる。
上述したように、頭部イメージを獲得したと判断されれば、制御部110は、頭部イメージ上のランドマーク地点を抽出することができる。
ここで、「ランドマーク地点」は歯牙校正、顎手術などを医療陣が実行するために知らなければならない地点であって、患者の頭部イメージ上に識別された関心地点を指す。ランドマーク地点は多様に組み合わせられ、患者の頭部状態を判断するのに参照地点として用いられ、従来技術によれば熟練した医療陣が頭部イメージに直接ランドマーク地点を選定して表示するが、本発明によれば頭部イメージ分析装置100が頭部イメージ上のランドマーク地点を抽出することができる。
一実施例によれば、制御部110は、頭部イメージ上のランドマーク地点を幾何学的演算によって抽出することができる。すなわち、頭部イメージ上に特徴点がないランドマーク地点又は幾何学的に定義されているランドマーク地点の場合、幾何学的演算によって抽出することができる。例えば、下顎平面(mandibular plane)と下顎枝(ramus)の二等分点を演算して導出した地点を下顎角点(gonion)のランドマーク地点として抽出することができる。
さらに他の実施例によれば、制御部110は、マシンラーニングを用いて頭部イメージ上のランドマーク地点を抽出することができる。
他の実施例によれば、制御部110は、ディープラーニングを用いて頭部イメージ上のランドマーク地点を抽出することができる。
他の実施例によれば、制御部110は、CNN(convolutional neural network)を用いて頭部イメージ上のランドマーク地点を抽出することができる。このために、頭部イメージ分析装置100は、ランドマーク地点が表示した頭部イメージを一つ以上獲得することができ、前記一つ以上のイメージを用いてCNNを学習させ、学習されたCNNを用いて頭部イメージ上のランドマーク地点を抽出することができる。
このために、制御部110は、例えばCNNの学習のために獲得したイメージからコンボリューション(convolution)によって特徴マップ(feature map)を作り、前記特徴マップに対するサブサンプリング(subsampling)によって獲得した局所的特徴(local feature)に対してコンボリューション及びサブサンプリングを行い、獲得した特徴に対して再びコンボリューション及びサブサンプリングを行って特徴を獲得し、前記獲得した特徴に対して再びコンボリューション及びサブサンプリングを行う段階を繰り返し行って、獲得したグローバル特徴(global feature)を一般的なニューラルネットワーク(fully connected network)の入力として連結させて最適の認識結果を出すようにすることができる。
すなわち、制御部110は、上述したように頭部イメージ上のランドマーク地点を抽出するために、ランドマーク地点が表示した(又はランドマーク地点に識別イメージが結合された)学習イメージを用いて学習することができる。上述したCNN学習のために、学習イメージに対して前処理を実行することができ、例えば学習イメージに対してCLAHEパラメーターを適用するか、ガウスブラーを適用するか、ワーピングを適用することができ、あるいはX軸及び/又はY軸にスケーリングするか学習イメージを縮小又はクロップするか、画素値などを変更することによって解像度を高めることができる。
また、制御部110は、例えばCNNを用いてセグメンテーション(segmentation)を実行することによって頭部イメージ上のランドマーク地点を抽出することができる。セグメンテーションは頭部イメージ上の意味ある部分を抽出する技法であり、公知の多様な方法のセグメンテーションがこの明細書に記載した実施例に適用可能である。例えば、ヒストグラムを用いてピクセルの分布を確認した後、適正な臨界値を設定してピクセル別に区分することができ、あるいは意味あるエッジ(edge)を抽出して区分することができ、また、同質性(homegenety)を持っている領域に区分することができる。
さらに他の実施例によれば、制御部110は、頭部イメージ上の関心領域を設定し、関心領域内のランドマーク地点を抽出することができる。関心領域の設定のために、頭部イメージ分析装置100はマシンラーニング(又はディープラーニング又はCNN)を用いることができ、また前記関心領域内のランドマーク地点を抽出するために、マシンラーニング(又はディープラーニング又はCNN)を用いることができる。
これに関連して、図3は頭部イメージ分析装置100が頭部イメージ上の関心領域を設定し、ランドマーク地点を抽出することを説明するための例示図である。
図3の(a)に示したように、頭部イメージ分析装置100は、頭部イメージ300上の関心領域310、320、330、340、350を一つ以上設定することができ、関心領域のそれぞれは互いに異なる形状又はサイズを有するか、互いに同じ形状サイズを有することができる。
関心領域310、320、330、340、350を設定するとき、頭部イメージ分析装置100は、医学的に主要地点と判断される領域をマシンラーニングを用いて検出(detection)することができる。すなわち、マシンラーニングで関心対象の位置を識別して境界ボックス(bounding box)に区分することができる。例えば、頭部イメージ分析装置100は、「顎」と判断される領域をマシンラーニングで検出することができ、顎を含む領域を関心領域に設定することができる。検出に係る公開の技術はこの明細書に記載した実施例に適用することができる。また、関心領域310、320、330、340、350を設定するとき、頭部イメージ分析装置100は、頭部イメージ300上にウィンドウを位置させたとき、ウィンドウ内の領域を関心領域に設定することができる。よって、頭部イメージ分析装置100は、ウィンドウを移動させながら関心領域を変更するか、前記ウィンドウを固定位置に位置させることによって指定範囲の領域を関心領域に設定することができる。
ここで、図3の(a)に示したように、実線内の関心領域と前記関心領域内の点線で区画された下位関心領域に区分することができる。下位関心領域はランドマーク地点を獲得するための主要地点と判断される領域であり、例えば一主要地点として下顎角点、又は下顎角点周辺の領域を下位関心領域に設定することができ、前記下位関心領域の中点を基準に前記下位関心領域を取り囲むことができる関心領域をさらに設定することができる。これにより、関心領域を誤って設定することによるランドマーク地点抽出のエラーを最小化してランドマーク地点をより正確に取ることができる。
このように、選定された関心領域に対してランドマーク地点を抽出することができる。すなわち、ランドマーク地点として抽出されなければならない地点に対する学習モデルがあり、前記モデルでセグメンテーション(segmentation)を行って確率イメージマップを生成し、生成された確率マップでブロブ(blob)を設定し、ブロブの中点をランドマーク地点として抽出することができる。このようなランドマーク地点の抽出は各関心領域310、320、330、340、350に対して行うことができる。例えば、抜粋して示した図3の(a)の関心領域310に対し、図3の(b)の関心領域311上に示したようにランドマーク地点を抽出することができ、上述したように抽出されたランドマーク地点は高水準の正確度を有することができる。
上述したように、頭部イメージ上の主要分析対象となる部分をマシンラーニング(又はディープラーニング又はCNN)を用いて関心領域に設定し、関心領域内のランドマーク地点を抽出することができる。その結果、頭部イメージの角度又は位置が整列されなかったときにランドマーク地点の抽出が難しい問題点を解決して早くて正確にランドマーク地点を抽出することができるようにする。
一方、他の実施例によれば、制御部110は、抽出しようとするランドマーク地点に対して、マシンラーニング(又はディープラーニング又はCNN)を用いて抽出し、また幾何学的演算で抽出することができる。したがって、例えばランドマーク地点として下顎角点を抽出しようとするとき、制御部110はマシンラーニングと幾何学的演算のそれぞれによって抽出された地点の中で一地点を下顎角点に決定することができる。例えば、制御部110は、マシンラーニングを用いて抽出したランドマーク地点の信頼度が所定値以下の場合、幾何学的演算で獲得した地点を下顎角点として抽出することができる。
さらに他の実施例によれば、制御部110は、ランドマーク地点を抽出しようとするとき、マシンラーニング(又はディープラーニング又はCNN)を用いて抽出したとき、抽出された地点に対して幾何学的演算でも検証することができる。
ここで、マシンラーニングによって抽出されたランドマーク地点が幾何学的演算で抽出された地点と同じ位置であるかを判断して検証することができる。また、マシンラーニングで抽出されたランドマーク地点の周辺地点又は器官構造が位置するかを幾何学的に演算して検証することができる。この過程でベイジアン(Bayesian)(又はlikelihood maximization方式)を用いてランドマーク地点の周辺地点又は器官構造に対応する地点との相対的な位置に対する信頼度を求めることができる。例えば、外耳道の上縁中央点(Por;porion)として抽出されたランドマーク地点が、後頭蓋底(posterior cranial base surface)と顎状頭頸部(condylar head or neck)の交点(Ar;articulare)の左側上端に位置しているかを検証し、それによる結果を信頼度で表現することができる。また、マシンラーニングで抽出されたランドマーク地点のサイズを幾何学的に演算して検証することができる。また、マシンラーニングに抽出されたランドマーク地点の周辺に、特定の地点又は器官構造が位置するかを特定地点のサイズ(他の地点との相対的なサイズ又は絶対的なサイズのいずれも含む)又は器官構造のサイズ(他の器官との相対的なサイズ又は絶対的なサイズのいずれも含む)を演算することによって検証することができる。
さらに他の実施例によれば、制御部110は、抽出しようとするランドマーク地点を幾何学的演算で抽出し、抽出された地点をマシンラーニング(又はディープラーニング又はCNN)を用いて検証することができる。
例えば、制御部110は下顎平面(mandibular plane)と下顎枝(ramus)の二等分点を演算して導出した地点を下顎角点(gonion)のランドマーク地点として抽出することによって下顎角点を幾何学的に抽出し、抽出された地点を中心にマシンラーニングによる分析を行うことで、抽出された地点が下顎角点であるかどうかを検証することができる。
追加的に、制御部110は関心領域を正しく設定したかを、マシンラーニング(又はディープラーニング又はCNN)又は幾何学的演算で検証することができる。例えば、制御部110はマシンラーニングの検出(detection)で抽出した関心領域が意図した関心領域であるかを前記関心領域のイメージの分類(classification)によって検証するか信頼度として表現することができる。もしくは、例えば制御部110はマシンラーニングの検出で抽出した関心領域が意図した関心領域であるかを前記関心領域周辺の地点又は器官構造で検証することができる。
上述したように、マシンラーニングと幾何学的演算を一緒に行うことによって抽出されたランドマーク地点に対する正確性及び信頼性を高めることができる。一方、制御部110は、上述したように、頭部イメージ上のランドマーク地点を抽出すれば、ランドマーク地点に識別イメージを結合して分析イメージを生成することができる。
すなわち、制御部110は、頭部イメージを分析イメージに変更するとき、頭部イメージ上に識別イメージを合成することができ、前記識別イメージの合成時、ランドマーク地点に識別イメージを合成することができる。
一方、制御部110は、分析イメージを使用者に提供することができる。追加的に、制御部110は、分析イメージを含むレポートを提供するかを決定することができる。
この際、一実施例によれば、制御部110は、分析イメージそのものがレポートの一部を構成するようにレポートを生成して提供することができる。
さらに他の実施例によれば、制御部110は、分析イメージを加工したレポートを提供することができる。
一方、メモリ120には、ファイル、アプリケーション及びプログラムなどの多様な種類のデータが組み込まれるか記憶されることができる。制御部110は、メモリ120に記憶されたデータにアクセスしてこれを用いるか、あるいは新しいデータをメモリ120に記憶することもできる。また、制御部110は、メモリ120に組み込まれたプログラムを実行することもできる。図1を参照すれば、メモリ120には、頭部イメージを分析する方法を実行するためのコンピュータ可読のプログラムが組み込まれることができる。また、メモリ120には、頭部イメージ分析を実行するための識別イメージ、頭部イメージ分析の実行による分析イメージ又はレポートが記憶されることができる。
一実施例によれば、使用者から頭部イメージの分析を要請する入力を受信すれば、制御部110は、メモリ120に記憶された頭部イメージ分析方法を実行するためのプログラムを実行させて頭部イメージ分析を実行する。
一方、図2に示したように、頭部イメージ分析装置100は、入出力部130をさらに含むことができる。
入出力部130は、頭部イメージを獲得するか分析イメージを使用者に提供するための多様な形態の入出力を支援する構成を含むことができ、使用者からの入力を受信するための入力部と、作業の実行結果又は頭部イメージ分析装置100の状態などの情報を表示するための出力部とを含むことができる。例えば、入出力部130は、使用者の入力を受信する操作パネル(operation panel)及び画面を表示するディスプレイパネル(display panel)などを含むことができる。
具体的に、入力部は、キーボード、物理ボタン、タッチスクリーン、カメラ又はマイクなどの多様な形態の使用者入力を受信可能な装置を含むことができる。また、出力部は、ディスプレイパネル又はスピーカーなどを含むことができる。ただ、これに限定されないが、入出力部130は多様な入出力を支援する構成を含むことができる。
一方、頭部イメージ分析装置100は、通信部140をさらに含むことができる。
通信部140は、他のデバイス又はネットワークと有無線通信を実行することができる。このために、通信部140は多様な有無線通信方法の少なくとも一つを支援する通信モジュールを含むことができる。例えば、通信モジュールはチップセット(chipset)の形態に具現されることができる。
通信部140が支援する無線通信は、例えばWi-Fi(Wireless Fidelity)、Wi-Fi Direct、ブルートゥース(登録商標)(Bluetooth(登録商標))、UWB(Ultra Wide Band)又はNFC(Near Field Communication)などであってもよい。また、通信部140が支援する有線通信は、例えばUSB又はHDMI(登録商標)(High Definition Multimedia Interface)などであってもよい。
図4~図6は一実施例によるイメージ分析方法を説明するためのフローチャートである。
図4~図6に示した実施例によるイメージ分析方法は、図1又は図2に示した頭部イメージ分析装置100で時系列的に処理する段階を含む。よって、以下で省略した内容であると言っても、図1又は図2に示した頭部イメージ分析装置100について以上で記述した内容は図4~図6に示した実施例によるイメージ分析方法にも適用することができる。
図4~図6は図7及び図8を参照して以下で後述する。図7及び図8は一実施例によるイメージ分析方法を説明するための例示図である。
頭部イメージ分析装置100は、本発明の一実施例による頭部イメージ分析方法を実行するために、ランドマーク地点が表示された学習イメージを用いて学習することができる。この際、頭部イメージ分析装置100は、学習のための学習イメージに対して前処理を実行することができ、例えば学習イメージに対してCLAHEパラメーター適用するか、ガウスブラーを適用するか、ワーピングを適用することができ、あるいはX軸及び/又はY軸にスケーリング(scale)するか学習イメージを縮小又はクロップ(crop)するか、画素値を変更するか、解像度を高めることができる。前処理された学習イメージを用いて学習した頭部イメージ分析装置100は、頭部イメージからランドマーク地点を抽出することができる。
図4に示したように、頭部イメージ分析装置100は頭部イメージを獲得することができる(S410)。
頭部イメージ分析装置100が頭部の放射線撮影又はコンピュータ断層スキャン診断が可能な装置(図示せず)を含むか前記装置と通信しているので、前記装置を介して頭部イメージを獲得することができる。
また、頭部イメージ分析装置100は、外部の装置(図示せず)を介してイメージを受信することができ、受信されたイメージを頭部イメージとして獲得することができる。
これに関連して、頭部イメージ分析装置100は、イメージを獲得したとき、獲得したイメージが頭部イメージであるかを決定することができる。
すなわち、一実施例によれば、頭部イメージ分析装置100は、獲得したイメージが頭部イメージであるかを判断し、頭部イメージと判断される場合に限り、頭部イメージを獲得したと決定することができる。
例えば、獲得したイメージを分析して、頭部を構成するイメージが含まれていない場合、前記イメージが頭部イメージではないと判断することができる。すなわち、例えば、獲得したイメージを分析して、歯牙イメージが含まれていない場合、前記イメージは頭部イメージではないと判断することができる。
また、さらに他の実施例によれば、頭部イメージ分析装置100は、獲得したイメージが頭部イメージとして分析可能であるかを判断し、分析可能であると判断される場合に限り、頭部イメージを獲得したと決定することができる。
例えば、頭部イメージ分析装置100は、獲得したイメージの解像度、サイズなどを分析することによって分析可否を判断することができる。したがって、例えば、獲得したイメージが所定解像度より低い解像度を有するか所定サイズより小さなサイズの場合、前記イメージは分析が難しいと判断し、頭部イメージを獲得することができなかったと決定することができる。
また、他の実施例によれば、頭部イメージ分析装置100は、獲得したイメージに対する前処理を実行した後、前処理されたイメージを頭部イメージに決定することができる。
例えば、頭部イメージ分析装置100は、獲得したイメージが所定の基準を満たすことができないと判断されれば、前記基準を満たすようにイメージを修正するか他のイメージと合成することができる。例えば、頭部イメージ分析装置100は、獲得されたイメージの解像度を高めるか明度を調整するかサイズをふやすか縮めるなどの前処理を実行することができる。
さらに他の実施例によれば、頭部イメージ分析装置100は、獲得したイメージがローイメージの場合、ローイメージから頭部イメージを獲得することができる。
さらに他の実施例によれば、頭部イメージ分析装置100は、獲得した頭部イメージに対してさらに規格化処理を行うことができる。頭部イメージ分析装置100は、規格化処理が完了した後の頭部イメージを、獲得した頭部イメージに決定することができる。
上述したように、頭部イメージを獲得したと判断されれば、頭部イメージ分析装置100は、頭部イメージ上のランドマーク地点を抽出することができる(S420)。
例えば、頭部イメージ分析装置100は、頭部イメージ上のランドマーク地点を幾何学的演算によって抽出することができる。もしくは、例えば、頭部イメージ分析装置100は、頭部イメージ上のランドマーク地点をマシンラーニング、ディープラーニング、又はCNNを用いて抽出することができる。
もしくは、例えば、頭部イメージ上の関心領域を抽出し、関心領域内のランドマーク地点を抽出することができる。関心領域抽出のために、頭部イメージ分析装置100は、マシンラーニング、ディープラーニング又はCNNを用いることができ、また前記関心領域内のランドマーク地点を抽出するために、マシンラーニング、ディープラーニング、又はCNNを用いることができる。
これに関連して、段階S420は、図5に示したように、頭部イメージを分析して第1地点を識別すれば(S510)、第2地点に基づいて第1地点を検証し、第1地点が正しく抽出されたと判断されれば、第1地点をランドマーク地点に決定することができる(S520)。
この際、第1地点及び第2地点のそれぞれは、頭部イメージ上の一地点を指して互いに区分するための名称であって、特定の地点を指すものではない。
一実施例によれば、頭部イメージ分析装置100は、頭部イメージ上でランドマーク地点と推測される第1地点を多様な実施例によって識別することができる。
一実施例によれば、頭部イメージ分析装置100は、頭部イメージ上のランドマーク地点と推測される第1地点を幾何学的演算によって抽出することができる。すなわち、頭部イメージ上に特徴点がないランドマーク地点又は幾何学的に定義されているランドマーク地点の場合、幾何学的演算によって抽出することができる。例えば、下顎平面(mandibular plane)と下顎枝(ramus)の二等分点を演算して導出した第1地点を下顎角点(gonion)のランドマーク地点として抽出することができる。
さらに他の実施例によれば、頭部イメージ分析装置100は、マシンラーニングを用いて頭部イメージ上のランドマーク地点と推測される第1地点を抽出することができる。
他の実施例によれば、頭部イメージ分析装置100は、ディープラーニングを用いて頭部イメージ上のランドマーク地点と推測される第1地点を抽出することができる。
他の実施例によれば、頭部イメージ分析装置100は、CNNを用いて頭部イメージ上のランドマーク地点と推測される第1地点を抽出することができる。このために、頭部イメージ分析装置100は、ランドマーク地点が表示された頭部イメージを一つ以上獲得することができ、前記一つ以上のイメージとCNNを用いて頭部イメージ上のランドマーク地点を抽出することができる。
このために、頭部イメージ分析装置100は、例えば、CNNの学習のために獲得したイメージからコンボリューション(convolution)によって特徴マップ(feature map)を作り、前記特徴マップに対するサブサンプリング(subsampling)によって獲得した局所的特徴(local feature)に対してコンボリューション及びサブサンプリングを行い、獲得した特徴に対して再びコンボリューション及びサブサンプリングを行って特徴を獲得し、前記獲得した特徴に対して再びコンボリューション及びサブサンプリングを行う段階を繰り返し行って獲得したグローバル特徴(global feature)を一般的なニューラルネットワーク(fully connected network)の入力として連結して最適の認識結果を出すようにすることができる。
また、頭部イメージ分析装置100は、例えばCNNを用いてセグメンテーション(segmentation)を実行することによって頭部イメージ上のランドマーク地点を抽出することができる。セグメンテーションは頭部イメージ上の意味ある部分を抽出する技法であり、公開の多様な方法のセグメンテーションをこの明細書に記載した実施例に適用することができる。例えば、ヒストグラムを用いてピクセルの分布を確認した後、適正な臨界値を設定してピクセル別に区分することができ、あるいは意味あるエッジ(edge)を抽出して区分することができ、また同質性(homegenety)を持っている領域に区分することができる。
さらに他の実施例によれば、頭部イメージ分析装置100は、頭部イメージ上の関心領域を抽出し、関心領域内のランドマーク地点と推測される第1地点を抽出することができる。関心領域抽出のために、頭部イメージ分析装置100は、マシンラーニング、ディープラーニング又はCNNを用いることができ、また前記関心領域内のランドマーク地点と推測される第1地点を抽出するために、マシンラーニング、ディープラーニング又はCNNを用いることができる。
さらに他の実施例によれば、頭部イメージ分析装置100は、頭部イメージ上でウィンドウを移動させることによってウィンドウ内の領域を関心領域に設定し、関心領域内のランドマーク地点と推測される第1地点を抽出することができる。頭部イメージ上で抽出しようとするランドマーク地点がN個(Nは1以上の整数)であれば、頭部イメージ分析装置100は、N個のランドマーク地点のそれぞれを抽出するために、関心領域内の第1地点を抽出する過程を各ランドマーク地点別に行ってN回実行することができる。
一方、他の実施例によれば、頭部イメージ分析装置100は、抽出しようとするランドマーク地点と推測される第1地点に対して、マシンラーニングを用いて抽出し、また幾何学的演算で抽出することができる。したがって、例えば、ランドマーク地点として下顎角点を抽出しようとするとき、頭部イメージ分析装置100は、マシンラーニングと幾何学的演算のそれぞれによって抽出された地点の一地点を第1地点として抽出することができる。例えば、頭部イメージ分析装置100は、マシンラーニングを用いて抽出したランドマーク地点の信頼度が所定値以下の場合、幾何学的演算で獲得した地点を第1地点として抽出することができる。
一方、頭部イメージ分析装置100は、識別された第1地点に対して検証を行うことができる。一実施例によれば、頭部イメージ分析装置100は、マシンラーニング、ディープラーニング又はCNNを用いて抽出したとき、抽出された第1地点に対して幾何学的演算によっても検証することができる。
この際、マシンラーニング、ディープラーニング又はCNNによって識別された第1地点を、幾何学的演算で抽出された第2地点と同じ位置であるかを判断して検証することができ、あるいはマシンラーニング、ディープラーニング又はCNNによって抽出された第1地点の周辺地点又は器官構造が第2地点として位置するかを幾何学的に演算して検証することができる。例えば、外耳道の上縁中央点(Por;porion)のランドマーク地点としての第1地点について、後頭蓋底(posterior cranial base surface)と顎状頭頸部(condylar head or neck)の交点(Ar;articulare)を第2地点に決定したとき、前記第1地点が前記第2地点の左側上端に位置しているかを検証し、それによる結果を信頼度で表現することができる。
さらに、頭部イメージ分析装置100は、関心領域を正しく設定したかを、マシンラーニング、ディープラーニング又はCNN又は幾何学的演算によって検証することができる。例えば、頭部イメージ分析装置100は、マシンラーニングの検出(detection)によって抽出した関心領域が意図した関心領域であるかを前記関心領域のイメージを分類(classification)することによって検証するか信頼度で表現することができる。もしくは、例えば、頭部イメージ分析装置100は、マシンラーニングの検出によって抽出した関心領域が意図した関心領域であるかを前記関心領域周辺の地点又は器官構造によって検証することができる。
さらに他の実施例によれば、頭部イメージ分析装置100は、抽出しようとするランドマーク地点に対して、幾何学的に抽出した第1地点を、マシンラーニング、ディープラーニング又はCNNを用いて検証することができる。例えば、頭部イメージ分析装置100は、頭部イメージに対してマシンラーニング、ディープラーニング又はCNNを行って獲得した第2地点を基準に所定の半径内に第1地点が位置するかを判断して第1地点がランドマーク地点として適切であるかを検証することができる。
仮に、上述した方法で検証を実行したとき、抽出されたランドマーク地点が意図したランドマーク地点ではないか、あるいは意図したランドマーク地点が全然抽出されなかった場合、頭部イメージ分析装置100は、ランドマーク地点を再び抽出することができる。
この際、頭部イメージ分析装置100は、既存の頭部イメージに対してランドマーク地点を再び抽出することができる。もしくは、頭部イメージ分析装置100は、既存の頭部イメージではない新しい頭部イメージを獲得し、新しい頭部イメージを分析してランドマーク地点を抽出することができる。このために、ローイメージから頭部イメージを再び獲得するか、頭部イメージに対する規格化を再び実行することができる。
上述したように、マシンラーニングと幾何学的演算をともに実行することによって抽出されたランドマーク地点に対する正確性及び信頼性を高めることができる。一方、頭部イメージ分析装置100は、上述したように頭部イメージ上のランドマーク地点を抽出すれば、ランドマーク地点に識別イメージを結合して分析イメージを生成することができる(S430)。
すなわち、頭部イメージ分析装置100は、頭部イメージを分析イメージに変更するとき、頭部イメージ上に識別イメージを合成することができ、前記識別イメージの合成時、ランドマーク地点に識別イメージを合成することができる。
この際、頭部イメージ分析装置100は、同じ形状を有する識別イメージをランドマーク地点に合成することができる。
もしくは、頭部イメージ分析装置100は、識別イメージを複数記憶し、ランドマーク地点の位置によって合成される識別イメージを異にすることができる。
一方、頭部イメージ分析装置100は、分析イメージを使用者に提供することができる(S440)。
さらに、頭部イメージ分析装置100は、分析イメージを含むレポートを提供するかを決定することができる(S450)。
例えば、頭部イメージ分析装置100は、使用者がレポートを受けることを要請する場合に限り、レポートを提供することができる。
さらに他の例によれば、頭部イメージ分析装置100は、分析イメージを含むレポートの提供をシステム内でデフォルトに決定し、レポートを提供することができる。
また、頭部イメージ分析装置100は、例えば、所定の臨界値以上の値を有する分析イメージについてのみレポートを提供することができ、例えば特定地点が一般的に表示される所定の範囲外の位置に、前記特定地点に対応する識別イメージが表示される頭部を有する患者の分析イメージに限り、レポートを提供することができる。
このように、頭部イメージ分析装置100がレポートを提供することを決定すれば、分析イメージをそのまま含ませるか分析イメージを加工してレポートを生成して提供することができる(S460)。
ここで、一実施例によれば、頭部イメージ分析装置100は、分析イメージそのものがレポートの一部を構成するようにレポートを生成して提供することができる。
さらに他の実施例によれば、頭部イメージ分析装置100は、分析イメージを加工したレポートを提供することができる。
一方、さらに他の実施例による頭部イメージ分析方法によれば、頭部イメージ分析装置100は、頭部イメージを獲得するに先立ってローイメージを受信してランドマーク地点を抽出することができる。これについては図6を参照して後述する。
頭部イメージ分析装置100は、図6に示したように、ローイメージに対する前処理を実行することができる(S610)。すなわち、頭部イメージ分析装置100は、ローイメージに対してCLAHEパラメーターを適用するか、ガウスブラーを適用するか、ワーピングを適用することができ、あるいはX軸及び/又はY軸にスケーリングするか学習イメージを縮小又はクロップ(crop)するか、画素値などを変更して解像度を高めることによってローイメージに対する前処理を実行することができる。
そして、頭部イメージ分析装置100は、ローイメージから頭部イメージを獲得することができる(S620)。
頭部イメージ獲得のための一実施例によれば、頭部イメージ分析装置100は、分析対象として入力されたローイメージ上の所定の領域内に所定の識別子が位置しているかを探索することができる。
例えば、ローイメージ上の所定の領域内に「眼窩」と認識される識別子が位置するかを探索することができる。この際、頭部イメージ分析装置100は、ローイメージ上に任意のサイズ及び形状を有する閉曲線形のウィンドウ内の領域を所定の領域に設定することができ、前記ウィンドウはローイメージ上を移動しながら多様な範囲の領域を設定することができる。
また、例えば、頭部イメージ分析装置100は、ウィンドウ内の所定の領域内に所定の識別子が位置するかを探索するために、マシンラーニング(又はディープラーニング又はCNN)を用いることができる。例えば、頭部イメージ分析装置100は、所定の領域に対してCNNを行って前記領域内の識別子が位置する座標を抽出することができる。前記座標は所定の領域内の座標であってもよく、ローイメージ上の座標であってもよい。
このように、ローイメージ上の所定の識別子に対する座標を抽出した頭部イメージ分析装置100は、抽出した座標に基づいて頭部イメージを獲得することができる。
例えば、ローイメージが患者の上体を撮ったx-rayイメージであれば、頭部イメージ分析装置100は、ローイメージにおいて頭部イメージに特定することができる「眼窩」、「下顎骨」及び「鼻腔」の3個の識別子を抽出することができる。3個の識別子を抽出するために、頭部イメージ分析装置100は、ウィンドウを移動させながら識別子に対応する座標を抽出することができる。そして、抽出された座標に基づいて頭部イメージと判断される領域をローイメージ上に設定することにより、頭部イメージ分析装置100は頭部イメージを獲得することができる。例えば、頭部イメージ分析装置100は、前記3個の識別子を含むとともに各識別子から所定の範囲を含む領域を頭部イメージに設定することができる。
頭部イメージ分析装置100は、獲得した頭部イメージに対して規格化処理を行うことにより、ランドマーク地点が容易に抽出されるように頭部イメージを加工することができる。例えば、頭部イメージ分析装置100は、頭部イメージの解像度、明るさなどを変更するか頭部イメージのサイズを拡大するか縮小するなどの規格化処理を実行することができる。もしくは、例えば、頭部イメージ分析装置100は、小児の頭部イメージの場合、頭部イメージを拡大スケーリングし、頭が大きな患者の頭部イメージの場合、頭部イメージを縮小スケーリングすることができる。
上述したように、頭部イメージ分析装置100は、頭部イメージを獲得することができ、前記頭部イメージに対してランドマーク候補地点を抽出することができる(S630)。
ランドマーク候補地点はランドマーク地点として抽出された地点であると検証される前の地点を意味する。
ランドマーク候補地点の抽出のために、頭部イメージ分析装置100は、頭部イメージ上の関心領域を抽出し、関心領域内のランドマーク候補地点を抽出することができる。関心領域抽出のために、頭部イメージ分析装置100は、マシンラーニング(又はディープラーニング又はCNN)を用いることができ、また前記関心領域内のランドマーク候補地点を抽出するためにマシンラーニング(又はディープラーニング又はCNN)を用いることができる。
関心領域は頭部イメージ上でウィンドウが移動するか固定地点に位置することによって設定することができる。
頭部イメージ上で抽出しようとするランドマーク地点がN個(Nは1以上の整数)であれば、頭部イメージ分析装置100は、N個のランドマーク地点のそれぞれを抽出するために、関心領域を設定しながら関心領域内のランドマーク候補地点を抽出する段階をN回実行することができる。この際、頭部イメージ分析装置100は、頭部イメージの特定位置にランドマーク地点が位置すると推定される場合、ウィンドウを前記特定位置に固定させてランドマーク候補地点を抽出することができる。例えば、顎の周辺に位置するランドマーク地点の場合、頭部イメージ分析装置100は顎を含む領域を関心領域に設定し、前記関心領域内でランドマーク候補地点を抽出することができる。
頭部イメージ分析装置100は、抽出されたランドマーク候補地点に対して検証することができる(S640)。
一実施例によれば、頭部イメージ分析装置100は、幾何学的演算をともに実行することにより、マシンラーニング(又はディープラーニング又はCNN)を用いて獲得されたランドマーク地点が決定された位置を外れたかを検証することができる。さらに他の実施例によれば、頭部イメージ分析装置100は、外耳道の上縁中央点(Por)又はA点(point A;頭部の側面上で決定される地点であり、鼻の前端から上顎翼状突起隆に至る曲がった谷部の最も突出した部分)がランドマーク地点として正しく抽出されたかを検証することにより、抽出されたランドマーク候補地点が正しく抽出されたかを検証することができる。
上述した検証によって抽出されたランドマーク候補地点が正しく抽出された地点ではないか、あるいは抽出されたランドマーク候補地点を全て検証しても意図したランドマーク地点がない場合、頭部イメージ分析装置100は、ローイメージから頭部イメージを再び獲得するか、獲得した頭部イメージに対して規格化を再び行って新しい頭部イメージを獲得し、新しい頭部イメージに対してランドマーク候補地点を再び抽出して検証を実行することができる。すなわち、段階S620~段階S640を再び行って正確なランドマーク地点を抽出することができる。
一方、頭部イメージ分析装置100は、上述したように頭部イメージ上のランドマーク地点を抽出すれば、ランドマーク地点に識別イメージを結合して分析イメージを生成することによって分析イメージ又はレポートを提供することができる。これに関しては、図4の各段階の同じ図面符号についての説明と同一であるので、図6の段階S430~S460についての説明は省略する。
図7及び図8は頭部イメージ分析装置100がレポートを提供することを示す例示図である。
例えば、分析イメージ上に表示した識別イメージの間を線分で連結して患者の頭部状態を直観的に示すことができる。例えば、患者の頭部上の歯槽下顎切歯(dental velar-lower incisor)を分析するために、図8に示したように、識別イメージの間を線分で連結して患者の頭部上の下歯状態を分析したレポートを提供することができる。
また、分析イメージ上に表示された識別イメージのそれぞれに対応する情報をともに示す方法で使用者にレポートを提供することができる。例えば、識別イメージを活用して頭部を計測した結果値を提供することができ、図8に示したように、患者の切歯間角度(interincisal angle)を演算して平均値とともに表示することができる。
また、例えば、図7に示したように、分析イメージ上にさらに他のイメージを合成したイメージを含むレポートを提供することができる。
以上の実施例で使われる「~部」という用語はソフトウェア又はFPGA(field programmable gate array)又はASICのようなハードウェア構成要素を意味し、「~部」は特定の役割を実行する。しかし、「~部」はソフトウェア又はハードウェアに限定される意味ではない。「~部」はアドレスすることができる記憶媒体にあるように構成されることもでき、一つ又はそれ以上のプロセッサを再生させるように構成されることもできる。したがって、一例として、「~部」はソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラム特許コードのセグメント、ドライバー、ファームウエア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。
構成要素と「~部」内で提供される機能はもっと小さい数の構成要素及び「~部」として結合されるか追加的な構成要素と「~部」から分離されることができる。
それだけでなく、構成要素及び「~部」はデバイス又は保安マルチメディアカード内の一つ又はそれ以上のCPUを再生させるように具現されることもできる。
図4~図6で説明した実施例によるイメージ分析方法はコンピュータによって実行可能な命令語及びデータを記憶する、コンピュータ可読の媒体の形態にも具現されることができる。ここで、命令語及びデータはプログラムコードの形態で記憶されることができ、プロセッサによって実行されたとき、所定のプログラムモジュールを生成して所定の動作を実行することができる。また、コンピュータ可読の媒体はコンピュータによってアクセス可能な任意の可用媒体であってもよく、揮発性及び不揮発性媒体、分離型及び非分離型媒体の全てを含む。また、コンピュータ可読の媒体はコンピュータ記録媒体であってもよい。コンピュータ記録媒体はコンピュータ可読の命令語、データ構造、プログラムモジュール又はその他のデータのような情報の記憶のための任意の方法又は技術によって具現された揮発性及び不揮発性、分離型及び非分離型媒体の全てを含むことができる。例えば、コンピュータ記録媒体はHDD及びSSDなどのマグネチック記憶媒体、CD、DVD及びブルーレイディスクなどの光学的記録媒体、又はネットワークを介してアクセス可能なサーバーに含まれるメモリであってもよい。
また、図4~図6に基づいて説明した実施例によるイメージ分析方法はコンピュータによって実行可能な命令語を含むコンピュータプログラム(又はコンピュータプログラム製品)によって具現されることもできる。コンピュータプログラムはプロセッサによって処理されるプログラミング可能な機械命令語を含み、高レベルプログラミング言語(High-level Programming Language)、オブジェクト指向プログラミング言語(Object-oriented Programming Language)、アセンブリー言語又は機械言語などによって具現されることができる。また、コンピュータプログラムは類型のコンピュータ可読の記録媒体(例えば、メモリ、ハードディスク、磁気/光学媒体又はSSD(Solid-State Drive)など)に記録されることができる。
したがって、図4~図6に基づいて説明した実施例によるイメージ分析方法は、上述したようなコンピュータプログラムがコンピュータ装置によって実行されることによって具現されることができる。コンピュータ装置は、プロセッサと、メモリと、記憶装置と、メモリ及び高速拡張ポート接続している高速インターフェースと、低速バスと記憶装置に接続している低速インターフェースの少なくとも一部を含むことができる。このような成分のそれぞれは多様なバスを用いて互いに接続されており、共通マザーボードに搭載されるか又は他の適切な方式で装着されることができる。
ここで、プロセッサはコンピュータ装置内で命令語を処理することができる。このような命令語としては、例えば高速インターフェースに接続されたディスプレイのように外部入力、出力装置上にGUI(Graphic User Interface)を提供するためのグラフィック情報を表示するためにメモリ又は記憶装置に記憶された命令語を挙げることができる。他の実施例として、多数のプロセッサ及び(又は)多数のバスが適切に多数のメモリ及びメモリ形態とともに用いられることができる。また、プロセッサは独立的な多数のアナログ及び(又は)デジタルプロセッサを含むチップが成すチップセットによって具現されることができる。
また、メモリはコンピュータ装置内に情報を記憶する。一例として、揮発性メモリユニット又はその集合からなることができる。他の例として、不揮発性メモリユニット又はその集合からなることができる。また、メモリは、例えば磁気又は光ディスクのような他の形態のコンピュータ可読の媒体であってもよい。
そして、記憶装置はコンピュータ装置に大容量の記憶空間を提供することができる。記憶装置はコンピュータ可読の媒体であるか、このような媒体を含む構成であってもよく、例えばSAN(Storage Area Network)内の装置又は他の構成も含むことができ、フロッピーディスク装置、ハードディスク装置、光ディスク装置、又はテープ装置、フラッシュメモリー、それと類似した他の半導体メモリ装置又は装置アレイであってもよい。
上述した実施例は例示のためのものであり、上述した実施例が属する技術分野の通常の知識を有する者は、上述した実施例が有する技術的思想又は必須な特徴を変更せずに他の具体的な形態に容易に変形可能であることを理解することができる。したがって、上述した実施例は全ての面で例示的なものであり、限定的なものではないことを理解しなければならない。例えば、単一型として説明した各構成要素は分散されて実施されることもでき、同様な分散されたものとして説明した構成要素も結合形態で実施されることができる。
本明細書で保護を受けようとする範囲は前記詳細な説明よりは後述する特許請求範囲によって決定され、特許請求範囲の意味及び範囲そしてその均等の概念から導出される全ての変更又は変形の形態を含むものに解釈されなければならない。
100 頭部イメージ分析装置
110 制御部
120 メモリ
130 入出力部
140 通信部

Claims (9)

  1. 頭部イメージを分析するための装置であって、
    ローイメージに対するマシンラーニングを行って前記ローイメージ上の識別子の座標を抽出し、抽出された座標に基づいて前記ローイメージから頭部イメージを獲得し、前記頭部イメージ上のランドマーク地点を抽出して分析イメージを生成する制御部と、
    生成された分析イメージを記憶するメモリとを含み、
    前記頭部イメージに対する関心領域を設定し、前記関心領域に対するマシンラーニングを実行して前記ランドマーク地点として推測される第1地点を識別し、前記関心領域に対する検証を実行し、
    前記関心領域に対する検証は前記関心領域に対するマシンラーニングを実行することによって検証する、頭部イメージ分析装置。
  2. 前記制御部は、
    前記ランドマーク地点の抽出のために学習イメージを獲得して学習した後、前記分析イメージを生成する、請求項1に記載の頭部イメージ分析装置。
  3. 前記制御部は、
    前記頭部イメージを分析してランドマーク地点を識別し、識別されたランドマーク地点に対する検証を実行することによって前記ランドマーク地点を抽出する、請求項1に記載の頭部イメージ分析装置。
  4. 前記制御部は、
    前記頭部イメージに対する幾何学的演算によって決定された第2地点に基づいて前記第1地点に対する検証を実行することによって前記ランドマーク地点を抽出する、請求項1に記載の頭部イメージ分析装置。
  5. 頭部イメージ分析装置が頭部イメージを分析する方法であって、
    ローイメージに対するマシンラーニングを行って前記ローイメージ上の識別子の座標を抽出し、抽出された座標に基づいて前記ローイメージから頭部イメージを獲得する段階と、
    前記頭部イメージ上のランドマーク地点を抽出する段階と、
    抽出したランドマーク地点に基づいて分析イメージを生成する段階とを含み、
    前記ランドマーク地点を抽出する段階は、
    前記頭部イメージに対する関心領域を設定する段階と、
    前記関心領域に対するマシンラーニングを実行して前記ランドマーク地点として推測される第1地点を識別する段階とを含み、
    前記関心領域に対する検証は前記関心領域に対するマシンラーニングを実行することによって検証する、頭部イメージ分析方法。
  6. 前記ランドマーク地点を抽出する段階は、
    前記頭部イメージを分析してランドマーク地点を識別する段階と、
    識別されたランドマーク地点に対する検証を実行することによって前記ランドマーク地点を抽出する段階とを含む、請求項5に記載の頭部イメージ分析方法。
  7. 前記ランドマーク地点を抽出する段階は、
    前記頭部イメージに対する幾何学的演算によって決定された第2地点に基づいて前記第1地点に対する検証を実行することによって前記ランドマーク地点を抽出する段階をさらに含む、請求項5に記載の頭部イメージ分析方法。
  8. 請求項5に記載の方法を行うプログラムが記録された、コンピュータ可読の記録媒体。
  9. 頭部イメージ分析装置によって実行され、請求項5に記載の方法を実行するために媒体に記憶された、コンピュータプログラム。
JP2019107639A 2018-07-09 2019-06-10 頭部イメージ分析装置及びイメージ分析方法 Active JP7120965B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20180079623 2018-07-09
KR10-2018-0079623 2018-07-09
KR10-2018-0128188 2018-10-25
KR1020180128188A KR102130963B1 (ko) 2018-07-09 2018-10-25 두부이미지 분석 장치 및 이미지 분석 방법

Publications (2)

Publication Number Publication Date
JP2020006152A JP2020006152A (ja) 2020-01-16
JP7120965B2 true JP7120965B2 (ja) 2022-08-17

Family

ID=66998103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019107639A Active JP7120965B2 (ja) 2018-07-09 2019-06-10 頭部イメージ分析装置及びイメージ分析方法

Country Status (4)

Country Link
US (1) US11017530B2 (ja)
EP (1) EP3594901B1 (ja)
JP (1) JP7120965B2 (ja)
CN (1) CN110021021B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102099390B1 (ko) * 2018-08-21 2020-04-09 디디에이치 주식회사 교정 진단을 위한 치과 영상 분석 방법 및 이를 이용한 장치
CN111507354B (zh) * 2020-04-17 2023-12-12 北京百度网讯科技有限公司 信息抽取方法、装置、设备以及存储介质
US11995808B2 (en) 2020-09-04 2024-05-28 Abova, Inc Method for X-ray dental image enhancement

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010064187A1 (en) 2008-12-04 2010-06-10 Koninklijke Philips Electronics N.V. A method, apparatus, and computer program product for acquiring medical image data
US20100254582A1 (en) 2009-04-03 2010-10-07 Siemens Corporation System and Method for Detecting Landmarks in a Three-Dimensional Image Volume
JP2017520292A (ja) 2014-05-22 2017-07-27 ケアストリーム ヘルス インク 3d頭部計測分析の方法
US20180061054A1 (en) 2016-08-29 2018-03-01 CephX Technologies Ltd. Automated Cephalometric Analysis Using Machine Learning

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054062A (ko) 2000-05-20 2000-09-05 이우식 인터넷을 통한 원격 의료 시스템
KR100472953B1 (ko) * 2002-11-08 2005-03-11 한국전자통신연구원 Svm을 이용한 얼굴 영역 검출 방법
US8160322B2 (en) 2007-08-02 2012-04-17 Siemens Medical Solutions Usa, Inc. Joint detection and localization of multiple anatomical landmarks through learning
US8363918B2 (en) * 2008-11-12 2013-01-29 Siemens Aktiengesellschaft Method and system for anatomic landmark detection using constrained marginal space learning and geometric inference
RU2530220C1 (ru) 2013-03-18 2014-10-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ для автоматической регистрации анатомических точек в объемных медицинских изображениях
US9740710B2 (en) * 2014-09-02 2017-08-22 Elekta Inc. Systems and methods for segmenting medical images based on anatomical landmark-based features
CN107491751B (zh) * 2017-08-14 2020-06-09 成都伞森科技有限公司 坐姿分析方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010064187A1 (en) 2008-12-04 2010-06-10 Koninklijke Philips Electronics N.V. A method, apparatus, and computer program product for acquiring medical image data
US20100254582A1 (en) 2009-04-03 2010-10-07 Siemens Corporation System and Method for Detecting Landmarks in a Three-Dimensional Image Volume
JP2017520292A (ja) 2014-05-22 2017-07-27 ケアストリーム ヘルス インク 3d頭部計測分析の方法
US20180061054A1 (en) 2016-08-29 2018-03-01 CephX Technologies Ltd. Automated Cephalometric Analysis Using Machine Learning

Also Published As

Publication number Publication date
EP3594901A1 (en) 2020-01-15
CN110021021A (zh) 2019-07-16
EP3594901B1 (en) 2022-05-11
US11017530B2 (en) 2021-05-25
JP2020006152A (ja) 2020-01-16
CN110021021B (zh) 2024-06-07
US20200013162A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
KR102130963B1 (ko) 두부이미지 분석 장치 및 이미지 분석 방법
US11775056B2 (en) System and method using machine learning for iris tracking, measurement, and simulation
JP7120965B2 (ja) 頭部イメージ分析装置及びイメージ分析方法
US9972093B2 (en) Automated region of interest detection using machine learning and extended Hough transform
WO2018205232A1 (zh) 一种针对拼接结果自动精确定位参考线的方法
Fagertun et al. 3D facial landmarks: Inter-operator variability of manual annotation
EP3766541B1 (en) Medical image processing device, treatment system, and medical image processing program
Anping et al. Assessment for facial nerve paralysis based on facial asymmetry
CN110599421A (zh) 模型训练方法、视频模糊帧转换方法、设备及存储介质
US20150173705A1 (en) Apparatus and method for adapting diagnostic model for computer-aided diagnosis
JP2020049204A (ja) ボリューメトリック画像のシーケンスから動的解析をするための方法、デバイス、およびシステム
CN111539911B (zh) 一种口呼吸面容识别方法、设备和存储介质
CN111488872B (zh) 图像检测方法、装置、计算机设备和存储介质
Eslami et al. Automatic vocal tract landmark localization from midsagittal MRI data
KR102433473B1 (ko) 환자의 증강 현실 기반의 의료 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
JP2013220319A (ja) 画像処理装置、方法及びプログラム
CN110738643A (zh) 脑出血的分析方法、计算机设备和存储介质
CN112017212A (zh) 人脸关键点跟踪模型的训练、跟踪方法及***
KR102407531B1 (ko) 치아 분리 장치 및 치아 분리 방법
TWI683286B (zh) 醫療影像對位方法
US10299864B1 (en) Co-localization of multiple internal organs based on images obtained during surgery
KR20210030541A (ko) 의료 영상 등록 방법
US20220366537A1 (en) Image processing apparatus, image processing method and non-transitory computer readable medium
KR102518493B1 (ko) 경추를 포함하는 X-ray 이미지에서, 인공 지능 모델을 이용하여 상기 경추에 포함된 적어도 하나의 경추 포인트를 검출하는 전자 장치 및 그의 방법
WO2023203385A1 (en) Systems, methods, and devices for facial and oral static and dynamic analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210506

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211228

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220325

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20220414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20220414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220726

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220804

R150 Certificate of patent or registration of utility model

Ref document number: 7120965

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150