JP7106785B1 - Deep learning-based image segmentation method including biodegradable stent in intravascular optical tomography - Google Patents
Deep learning-based image segmentation method including biodegradable stent in intravascular optical tomography Download PDFInfo
- Publication number
- JP7106785B1 JP7106785B1 JP2022040272A JP2022040272A JP7106785B1 JP 7106785 B1 JP7106785 B1 JP 7106785B1 JP 2022040272 A JP2022040272 A JP 2022040272A JP 2022040272 A JP2022040272 A JP 2022040272A JP 7106785 B1 JP7106785 B1 JP 7106785B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- input
- output
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 44
- 230000003287 optical effect Effects 0.000 title claims description 16
- 238000003325 tomography Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 title description 32
- 238000013135 deep learning Methods 0.000 title description 5
- 230000009467 reduction Effects 0.000 claims abstract description 38
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000003860 storage Methods 0.000 claims abstract description 24
- 238000013145 classification model Methods 0.000 claims abstract description 17
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 27
- 230000006872 improvement Effects 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 7
- 238000012014 optical coherence tomography Methods 0.000 claims description 7
- 238000005192 partition Methods 0.000 claims description 7
- 230000010339 dilation Effects 0.000 claims description 5
- 230000002829 reductive effect Effects 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 abstract description 5
- 230000002792 vascular Effects 0.000 abstract description 4
- 238000013528 artificial neural network Methods 0.000 description 64
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 238000012545 processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000010606 normalization Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 238000011176 pooling Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 241000282326 Felis catus Species 0.000 description 4
- 208000034827 Neointima Diseases 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000035755 proliferation Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000000575 Arteriosclerosis Obliterans Diseases 0.000 description 1
- 208000030831 Peripheral arterial occlusive disease Diseases 0.000 description 1
- 208000007536 Thrombosis Diseases 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000000013 bile duct Anatomy 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008692 neointimal formation Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000004218 vascular function Effects 0.000 description 1
- 239000002676 xenobiotic agent Substances 0.000 description 1
Images
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Vascular Medicine (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transplantation (AREA)
Abstract
【課題】血管組織及びステントを正確に高速で自動抽出する画像分割装置を提供する。【解決手段】画像分割装置は、少なくとも一つの既に設定されたオブジェクトを分割するように学習された分割モデル（ｓｅｇｍｅｎｔａｔｉｏｎ ｍｏｄｅｌ）を格納する格納部と、分割モデルに入力データを入力し、入力データにおいて少なくとも一つの既に設定されたオブジェクトを分割する少なくとも一つのプロセッサと、を含む。分割モデル３００は、入力データの次元を減少させる少なくとも一つの次元減少ブロックを含むエンコーダ３１０と、少なくとも一つの次元減少ブロックから出力されるデータを用いて、エンコーダから出力される出力データの次元を増加させる少なくとも一つの次元増加ブロックを含むデコーダ３２０と、出力データの入力を受け、出力データに特定のオブジェクトが含まれているか否かを認識する補助分類モデル３３０と、を含む。【選択図】図２Kind Code: A1 To provide an image segmentation device for automatically extracting a vascular tissue and a stent accurately and at high speed. Kind Code: A1 An image segmentation device includes a storage unit for storing a segmentation model learned to segment at least one preset object; and at least one processor for partitioning at least one preconfigured object. The partitioning model 300 includes an encoder 310 including at least one dimension reduction block that reduces the dimension of input data, and data output from the at least one dimension reduction block to increase the dimension of output data output from the encoder. and an auxiliary classification model 330 that receives input of output data and recognizes whether the output data contains a particular object. [Selection drawing] Fig. 2
Description
本開示は、血管内光断層画像にディープラーニングを用いた画像分割法であるセマンティックセグメンテーション（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）技法を適用するものであって、具体的に、生分解性ステントが挿入された血管画像において自動で組織領域およびステントのストラットを分割する方法に関する。 The present disclosure applies a semantic segmentation technique, which is an image segmentation method using deep learning, to intravascular optical tomographic images. Specifically, in a blood vessel image in which a biodegradable stent is inserted, A method for automatically dividing tissue regions and stent struts.
閉塞性動脈硬化症患者を治療するために、血管内イメージング技術を用いて閉塞部位を確認し、ステント挿入術を施すことができる。既に広く用いられている金属材質のステントは、生体異物として施術後にも残り、また、血栓症のリスクが高いという短所がある。そこで、施術後、時間の経過につれて徐々に溶ける生分解性ステント（Ｂｉｏｒｅｓｏｒｂａｂｌｅ ｓｔｅｎｔ）が代案として提示されており、血管機能の自然な回復を図ることができた。血管内光断層画像（ＩＶ－ＯＣＴ）の優れた分解能は、血管内壁の微細構造とステントの画像化を可能にすることができる。従来は、施術後、ステント術に対する定量評価のために、ＩＶ－ＯＣＴ画像から血管組織およびステントを手作業で抽出し、ステントの付着程度および施術後の新生内膜の増殖程度を定量的に把握してきた。しかし、これは、多くの時間がかかり、労働強度が非常に高い作業である。これを解決するために高速で血管組織およびステントを正確に自動抽出する方法が開発される必要があり、これに基づいて自動的・定量的にステント術後の評価が行われるべきである。 To treat patients with arteriosclerosis obliterans, intravascular imaging techniques can be used to identify the site of blockage and perform stenting. Metallic stents, which have already been widely used, have disadvantages in that they remain as xenobiotics after surgery and have a high risk of thrombosis. Therefore, a bioresorbable stent, which gradually dissolves over time after the operation, has been proposed as an alternative, and it was possible to restore the vascular function naturally. The superior resolution of intravascular optical tomography (IV-OCT) can enable microstructural imaging of the inner vessel wall and stents. Conventionally, for quantitative evaluation of stenting after surgery, vascular tissue and stents are manually extracted from IV-OCT images, and the extent of stent attachment and postoperative neointimal proliferation are quantitatively grasped. I've been However, this is a very time consuming and labor intensive task. In order to solve this problem, it is necessary to develop a method for accurately and automatically extracting the vascular tissue and stent at high speed, and based on this, automatic and quantitative evaluation after stent surgery should be performed.
本開示は、前述した背景技術に対応してなされたものであって、Ａｕｒｉｏｓ製品の生分解性ステントセグメンテーションソフトウェア（ＢＩＯＤＥＧＲＡＤＡＢＬＥ ＳＴＥＮＴ（ＢＲＳ） ＳＥＧＭＥＮＴＡＴＩＯＮ ＳＯＦＴＷＡＲＥ）を提供する。
本開示の技術的課題は、以上で言及した技術的課題に制限されず、言及していないまた他の技術的課題は、下記の記載から当業者に明らかに理解できるものである。
The present disclosure is made in response to the aforementioned background art and provides BIODEGRADABLE STENT (BRS) SEGMENTATION SOFTWARE from Aurios.
The technical problems of the present disclosure are not limited to the technical problems mentioned above, and other technical problems not mentioned can be clearly understood by those skilled in the art from the following description.
前述したような課題を解決するための本開示の一実施形態による画像分割装置が開示される。前記画像分割装置は、少なくとも一つの既に設定されたオブジェクトを分割するように学習された分割モデル（ｓｅｇｍｅｎｔａｔｉｏｎ ｍｏｄｅｌ）を格納する格納部；および前記分割モデルに入力データを入力し、前記入力データにおいて少なくとも一つの既に設定されたオブジェクトを分割する少なくとも一つのプロセッサ；を含み、前記分割モデルは、前記入力データの次元を減少させる少なくとも一つの次元減少ブロックを含むエンコーダ；前記少なくとも一つの次元減少ブロックから出力されるデータを用いて、前記エンコーダから出力される出力データの次元を増加させる少なくとも一つの次元増加ブロックを含むデコーダ；および前記出力データの入力を受け、前記出力データに特定のオブジェクトが含まれているか否かを認識する補助分類モデル；を含み、前記少なくとも一つの既に設定されたオブジェクトは、生分解性ステント（ｓｔｅｎｔ）のストラット（ｓｔｒｕｔ）および組織（ｔｉｓｓｕｅ）のうち少なくとも一つを含み、前記入力データは、血管内光断層画像（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ、ＯＣＴ）の画像であってもよい。 An image segmentation device is disclosed according to an embodiment of the present disclosure for solving the problems described above. The image segmentation device includes a storage unit that stores a segmentation model trained to segment at least one preset object; at least one processor for partitioning one preconfigured object; wherein the partitioning model includes an encoder including at least one dimensionality reduction block for reducing the dimensionality of the input data; output from the at least one dimensionality reduction block a decoder including at least one dimensionality increasing block for increasing the dimensionality of output data output from the encoder using data obtained from the encoder; and receiving the input of the output data, the output data including a specific object. an auxiliary classification model that recognizes whether or not the at least one preconfigured object includes at least one of a strut and tissue of a biodegradable stent; The input data may be an intravascular optical coherence tomography (OCT) image.
また、前記プロセッサは、前記分割モデルを学習させる際に、前記補助分類モデルを介して学習用画像に前記特定のオブジェクトが含まれているか否かが認識できるように、前記エンコーダおよび前記補助分類モデルに含まれた重み値を最適化することと連動して、前記デコーダの最終特徴値マップに前記学習用画像に含まれた前記少なくとも一つの既に設定されたオブジェクトそれぞれが表現されるように、前記分割モデルに含まれた重み値を最適化することができる。 In addition, when the split model is learned, the processor can recognize whether or not the specific object is included in the learning image via the auxiliary classification model. such that each of the at least one preconfigured object included in the training image is represented in the final feature value map of the decoder in conjunction with optimizing the weight values included in the Weight values included in the split model can be optimized.
なお、前記学習用画像は、前記少なくとも一つの既に設定されたオブジェクトそれぞれがラベリングされた画像をランダムクロップしたパッチを少なくとも一つ以上含むことができる。 In addition, the learning image may include at least one or more patches obtained by randomly cropping an image labeled with each of the at least one already set object.
また、前記学習用画像は、第１厚さを有するストラットで構成された第１生分解性ステントを含む複数の第１学習用画像；および前記第１厚さとは異なる第２厚さを有するストラットで構成された第２生分解性ストラットを含む複数の第２学習用画像；を含むことができる。 Also, the training images comprise a plurality of first training images including a first biodegradable stent configured with struts having a first thickness; and struts having a second thickness different from the first thickness. a plurality of second training images including second biodegradable struts composed of:
なお、前記デコーダの最終出力端は、前記少なくとも一つの既に設定されたオブジェクトそれぞれと関連した領域分割のための境界が改善されるように、最終分類演算に入力される最終特徴マップを調整する境界改善モジュール；をさらに含むことができる。 A final output terminal of the decoder provides a boundary for adjusting the final feature map input to the final classification operation so as to improve the boundary for segmentation associated with each of the at least one preconfigured object. can further include an improvement module;
また、前記最終分類演算は、少なくとも一つの畳み込み層およびソフトマックス活性化関数による演算を含むことができる。 Also, the final classification operation can include operations with at least one convolutional layer and a softmax activation function.
なお、前記境界改善モジュールは、残差ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）構造を有することができる。 Note that the boundary improvement module can have a residual block structure.
また、前記少なくとも一つの次元減少ブロックおよび前記少なくとも一つの次元増加ブロックは、互いに異なる拡張比率（ｄｉｌａｔｉｏｎ ｒａｔｅ）を有する複数の畳み込み層が並列的に配置され、残差接続（ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎ）が含まれたマルチスケール拡張残差ブロック（ｍｕｌｔｉ－ｓｃａｌｅ ｄｉｌａｔｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を含むことができる。 In addition, the at least one dimension reduction block and the at least one dimension increase block include a plurality of convolution layers having different dilation rates arranged in parallel, and a residual connection. A multi-scale dilated residual block may be included.
なお、前記少なくとも一つの次元減少ブロックのうち最終層に配置される次元減少ブロックは、過剰適合を防止するためのドロップアウト層（ｄｒｏｐｏｕｔ ｌａｙｅｒ）を含むことができる。 Also, the dimension reduction block arranged in the final layer among the at least one dimension reduction block may include a dropout layer for preventing overfitting.
また、前記プロセッサは、前記分割モデルに前記入力データを入力して出力された最終データおよび前記入力データを用いて３次元レンダリングを行うことができる。 Also, the processor may input the input data to the split model and perform 3D rendering using final data output and the input data.
本開示から得ることができる技術的解決手段は、以上で言及した解決手段に制限されず、言及していないまた他の解決手段は、下記の記載から本開示が属する技術分野における通常の知識を有する者に明らかに理解できるものである。 The technical solutions that can be obtained from the present disclosure are not limited to the solutions mentioned above, and other solutions not mentioned can be obtained from the following descriptions based on common knowledge in the technical field to which the present disclosure belongs. It is clearly understandable to those who have it.
本発明で提示されるＩＶ－ＯＣＴ画像において血管組織および生分解性ステントのストラットを検出する方法は、生分解性ステント術後の予後観察に有用に使用することができる。また、本方法を用いて生分解性ステント挿入術の結果を３次元レンダリング（ステント位置、新生内膜の生成程度などを含む）するのに使用することができ、これに基づいて生分解性ステントの有効性／安全性を検証する臨床研究に活用できるものと見られており、また、これに基づいて最適の生分解性ステントデザインを導き出すのに活用することができる。 The method of detecting vascular tissue and biodegradable stent struts in IV-OCT images presented in the present invention can be usefully used for prognosis after biodegradable stent surgery. The method can also be used for three-dimensional rendering of biodegradable stenting results (including stent position, degree of neointima formation, etc.), based on which biodegradable stents can be placed. It is expected to be used for clinical studies to verify the efficacy/safety of , and can be used to derive the optimal biodegradable stent design based on this.
本開示から得ることができる効果は、以上で言及した効果に制限されず、言及していないまた他の効果は、下記の記載から本開示が属する技術分野における通常の知識を有する者に明らかに理解できるものである。 The effects that can be obtained from the present disclosure are not limited to the effects mentioned above, and other effects not mentioned will be apparent to those skilled in the art to which the present disclosure belongs from the following description. It is understandable.
多様な態様が図面を参照して記載されており、ここで、類似の参照番号は、総括的に類似の構成要素を指すのに用いられる。以下の実施形態において、説明の目的のため、多数の特定の細部事項が一つ以上の態様の総体的な理解を提供するために提示される。しかし、そのような態様がこのような特定の細部事項なしに実施できることは明らかである。他の例示において、公知の構造および装置が一つ以上の態様の記載を容易にするためにブロック図の形態で示される。 Various aspects are described with reference to the drawings, where like reference numbers are used to refer generally to like components. In the following embodiments, for purposes of explanation, numerous specific details are presented to provide a general understanding of one or more aspects. It is evident, however, that such aspects may be practiced without such specific details. In other instances, well-known structures and devices are shown in block diagram form in order to facilitate describing one or more aspects.
多様な実施形態および／または態様が図面を参照して開示される。下記の説明においては、説明の目的のため、一つ以上の態様の全般的な理解を助けるために多数の具体的な細部事項が開示される。しかし、このような態様は、このような具体的な細部事項がなくても実行可能であるということも、本開示の技術分野における通常の知識を有する者に検知できるものである。以後の記載および添付された図面は、一つ以上の態様の特定の例示的な態様を詳しく記述する。しかし、このような態様は、例示的なものであって、多様な態様の原理における多様な方法のうち一部が用いられてもよく、記述される説明は、そのような態様およびその均等物のいずれも含もうとする意図である。具体的に、本明細書で用いられる「実施形態」、「例」、「態様」、「例示」などは、記述される任意の態様または設計が他の態様または設計よりも良好であるか、または利点があるものと解釈されなくてもよい。 Various embodiments and/or aspects are disclosed with reference to the drawings. In the following description, for purposes of explanation, numerous specific details are set forth in order to facilitate a general understanding of one or more aspects. However, it will also be detectable by one of ordinary skill in the art of the present disclosure that such aspects may be practiced without such specific details. The following description and the annexed drawings set forth in detail certain illustrative aspects of the one or more aspects. Such aspects are, however, exemplary only, and some of the various methods in principle of various aspects may be employed, and the written description may cover such aspects and their equivalents. It is the intention to include both Specifically, "embodiments," "examples," "aspects," "exemplary," etc., as used herein, refer to whether any aspect or design described is better than any other aspect or design; or may not be construed as advantageous.
以下、図面符号に関係なく同一または類似の構成要素には同一の参照番号を付し、これに対する重複する説明は省略する。また、本明細書に開示された実施形態を説明するにおいて、関連の公知技術に関する具体的な説明が本明細書に開示された実施形態の要旨を不要に濁す恐れがあると判断される場合には、その詳細な説明を省略する。また、添付された図面は、本明細書に開示された実施形態を容易に理解できるようにするためのものにすぎず、添付された図面により本明細書に開示された技術的思想が制限されるものではない。 Hereinafter, the same or similar components will be denoted by the same reference numerals regardless of the drawing numbers, and redundant descriptions thereof will be omitted. In addition, in describing the embodiments disclosed in this specification, if it is determined that the specific description of the related known technology may unnecessarily obscure the gist of the embodiments disclosed in this specification will not be described in detail. In addition, the attached drawings are merely for facilitating understanding of the embodiments disclosed herein, and the technical ideas disclosed herein are not restricted by the attached drawings. not something.
第１、第２などが多様な素子や構成要素を述べるために用いられるが、これらの素子や構成要素は、これらの用語により制限されないことはいうまでもない。これらの用語は、単に一つの素子や構成要素を他の素子や構成要素と区別するために用いるものである。したがって、以下に言及される第１素子や構成要素は、本発明の技術的思想の範囲内で第２素子や構成要素であってもよいことはいうまでもない。 While first, second, etc. are used to describe various elements and components, these elements and components are, of course, not limited by these terms. These terms are only used to distinguish one element or component from another. Therefore, it goes without saying that the first element or component referred to below may be the second element or component within the scope of the technical concept of the present invention.
他の定義がない限り、本明細書で用いられる全ての用語（技術および科学的用語を含む）は、本発明が属する技術分野における通常の知識を有する者に共通に理解できる意味として用いられてもよい。また一般的に用いられる辞書に定義されている用語は、明らかに特に定義されていない限り、理想的にまたは過度に解釈されない。 Unless otherwise defined, all terms (including technical and scientific terms) used herein have the meaning commonly understood by one of ordinary skill in the art to which this invention belongs. good too. Also, terms defined in commonly used dictionaries should not be ideally or overly interpreted unless explicitly defined otherwise.
さらに、用語「または」は、排他的「または」ではなく、内包的「または」を意味するものと意図される。すなわち、別に特定されていないかまたは文脈上明らかでない場合に、「Ｘは、ＡまたはＢを用いる」は、自然的な内包的置換のうち一つを意味するものと意図される。すなわち、ＸがＡを用いるか；ＸがＢを用いるか；またはＸがＡおよびＢの両方を用いる場合、「ＸはＡまたはＢを用いる」がこれらの場合のいずれでも適用されてもよい。また、本明細書で用いられた「および／または」という用語は、列挙された関連アイテムのうち一つ以上のアイテムの可能な全ての組み合わせを指し且つ含むものと理解しなければならない。 Moreover, the term "or" is intended to mean an inclusive "or" rather than an exclusive "or." That is, unless otherwise specified or clear from the context, "X employs A or B" is intended to mean one of the natural inclusive permutations. That is, if X uses A; X uses B; or X uses both A and B, then "X uses A or B" may apply in any of these cases. Also, as used herein, the term "and/or" should be understood to refer to and include all possible combinations of one or more of the associated listed items.
また、「備える」および／または「含む」という用語は、当該特徴および／または構成要素が存在することを意味するが、一つ以上の他の特徴、構成要素および／またはこれらのグループの存在または追加を排除するものではないことを理解しなければならない。また、別に特定されていないかまたは単数の形態を指示するものとして文脈上明らかでない場合に、本明細書および請求範囲における単数は、一般的に「一つまたはそれ以上」を意味するものと解釈しなければならない。 Also, the terms "comprising" and/or "including" mean that the feature and/or component is present but not the presence or presence of one or more other features, components and/or groups thereof. It must be understood that additions are not excluded. Also, the singular in the specification and claims shall generally be construed to mean "one or more" unless otherwise specified or clear from the context as indicating a singular form. Must.
さらに、本明細書で用いられる用語「情報」および「データ」は、互いに交換可能に用いられることが多い。 Furthermore, as used herein, the terms "information" and "data" are often used interchangeably.
ある構成要素が他の構成要素に「連結されて」いるか「接続されて」いると言及された際には、当該他の構成要素に直接的に連結されているかまたは接続されていてもよいが、その間にまた他の構成要素が存在してもよいものと理解しなければならない。これに対し、ある構成要素が他の構成要素に「直接連結されて」いるか「直接接続されて」いると言及された際には、その間にまた他の構成要素が存在しないものと理解しなければならない。 When a component is referred to as being "coupled" or "connected" to another component, it may be directly coupled or connected to that other component. , and that there may also be other components in between. In contrast, when a component is referred to as being "directly coupled" or "directly connected" to another component, it should be understood that there are no other components in between. must.
以下の説明で用いられる構成要素に対する接尾辞「モジュール」および「部」は、明細書の作成の容易性だけを考慮して付与または混用されるものであって、それ自体で互いに区別される意味または役割を有するものではない。 The suffixes ``module'' and ``part'' for the components used in the following description are given or mixed only in consideration of the ease of preparation of the specification, and have different meanings by themselves. or have no role.
本開示の目的および効果、そしてそれらを達成するための技術的構成は、添付される図面とともに詳しく後述している実施形態を参照すれば明らかになるものである。本開示を説明するにおいて、公知の機能または構成に関する具体的な説明が本開示の要旨を不要に濁す恐れがあると判断される場合には、その詳細な説明を省略する。そして、後述する用語は本開示における機能を考慮して定義された用語であって、これはユーザ、運用者の意図または慣例などにより異なってもよい。 The objects and effects of the present disclosure and the technical configuration for achieving them will become apparent with reference to the embodiments described in detail below together with the accompanying drawings. In describing the present disclosure, if it is determined that a specific description of known functions or configurations may unnecessarily obscure the gist of the present disclosure, the detailed description will be omitted. Also, the terms described below are terms defined in consideration of the functions in the present disclosure, and may differ according to the user's or operator's intentions or customs.
しかしながら、本開示は、以下に開示される実施形態に限定されるものではなく、互いに異なる多様な形態で実現されてもよい。本実施形態は、単に本開示が完全になるようにし、本開示が属する技術分野における通常の知識を有する者に開示の範疇を完全に知らせるために提供されるものであり、本開示は、請求項の範疇により定義されるのみである。したがって、その定義は、本明細書の全般にわたった内容に基づいて下されなければならない。 This disclosure, however, is not limited to the embodiments disclosed below and may be embodied in a variety of different forms. The embodiments are provided merely so that this disclosure will be complete and complete, and will fully convey the scope of the disclosure to those having ordinary skill in the art to which this disclosure pertains. It is only defined by the category of the term. Therefore, the definition should be made based on the general contents of this specification.
本開示において、画像分割装置は、学習された分割モデル（ｓｅｇｍｅｎｔａｔｉｏｎ ｍｏｄｅｌ）を用いて、入力データにおいて少なくとも一つの既に設定されたオブジェクトを分割することができる。一例として、画像分割装置は、学習された分割モデルを用いて、血管内光断層画像（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ、ＯＣＴ）において生分解性ステント（ｓｔｅｎｔ）のストラット（ｓｔｒｕｔ）を分割することができる。ここで、ストラットは、ステントの円周方向に沿って配置され、複数のセルを形成する部材であってもよい。 In the present disclosure, the image segmentation device can segment at least one preconfigured object in the input data using a learned segmentation model. As an example, the image segmentation device can segment struts of a biodegradable stent in an intravascular optical coherence tomography (OCT) image using a learned segmentation model. Here, the struts may be members arranged along the circumference of the stent and forming a plurality of cells.
具体的に、生分解性ステントは、血管、食道、胆管などの管状構造の身体の器官に挿入され、管状構造内部の内容物の流れを円滑にする医療機器であってもよい。そして、生分解性ステントは、施術後、時間の経過につれて、体内で徐々に溶ける材質からなることができる。この際、従来の金属ステントは、光源を反射する材質であるため、光断層撮影画像において目立って表示されることができた。しかし、生分解性ステントの場合、光源が透過する材質からなるため、ユーザが明らかに識別し難いことがある。 Specifically, a biodegradable stent may be a medical device that is inserted into a bodily organ of tubular structure, such as a blood vessel, esophagus, bile duct, etc., to facilitate the flow of contents inside the tubular structure. Also, the biodegradable stent can be made of a material that gradually dissolves in the body over time after the procedure. At this time, since the conventional metal stent is made of a material that reflects the light source, it can be conspicuously displayed in the optical tomography image. However, in the case of a biodegradable stent, since it is made of a material through which a light source can pass, it may be difficult for a user to clearly identify it.
より具体的に、血管内光断層画像技術で用いられる光源は、１２４０ｎｍ～１３５０ｎｍの帯域幅を有することができる。このような光源下で、金属ステントは、影などが表現されて目立って表れることができる。これに対し、生分解性ステントの場合は、造影剤（血管内部）と血管壁の中間の陰影を帯び、レンガのような長方形の形状であることができる。そして、高さ（ストラット厚さ）は８０～１６０ｍｉｃｒｏｎを有し、長さ（ストラット幅）は１００～３００ｍｉｃｒｏｎ有することができる。また、生分解性ステントは、金属ステントとは異なり、影などが表現されないことがある。換言すれば、生分解性ステントのストラットは、光断層撮影画像においてユーザが明らかに識別し難いことがある。したがって、本開示における画像分割装置は、分割モデルを用いて、血管内光断層画像において生分解性ステントを分割することができる。以下、図１～図７を通じて本開示に係る画像分割装置について説明する。 More specifically, the light source used in intravascular optical tomography can have a bandwidth of 1240 nm to 1350 nm. Under such a light source, the metal stent can be conspicuously represented with shadows and the like. In contrast, biodegradable stents can be rectangular in shape, like bricks, with a shadow between the contrast agent (inside the vessel) and the vessel wall. The height (strut thickness) can be 80-160 microns, and the length (strut width) can be 100-300 microns. In addition, unlike metal stents, biodegradable stents may not express shadows. In other words, the struts of a biodegradable stent may be difficult for a user to clearly identify in an optical tomography image. Therefore, the image segmentation device in the present disclosure can segment the biodegradable stent in the intravascular optical tomographic image using the segmentation model. An image dividing apparatus according to the present disclosure will be described below with reference to FIGS. 1 to 7. FIG.
図１は、本開示の幾つかの実施形態による画像分割装置の一例を説明するためのブロック構成図である。 FIG. 1 is a block diagram for explaining an example of an image segmentation device according to some embodiments of the present disclosure.
図１を参照すれば、画像分割装置１０００は、格納部１００およびプロセッサ２００を含むことができる。ただし、上述した構成要素は、画像分割装置１０００を実現する際に必須のものではないため、画像分割装置１０００は、上記で列挙された構成要素よりも多いか、または少ない構成要素を有してもよい。
Referring to FIG. 1,
画像分割装置１０００は、ユーザが所有しているＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノートブック（ｎｏｔｅ ｂｏｏｋ）、モバイル端末（ｍｏｂｉｌｅ ｔｅｒｍｉｎａｌ）、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、タブレットＰＣ（ｔａｂｌｅｔ ｐｃ）などを含むことができ、有線／無線ネットワークに接続可能な全ての種類の端末を含むことができる。ただし、これに限定されず、画像分割装置１０００は、マイクロプロセッサ、メインフレームコンピュータ、デジタルプロセッサ、携帯用デバイスまたはデバイスコントローラなどのような任意のタイプのサーバであってもよい。
The
本開示において、画像分割装置１０００は、学習された分割モデル（ｓｅｇｍｅｎｔａｔｉｏｎ ｍｏｄｅｌ）に入力データを入力し、入力データにおいて少なくとも一つの既に設定されたオブジェクトを分割することができる。ここで、分割モデルは、入力データの次元を減少させるエンコーダ、およびエンコーダから出力される出力データの次元を増加させるデコーダを含むモデルであってもよい。一例として、分割モデルは、エンコーダとデコーダが対称形態をなすＵ－ネットワーク（Ｕ－Ｎｅｔｗｏｒｋ）を変形した構造を有することができる。ただし、これに限定されるものではない。以下、本開示に係る分割モデルに対しては、図２～図３を通じて説明する。
In the present disclosure, the
一方、少なくとも一つの既に設定されたオブジェクトは、生分解性ステント（ｓｔｅｎｔ）のストラット（ｓｔｒｕｔ）および組織（ｔｉｓｓｕｅ）のうち少なくとも一つを含むことができる。ここで、ストラットは、ステントの円周方向に沿って配置され、複数のセルを形成する部材であってもよい。そして、組織は、皮膚組織であってもよい。ただし、これに限定されるものではない。 Meanwhile, the at least one preconfigured object may include at least one of struts and tissue of a biodegradable stent. Here, the struts may be members arranged along the circumference of the stent and forming a plurality of cells. And the tissue may be skin tissue. However, it is not limited to this.
一方、格納部１００は、メモリおよび／または永久記憶媒体を含むことができる。メモリは、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤまたはＸＤメモリなど）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも一つのタイプの記憶媒体を含むことができる。
Meanwhile,
本開示において、格納部１００は、少なくとも一つの既に設定されたオブジェクトを分割するように学習された分割モデルを格納することができる。ただし、これに限定されるものではない。
In the present disclosure, the
本開示において、格納部１００は、少なくとも一つの既に設定されたオブジェクトを分割するように学習された分割モデルを格納することができる。ただし、これに限定されるものではない。
In the present disclosure, the
一方、プロセッサ２００は、一つ以上のコアで構成されることができ、画像分割装置の中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、汎用グラフィックス処理装置（ＧＰＧＰＵ：ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、テンソル処理装置（ＴＰＵ：ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）などのデータ分析、ディープラーニングのためのプロセッサを含むことができる。プロセッサ２００は、格納部１００に格納されたコンピュータプログラムを読み取り、本開示の一実施形態による機械学習のためのデータ処理を実行することができる。本開示の一実施形態によるプロセッサ２００は、ニューラルネットワークの学習のための演算を実行することができる。プロセッサ２００は、ディープラーニング（ＤＬ：ｄｅｅｐ ｌｅａｒｎｉｎｇ）において、学習のための入力データの処理、入力データにおけるフィーチャー抽出、誤差計算、逆伝搬（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）を用いたニューラルネットワークの重みアップデートなどのニューラルネットワークの学習のための計算を実行することができる。プロセッサ２００のＣＰＵ、ＧＰＧＰＵおよびＴＰＵのうち少なくとも一つがネットワーク関数の学習を処理することができる。例えば、ＣＰＵおよびＧＰＧＰＵがともにネットワーク関数の学習、ネットワーク関数を用いたデータ分類を処理することができる。また、本開示の一実施形態において、複数の画像分割装置のプロセッサをともに用いて、ネットワーク関数の学習、ネットワーク関数を用いたデータ分類を処理することができる。また、本開示の一実施形態による画像分割装置で行われるコンピュータプログラムは、ＣＰＵ、ＧＰＧＰＵまたはＴＰＵ実行可能プログラムであってもよい。
Meanwhile, the
本開示において、プロセッサ２００は、格納部１００に格納された分割モデルに入力データを入力し、入力データにおいて少なくとも一つの既に設定されたオブジェクトを分割することができる。ただし、これに限定されるものではない。
In the present disclosure, the
一方、本明細書の全般にわたって、演算モデル、ニューラルネットワーク、ネットワーク関数およびニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は、互いに交換可能な意味として使用できる。すなわち、本開示において、演算モデル、（人工）ニューラルネットワーク、ネットワーク関数およびニューラルネットワークは、互いに交換可能に使用できる。以下では、説明の便宜上、ニューラルネットワークに統一して記述する。 On the other hand, throughout this specification, the terms computational model, neural network, network function and neural network may be used interchangeably. That is, computational model, (artificial) neural network, network function and neural network can be used interchangeably in this disclosure. In the following, for the convenience of explanation, the neural network will be unified and described.
ニューラルネットワークは、一般的にノードと称される互いに連結された計算単位の集合で構成されることができる。このようなノードは、ニューロン（ｎｅｕｒｏｎ）と称されてもよい。ニューラルネットワークは、少なくとも一つ以上のノードを含んで構成される。ニューラルネットワークを構成するノード（またはニューロン）は、一つ以上のリンクにより互いに連結されることができる。 A neural network can consist of a collection of interconnected computational units commonly referred to as nodes. Such nodes may be referred to as neurons. A neural network includes at least one or more nodes. Nodes (or neurons) forming a neural network can be connected to each other by one or more links.
ニューラルネットワーク内で、リンクを介して連結された一つ以上のノードは、相対的に入力ノードおよび出力ノードの関係を形成することができる。入力ノードおよび出力ノードの概念は相対的なものであって、一つのノードに対して出力ノードの関係にある任意のノードは、他のノードとの関係において入力ノードの関係にあることができ、その逆も成立することができる。上述したように、入力ノードに対する出力ノードの関係は、リンクを中心に生成されることができる。一つの入力ノードに一つ以上の出力ノードがリンクを介して連結されることができ、その逆も成立することができる。 Within a neural network, one or more nodes connected via links can form a relative input node and output node relationship. The concepts of input node and output node are relative, any node in an output node relationship to one node can be an input node relationship in relation to another node, The converse can also hold. As described above, the relationship of output nodes to input nodes can be created around links. One or more output nodes can be connected to one input node via links, and vice versa.
一つのリンクを介して連結された入力ノードおよび出力ノードの関係において、出力ノードのデータは、入力ノードに入力されたデータに基づいてその値が決定されることができる。ここで、入力ノードと出力ノードを互いに連結するリンクは、重み（ｗｅｉｇｈｔ）を有することができる。重みは、可変的であってもよく、ニューラルネットワークが所望の機能を実行するために、ユーザまたはアルゴリズムにより可変してもよい。例えば、一つの出力ノードに一つ以上の入力ノードがそれぞれのリンクにより互いに連結された場合、出力ノードは、前記出力ノードと連結された入力ノードに入力された値およびそれぞれの入力ノードに対応するリンクに設定された重みに基づいて出力ノード値を決定することができる。 In the relationship between an input node and an output node that are connected via one link, the value of the data of the output node can be determined based on the data input to the input node. Here, a link connecting an input node and an output node may have a weight. The weights may be variable and may be varied by the user or algorithm in order for the neural network to perform the desired function. For example, when one or more input nodes are connected to one output node by respective links, the output node corresponds to the value input to the input node connected to the output node and each input node. The output node value can be determined based on the weights set for the links.
上述したように、ニューラルネットワークは、一つ以上のノードが一つ以上のリンクを介して互いに連結され、ニューラルネットワーク内で入力ノードおよび出力ノードの関係を形成する。ニューラルネットワーク内で、ノードとリンクの個数およびノードとリンクとの間の相関関係、リンクそれぞれに付与された重みの値に応じて、ニューラルネットワークの特性が決定されることができる。例えば、同一数のノードおよびリンクが存在し、リンクの重み値が異なる二つのニューラルネットワークが存在する場合、二つのニューラルネットワークは、互いに異なるものと認識されることができる。 As described above, a neural network has one or more nodes connected together via one or more links to form a relationship of input nodes and output nodes within the neural network. Within the neural network, the characteristics of the neural network can be determined according to the number of nodes and links, the correlation between the nodes and links, and the weight value assigned to each link. For example, when there are two neural networks having the same number of nodes and links and different weight values of the links, the two neural networks can be recognized as different from each other.
ニューラルネットワークは、一つ以上のノードの集合で構成されることができる。ニューラルネットワークを構成するノードの部分集合は、層（ｌａｙｅｒ）を構成することができる。ニューラルネットワークを構成するノードの一部は、最初入力ノードからの距離に基づいて、一つの層（ｌａｙｅｒ）を構成することができる。例えば、最初入力ノードから距離がｎであるノードの集合は、ｎ層を構成することができる。最初入力ノードからの距離は、最初入力ノードから当該ノードまで到達するために経なければならないリンクの最小数により定義されることができる。しかし、このような層の定義は、説明のための任意的なものであって、ニューラルネットワーク内での層の次数は、上述したものとは異なる方法で定義されてもよい。例えば、ノードの層は、最終出力ノードからの距離により定義されてもよい。 A neural network can consist of a set of one or more nodes. A subset of the nodes that make up a neural network can constitute a layer. Some of the nodes that make up the neural network can initially form a layer based on the distance from the input node. For example, a set of nodes whose distance is n from the initial input node can constitute n layers. The distance from the first input node can be defined by the minimum number of links that must be traversed to reach the node from the first input node. However, such a layer definition is arbitrary for purposes of explanation, and the order of layers within a neural network may be defined differently than described above. For example, a layer of nodes may be defined by their distance from the final output node.
最初入力ノードは、ニューラルネットワーク内のノードのうち、他のノードとの関係においてリンクを経ずにデータが直接入力される一つ以上のノードを意味し得る。または、ニューラルネットワークネットワーク内で、リンクを基準としたノード間の関係において、リンクに連結された他の入力ノードを有しないノードを意味し得る。これと同様に、最終出力ノードは、ニューラルネットワーク内のノードのうち、他のノードとの関係において、出力ノードを有しない一つ以上のノードを意味し得る。また、隠れノードは、最初入力ノードおよび最後出力ノードではなく、ニューラルネットワークを構成するノードを意味し得る。 The first input node may mean one or more nodes to which data is directly input without a link in relation to other nodes among the nodes in the neural network. Or, within a neural network network, in a link-based relationship between nodes, it can mean a node that does not have other input nodes connected to the link. Similarly, the final output node may mean one or more nodes in the neural network that do not have an output node in relation to other nodes. Also, hidden nodes may refer to nodes that constitute a neural network, rather than the first input node and the last output node.
本開示の一実施形態によるニューラルネットワークは、入力層のノードの個数が出力層のノードの個数と同一であってもよく、入力層から隠れ層に進行するにつれて、ノードの数が減少し再び増加する形態のニューラルネットワークであってもよい。また、本開示の他の一実施形態によるニューラルネットワークは、入力層のノードの個数が出力層のノードの個数よりも少なくてもよく、入力層から隠れ層に進行するにつれて、ノードの数が減少する形態のニューラルネットワークであってもよい。また、本開示のまた他の一実施形態によるニューラルネットワークは、入力層のノードの個数が出力層のノードの個数よりも多くてもよく、入力層から隠れ層に進行するにつれて、ノードの数が増加する形態のニューラルネットワークであってもよい。本開示のさらに他の一実施形態によるニューラルネットワークは、上述したニューラルネットワークの組み合わせられた形態のニューラルネットワークであってもよい。 In the neural network according to an embodiment of the present disclosure, the number of nodes in the input layer may be the same as the number of nodes in the output layer, and the number of nodes decreases and increases again as the input layer progresses to the hidden layer. It may be a neural network in the form of Also, in the neural network according to another embodiment of the present disclosure, the number of nodes in the input layer may be less than the number of nodes in the output layer, and the number of nodes decreases as the input layer progresses to the hidden layer. It may be a neural network in the form of Also, in the neural network according to still another embodiment of the present disclosure, the number of nodes in the input layer may be greater than the number of nodes in the output layer, and the number of nodes increases from the input layer to the hidden layer. It may be an augmented form of neural network. A neural network according to yet another embodiment of the present disclosure may be a neural network that is a combined form of the neural networks described above.
ディープニューラルネットワーク（ＤＮＮ：ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）は、入力層および出力層の他に、複数の隠れ層を含むニューラルネットワークを意味し得る。ディープニューラルネットワークを用いると、データの潜在構造（ｌａｔｅｎｔ ｓｔｒｕｃｔｕｒｅｓ）を把握することができる。すなわち、写真、テキスト、ビデオ、音声、音楽の潜在構造（例えば、ある物体が写真に存在するか、テキストの内容と感情が何であるか、音声の内容と感情が何であるかなど）を把握することができる。ディープニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、回帰型ニューラルネットワーク（ＲＮＮ：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、オートエンコーダ（ａｕｔｏ ｅｎｃｏｄｅｒ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）、制限ボルツマンマシン（ＲＢＭ：ｒｅｓｔｒｉｃｔｅｄ ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ）、ＤＢＮ（ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ）、Ｑ－ネットワーク、Ｕ－ネットワーク、シャムネットワーク、敵対的生成ネットワーク（ＧＡＮ：Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）などを含むことができる。前述したディープニューラルネットワークの記載は例示にすぎず、本開示はこれに制限されない。 A deep neural network (DNN) can refer to a neural network that includes multiple hidden layers in addition to the input and output layers. Deep neural networks can be used to capture the latent structures of data. i.e. grasp the latent structure of photos, texts, videos, sounds and music (e.g. is there an object in the picture, what is the content and emotion of the text, what is the content and emotion of the sound, etc.) be able to. Deep neural networks include convolutional neural networks (CNNs), recurrent neural networks (RNNs), auto encoders, generative adversarial networks (GANs), and restricted Boltzmann machines (RBMs). machine), DBN (deep belief network), Q-network, U-network, Siamese network, Generative Adversarial Network (GAN), and the like. The foregoing description of deep neural networks is exemplary only, and the present disclosure is not limited thereto.
ニューラルネットワークは、教師あり学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、半教師あり学習（ｓｅｍｉ ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）、または強化学習（ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ）のうち少なくとも一つの方式で学習されることができる。ニューラルネットワークの学習は、ニューラルネットワークが特定の動作を実行するための知識をニューラルネットワークに適用する過程であってもよい。 The neural network may be learned by at least one of supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning. . Training a neural network may be the process of applying knowledge to the neural network for the neural network to perform a particular action.
ニューラルネットワークは、出力のエラーを最小化する方向に学習されることができる。ニューラルネットワークの学習において、学習データをニューラルネットワークに繰り返し入力させ、学習データに対するニューラルネットワークの出力とターゲットのエラーを計算し、エラーを減らすための方向にニューラルネットワークのエラーをニューラルネットワークの出力層から入力層の方向に逆伝搬（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）してニューラルネットワークの各ノードの重みをアップデートする過程である。教師あり学習の場合は、それぞれの学習データに正解がラベリングされている学習データを用い（すなわち、ラベリングされた学習データ）、教師なし学習の場合は、それぞれの学習データに正解がラベリングされていなくてもよい。すなわち、例えば、データ分類に関する教師あり学習の場合の学習データは、学習データそれぞれにカテゴリがラベリングされたデータであってもよい。ラベリングされた学習データがニューラルネットワークに入力され、ニューラルネットワークの出力（カテゴリ）と学習データのラベルを比較することで、エラー（ｅｒｒｏｒ）が計算されることができる。他の例として、データ分類に関する教師なし学習の場合は、入力である学習データがニューラルネットワークの出力と比較されることで、エラーが計算されることができる。計算されたエラーは、ニューラルネットワークにおいて逆方向（すなわち、出力層から入力層の方向）に逆伝搬され、逆伝搬に応じてニューラルネットワークの各層の各ノードの連結重みがアップデートされることができる。アップデートされる各ノードの連結重みは、学習率（ｌｅａｒｎｉｎｇ ｒａｔｅ）に応じて変化量が決定されることができる。入力データに対するニューラルネットワークの計算およびエラーの逆伝搬は、学習サイクル（ｅｐｏｃｈ）を構成することができる。学習率は、ニューラルネットワークの学習サイクルの繰り返し回数に応じて異に適用されることができる。例えば、ニューラルネットワークの学習初期には、高い学習率を用いてニューラルネットワークが速く一定レベルの性能を確保するようにして効率性を高め、学習後期には、低い学習率を用いて適合率を高めることができる。 A neural network can be trained towards minimizing the error in the output. In neural network training, the training data is repeatedly input to the neural network, the neural network output and target error for the training data are calculated, and the neural network error is input from the neural network output layer in the direction to reduce the error. This is the process of backpropagating in the layer direction to update the weight of each node of the neural network. In the case of supervised learning, each learning data is labeled with the correct answer (i.e., labeled learning data), and in the case of unsupervised learning, each learning data is not labeled with the correct answer. may That is, for example, the learning data in the case of supervised learning regarding data classification may be data in which each learning data is labeled with a category. Labeled training data is input to the neural network, and an error can be calculated by comparing the output (category) of the neural network and the label of the training data. As another example, in the case of unsupervised learning for data classification, errors can be calculated by comparing the input training data to the output of the neural network. The computed error can be back-propagated in the neural network in the reverse direction (i.e., from the output layer to the input layer), and the connection weights of each node in each layer of the neural network can be updated in response to the back-propagation. A change amount of the connection weight of each node to be updated may be determined according to a learning rate. The computation of the neural network on the input data and the backpropagation of errors can constitute a learning cycle (epoch). The learning rate can be applied differently depending on the number of iterations of the learning cycle of the neural network. For example, in the early stages of neural network learning, a high learning rate is used to ensure that the neural network reaches a certain level of performance quickly, thereby increasing efficiency, and in the later stage of learning, a low learning rate is used to increase precision. be able to.
ニューラルネットワークの学習において、一般的に学習データは、実際データ（すなわち、学習されたニューラルネットワークを用いて処理しようとするデータ）の部分集合であってもよい。したがって、学習データに対するエラーは減少するが実際データに対してはエラーが増加する学習サイクルが存在することができる。過剰適合（ｏｖｅｒｆｉｔｔｉｎｇ）は、このように、学習データを過剰に学習して実際データに対するエラーが増加する現象である。例えば、黄色の猫を見せて猫を学習したニューラルネットワークが、黄色以外の猫を見ると、猫であることを認識できない現象が過剰適合の一種であってもよい。過剰適合は、機械学習アルゴリズムのエラーを増加させる原因として作用し得る。このような過剰適合を防ぐために、多様な最適化方法を用いることができる。過剰適合を防ぐためには、学習データを増加させるか、またはレギュライゼーション（ｒｅｇｕｌａｒｉｚａｔｉｏｎ）、学習過程でネットワークのノードの一部を非活性化するドロップアウト（ｄｒｏｐｏｕｔ）、バッチ正規化層（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ ｌａｙｅｒ）の活用などの方法が適用されることができる。 In neural network training, the training data can generally be a subset of the actual data (ie, the data to be processed using the trained neural network). Therefore, there can be learning cycles in which the error on the training data decreases but the error on the actual data increases. Overfitting is a phenomenon in which errors with respect to actual data increase due to over-learning of training data. For example, a phenomenon in which a neural network that has learned a cat by showing it a yellow cat cannot recognize that it is a cat when it sees a cat other than yellow may be a kind of overfitting. Overfitting can act as a source of increased error in machine learning algorithms. Various optimization methods can be used to prevent such overfitting. In order to prevent overfitting, training data is increased or regularization, dropout that deactivates some of the nodes of the network in the learning process, batch normalization layer. can be applied.
一方、本開示の幾つかの実施形態によれば、分割モデルは、エンコーダとデコーダが対称形態をなすＵ－ネットワークを変形した構造を有することができる。以下、図２～図４を通じて本開示に係る分割モデルについて説明する。 On the other hand, according to some embodiments of the present disclosure, the partition model can have a modified structure of the U-network in which the encoder and decoder are symmetrical. The division model according to the present disclosure will be described below with reference to FIGS. 2 to 4. FIG.
図２は、本開示の幾つかの実施形態による分割モデルの一例を説明するための図である。図３は、本開示の幾つかの実施形態によるマルチスケール拡張残差ブロックの一例を説明するための図である。図４は、本開示の幾つかの実施形態による学習用画像の一例を説明するための図である。 FIG. 2 is a diagram for explaining an example of a split model according to some embodiments of the present disclosure. FIG. 3 is a diagram illustrating an example of a multi-scale extended residual block according to some embodiments of the disclosure. FIG. 4 is a diagram for explaining an example of a training image according to some embodiments of the present disclosure;
図２を参照すれば、分割モデル３００は、エンコーダ３１０、デコーダ３２０および補助分類モデル３３０を含むことができる。ただし、これに限定されるものではない。
Referring to FIG. 2, the
エンコーダ３１０は、入力データの次元を減少させる少なくとも一つの次元減少ブロックを含むことができる。ただし、これに限定されるものではない。
一例として、少なくとも一つの次元減少ブロックのうち入力データが最初に入力される第１次元減少ブロック３１１は、少なくとも一つの畳み込み層を含むことができる。そして、第１次元減少ブロック３１１は、少なくとも一つの畳み込み層を介して入力データの次元を減少させることができる。
For example, the first
より具体的に、第１次元減少ブロック３１１は、入力データを次元を有する行列で表して処理することができる。例えば、入力データがＲＧＢ（ｒｅｄ－ｇｒｅｅｎ－ｂｌｕｅ）でエンコードされたイメージデータである場合、Ｒ、Ｇ、Ｂ色別にそれぞれ２次元（例えば、２次元イメージである場合）行列で表されることができる。すなわち、入力データの各ピクセルの色値が行列の成分となることができ、行列の大きさは、イメージの大きさと同一であることができる。したがって、入力データは、３個の２次元行列（３次元のデータアレイ）で表されることができる。この場合、第１次元減少ブロック３１１は、少なくとも一つの畳み込み層を介して畳み込みフィルタを移動しつつ、畳み込みフィルタとイメージの各位置での行列成分同士で乗じることで、畳み込み過程（畳み込み層の入出力）を実行することができる。畳み込みフィルタは、ｎ＊ｎ形態の行列で構成されることができ、一般的にイメージの全体ピクセルの数よりは少ない固定された形態のフィルタで構成されることができる。すなわち、ｍ＊ｍイメージを畳み込み層（例えば、畳み込みフィルタのサイズがｎ＊ｎである畳み込み層）に入力させる場合、イメージの各ピクセルを含むｎ＊ｎピクセルを表す行列が畳み込みフィルタとの成分積（すなわち、行列の各成分同士の積）となることができる。畳み込みフィルタとの積により、イメージから畳み込みフィルタとマッチングする成分が抽出されることができる。例えば、イメージから上下直線成分を抽出するための３＊３畳み込みフィルタは、［［０、１、０］、［０、１、０］、［０、１、０］］のようにに構成されることができ、このような畳み込みフィルタが入力イメージに適用されると、イメージから畳み込みフィルタとマッチングする上下直線成分が抽出されて出力されることができる。畳み込み層は、イメージを示したそれぞれのチャネルに対するそれぞれの行列（すなわち、Ｒ、Ｇ、Ｂコーディングイメージの場合、Ｒ、Ｇ、Ｂ色）に畳み込みフィルタを適用することができる。畳み込み層は、入力イメージに畳み込みフィルタを適用し、入力イメージから畳み込みフィルタとマッチングするフィーチャーを抽出することができる。畳み込みフィルタのフィルタ値（すなわち、行列の各成分の値）は、分割モデルの学習過程で逆伝搬（ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ）によりアップデートされることができる。
More specifically, the first
一方、本開示において、第１次元減少ブロック３１１に含まれた少なくとも一つの畳み込み層それぞれに示された数字は、それぞれフィルタのサイズ、拡張比率およびチャネル数に対する例示的な一例であってもよい。
Meanwhile, in the present disclosure, the numbers shown for each of the at least one convolutional layer included in the first
例えば、第１次元減少ブロック３１１に含まれた少なくとも一つの畳み込み層それぞれは、７＊７畳み込みフィルタを用いることができる。そして、第１次元減少ブロック３１１に含まれた少なくとも一つの畳み込み層それぞれの拡張比率（ｄｉｌａｔｉｏｎ ｒａｔｅ）は１であってもよい。ここで、拡張比率は、カーネル間の間隔を意味し得る。そして、第１次元減少ブロック３１１に含まれた少なくとも一つの畳み込み層それぞれに示されたｋ６４は、例示的なチャネルの数であってもよい。ただし、これに限定されるものではない。
For example, each of at least one convolutional layer included in the first
一方、第１次元減少ブロック３１１から出力されるデータが入力される第２次元減少ブロック３１２は、平均プーリング層（ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ ｌａｙｅｒ）およびマルチスケール拡張残差ブロック（Ｍｕｌｔｉ－Ｓｃａｌｅ Ｄｉｌａｔｅｄ Ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を含むことができる。
On the other hand, the second
平均プーリング層は、第１次元減少ブロック３１１から出力されるデータを単純化してメモリ使用量および演算量を減らすための層であってもよい。例えば、２＊２平均プーリングフィルタを有するプーリング層に第１次元減少ブロック３１１の出力を入力させる場合、イメージの各ピクセルにおいて２＊２パッチごとに各パッチに含まれる平均値を出力してイメージを圧縮することができる。前述したプーリングは、パッチにおいて最小値を出力するか、またはパッチの最大値を出力する方式であってもよく、任意のプーリング方式が本開示に含まれてもよい。
The average pooling layer may be a layer for simplifying data output from the first
一方、マルチスケール拡張残差ブロックは、互いに異なる拡張比率（ｄｉｌａｔｉｏｎ ｒａｔｅ）を有する複数の畳み込み層、バッチ正規化（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ）層およびＲｅＬＵ（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）層が並列的に配置されているブロックであってもよい。 On the other hand, the multi-scale dilation residual block is a block in which a plurality of convolution layers, batch normalization layers and ReLU (rectified linear unit) layers having dilation rates different from each other are arranged in parallel. may be
例えば、図３を参照すれば、マルチスケール拡張残差ブロックは、第１～第５残差（ｒｅｓｉｄｕａｌ）ブロック３１２１、３１２２、３１２３、３１２４、３１２５、スキップブロック３１２６およびＲｅＬＵ層３１２７を含むことができる。ただし、これに限定されるものではない。
For example, referring to FIG. 3, a multiscale extended residual block can include first through fifth
第１～第４残差ブロック３１２１、３１２２、３１２３、３１２４それぞれは、入力データに対する畳み込みを実行することができる。この際、第１～第４残差ブロック３１２１、３１２２、３１２３、３１２４それぞれは、互いに異なる拡張比率を有することができる。
Each of the first through fourth
具体的に、第１残差ブロック３１２１は、カーネル間の間隔が１である少なくとも一つの畳み込み層を含むことができる。そして、第２残差ブロック３１２２は、カーネル間の間隔が２である少なくとも一つの畳み込み層を含むことができる。そして、第３残差ブロック３１２３は、カーネル間の間隔が４である少なくとも一つの畳み込み層を含むことができる。また、第４残差ブロック３１２４は、カーネル間の間隔が８である少なくとも一つの畳み込み層を含むことができる。この場合、一つのステップ（例えば、第２次元減少ブロック３１２が入力データの次元を減少させて出力するステップ）において、さらに多様な収容領域に対する情報が利用されることができる。ただし、これに限定されるものではない。
Specifically, the first
一方、第１残差ブロック３１２１をさらに調べると、第１残差ブロック３１２１は、少なくとも一つのバッチ正規化（ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ）層およびＲｅＬＵ（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ）（ＲｅＬＵ）層を含むことができる。そして、第１残差ブロック３１２１は、バッチ正規化活性化関数および正規化線形活性化関数による演算を実行することができる。また、第２～第４残差ブロック３１２２、３１２３、３１２４それぞれも、少なくとも一つのバッチ正規化層および正規化線形ユニットを含むことができる。ただし、これに限定されるものではない。
Meanwhile, further examining the first
一方、本開示において、第１～第４残差ブロック３１２１、３１２２、３１２３、３１２４それぞれは、拡張比率は異なるが、フィルタのサイズおよびチャネルの数は同一であってもよい。ただし、これに限定されるものではない。
On the other hand, in the present disclosure, each of the first to fourth
一方、第５残差ブロック３１２５は、１＊１畳み込みフィルタを有する畳み込み層およびバッチ正規化層を含むことができる。仮に第１～第４残差ブロック３１２１、３１２２、３１２３、３１２４から出力されたそれぞれの出力データがＲｅＬＵ層３１２７に入力される場合、演算に行われるパラメータが過度に多い。したがって、第５残差ブロック３１２５は、１＊１畳み込みフィルタを有する畳み込み層およびバッチ正規化層を用いて、パラメータの数を減少または最適化させることができる。ただし、これに限定されるものではない。
On the other hand, the fifth
一方、スキップブロック３１２６は、１＊１畳み込みフィルタを有する畳み込み層およびバッチ正規化層を含むことができる。そして、スキップブロック３１２６は、マルチスケール拡張残差ブロックに入力される入力データに１＊１フィルタリングおよびバッチ正規化を行ったデータを第５残差ブロック３１２５から出力されるデータに連結することができる。この場合、分割モデルの学習過程において、マルチスケール拡張残差ブロックは、入力データと第５残差ブロック３１２５から出力されるデータとの相違点に基づいて学習を実行することができる。ただし、これに限定されるものではない。
一方、ＲｅＬＵ層３１２７は、マルチスケール拡張残差ブロックの最終端に配置され、出力値が非線形になるように活性化する役割を行うことができる。具体的に、少なくとも一つの畳み込み層で計算された値はいずれも線形演算であるため、畳み込み層のみでは非線形関数の出力を学習することができない。したがって、マルチスケール拡張残差ブロックは、ＲｅＬＵ層３１２７を介して出力されるデータに非線形性を加えることができる。ただし、これに限定されるものではない。
On the other hand, the
再び図２を参照すれば、少なくとも一つの次元減少ブロックは、第２次元減少ブロック３１２から出力されるデータが入力される第３次元減少ブロック３１３、および第３次元減少ブロック３１３から出力されるデータが入力される第４次元減少ブロック３１４をさらに含むことができる。そして、第３次元減少ブロック３１３および第４次元減少ブロック３１４は、第２次元減少ブロック３１２と同一の構造を有することができる。ただし、これに限定されるものではない。
Referring to FIG. 2 again, at least one dimension reduction block includes a third
一方、少なくとも一つの次元減少ブロックのうちエンコーダ３１０の最終層に配置されるボトルネックブロック３１５は、第２次元減少ブロック３１２と同一の構造を有し、この際、過剰適合を防止するためのドロップアウト層（ｄｒｏｐｏｕｔ ｌａｙｅｒ）をさらに含むことができる。ここで、ドロップアウト層は、学習過程でネットワークのノードの一部を省略することで過剰適合を防止可能な層であってもよい。
On the other hand, the
一方、本開示の幾つかの実施形態によれば、ドロップアウト層は、２次元構造の入力データに対する過剰適合を防止するための２Ｄ（ｄｉｍｅｎｓｉｏｎ）ドロップアウト層であってもよい。ただし、これに限定されるものではない。 On the other hand, according to some embodiments of the present disclosure, the dropout layer may be a 2D (dimension) dropout layer to prevent overfitting to the input data of two-dimensional structure. However, it is not limited to this.
一方、デコーダ３２０は、少なくとも一つの次元減少ブロックから出力されるデータを用いて、エンコーダ３１０から出力される出力データの次元を増加させる少なくとも一つの次元増加ブロックを含むことができる。
Meanwhile, the
一例として、少なくとも一つの次元増加ブロックのうちエンコーダ３１０から出力された出力データが最初に入力される第１次元増加ブロック３２１は、アップサンプリング層（ｕｐｓａｍｐｌｉｎｇ ｌａｙｅｒ）、接合層（ｃｏｎｃａｔｅｎａｔｉｏｎ ｌａｙｅｒ）およびマルチスケール拡張残差ブロックを含むことができる。そして、少なくとも一つの次元増加ブロック中、エンコーダ３１０から出力された出力データは、アップサンプリング層に入力されることができる。この場合、第１次元増加ブロック３２１は、アップサンプリングを行った後に畳み込みを行う転置畳み込みまたは補間法（ｂｉｌｉｎｅａｒ）などによりボトルネックブロック３１５から出力された出力イメージの次元を増加させることができる。この際、少なくとも一つの次元減少ブロックにおいて減少した次元を第１次元増加ブロック３２１において増加させる過程で、ピクセルの位置情報などが流失し得る。これを防止するために、接合層は、次元増加のための情報（例えば、ピクセルの位置情報、高レベルフィーチャーなど）の伝達を受けることができる。一例として、第１次元増加ブロック３２１の接合層は、第４次元減少ブロック３１４から次元増加のための情報の伝達を受けることができる。これにより、第１次元増加ブロック３２１は、データの次元を減少させてから次元を増加させる過程で流失し得るピクセルの位置情報を復元することができる。
For example, among at least one dimension increasing block, the first
一方、少なくとも一つの次元増加ブロックは、第１次元増加ブロック３２１から出力されるデータが入力される第２次元増加ブロック３２２、および第２次元増加ブロック３２２から出力されるデータが入力される第３次元増加ブロック３２３を含むことができる。そして、第２次元増加ブロック３２２および第３次元増加ブロック３２３は、第１次元増加ブロック３２１と同一の構造を有することができる。ただし、これに限定されるものではない。
Meanwhile, at least one dimension increasing block includes a second
一方、第２次元増加ブロック３２２の接合層は、第３次元減少ブロック３１３から次元増加のための情報の伝達を受けることができる。そして、第３次元増加ブロック３２３の接合層は、第２次元減少ブロック３１２から次元増加のための情報の伝達を受けることができる。ただし、これに限定されるものではない。
Meanwhile, the junction layer of the second
一方、少なくとも一つの次元増加ブロックのうちデコーダ３２０の最終層に配置される最終出力端３２４は、アップサンプリング層、接合層、少なくとも一つの畳み込み層、境界改善（Ｂｏｕｎｄａｒｙ Ｒｅｆｉｎｅ）モジュール、逆畳み込み層およびソフトマックス（Ｓｏｆｔｍａｘ）層のうち少なくとも一つを含むことができる。ただし、これに限定されるものではない。
Meanwhile, the
一方、最終出力端３２４は、入力データに含まれた少なくとも一つの既に設定されたオブジェクトそれぞれと関連した領域分割のための最終分類演算を実行することができる。ここで、最終分類演算は、少なくとも一つの畳み込み層およびソフトマックス活性化関数による演算を含むことができる。この際、最終分類演算のため少なくとも一つの畳み込み層は、１＊１畳み込みフィルタを用いる層であってもよい。また、ソフトマックス活性化関数は、ソフトマックス層により行われる関数であって、少なくとも一つの既に設定されたオブジェクトを分割するための関数であってもよい。ただし、これに限定されるものではない。
Meanwhile, the
一方、最終出力端３２４の接合層は、第１次元減少ブロック３１１から次元増加のための情報の伝達を受けることができる。
Meanwhile, the junction layer of the
一方、本開示において、境界改善モジュールは、少なくとも一つの既に設定されたオブジェクトそれぞれと関連した領域分割のための境界が改善されるように、最終分類演算に入力される最終特徴マップを調整することができる。 Meanwhile, in the present disclosure, the boundary improvement module adjusts the final feature map input to the final classification operation such that the boundary for segmentation associated with each of the at least one preconfigured object is improved. can be done.
具体的に、境界改善モジュールは、３＊３畳み込みフィルタを有する少なくとも一つの畳み込み層と、１＊１畳み込みフィルタを有する少なくとも一つの畳み込み層との間に位置することができる。そして、境界改善モジュールは、入力データの各ピクセルに対する最終分類演算が起こる１＊１畳み込み層を経る前に、少なくとも一つの既に設定されたオブジェクトに対する境界を改善する最終調整作業を実行することができる。ただし、これに限定されるものではない。 Specifically, the boundary improvement module can be located between at least one convolutional layer with 3*3 convolutional filters and at least one convolutional layer with 1*1 convolutional filters. The boundary improvement module can then perform a final adjustment operation to improve the boundary for at least one already set object before going through the 1*1 convolutional layers where the final classification operation for each pixel of the input data occurs. . However, it is not limited to this.
一方、本開示の幾つかの実施形態によれば、境界改善モジュールは、残差ブロック構造を有することができる。 On the other hand, according to some embodiments of the present disclosure, the boundary improvement module can have a residual block structure.
具体的に、境界改善モジュールは、少なくとも一つの畳み込み層およびＲｅＬＵ層を含むスキップブロックを有する構造であってもよい。この場合、分割モデルの学習過程において、境界改善モジュールは、入力データと境界改善を実行して出力されるデータとの相違点に基づいて学習を実行することができる。ただし、これに限定されるものではない。 Specifically, the boundary improvement module may be a structure with skip blocks including at least one convolutional layer and a ReLU layer. In this case, in the learning process of the split model, the boundary improvement module can perform learning based on the difference between the input data and the output data after executing the boundary improvement. However, it is not limited to this.
一方、補助分類モデル３３０は、エンコーダ３１０から出力される出力データの入力を受け、出力データに特定のオブジェクトが含まれているか否かを認識することができる。ここで、特定のオブジェクトは、ストラットであってもよい。ただし、これに限定されるものではない。
On the other hand, the
一方、補助分類モデル３３０は、畳み込み層、グローバル平均プーリング（Ｇｌｏｂａｌ Ａｖｇ Ｐｏｏｌ）層、全結合（Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ）層およびシグモイド（Ｓｉｇｍｏｉｄ）層を含むことができる。グローバル平均プーリング層は、入力されたデータに対して各チャネル別フィーチャーマップの単一平均値を抽出して代表性を付与するための層であってもよい。そして、全結合層は、一つの層に存在する全てのニューロンと隣接した層に存在する全てのニューロンが連結される層であってもよい。また、シグモイド層は、非線形値を求めるための関数であってもよい。補助分類モデル３３０は、これらの活性化関数により、学習過程で入力データに特定のオブジェクトが含まれたか否かを認識することができる。ただし、これに限定されるものではない。
Meanwhile, the
一方、本開示の幾つかの実施形態によれば、画像分割装置１０００のプロセッサ２００は、分割モデル３００を学習させる際に、補助分類モデル３３０を介して学習用画像に特定のオブジェクトが含まれているか否かを認識できるように、エンコーダ３１０および補助分類モデル３３０に含まれた重み値を最適化することができる。ここで、特定のオブジェクトは、生分解性ステントのストラットおよび組織のうち少なくとも一つを含むことができる。この際、プロセッサ２００は、前記動作と連動して、デコーダ３２０の最終特徴値マップに学習用画像に含まれた少なくとも一つの既に設定されたオブジェクトそれぞれが表現されるように、分割モデル３００に含まれた重み値を最適化することができる。
On the other hand, according to some embodiments of the present disclosure, the
具体的に、プロセッサ２００は、分割モデル３００に含まれた少なくとも一つの層それぞれの損失関数（Ｌｏｓｓ Ｆｕｎｃｔｉｏｎ）を最小化する方向に逆伝搬させ、重み値を最適化することができる。ここで、損失関数は、実際値（Ｇｒｏｕｎｄ ｔｒｕｔｈ）と予測値（ｐｒｅｄｉｃｔｉｏｎ）との差を数値化する関数であってもよい。
Specifically, the
以下では、画像分割装置１０００のプロセッサ２００が、損失関数が最適化できるように、本開示に係る分割モデル３００を学習させた方法の一例を説明する。
An example of how the
本開示においては、総４０個体から得られた学習用画像から３０枚ずつランダムでＩＶ－ＯＣＴ（Ｉｎｔｒａｖａｓｃｕｌａｒ－Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）画像（直交座標系で構成された画像）を抽出し、１，２００枚のデータセットを確保した。この際、多様な厚さのステントに対しても画像分割がなされるように、学習用画像は、複数の第１学習用画像および複数の第２学習用画像を含んでいる。 In the present disclosure, 30 IV-OCT (Intravascular-Optical Coherence Tomography) images (images configured in an orthogonal coordinate system) are randomly extracted from learning images obtained from a total of 40 individuals, and 1,200 images are extracted. data set was secured. At this time, the learning images include a plurality of first learning images and a plurality of second learning images so that image division can be performed even for stents of various thicknesses.
第１学習用画像は、第１厚さを有するストラットで構成された第１生分解性ステントを含む複数の画像であってもよい。一例として、総４０個体のうち２０個体のデータは、ストラット厚さ１５７ｕｍの第１ステントが挿入された結果であってもよい。 The first training image may be a plurality of images including a first biodegradable stent constructed with struts having a first thickness. As an example, data for 20 out of a total of 40 individuals may be the result of having a first stent with a strut thickness of 157um inserted.
一方、第２学習用画像は、第１厚さとは異なる第２厚さを有するストラットで構成された第２生分解性ストラットを含む複数の画像であってもよい。一例として、総４０個体のうち残りの２０個体のデータは、ストラット厚さ１００ｕｍの第２ステントが挿入された結果であってもよい。これにより、多様な厚さのステントに対しても画像分割がなされるように、データセットを構成した。前記データセットにおいて組織領域およびストラット領域の手作業分割結果を得て、個体単位で訓練（７０％＝２８個体）、検証（１０％＝４個体）、試験（２０％＝８個体）セットを構成した。 Alternatively, the second training images may be a plurality of images including second biodegradable struts configured with struts having a second thickness different from the first thickness. As an example, the data for the remaining 20 individuals out of the total 40 individuals may be the result of the insertion of a second stent with a strut thickness of 100um. In this way, the data set was constructed so that image segmentation could be performed even for stents of various thicknesses. Obtain the results of manual segmentation of tissue and strut regions in the dataset and construct training (70% = 28 individuals), validation (10% = 4 individuals), and test (20% = 8 individuals) sets on an individual basis. did.
一方、本開示において、分割モデルの学習は、ＧＰＵメモリの限界の理由および過剰適合の防止のために、ランダムクロップ（ｒａｎｄｏｍ ｃｒｏｐ）パッチを基盤として進行することができる。 On the other hand, in the present disclosure, the training of the split model can proceed on the basis of random crop patches for reasons of GPU memory limitations and prevention of overfitting.
具体的に、総４０個体から得られた学習用画像は、少なくとも一つの既に設定されたオブジェクトそれぞれがラベリングされた画像をランダムクロップしたパッチを少なくとも一つ以上含むことができる。 Specifically, the training images obtained from the total of 40 individuals may include at least one or more patches obtained by randomly cropping images each labeled with at least one preset object.
例えば、図４の（ａ）を参照すれば、学習用画像は、少なくとも一つの既に設定されたオブジェクト４１０を含むことができる。そして、図４の（ｂ）を参照すれば、学習用画像に含まれた少なくとも一つの既に設定されたオブジェクト４１０は、ラベリングされていてもよい。ただし、これに限定されるものではない。
For example, referring to (a) of FIG. 4, the training image may include at least one
一方、本開示の幾つかの実施形態によれば、補助分類モデル３３０は、ランダムクロップしたパッチに特定のオブジェクトが含まれたか否かが認識できるように学習されることができる。
On the other hand, according to some embodiments of the present disclosure, the
具体的に、画像分割装置１０００のプロセッサ２００は、分割モデル３００を学習させる際に、補助分類モデル３３０を介して学習用画像に特定のオブジェクトが含まれているか否かが認識できるように、エンコーダ３１０および補助分類モデル３３０に含まれた重み値を最適化することができる。そして、プロセッサ２００は、これと連動して、デコーダ３２０の最終特徴値マップに学習用画像に含まれた少なくとも一つの既に設定されたオブジェクトそれぞれが表現されるように、分割モデル３００に含まれた重み値を最適化することができる。これにより、本開示に係る分割モデル３００は、エンコーダ３１０およびデコーダ３２０のストラット分割のための特徴値がさらに最適化される方向に学習されることができる。
Specifically, the
一方、分割モデル３００に含まれた少なくとも一つの層の重みは、損失関数Ｌを最小化する方向に逆伝搬されて最適化されることができる。ここで、重みは、少なくとも一つの畳み込み層それぞれのカーネル値、少なくとも一つのバッチ正規化層それぞれにおける大きさ（ｓｃａｌｅ）、または少なくとも一つのバッチ正規化層それぞれにおけるオフセットなどであってもよい。ただし、これに限定されるものではない。
Meanwhile, the weights of at least one layer included in the
一方、本開示においては、ＡＤＡＭ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）最適化アルゴリズムが用いられ、学習率は、１０－３から始まって２０ｅｐｏｃｈの間性能向上がない場合に、学習率を１／１０だけ減少させて学習を進行するようにした。また、学習率が１０－９に達すると、学習を終了するようにした。 On the other hand, in the present disclosure, an ADAM (Adaptive Moment Estimation) optimization algorithm is used, and the learning rate is reduced by 1/10 when there is no performance improvement for 20 epochs starting from 10 −3 . Allowed learning to progress. Also, learning was terminated when the learning rate reached 10 −9 .
一方、本開示において、損失関数Ｌは、下記の数式により計算されることができる。
ここで、λｉは、重みであってもよい。そして、Ｌｌｏｇｌｏｓｓは、三つのチャネルに対して得られた加重平均ｃｒｏｓｓ ｅｎｔｒｏｐｙ項であってもよい。そして、ＬＬ１は、ストラット領域を分割する際にｓｐａｒｓｉｔｙを考慮するためのＬ１距離項であってもよい。そして、Ｌａｕｘは、補助分類モデル３３０の二項分類結果に対するｃｒｏｓｓ ｅｎｔｒｏｐｙ項であってもよい。
各項は、重みλiにより加重合算されて最適化のための全体損失関数として構成されることができる。
Meanwhile, in the present disclosure, the loss function L can be calculated by the following formula.
Here, λi may be a weight. And L logloss may be the weighted average cross entropy term obtained for the three channels. And L L1 may be an L1 distance term to account for sparsity in dividing the strut regions. And L aux may be the cross entropy term for the binary classification result of the
Each term can be weighted by a weight λi to form an overall loss function for optimization.
一方、本開示において、加重平均ｃｒｏｓｓ ｅｎｔｒｏｐｙ項Ｌｌｏｇｌｏｓｓは、下記の数式により計算されることができる。
ここで、ｇ（ｘ）は、実際値（Ｇｒｏｕｎｄ ｔｒｕｔｈ）であってもよい。そして、ｐ（ｘ）は、デコーダ３２０の最終層に配置された最終出力端３２４に含まれたソフトマックス層の確率算出物であってもよい。そして、ｗ（ｘ）は、ベクトルｘに対する重みであってもよい。
Meanwhile, in the present disclosure, the weighted average cross entropy term L logloss can be calculated by the following formula.
Here, g(x) may be a ground truth. And p(x) may be the probability product of the softmax layer included in the
一方、本開示において、ＬＬ１は、下記の数学式により計算されることができる。
加重平均ｃｒｏｓｓ ｅｎｔｒｏｐｙ項Ｌｌｏｇｌｏｓｓは、組織領域、生分解性ステントのストラット領域、背景領域のピクセル個数の偏差を補正するために導入され、それぞれ１：２：１０の比率に設定されるようにした。一方、ストラット領域をさらによく捉えるために、重み項を大きく設定することや、ｄｉｃｅ ｃｏｅｆｆｉｃｉｅｎｔのように領域の重なり程度を示す項を追加することは、かえってストラット領域の過大分割を誘発するため、本数学式では考慮していない。ただし、実施形態によっては、ｄｉｃｅ ｃｏｅｆｆｉｃｉｅｎｔのように領域の重なり程度を示す項を追加する一例も可能である。
Meanwhile, in the present disclosure, L L1 can be calculated by the following mathematical formula.
A weighted average cross entropy term L logloss was introduced to correct for pixel number deviations in the tissue region, biodegradable stent strut region, and background region, and was set to a ratio of 1:2:10, respectively. . On the other hand, in order to capture the strut region better, setting a large weighting term or adding a term indicating the degree of overlap of the regions, such as dice coefficient, rather induces excessive segmentation of the strut region. not taken into account in the mathematical formula. However, depending on the embodiment, it is also possible to add a term such as dice coefficient that indicates the degree of overlapping of regions.
一方、学習された分割モデル３００の性能評価は、分割領域の実際値との一致度を把握するために、組織領域およびストラット領域それぞれに対してｄｉｃｅ ｃｏｅｆｆｉｃｉｅｎｔを算出して行った。以下、本開示に係る学習された分割モデル３００の性能評価結果について説明する。
On the other hand, the performance evaluation of the learned
図５は、本開示の幾つかの実施形態による学習された分割モデルの性能評価について説明するための図である。 FIG. 5 is a diagram for explaining performance evaluation of a learned split model according to some embodiments of the present disclosure.
図５のＩｎｐｕｔ Ｉｍａｇｅは、分割モデル３００に入力される入力データ５１０であってもよい。そして、入力データ５１０は、少なくとも一つのストラット５１１を含むことができる。Ｇｒｏｕｎｄ Ｔｒｕｔｈは、実際値５２０であってもよい。そして、実際値５２０は、入力データ５１０に含まれた少なくとも一つのストラット５１１に対応する少なくとも一つのストラット５２１を示すことができる。また、Ｐｒｅｄｉｃｔｉｏｎは、予測値５３０であってもよい。すなわち、予測値５３０は、分割モデル３００により入力データ５１０に対する画像分割が行われた結果であってもよい。そして、予測値５３０は、入力データ５１０に含まれた少なくとも一つのストラット５１１に対応する少なくとも一つのストラット５３１を分割して示すことができる。ただし、これに限定されるものではない。
The Input Image of FIG. 5 may be the
本開示において、学習された分割モデル３００の性能評価は、分割領域の実際値５２０との一致度を把握するために、組織領域およびストラット領域のそれぞれに対してｄｉｃｅ ｃｏｅｆｆｉｃｉｅｎｔを算出することができた。ｄｉｃｅ ｃｏｅｆｆｉｃｉｅｎｔは、下記の数式により計算されることができる。
ここで、ｐｃ（ｘ）は、ソフトマックス層の確率算出物（ｐｒｅｄｉｃｔｉｏｎ）イメージにおいて、特定のチャネルだけ選択された既に設定された大きさの画像であってもよい。そして、ｇｃ（ｘ）は、実際値５２０において、特定のチャネルだけ選択された既に設定された大きさの画像であってもよい。
In the present disclosure, the performance evaluation of the learned
Here, p c (x) may be an image of a preset size in which only a specific channel is selected in the prediction image of the softmax layer. And g c (x) may be an image of a preset size with only a particular channel selected in the
また、ストラット検出性能は、実際値５２０との比較により誤検出（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）および検出漏れ（ｆａｌｓｅ ｎｅｇａｔｉｖｅ）の個数を把握し、適合率（ｐｒｅｃｉｓｉｏｎ：ＰＲ）、再現率（ｒｅｃａｌｌ：ＲＣ）、Ｆ－スコアを計算することができた。各測定値は、下記の数式のように定義されることができる。
ここで、ＰＲは、適合率（ｐｒｅｃｉｓｉｏｎ）であってもよい。そして、ＲＣは、再現率（ｒｅｃａｌｌ）であってもよい。そして、ＴＰは、正検出（ｔｒｕｅ ｐｏｓｉｔｉｖｅ）であってもよい。そして、ＦＰは、誤検出（ｆａｌｓｅ ｐｏｓｉｔｉｖｅ）であってもよい。そして、ＦＮは、検出漏れ（ｆａｌｓｅ ｎｅｇａｔｉｖｅ）であってもよい。
In addition, the strut detection performance grasps the number of false positives and false negatives by comparison with the
Here, PR may be precision. And RC may be recall. And TP may be a true positive. And the FP may be a false positive. And the FN may be false negative.
画像分割結果に対する定量性能の評価結果は、下記の表１のように示すことができた。
表１を参照すれば、本開示に係る分割モデル３００を用いて画像分割を行った結果、ストラット検出に対する適合率は９１．２％を示した。そして、ストラット検出に対する再現率は９６％を示した。また、ストラット検出に対するＦ－スコアは９３．５％を示した。これは、単純Ｕ－ｎｅｔ構造、残差（Ｒｅｓｉｄｕａｌ）Ｕ－Ｎｅｔ構造、マルチスケール拡張（Ｍｕｌｔｉ－ｓｃａｌｅ Ｄｉｌａｔｅｄ）Ｕ－Ｎｅｔ構造よりも顕著に高い数値である。また、単にマルチスケール拡張（Ｍｕｌｔｉ－ｓｃａｌｅ Ｄｉｌａｔｅｄ）Ｕ－Ｎｅｔ構造に境界改善モジュールを追加するかまたは本開示に係る補助分類モデル３３０を追加した結果よりも高い結果を示すことができた。
Referring to Table 1, image segmentation using the
また、組織領域およびストラット領域に対するｄｉｃｅ ｃｏｅｆｆｉｃｉｅｎｔも０．９３２、０．８５２を示しており、手作業結果と非常に高いレベルの一致度を示すことを確認することができた。また、ストラットを覆っている新生内膜の厚さに応じた性能評価も行っており、新生内膜の増殖が多い場合にも約８５％以上の性能を示すことを確認することができた。 Also, the dice coefficients for the tissue region and the strut region were 0.932 and 0.852, and it could be confirmed that the manual results and the very high level of agreement were shown. In addition, performance evaluation was also conducted according to the thickness of the neointima covering the struts, and it was confirmed that performance of about 85% or more was exhibited even when the neointima proliferated extensively.
一方、本開示の幾つかの実施形態によれば、画像分割装置１０００は、分割モデル３００を用いて出力された最終データおよび入力データを用いて、３次元レンダリングを行うことができる。以下、図６および図７を通じて本開示に係るプロセッサ２００が３次元レンダリングを行った一例を説明する。
On the other hand, according to some embodiments of the present disclosure, the
図６は、本開示の幾つかの実施形態による画像分割装置が行った３次元レンダリング結果の一例を説明するための図である。 FIG. 6 is a diagram for explaining an example of a 3D rendering result performed by an image segmentation device according to some embodiments of the present disclosure.
本開示の幾つかの実施形態によれば、画像分割装置１０００のプロセッサ２００は、分割モデル３００を用いて出力された最終データおよび入力データを用いて、新生内膜増殖２Ｄマップを生成することができる。一例として、図６の（ａ）は、ステントが挿入された場合、ステントおよび新生内膜の増殖程度を２Ｄマップで示した結果であってもよい。
According to some embodiments of the present disclosure, the
一方、画像分割装置１０００のプロセッサ２００は、分割モデル３００に入力データを入力して出力された最終データおよび入力データを用いて生成した３次元レンダリングを行うことができる。一例として、図６の（ｂ）は、プロセッサ２００が最終データおよび入力データを用いて再構成した血管の３次元画面であってもよい。
On the other hand, the
一方、図６の（ｃ）を参照すれば、画像分割装置１０００のプロセッサ２００は、生分解性ステントの挿入後の週次による新生内膜の増殖に対する程度を定量測定比較できるようにグラフを生成してもよい。ただし、これに限定されるものではない。
On the other hand, referring to (c) of FIG. 6, the
図７は、本開示の幾つかの実施形態による画像分割装置が行った３次元レンダリング結果の他の一例を説明するための図である。 FIG. 7 is a diagram for explaining another example of the 3D rendering result performed by the image segmentation device according to some embodiments of the present disclosure.
画像分割装置１０００のプロセッサ２００は、分割モデル３００に入力データを入力して出力された最終データおよび入力データを用いて生成した３次元レンダリングを行うことができる。この場合、プロセッサ２００は、画像分割装置１０００のディスプレイ部を介して３次元レンダリング結果をユーザに提供することができる。
The
一例として、図７は、プロセッサ２００が最終データおよび入力データを用いて血管およびステントに対して３次元レンダリングを行った後にユーザに提供する画面であってもよい。
As an example, FIG. 7 may be a screen presented to the user after
図８は、本開示内容の実施形態が実現可能な例示的なコンピューティング環境に対する一般的な概略図である。 FIG. 8 is a general schematic diagram of an exemplary computing environment in which embodiments of the present disclosure may be implemented.
本開示内容が一般的に一つ以上のコンピュータ上で実行可能なコンピュータ実行可能命令語と関連して前述されたが、当業者であれば、本開示内容がその他のプログラムモジュールと結合され、および／またはハードウェアとソフトウェアの組み合わせとして実現可能であることは周知である。 Although the disclosure has been described generally above in connection with computer-executable instructions executable on one or more computers, those skilled in the art will appreciate that the disclosure may be combined with other program modules, and /or it is well known that it can be implemented as a combination of hardware and software.
一般的に、本明細書におけるモジュールは、特定のタスクを実行するかまたは特定の抽象データ類型を実現するルーチン、手順、プログラム、コンポーネント、データ構造、その他のものを含む。また、当業者であれば、本開示の方法が単一プロセッサまたはマルチプロセッサコンピュータシステム、ミニコンピュータ、メインフレームコンピュータはもちろん、パーソナルコンピュータ、ハンドヘルドコンピューティング装置、マイクロプロセッサ基盤またはプログラム可能な家電製品、その他のもの（これらのそれぞれは、一つ以上の関連装置と連結されて動作することができる）をはじめとする他のコンピュータシステム構成で実施可能であることは周知である。 Generally, modules herein include routines, procedures, programs, components, data structures, etc. that perform particular tasks or implement particular abstract data types. Those skilled in the art will also appreciate that the methods of the present disclosure can be applied to single- or multi-processor computer systems, minicomputers, mainframe computers, as well as personal computers, handheld computing devices, microprocessor-based or programmable consumer electronics, and the like. (each of which can operate in conjunction with one or more associated devices), as well as other computer system configurations.
また、本開示の説明された実施形態は、あるタスクが通信ネットワークを介して連結されている遠隔処理装置により行われる分散コンピューティング環境で実施されることができる。分散コンピューティング環境において、プログラムモジュールは、ローカルおよび遠隔メモリ記憶装置の両方に位置することができる。 The described embodiments of the disclosure may also be practiced in distributed computing environments where certain tasks are performed by remote processing devices that are linked through a communications network. In a distributed computing environment, program modules may be located in both local and remote memory storage devices.
コンピュータは、通常、多様なコンピュータ読み取り可能な媒体を含む。コンピュータによりアクセス可能な媒体として、揮発性および不揮発性媒体、一時的（ｔｒａｎｓｉｔｏｒｙ）および非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）媒体、移動式および非移動式媒体を含む。非制限的な例として、コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な記憶媒体およびコンピュータ読み取り可能な伝送媒体を含むことができる。 A computer typically includes a variety of computer readable media. Computer-accessible media includes volatile and non-volatile media, transitory and non-transitory media, mobile and non-transitory media. By way of non-limiting example, computer readable media may comprise computer readable storage media and computer readable transmission media.
コンピュータ読み取り可能な記憶媒体は、コンピュータ読み取り可能な命令語、データ構造、プログラムモジュールまたはその他のデータのような情報を格納する任意の方法または技術で実現される揮発性および不揮発性媒体、一時的および非一時的媒体、移動式および非移動式媒体を含む。コンピュータ読み取り可能な記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤ－ＲＯＭ、ＤＶＤ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｋ）またはその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置またはその他の磁気記憶装置、またはコンピュータによりアクセス可能であるとともに所望の情報を格納するのに使用可能な任意のその他の媒体を含むが、これに限定されない。 Computer readable storage media includes volatile and nonvolatile media implemented in any method or technology for storage of information, such as computer readable instructions, data structures, program modules or other data, temporary and Includes non-transitory media, mobile and non-mobile media. The computer readable storage medium may be RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROM, DVD (digital video disk) or other optical disk storage, magnetic cassette, magnetic tape, magnetic disk storage or It includes, but is not limited to, other magnetic storage devices or any other medium that can be accessed by a computer and used to store desired information.
コンピュータ読み取り可能な伝送媒体は、通常、搬送波（ｃａｒｒｉｅｒ ｗａｖｅ）またはその他の伝送メカニズム（ｔｒａｎｓｐｏｒｔ ｍｅｃｈａｎｉｓｍ）のような被変調データ信号（ｍｏｄｕｌａｔｅｄ ｄａｔａ ｓｉｇｎａｌ）にコンピュータ読み取り可能な命令語、データ構造、プログラムモジュールまたはその他のデータなどを実現し、全ての情報伝達媒体を含む。被変調データ信号という用語は、信号内に情報をエンコードするようにその信号の特性のうち一つ以上を設定または変更させた信号を意味する。非制限的な例として、コンピュータ読み取り可能な伝送媒体は、有線ネットワークまたは直接有線接続（ｄｉｒｅｃｔ－ｗｉｒｅｄ ｃｏｎｎｅｃｔｉｏｎ）のような有線媒体、そして音響、ＲＦ、赤外線、その他の無線媒体のような無線媒体を含む。上述した媒体のうち任意のものの組み合わせも、コンピュータ読み取り可能な伝送媒体の範囲内に含まれるものとする。 Computer readable transmission media typically embody computer readable instructions, data structures, program modules or programs in a modulated data signal such as a carrier wave or other transport mechanism. other data, etc., and includes all information delivery media. The term modulated data signal means a signal that has one or more of its characteristics set or changed in such a manner as to encode information in the signal. By way of non-limiting example, computer readable transmission media include wired media such as a wired network or direct-wired connection, and wireless media such as acoustic, RF, infrared and other wireless media. include. Combinations of any of the above-described media should also be included within the scope of computer-readable transmission media.
コンピュータ１１０２を含む本開示の多様な側面を実現する例示的な環境１１００が示されており、コンピュータ１１０２は、処理装置１１０４、システムメモリ１１０６およびシステムバス１１０８を含む。システムバス１１０８は、システムメモリ１１０６（これに限定されない）をはじめとするシステムコンポーネントを処理装置１１０４に連結させる。処理装置１１０４は、多様な商用プロセッサのうち任意のプロセッサであってもよい。デュアルプロセッサおよびその他のマルチプロセッサアーキテクチャも、処理装置１１０４として用いられることができる。
An exemplary environment 1100 for implementing various aspects of the present disclosure is shown including a
システムバス１１０８は、メモリバス、周辺装置バス、および多様な商用バスアーキテクチャのうち任意のものを用いるローカルバスにさらに互いに連結可能な幾つかの類型のバス構造のうち任意のものであってもよい。システムメモリ１１０６は、読み取り専用メモリ（ＲＯＭ）１１１０およびランダムアクセスメモリ（ＲＡＭ）１１１２を含む。基本入力／出力システム（ＢＩＯＳ）は、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの不揮発性メモリ１１１０に格納され、このＢＩＯＳは、始動中のようなときにコンピュータ１１０２内の構成要素間に情報を伝送することを手伝う基本的なルーチンを含む。また、ＲＡＭ１１１２は、データをキャッシングするための静的ＲＡＭなどの高速ＲＡＭを含むことができる。
また、コンピュータ１１０２は、内蔵型ハードディスクドライブ（ＨＤＤ）１１１４（例えば、ＥＩＤＥ、ＳＡＴＡ）－この内蔵型ハードディスクドライブ１１１４は、また、適したシャシ（図示せず）内で外装型用途として構成されてもよい－、磁気フロッピーディスクドライブ（ＦＤＤ）１１１６（例えば、移動式ディスケット１１１８から読み取りをするかまたはそれに書き込みをするためのものである）、および光ディスクドライブ１１２０（例えば、ＣＤ－ＲＯＭディスク１１２２を読み取りするか、ＤＶＤなどのその他の高容量光媒体から読み取りをするか、またはそれに書き込みをするためのものである）を含む。ハードディスクドライブ１１１４、磁気ディスクドライブ１１１６および光ディスクドライブ１１２０は、それぞれハードディスクドライブインターフェース１１２４、磁気ディスクドライブインターフェース１１２６および光ドライブインターフェース１１２８によりシステムバス１１０８に連結されることができる。外付けドライブを実現するためのインターフェース１１２４は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）およびＩＥＥＥ １３９４インターフェース技術のうち少なくとも一つまたは両方を含む。
これらのドライブおよびそれと関連したコンピュータ読み取り可能な媒体は、データ、データ構造、コンピュータ実行可能命令語、その他の不揮発性格納を提供する。コンピュータ１１０２の場合、ドライブおよび媒体は、任意のデータを適当なデジタル形式で格納することに対応する。上記でのコンピュータ読み取り可能な記憶媒体に関する説明が、ＨＤＤ、移動式磁気ディスク、およびＣＤまたはＤＶＤなどの移動式光媒体を言及しているが、当業者であれば、ジップドライブ（ｚｉｐ ｄｒｉｖｅ）、磁気カセット、フラッシュメモリカード、カートリッジ、その他のコンピュータにより読み取り可能な他類型の記憶媒体も例示的なオペレーティング環境で用いられることができ、また、任意のこのような媒体が本開示の方法を実行するためのコンピュータ実行可能命令語を含み得ることは周知である。
These drives and their associated computer-readable media provide nonvolatile storage of data, data structures, computer-executable instructions, and other information. In the case of the
オペレーティングシステム１１３０、一つ以上のアプリケーションプログラム１１３２、その他のプログラムモジュール１１３４およびプログラムデータ１１３６をはじめとする多数のプログラムモジュールがドライブおよびＲＡＭ１１１２に格納されることができる。オペレーティングシステム、アプリケーション、モジュールおよび／またはデータの全部またはその一部がまたＲＡＭ１１１２にキャッシングされることができる。本開示が種々の商業的に利用可能なオペレーティングシステムまたはオペレーティングシステムの組み合わせで実現可能であることは周知である。
A number of program modules can be stored in the drives and
ユーザは、一つ以上の有線／無線入力装置、例えば、キーボード１１３８およびマウス１１４０などのポインティング装置を介してコンピュータ１１０２に命令および情報を入力することができる。その他の入力装置（図示せず）としては、マイク、ＩＲリモコン、ジョイスティック、ゲームパッド、スタイラスペン、タッチスクリーン、その他のものが挙げられる。これらおよびその他の入力装置がシステムバス１１０８に連結されている入力装置インターフェース１１４２を介して処理装置１１０４に連結されることが多いが、並列ポート、ＩＥＥＥ １３９４直列ポート、ゲームポート、ＵＳＢポート、ＩＲインターフェース、その他のインターフェースにより連結されてもよい。
A user can enter commands and information into the
モニタ１１４４または他類型のディスプレイ装置も、ビデオアダプタ１１４６などのインターフェースを介してシステムバス１１０８に連結される。モニタ１１４４に加え、コンピュータは、一般的にスピーカ、プリンタ、その他の周辺出力装置（図示せず）を含む。
A
コンピュータ１１０２は、有線および／または無線通信を介した遠隔コンピュータ１１４８などの一つ以上の遠隔コンピュータへの論理的連結を用いてネットワーク化された環境で動作することができる。遠隔コンピュータ１１４８は、ワークステーション、サーバコンピュータ、ルータ、パーソナルコンピュータ、携帯用コンピュータ、マイクロプロセッサ基盤の娯楽機器、ピア装置またはその他の通常のネットワークノードであってもよく、一般的にコンピュータ１１０２に対して記述された構成要素の多数またはその全部を含むが、簡略性のために、メモリ記憶装置１１５０のみが示されている。示されている論理的連結は、近距離通信網（ＬＡＮ）１１５２および／またはさらに大きいネットワーク、例えば、遠距離通信網（ＷＡＮ）１１５４への有線／無線連結を含む。このようなＬＡＮおよびＷＡＮネットワーキング環境は、事務室および会社で一般的なものであり、イントラネットなどの企業規模のコンピュータネットワーク（ｅｎｔｅｒｐｒｉｓｅ－ｗｉｄｅ ｃｏｍｐｕｔｅｒ ｎｅｔｗｏｒｋ）を容易にし、これらの全ては、全世界コンピュータネットワーク、例えば、インターネットに連結されることができる。
ＬＡＮネットワーキング環境で用いられる際に、コンピュータ１１０２は、有線および／または無線通信ネットワークインターフェースまたはアダプタ１１５６を介してローカルネットワーク１１５２に連結される。アダプタ１１５６は、ＬＡＮ１１５２への有線または無線通信を容易にすることができ、また、このＬＡＮ１１５２は、無線アダプタ１１５６と通信するためにそれに設けられている無線アクセスポイントを含んでいる。ＷＡＮネットワーキング環境で用いられる際に、コンピュータ１１０２は、モデム１１５８を含むか、ＷＡＮ１１５４上の通信サーバに連結されるか、またはインターネットを媒介するなど、ＷＡＮ１１５４を介して通信を設定するその他の手段を有する。内蔵型または外装型および有線または無線装置であってもよいモデム１１５８は、直列ポートインターフェース１１４２を介してシステムバス１１０８に連結される。ネットワーク化された環境において、コンピュータ１１０２について説明されたプログラムモジュールまたはその一部が遠隔メモリ／記憶装置１１５０に格納されることができる。示されたネットワーク連結は例示的なものであり、コンピュータの間に通信リンクを設定するその他の手段が使用可能であることは周知である。
When used in a LAN networking environment,
コンピュータ１１０２は、無線通信で配置されて動作する任意の無線装置または個体、例えば、プリンタ、スキャナ、デスクトップおよび／または携帯用コンピュータ、ＰＤＡ（ｐｏｒｔａｂｌｅ ｄａｔａ ａｓｓｉｓｔａｎｔ）、通信衛星、無線検出可能タグと関連した任意の装置または場所、および電話と通信をする動作をする。これは、少なくともＷｉ－Ｆｉおよびブルートゥース（登録商標）無線技術を含む。したがって、通信は、従来のネットワークのように予め定義された構造であるか、または単に少なくとも２個の装置間のアドホック通信（ａｄ ｈｏｃ ｃｏｍｍｕｎｉｃａｔｉｏｎ）であってもよい。
Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）は、有線がなくてもインターネットなどへの連結を可能にする。Ｗｉ－Ｆｉは、このような装置、例えば、コンピュータが室内および室外で、すなわち、基地局の通話圏内のいなかる所でもデータを送信および受信できるようにするセル電話のような無線技術である。Ｗｉ－Ｆｉネットワークは、安全且つ信頼性があるとともに高速の無線連結を提供するために、ＩＥＥＥ ８０２．１１（ａ、ｂ、ｇ、その他）という無線技術を用いる。コンピュータを互いに、インターネットにおよび有線ネットワーク（ＩＥＥＥ ８０２．３またはイーサネットを用いる）に連結させるためにＷｉ－Ｆｉが用いられることができる。Ｗｉ－Ｆｉネットワークは、非認可２．４および５ＧＨｚ無線帯域において、例えば、１１Ｍｂｐｓ（８０２．１１ａ）または５４Ｍｂｐｓ（８０２．１１ｂ）データレートで動作するか、または両帯域（デュアル帯域）を含む製品にて動作することができる。 Wi-Fi (Wireless Fidelity) enables connection to the Internet without wires. Wi-Fi is a wireless technology, like a cell phone, that allows such devices, eg computers, to send and receive data indoors and outdoors, ie anywhere within the range of a base station. Wi-Fi networks use IEEE 802.11 (a, b, g, etc.) radio technologies to provide secure, reliable, and fast wireless connectivity. Wi-Fi can be used to link computers to each other, to the Internet, and to wired networks (using IEEE 802.3 or Ethernet). Wi-Fi networks operate in the unlicensed 2.4 and 5 GHz radio bands, e.g. can work with
本開示の技術分野における通常の知識を有するものであれば、これに開示された実施形態と関連して説明された多様な例示的な論理ブロック、モジュール、プロセッサ、手段、回路およびアルゴリズムステップが電子ハードウェア、（便宜上、ここでは「ソフトウェア」と称される）多様な形態のプログラムまたは設計コードまたはこれらの全ての結合により実現可能であることを理解することができる。ハードウェアおよびソフトウェアのこのような互換性を明らかに説明するために、多様な例示的なコンポーネント、ブロック、モジュール、回路およびステップがこれらの機能と関連して上記で一般的に説明された。このような機能がハードウェアまたはソフトウェアとして実現されるか否かは、特定のアプリケーションおよび全体システムに対して課される設計制約により左右される。本開示の技術分野における通常の知識を有する者であれば、それぞれの特定のアプリケーションに対して多様な方式で説明された機能を実現することができるが、このような実現の決定は、本開示の範囲から外れるものとして解釈してはならない。 A person of ordinary skill in the art of the present disclosure will understand that the various exemplary logic blocks, modules, processors, means, circuits and algorithm steps described in connection with the embodiments disclosed herein can be It can be understood that it can be implemented in hardware, various forms of program or design code (referred to herein as "software" for convenience), or a combination of all of these. To clearly illustrate such interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps have been generally described above in connection with their functionality. Whether such functionality is implemented as hardware or software depends on the particular application and design constraints imposed on the overall system. Those of ordinary skill in the art of the present disclosure may implement the described functionality in varying ways for each particular application, but such implementation decisions are subject to the disclosure. should not be interpreted as being outside the scope of
これに提示された多様な実施形態は、方法、装置、または標準プログラミングおよび／またはエンジニアリング技術を用いた製造物品（ａｒｔｉｃｌｅ）で実現されることができる。用語「製造物品」は、任意のコンピュータ読み取り可能な装置からアクセス可能なコンピュータプログラムまたは媒体（ｍｅｄｉａ）を含む。例えば、コンピュータ読み取り可能な記憶媒体は、磁気記憶装置（例えば、ハードディスク、フロッピーディスク、磁気ストリップなど）、光学ディスク（例えば、ＣＤ、ＤＶＤなど）、スマートカード、およびフラッシュメモリ装置（例えば、ＥＥＰＲＯＭ、カード、スティック、キードライブなど）を含むが、これらに制限されるものではない。用語「機械読み取り可能な媒体」は、命令および／またはデータを格納、保有、および／または伝達可能な無線チャネルおよび多様な他の媒体を含むが、これらに制限されるものではない。 The various embodiments presented herein can be implemented in methods, apparatus, or articles of manufacture using standard programming and/or engineering techniques. The term "article of manufacture" includes a computer program or media accessible from any computer-readable device. For example, computer-readable storage media include magnetic storage devices (e.g., hard disks, floppy disks, magnetic strips, etc.), optical discs (e.g., CDs, DVDs, etc.), smart cards, and flash memory devices (e.g., EEPROM, cards, etc.). , sticks, key drives, etc.). The term "machine-readable medium" includes, but is not limited to, wireless channels and various other mediums capable of storing, carrying and/or transmitting instructions and/or data.
提示されたプロセスに存在するステップの特定の順序または階層構造は、例示的な接近の一例であることを理解しなければならない。設計の優先順位に基づいて、本開示の範囲内で、プロセスに存在するステップの特定の順序または階層構造が再配列可能であることを理解しなければならない。添付された方法の請求項はサンプル順に多様なステップのエレメントを提供するが、提示された特定の順序または階層構造に限定されることを意味しない。 It should be understood that the specific order or hierarchy of steps present in the processes presented is an example of exemplary approaches. Based on design preferences, it is understood that the specific order or hierarchy of steps present in the processes may be rearranged while remaining within the scope of the present disclosure. The accompanying method claims present elements of the various steps in a sample order, and are not meant to be limited to the specific order or hierarchy presented.
提示された実施形態に関する説明は、任意の本開示の技術分野における通常の知識を有する者が本開示を利用または実施できるように提供される。このような実施形態に対する多様な変形は、本開示の技術分野における通常の知識を有する者に明らかなものであり、これに定義された一般的な原理は、本開示の範囲から外れずに他の実施形態に適用されることができる。それにより、本開示は、これに提示された実施形態に限定されるものではなく、これに提示された原理および新規の特徴と一貫する最も広義の範囲で解釈しなければならない。 The description of the presented embodiments is provided to enable any person of ordinary skill in the art of the disclosure to make or use the disclosure. Various modifications to such embodiments will be apparent to those skilled in the art of this disclosure, and the general principles defined herein may be applied to other modifications without departing from the scope of this disclosure. can be applied to the embodiment of Accordingly, this disclosure is not to be limited to the embodiments presented herein, but should be construed in its broadest scope consistent with the principles and novel features presented herein.
Claims (9)
前記分割モデルに入力データを入力し、前記入力データにおいて少なくとも一つの既に設定されたオブジェクトを分割する少なくとも一つのプロセッサ；
を含み、
前記分割モデルは、
前記入力データの次元を減少させる少なくとも一つの次元減少ブロックを含むエンコーダ；
前記少なくとも一つの次元減少ブロックから出力されるデータを用いて、前記エンコーダから出力される出力データの次元を増加させる少なくとも一つの次元増加ブロックを含むデコーダ；および
前記出力データの入力を受け、前記出力データに特定のオブジェクトが含まれているか否かを認識する補助分類モデル；
を含み、
前記少なくとも一つの既に設定されたオブジェクトは、
生分解性ステント（ｓｔｅｎｔ）のストラット（ｓｔｒｕｔ）および組織（ｔｉｓｓｕｅ）のうち少なくとも一つを含み、
前記入力データは、
血管内光断層画像（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ、ＯＣＴ）の画像であり、
前記学習用画像は、
第１厚さを有するストラットで構成された第１生分解性ステントを含む複数の第１学習用画像；および
前記第１厚さとは異なる第２厚さを有するストラットで構成された第２生分解性ストラットを含む複数の第２学習用画像；
を含む、画像分割装置。 a storage unit for storing a segmentation model trained on the training image so as to segment at least one preconfigured object; and input data to the segmentation model, wherein at least one at least one processor that partitions two already configured objects;
including
The split model is
an encoder comprising at least one dimensionality reduction block for reducing the dimensionality of said input data;
a decoder including at least one dimensionality increase block for increasing the dimensionality of output data output from said encoder using data output from said at least one dimensionality reduction block; and receiving said output data input and said output. an auxiliary classification model that recognizes whether the data contains a particular object;
including
The at least one preconfigured object is
comprising at least one of a biodegradable stent strut and tissue;
The input data is
An intravascular optical tomography (Optical Coherence Tomography, OCT) image,
The learning image is
a plurality of first training images comprising a first biodegradable stent constructed of struts having a first thickness; and a second biodegradable stent constructed of struts having a second thickness different than the first thickness. a plurality of second training images containing sex struts;
An image segmentation device, comprising:
前記分割モデルを学習させる際に、前記補助分類モデルを介して前記学習用画像に前記特定のオブジェクトが含まれているか否かが認識できるように、前記エンコーダおよび前記補助分類モデルに含まれた重み値を最適化することと連動して、前記デコーダの最終特徴値マップに前記学習用画像に含まれた前記少なくとも一つの既に設定されたオブジェクトそれぞれが表現されるように、前記分割モデルに含まれた重み値を最適化する、請求項１に記載の画像分割装置。 The processor
Weights included in the encoder and the auxiliary classification model so that when learning the split model, it can be recognized via the auxiliary classification model whether or not the specific object is included in the learning image. In conjunction with optimizing the values included in the segmentation model such that each of the at least one preconfigured object included in the training image is represented in a final feature value map of the decoder. 2. The image segmentation device according to claim 1, wherein the weight values are optimized.
前記少なくとも一つの既に設定されたオブジェクトそれぞれがラベリングされた画像をランダムクロップしたパッチを少なくとも一つ以上含む、請求項２に記載の画像分割装置。 The learning image is
3. The image segmentation device according to claim 2, wherein each of said at least one pre-set object includes at least one or more patches obtained by randomly cropping a labeled image.
前記少なくとも一つの既に設定されたオブジェクトそれぞれと関連した領域分割のための境界が改善されるように、最終分類演算に入力される最終特徴マップを調整する境界改善モジュール；
をさらに含む、請求項１に記載の画像分割装置。 The final output of the decoder is
a boundary improvement module for adjusting a final feature map input to a final classification operation such that a boundary for segmentation associated with each of said at least one pre-configured object is improved;
2. The image segmentation device of claim 1, further comprising:
少なくとも一つの畳み込み層およびソフトマックス活性化関数による演算を含む、請求項４に記載の画像分割装置。 The final classification operation comprises:
5. The image segmentation apparatus of claim 4, comprising operations with at least one convolutional layer and a softmax activation function.
残差ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）構造を有する、請求項４に記載の画像分割装置。 The boundary improvement module comprises:
5. Image segmentation apparatus according to claim 4, having a residual block structure.
互いに異なる拡張比率（ｄｉｌａｔｉｏｎ ｒａｔｅ）を有する複数の畳み込み層が並列的に配置され、残差接続（ｒｅｓｉｄｕａｌ ｃｏｎｎｅｃｔｉｏｎ）が含まれたマルチスケール拡張残差ブロック（ｍｕｌｔｉ－ｓｃａｌｅ ｄｉｌａｔｅｄ ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を含む、請求項１に記載の画像分割装置。 The at least one dimensionality reduction block and the at least one dimensionality increase block are
A plurality of convolutional layers with different dilation rates are arranged in parallel and include a multi-scale dilated residual block containing a residual connection. Item 2. The image dividing device according to item 1.
過剰適合を防止するためのドロップアウト層（ｄｒｏｐｏｕｔ ｌａｙｅｒ）を含む、請求項１に記載の画像分割装置。 A dimension-reduced block arranged in a final layer among the at least one dimension-reduced block,
2. The image segmentation apparatus of claim 1, including a dropout layer to prevent overfitting.
前記分割モデルに前記入力データを入力して出力された最終データおよび前記入力データを用いて３次元レンダリングを行う、請求項１に記載の画像分割装置。 The processor
2. The image segmentation apparatus according to claim 1, wherein said input data is input to said segmentation model and final data output and said input data are used to perform three-dimensional rendering.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2021-0033568 | 2021-03-15 | ||
| KR20210033568 | 2021-03-15 | ||
| KR1020210058636A KR102338913B1 (en) | 2021-03-15 | 2021-05-06 | Deep learning based image segmentation method including biodegradable stent in intravascular optical tomography image |
| KR10-2021-0058636 | 2021-05-06 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7106785B1 true JP7106785B1 (en) | 2022-07-27 |
| JP2022141619A JP2022141619A (en) | 2022-09-29 |
Family
ID=78902625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022040272A Active JP7106785B1 (en) | 2021-03-15 | 2022-03-15 | Deep learning-based image segmentation method including biodegradable stent in intravascular optical tomography |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7106785B1 (en) |
| KR (1) | KR102338913B1 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115052148B (en) * | 2022-07-21 | 2023-04-25 | 南昌工程学院 | Image compression algorithm based on model segmentation compression self-encoder |
| KR102655359B1 (en) | 2023-12-29 | 2024-04-05 | 주식회사 더매트릭스 | Server, system, method and program providing inpainting service using generative ai model |
| KR102662411B1 (en) | 2024-01-19 | 2024-04-30 | 주식회사 더매트릭스 | Server, system, method and program providing dynamic object tracking, inpainting and outpainting service using generative ai model |
| KR102657627B1 (en) | 2024-01-19 | 2024-04-17 | 주식회사 더매트릭스 | Servers, systems, methods, and programs that provide color recommendation and image generation services using generative ai models |
| KR102661488B1 (en) | 2024-01-19 | 2024-04-26 | 주식회사 더매트릭스 | Servers, systems, methods and programs that provide special effect creation and 3d model creation services using generative ai models |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015150369A (en) | 2014-02-19 | 2015-08-24 | 株式会社ワイディ | Stent detector, stent image display device, stent detecting program, and stent detecting method |
| CN106875445A (en) | 2017-02-15 | 2017-06-20 | 深圳市中科微光医疗器械技术有限公司 | Support detection and the deep learning method and system assessed based on OCT images |
| JP2018519018A (en) | 2015-05-17 | 2018-07-19 | ライトラボ・イメージング・インコーポレーテッド | Intravascular imaging system interface and stent detection method |
| US20200226422A1 (en) | 2019-01-13 | 2020-07-16 | Lightlab Imaging, Inc. | Systems and methods for classification of arterial image regions and features thereof |
-
2021
- 2021-05-06 KR KR1020210058636A patent/KR102338913B1/en active IP Right Grant
-
2022
- 2022-03-15 JP JP2022040272A patent/JP7106785B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015150369A (en) | 2014-02-19 | 2015-08-24 | 株式会社ワイディ | Stent detector, stent image display device, stent detecting program, and stent detecting method |
| JP2018519018A (en) | 2015-05-17 | 2018-07-19 | ライトラボ・イメージング・インコーポレーテッド | Intravascular imaging system interface and stent detection method |
| CN106875445A (en) | 2017-02-15 | 2017-06-20 | 深圳市中科微光医疗器械技术有限公司 | Support detection and the deep learning method and system assessed based on OCT images |
| US20200226422A1 (en) | 2019-01-13 | 2020-07-16 | Lightlab Imaging, Inc. | Systems and methods for classification of arterial image regions and features thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022141619A (en) | 2022-09-29 |
| KR102338913B1 (en) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7106785B1 (en) | Deep learning-based image segmentation method including biodegradable stent in intravascular optical tomography | |
| US11227364B2 (en) | Computer-implemented method using convolutional neural network, apparatus for generating composite image, and computer-program product | |
| Moitra et al. | Classification of non-small cell lung cancer using one-dimensional convolutional neural network | |
| Harangi et al. | Assisted deep learning framework for multi-class skin lesion classification considering a binary classification support | |
| CN111767979A (en) | Neural network training method, image processing method, and image processing apparatus | |
| US20200327309A1 (en) | Image processing method and system | |
| US11816870B2 (en) | Image processing method and device, neural network and training method thereof, storage medium | |
| CN110276741B (en) | Method and device for nodule detection and model training thereof and electronic equipment | |
| KR102450409B1 (en) | Method for segmentation based on medical image | |
| Emuoyibofarhe et al. | Early Skin Cancer Detection Using Deep Convolutional Neural Networks on Mobile Smartphone. | |
| KR20220107940A (en) | Method for measuring lesion of medical image | |
| Shin et al. | A novel method for fashion clothing image classification based on deep learning | |
| Provath et al. | Classification of lung and colon cancer histopathological images using global context attention based convolutional neural network | |
| Prezja et al. | Improving performance in colorectal cancer histology decomposition using deep and ensemble machine learning | |
| KR20220074442A (en) | Method for providing information to determine disease | |
| KR102546175B1 (en) | Method for training neural network model performing face swap | |
| US11972574B2 (en) | Deep learning based image segmentation method including biodegradable stent in intravascular optical tomography image | |
| US20240221171A1 (en) | Deep learning based image segmentation method including biodegradable stent in intravascular optical tomography image | |
| Calimeri et al. | Blood vessel segmentation in retinal fundus images using Hypercube NeuroEvolution of augmenting topologies (HyperNEAT) | |
| KR102672710B1 (en) | Apparatus and method for synthesizing endoscopic image | |
| KR102568310B1 (en) | Methods for analyzing images | |
| KR102501793B1 (en) | Method for constructing dataset | |
| US12026873B2 (en) | Bone age assessment method for bone image | |
| EP4213159A1 (en) | Method for detecting abnormal finding in medical image and generating report | |
| US20210398280A1 (en) | Bone age assessment method for bone image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220318 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220318 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220601 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7106785 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |