JP2022543547A

JP2022543547A - Image processing method and device, electronic equipment, storage medium and program product

Info

Publication number: JP2022543547A
Application number: JP2022505271A
Authority: JP
Inventors: ジュオウェイリー; チンシア
Original assignee: シャンハイセンスタイムインテリジェントテクノロジーカンパニーリミテッド
Priority date: 2020-07-14
Filing date: 2021-02-05
Publication date: 2022-10-13
Also published as: CN111882527A; TW202203151A; KR20220028011A; CN114494221A; WO2022012038A1; CN111882527B

Abstract

本発明の実施例は、画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品に関する。前記画像処理方法は、目標対象を含む目標画像を取得することと、前記目標画像を分割して、前記目標画像内の少なくとも１つの画素点の名称を分割結果として取得することと、前記分割結果に従って、前記目標対象内の少なくとも１つの目標サブ対象の名称を決定することと、を含む。【選択図】図１Embodiments of the present invention relate to image processing methods and apparatuses, electronic devices, storage media, and program products. The image processing method includes: obtaining a target image including a target object; dividing the target image to obtain a name of at least one pixel point in the target image as a division result; determining a name for at least one target sub-object within the target object according to the method. [Selection drawing] Fig. 1

Description

［関連出願への相互参照］
本願は、２０２０年０７月１４日に中国特許局に提出された、出願番号が２０２０１０６７４６７５．Ｘである中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が引用によって本願に組み込まれる。
［技術分野］
本発明は、画像処理技術分野に関し、特に、画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品に関する。 [Cross reference to related application]
This application is filed with the Patent Office of China on Jul. 14, 2020, with application number 202010674675. X is filed based on the Chinese patent application, claiming priority of the Chinese patent application, and the entire content of the Chinese patent application is incorporated herein by reference.
[Technical field]
The present invention relates to the technical field of image processing, and more particularly to an image processing method and apparatus, electronic equipment, storage media, and program products.

心血管疾患と脳血管疾患は、現在最も致命的な疾患の１つであり、その中でも冠状動脈性心臓病の発症率は最も高い。冠状動脈性心臓病は、冠状動脈内腔の狭窄をもたらすアテローム性動脈硬化によって引き起こされ、心筋への不十分な血液供給をもたらし、一連の臨床症状を引き起こす。 Cardiovascular and cerebrovascular diseases are currently among the most deadly diseases, among which coronary heart disease has the highest incidence. Coronary heart disease is caused by atherosclerosis resulting in narrowing of the lumen of the coronary arteries, resulting in inadequate blood supply to the myocardium and a range of clinical symptoms.

冠状動脈性心臓病の分析において、病変の位置と医療報告書の説明の分析は、冠動脈中心線の命名に依存する必要があることが多い。 In the analysis of coronary heart disease, the analysis of lesion location and medical report descriptions often needs to rely on the nomenclature of the coronary centerline.

本発明の実施例は、画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品を提案する。 Embodiments of the present invention propose an image processing method and apparatus, an electronic device, a storage medium, and a program product.

本発明の実施例の１つの態様によれば、画像処理方法を提供し、前記画像処理方法は、
目標対象を含む目標画像を取得することと、前記目標画像を分割して、前記目標画像内の少なくとも１つの画素点の名称を分割結果として取得することと、前記分割結果に従って、前記目標対象内の少なくとも１つの目標サブ対象の名称を決定することと、を含む。 According to one aspect of an embodiment of the present invention, there is provided an image processing method, the image processing method comprising:
obtaining a target image including a target object; segmenting the target image to obtain a name of at least one pixel point in the target image as a segmentation result; determining a name for at least one target sub-object of .

１つの可能な実施形態において、前記目標画像を分割して、前記目標画像内の少なくとも１つの画素点の名称を分割結果として取得することは、前記目標画像をニューラルネットワークに入力することと、前記ニューラルネットワークの出力に従って、前記目標画像内の少なくとも１つの画素点の名称を前記分割結果として決定することと、を含み、ここで、前記ニューラルネットワークは、前記目標対象を含む訓練画像によって訓練され、前記訓練画像内の目標対象は、少なくとも１つの目標サブ対象の名称によって注釈される。このように、ニューラルネットワークを介して目標画像への分割を実現できるため、分割の安定性、効率及び精度を効果的に向上させ、画像処理の安定性、効率及び精度を向上させることができる。また、ニューラルネットワークは、訓練画像に含まれた目標サブ対象の名称の実際の状況に応じて構造及び実施形態を柔軟に調整することができるため、キーポイント検出の柔軟性を向上させ、画像処理方法の柔軟性を向上させることができる。 In one possible embodiment, segmenting the target image to obtain the name of at least one pixel point in the target image as a segmentation result comprises inputting the target image to a neural network; determining the name of at least one pixel point in the target image as the segmentation result according to the output of a neural network, wherein the neural network is trained with training images containing the target object; A target object in the training images is annotated with the name of at least one target sub-object. In this way, the segmentation into the target image can be realized through the neural network, so that the stability, efficiency and accuracy of segmentation can be effectively improved, and the stability, efficiency and accuracy of image processing can be improved. In addition, the neural network can flexibly adjust its structure and embodiment according to the actual situation of the name of the target sub-object included in the training images, thus improving the flexibility of keypoint detection and image processing. Method flexibility can be improved.

１つの可能な実施形態において、前記目標対象を含む訓練画像によって前記ニューラルネットワークを訓練することは、前記訓練画像内の目標対象の注釈に従って、前記訓練画像内の少なくとも一部の画素点のラベルを決定することと、前記少なくとも一部の画素点のラベルを含む訓練画像によって、前記ニューラルネットワークを訓練することと、を含む。このように、訓練画像内の少なくとも一部の画素点のラベルを決定した後、少なくとも一部の画素点のラベルを含む訓練画像に従ってニューラルネットワークを訓練することができ、このようにして、注釈された訓練画像に基づいてニューラルネットワークを効果的に訓練して、分割と命名機能を備えた二ューラルネットワークを取得でき、これによって、画像処理の利便性を向上させることができる。 In one possible embodiment, training the neural network with training images containing the target objects includes labeling at least some pixel points in the training images according to annotations of target objects in the training images. and training the neural network with training images containing labels for the at least some pixel points. Thus, after determining the labels of at least some of the pixel points in the training images, a neural network can be trained according to the training images containing the labels of at least some of the pixel points, thus annotating A neural network can be effectively trained based on the training images obtained to obtain a neural network with segmentation and naming functions, which can improve the convenience of image processing.

１つの可能な実施形態において、前記目標対象を含む訓練画像によって前記ニューラルネットワークを訓練することは、前記訓練画像内の目標対象において、第１目標画素点に最も近い目標サブ対象を決定することであって、前記第１目標画素点は、前記訓練画像内の、前記目標対象以外の少なくとも１つの画素点であることと、決定された前記目標サブ対象の注釈を、前記第１目標画素点のラベルとして使用することと、前記第１目標画素点のラベル及び前記目標対象の注釈を含む訓練画像に従って、前記ニューラルネットワークを訓練することと、を含む。このようにして、目標対象の注釈を含む訓練画像に基づいて、密なラベルと完全な情報を含む訓練画像を取得して、ニューラルネットワークを訓練することができ、これによって、注釈の難易度を上げることなく、訓練によって得られるニューラルネットワークの精度を向上させ、分割結果の精度と最終的に取得される目標サブ対象の名称の精度を向上させることができ、画像処理の精度と利便性を向上させることができる。 In one possible embodiment, training the neural network with training images containing the target object comprises determining the target sub-object closest to a first target pixel point in the target object within the training image. wherein said first target pixel point is at least one pixel point in said training image other than said target object; using as labels; and training the neural network according to a training image containing labels of the first target pixel points and annotations of the target object. In this way, training images with dense labels and complete information can be obtained to train a neural network based on the training images containing the annotation of the target object, thereby increasing the difficulty of the annotation to It can improve the accuracy of the neural network obtained by training without increasing the accuracy, improve the accuracy of the segmentation result and the accuracy of the name of the target sub-object finally obtained, and improve the accuracy and convenience of image processing. can be made

１つの可能な実施形態において、前記分割結果に従って、前記目標対象内の少なくとも１つの目標サブ対象の名称を決定することは、前記分割結果に従って、少なくとも１つの第２目標画素点の名称を決定することであって、前記第２目標画素点は、前記目標サブ対象に含まれる画素点であることと、前記目標サブ対象の各前記第２目標画素点の名称を統計して、統計結果を取得し、前記統計結果における最大数の名称を前記目標サブ対象の名称として使用することと、を含む。上記のプロセスにより、目標画像内の一部の画素点の分割結果が不正確であっても、比率に基づいてより正確な目標サブ対象の名称を取得することができ、これによって、最終的に決定される目標サブ対象の名称の精度を向上させ、画像処理の精度を向上させることができる。 In one possible embodiment, determining the name of at least one target sub-object within the target object according to the segmentation result determines the name of at least one second target pixel point according to the segmentation result. wherein the second target pixel point is a pixel point included in the target sub-object, and the names of each of the second target pixel points of the target sub-object are statistically obtained to obtain statistical results. and using the name with the highest number in the statistical result as the name of the target sub-object. Through the above process, even if the segmentation result of some pixel points in the target image is inaccurate, it is possible to obtain a more accurate name of the target sub-object based on the ratio, thereby finally The accuracy of the determined target sub-object names can be improved, and the accuracy of image processing can be improved.

１つの可能な実施形態において、前記分割結果に従って、少なくとも１つの第２目標画素点の名称を決定することは、各前記第２目標画素点に対応する分割結果を各前記第２目標画素点の名称として使用すること、又は、各前記第２目標画素点の予め設定された範囲内の少なくとも１つの画素点の分割結果に基づいて、各前記第２目標画素点の名称を決定すること、を含む。このように、第２目標画素点の予め設定された範囲内の少なくとも１つの画素点の分割結果に基づいて、第２目標画素点の名称を決定することにより、支援機能を備えたこれらの画素点の分割結果を効果的に導入して第２目標画素点の名称を決定することができ、これによって、決定された第２目標画素点の名称の精度を向上させ、決定された目標サブ対象の名称の精度を向上させ、よって、画像処理の精度を向上させることができる。 In one possible embodiment, determining the name of at least one second target pixel point according to the segmentation result includes subdividing the segmentation result corresponding to each of the second target pixel points to each of the second target pixel points. or determining the name of each of the second target pixel points based on a segmentation result of at least one pixel point within a preset range of each of the second target pixel points. include. Thus, by determining the name of the second target pixel point based on the segmentation result of at least one pixel point within the preset range of the second target pixel point, these pixels with the assist function The point segmentation result can be effectively introduced to determine the name of the second target pixel point, thereby improving the accuracy of the name of the determined second target pixel point, and the determined target sub-object can improve the accuracy of the name of the image, thus improving the accuracy of the image processing.

１つの可能な実施形態において、前記画像処理方法は、少なくとも１つの前記目標サブ対象の名称に従って、前記目標対象を処理して、処理結果を取得することを更に含む。このように、少なくとも１つの目標サブ対象の名称に従って目標対象を処理して、処理結果を取得することにより、目標サブ対象の名称に従って目標対象を更に最適化することができ、前に目標画像を分割することによって取得された分割結果の精度が低いことにより、決定された名称に一定の誤差が生じる場合でも、処理によって修正することにより、より正確な処理結果を取得することができ、これによって、画像処理の精度とロバスト性を向上させる。 In one possible embodiment, the image processing method further comprises processing the target object according to the name of at least one of the target sub-objects to obtain a processing result. Thus, by processing the target object according to the name of at least one target sub-object and obtaining the processing result, the target object can be further optimized according to the name of the target sub-object, and previously the target image can be Even if there is a certain amount of error in the determined name due to the low accuracy of the division result obtained by division, it is possible to obtain a more accurate processing result by correcting it through processing. , to improve the accuracy and robustness of image processing.

１つの可能な実施形態において、前記少なくとも１つの前記目標サブ対象の名称に従って、前記目標対象を処理することは、前記目標対象から同じ名称を有する目標サブ対象を抽出すること、及び／又は、隣接する目標サブ対象の名称に従って、前記目標対象内の少なくとも１つの目標サブ対象の名称を修正すること、を含む。このようにして、不正確な分割による不正確な命名結果の発生を更に低減し、最終的に取得された処理結果の精度を向上させ、画像処理の精度とロバスト性を向上させることができる。 In one possible embodiment, processing the target objects according to the name of the at least one of the target sub-objects comprises extracting from the target objects target sub-objects with the same name and/or neighboring target sub-objects. modifying the name of at least one target sub-object within the target object according to the name of the target sub-object to be executed. In this way, the occurrence of incorrect naming results due to incorrect segmentation can be further reduced, the accuracy of the finally obtained processing results can be improved, and the accuracy and robustness of image processing can be improved.

１つの可能な実施形態において、前記目標画像は、心臓冠動脈マスク画像、又は、心臓冠動脈マスク画像及び心臓マスク画像を含み、前記目標対象は冠動脈中心線を含む。目標画像が心臓冠動脈マスク画像及び心臓マスク画像の両表を含む場合、マスク画像に基づいて分割することができ、これは、元の心臓冠動脈画像に基づく分割と比較して、後続の分割過程の入力環境を簡略化し、画像処理過程のノイズを低減する。また、心臓マスク画像によって、心臓の各心腔の情報を保持することもできるため、冠動脈のツリー構造情報及び血液供給位置情報を可能な限り同時に保持でき、これによって、後続の分割の難易度を低減し、分割結果及び最終的に決定された名称の精度を向上させる。 In one possible embodiment, the target image comprises a cardiac coronary artery mask image, or a cardiac coronary artery mask image and a cardiac mask image, and the target object comprises a coronary artery centerline. If the target image includes both a cardiac coronary artery mask image and a cardiac mask image table, it can be segmented based on the mask image, which is a significant advantage of the subsequent segmentation process compared to segmentation based on the original cardiac coronary artery image. Simplify the input environment and reduce noise in the image processing process. In addition, since the cardiac mask image can also hold the information of each chamber of the heart, the tree structure information of the coronary arteries and the blood supply position information can be held at the same time as much as possible, thereby reducing the difficulty of subsequent segmentation. and improve the accuracy of the segmentation results and final determined names.

本発明の実施例の１つの態様によれば、画像処理装置を提供し、前記画像処理装置は、
目標対象を含む目標画像を取得するように構成される目標画像取得モジュールと、前記目標画像を分割して、前記目標画像内の少なくとも１つの画素点の名称を分割結果として取得するように構成される分割モジュールと、前記分割結果に従って、前記目標対象内の少なくとも１つの目標サブ対象の名称を決定するように構成される命名モジュールと、を備える。 According to one aspect of an embodiment of the present invention, there is provided an image processing apparatus, the image processing apparatus comprising:
a target image acquisition module configured to acquire a target image including a target object; and a target image acquisition module configured to segment the target image to acquire the name of at least one pixel point in the target image as a segmentation result. and a naming module configured to determine a name of at least one target sub-object within the target object according to the segmentation result.

本発明の実施例の１つの態様によれば、電子機器を提供し、前記電子機器は、
プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、ここで、前記プロセッサは、前記メモリに記憶された命令を呼び出して実行することにより、上記の画像処理方法を実行するように構成される。 According to one aspect of an embodiment of the present invention, an electronic device is provided, the electronic device comprising:
a processor and a memory configured to store processor-executable instructions, wherein the processor invokes and executes the instructions stored in the memory to perform the image processing method described above. configured as

本発明の実施例の１つの態様によれば、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体を提供し、前記コンピュータプログラム命令がプロセッサによって実行されるときに、上記の画像処理方法を実現する。 According to one aspect of an embodiment of the present invention, there is provided a computer readable storage medium having computer program instructions stored thereon which, when executed by a processor, implement the image processing method described above. .

本発明の実施例の１つの態様によれば、コンピュータ可読コードを含むコンピュータプログラム製品を提供し、前記コンピュータ可読コードが電子機器で実行されるときに、前記電子機器のプロセッサに、上記の画像処理方法を実行させる。 According to one aspect of an embodiment of the present invention, there is provided a computer program product comprising computer readable code, said computer readable code, when executed in an electronic device, instructing a processor of said electronic device to perform the above image processing. carry out the method.

本発明の実施例によれば、目標対象を含む目標画像を取得し、目標画像を分割して目標画像内の少なくとも１つの画素点の名称を分割結果として取得し、これによって、分割結果に基づき目標対象内の少なくとも１つの目標サブ対象の名称を決定することができる。このようにして、目標画像内の、複数の目標サブ対象を含む目標対象の命名過程を、画素レベルの分割過程に変換することができ、これによって、命名過程の実現難易度を効果的に軽減するとともに命名の精度を向上させ、よって、画像処理過程のロバスト性を向上させる。 According to an embodiment of the present invention, a target image including a target object is obtained, the target image is segmented to obtain the name of at least one pixel point in the target image as a segmentation result, whereby based on the segmentation result A name of at least one target sub-object within the target object can be determined. In this way, the naming process of a target object, including multiple target sub-objects, in the target image can be transformed into a pixel-level segmentation process, thereby effectively reducing the implementation difficulty of the naming process. It also improves the naming accuracy and thus the robustness of the image processing process.

上記した一般的な説明および後述する詳細な説明は、単なる例示および説明に過ぎず、本発明の実施例を限定するものではないことを理解されたい。 It is to be understood that the foregoing general description and the following detailed description are exemplary and explanatory only and are not restrictive of example embodiments of the invention.

以下、図面を参照した例示的な実施例に対する詳細な説明によれば、本発明の実施例の他の特徴および態様は明らかになる。 Other features and aspects of embodiments of the present invention will become apparent from the following detailed description of exemplary embodiments with reference to the drawings.

ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本発明の実施例と一致する実施例を示し、明細書とともに本発明の実施例の技術的解決策を説明するために使用される。
本開示の実施例に係る画像処理方法のフローチャートを示す。本発明の実施例に係る、目標対象を抽出することを示す概略図を示す。本発明に係る１つの適用例の概略図を示す。本発明の実施例に係る画像処理装置のブロック図を示す。本発明の実施例に係る電子機器のブロック図を示す。本発明の実施例に係る電子機器のブロック図を示す。 The drawings herein are incorporated into and constitute a part of this specification, and these drawings show embodiments consistent with the embodiments of the present invention, and together with the description, the technical solution of the embodiments of the present invention. used to describe policies.
4 shows a flowchart of an image processing method according to an embodiment of the present disclosure; FIG. 4 shows a schematic diagram illustrating extracting a target object, according to an embodiment of the present invention; 1 shows a schematic diagram of one application according to the invention; FIG. 1 shows a block diagram of an image processing apparatus according to an embodiment of the present invention; FIG. 1 shows a block diagram of an electronic device according to an embodiment of the present invention; FIG. 1 shows a block diagram of an electronic device according to an embodiment of the present invention; FIG.

以下、本発明のさまざまな例示的な実施例、特徴及び態様を、図面を参照して詳細に説明する。図面における同じ参照番号は、同じまたは類似の機能の要素を表示する。実施例の様々な態様を図面に示したが、特に明記しない限り、縮尺通りに図面を描く必要がない。 Various exemplary embodiments, features, and aspects of the invention are described in detail below with reference to the drawings. The same reference numbers in the drawings indicate elements of the same or similar function. Although various aspects of the illustrative embodiments are illustrated in the drawings, the drawings are not necessarily drawn to scale unless specified otherwise.

明細書における「例示的」という専門の記載は、「例、実施例または説明として使用される」ことを意味する。ここで、「例示的」として記載される任意の実施例は、他の実施例より適切であるかまたは優れると解釈される必要はない。 The term "exemplary" in the specification means "serving as an example, example, or illustration." Any embodiment described herein as "exemplary" is not necessarily to be construed as suitable or superior to other embodiments.

本明細書における「及び／又は」という用語は、単に関連対象の関連関係を表し、３種類の関係が存在し得ることを示し、例えば、Ａ及び／又はＢは、Ａが独立で存在する場合、ＡとＢが同時に存在する場合、Ｂが独立で存在する場合のような３つの場合を表す。更に、本明細書における「少なくとも１つ」という用語は、複数のうちの１つ又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣで構成された集合から選択された任意の１つ又は複数の要素を含むことを示す。 As used herein, the term "and/or" simply refers to a related relationship of related subjects and indicates that three types of relationships may exist, e.g., A and/or B when A exists independently , where A and B exist simultaneously, and where B exists independently. Further, the term "at least one" herein refers to any combination of one of the plurality or at least two of the plurality, including, for example, at least one of A, B, C indicates that any one or more elements selected from the set consisting of A, B and C are included.

さらに、本発明の実施例をよりよく説明するために、以下の実施形態において、多数の詳細が与えられる。当業者は、本発明の実施例は特定の詳細なしにも実施できることを理解されたい。いくつかの具現例において、本発明の実施例の要旨を強調するために、当業者に周知の方法、手段、要素および回路について詳細に説明しない。 Furthermore, numerous details are given in the following embodiments to better explain the embodiments of the present invention. It should be understood by those skilled in the art that embodiments of the invention may be practiced without the specific details. In some implementations, methods, means, elements and circuits that are well known to those skilled in the art are not described in detail in order to emphasize the subject matter of embodiments of the present invention.

図１は、本発明の一実施例に係る画像処理方法のフローチャートを示し、当該方法は、画像処理装置に適用されることができ、画像処理装置は、端末機器、サーバ又は他の処理機器などであってもよい。ここで、端末機器は、ユーザ機器（ＵＥ：ＵｓｅｒＥｑｕｉｐｍｅｎｔ）、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話、携帯情報端末（ＰＤＡ：ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであってもよい。 FIG. 1 shows a flow chart of an image processing method according to an embodiment of the present invention, which can be applied to an image processing device, such as a terminal device, a server or other processing device. may be Here, the terminal equipment includes user equipment (UE: User Equipment), mobile equipment, user terminal, terminal, cellular telephone, cordless telephone, personal digital assistant (PDA: Personal Digital Assistant), handheld equipment, computing equipment, in-vehicle equipment , wearable devices, and the like.

いくつかの可能な実施形態において、当該画像処理方法は、プロセッサがメモリに記憶されたコンピュータ可読命令を呼び出す方式により実現することができる。図１に示されたように、前記画像処理方法は、次のステップを含み得る。 In some possible embodiments, the image processing method can be implemented by a processor calling computer readable instructions stored in memory. As shown in FIG. 1, the image processing method may include the following steps.

ステップＳ１１において、目標対象を含む目標画像を取得する。 In step S11, a target image containing the target object is acquired.

ステップＳ１２において、目標画像を分割して、目標画像内の少なくとも１つの画素点の名称を分割結果として取得する。 In step S12, the target image is segmented and the name of at least one pixel point in the target image is obtained as a segmentation result.

ステップＳ１３において、分割結果に従って、目標対象内の少なくとも１つの目標サブ対象の名称を決定する。 In step S13, determine the name of at least one target sub-object within the target object according to the segmentation result.

ここで、目標対象は、命名する必要のある任意の対象であってもよい。１つの可能な実施形態において、目標対象は、領域ごとまたはセグメントごとに命名する必要のある対象であってもよい。目標対象は、命名する必要のある複数のセグメント又は領域を含む可能性があるため、１つの可能な実施形態において、目標対象は、複数のセグメント又は複数の領域への命名ニーズに従って、複数の目標サブ対象に分割することができる。 Here, a target object can be any object that needs to be named. In one possible embodiment, the target object may be an object that needs to be named region by region or segment by segment. Since a target object may contain multiple segments or regions that need to be named, in one possible embodiment, the target object may include multiple targets according to the naming needs for multiple segments or multiple regions. It can be divided into sub-objects.

１つの可能な実施形態において、本発明の実施例で提案される画像処理方法は、心臓冠動脈中心線の各セグメントに命名するために用いられることができる。したがって、一例において、目標対象は、心臓冠動脈中心線、すなわち、冠動脈中心線であってもよく、この場合、目標対象は、複数の目標サブ対象を含んでもよく、各目標サブ対象は、ツリー構造の冠動脈の中心線構造の分枝の１つ、又は分枝の１つのセグメント（すなわち、冠動脈中心線セグメント）であってもよい。一例において、目標対象は、命名する必要のある、心臓冠動脈の他の部分、又は心臓冠動脈中心線の部分領域などであってもよく、実際の状況に応じて柔軟に選択することができる。１つの可能な実施形態において、本発明の実施例で提案される方法は、複数のセグメント又は複数の領域を含む他の器官又は組織の命名にも適用でき、これらに対応して、いくつかの実施形態において、目標対象は、複数の領域又は複数のセグメントへの命名要件を持つ器官又は組織であってもよい。後続の各発明の実施例はすべて、目標対象が心臓冠動脈中心線であることを例として説明しており、目標対象が他の形態である場合、その処理方法は、本発明の実施例で提案される方法に従って柔軟に拡張でき、ここでは再び例を挙げて説明しない。 In one possible embodiment, the image processing method proposed in the embodiments of the present invention can be used to name each segment of the heart coronary artery centerline. Thus, in one example, the target object may be the heart coronary artery centerline, i.e., the coronary artery centerline, in which case the target object may include multiple target sub-objects, each target sub-object in a tree structure. or one segment of a branch (ie, a coronary artery centerline segment) of the coronary artery midline structure. In one example, the target object may be other parts of the coronary artery that need to be named, or partial regions of the coronary artery centerline, etc., and can be flexibly selected according to the actual situation. In one possible embodiment, the methods proposed in the examples of the present invention can also be applied to nomenclature of other organs or tissues containing multiple segments or multiple regions, correspondingly with several In embodiments, a target object may be an organ or tissue with nomenclature requirements for multiple regions or multiple segments. In the following embodiments of each invention, the target object is described as an example of the coronary artery centerline, and if the target object has other forms, the processing method is proposed in the embodiments of the present invention. It can be flexibly extended according to the method used, and is not described here again with an example.

目標画像内の画素点の名称は、当該画素点に対応する目標サブ対象の名称であってもよい。目標対象の実施形態が異なるため、目標対象内の目標サブ対象の名称とその実現形態は、実際の状況に応じて柔軟に決定できる。１つの可能な実施形態において、目標対象が冠動脈中心線である場合、目標サブ対象の名称は、冠動脈中心線を分割できる、複数の冠動脈中心線セグメントの名称であってもよく、例えば、右冠動脈（ＲＣＡ：ＲｉｇｈｔＣｏｒｏｎａｒｙＡｒｔｅｒｙ）、右下行後動脈（Ｒ－ＰＤＡ：Ｒｉｇｈｔ－ＰｏｓｔｅｒｉｏｒＤｅｓｃｅｎｄｉｎｇＡｒｔｅｒｙ）、左下行枝冠動脈（Ｌ－ＰＤＡ：Ｌｅｆｔ－ＰｏｓｔｅｒｉｏｒＤｅｓｃｅｎｄｉｎｇＡｒｔｅｒｙ）、右後降枝冠動脈（Ｒ－ＰＬＢ：Ｒｉｇｈｔ－ＰｏｓｔｅｒｉｏｒＬａｔｅｒａｌＢｒａｎｃｈ）、左後降枝冠動脈（Ｌ－ＰＬＢ：Ｌｅｆｔ－ＰｏｓｔｅｒｉｏｒＬａｔｅｒａｌＢｒａｎｃｈ）、左主幹部（ＬＭ：ＬｅｆｔＭａｉｎ）、左冠動脈回旋枝（ＬＣＸ：ＬｅａｋｙＣｏａｘｉａｌＣａｂｌｅ）、第１及第２鈍縁枝（ＯＭ１－２：ＯｂｔｕｓｅＭａｒｇｉｎａｌ１ａｎｄ２）、左前降支（ＬＡＤ：ＬｅｆｔＡｎｔｅｒｉｏｒＤｅｓｃｅｎｄｉｎｇ）、第１及第２対角枝（Ｄ１－２：Ｄｉａｇｏｎａｌ１ａｎｄ２）又はその他（Ｏｔｈｅｒｓ）などであってもよい。 The name of a pixel point in the target image may be the name of the target sub-object corresponding to that pixel point. Due to the different embodiments of the target object, the names of the target sub-objects within the target object and their implementation modes can be flexibly determined according to the actual situation. In one possible embodiment, if the target object is a coronary artery centerline, the name of the target sub-object may be the names of multiple coronary artery centerline segments that can divide the coronary artery centerline, e.g. (RCA: Right Coronary Artery), right-posterior descending artery (R-PDA: Right-Posterior Descending Artery), left descending coronary artery (L-PDA: Left-Posterior Descending Artery), right posterior descending coronary artery (R-PLB: Right-Posterior Lateral Branch (L-PLB), Left-Posterior Lateral Branch (L-PLB), Left Main (LM), Leaky Coaxial Cable (LCX), first and second 2 Obtuse Marginal 1 and 2 (OM1-2), Left Anterior Descending (LAD), 1st and 2nd Diagonal (D1-2) or Others and so on.

目標画像は、目標対象を含む任意の画像であってもよく、１つの可能な実施形態において、目標画像は、すべての目標対象を含む画像であってもよく、１つの可能な実施形態において、目標画像は、目標対象の一部を含む画像であってもよく、実際の状況に応じて柔軟に選択することができる。上記の実施例から分かるように、１つの可能な実施形態において、目標画像はマスク画像（ｍａｓｋ）であってもよく、具体的にどのようなマスク画像であるかは、実際の状況に応じて柔軟に決定することができる。上記の各発明の実施例に記載されたように、可能な状況では、目標対象は、冠動脈中心線を含んでもよく、これに対応して、目標画像は、冠動脈中心線を含む画像であり得るか、又は冠動脈中心線を抽出するために使用される画像であり得る。したがって、１つの可能な実施形態において、目標画像は、心臓冠動脈マスク画像を含み得る。一例において、心臓冠動脈マスク画像は、バイナリ画像であってもよく、例えば、０及び１の２つの値を使用して、画像内の画素点が心臓冠動脈に属するか、心臓冠動脈とは関係のない背景に属するかを区別することができる。 The target image may be any image containing the target object, and in one possible embodiment the target image may be an image containing all target objects, in one possible embodiment The target image may be an image containing part of the target object, and can be flexibly selected according to the actual situation. As can be seen from the above examples, in one possible embodiment, the target image can be a mask image, and the specific mask image depends on the actual situation. You can decide flexibly. As described in the above inventive embodiments, in possible situations the target object may include the coronary artery centerline and correspondingly the target image may be an image containing the coronary artery centerline. or an image used to extract the coronary artery centerline. Therefore, in one possible embodiment, the target image may include a cardiac coronary artery mask image. In one example, the cardiac coronary artery mask image may be a binary image, for example, using two values of 0 and 1 to determine whether the pixel points in the image belong to the cardiac coronary arteries or are unrelated to the cardiac coronary arteries. It can be distinguished whether it belongs to the background.

１つの可能な実施形態において、目標画像は、心臓冠動脈マスク画像及び心臓マスク画像を含み得る。心臓冠動脈マスク画像の形は、上記の実施例に記載された通りであり得、ここでは繰り返して説明しない。心臓マスク画像は、心臓冠動脈が属する心臓によって形成された１つのマスク画像であってもよく、異なる値を使用して心臓の各部位や心腔を分割することができる。一例において、目標画像は、心臓冠動脈マスク画像と心臓マスク画像とを重ね合わせることによって形成されたマスク画像であってもよく、重ね合わせる過程において、心臓冠動脈に属さない心臓マスク画像内の画素点は、心臓冠動脈マスク画像内の背景値として標記することができる。後続の各実施例では、目標画像が、心臓冠動脈マスク画像と心臓マスク画像とを重ね合わせることによって形成されたマスク画像であることを例として説明し、他の可能な実施形態は、後続の各実施例を参照して拡張でき、ここでは再び例を挙げて説明しない。 In one possible embodiment, the target images may include cardiac coronary artery mask images and cardiac mask images. The shape of the cardiac coronary artery mask image can be as described in the above examples and will not be repeated here. A cardiac mask image may be a single mask image formed by the heart to which the coronary arteries belong, and different values can be used to divide the heart regions and chambers. In one example, the target image may be a mask image formed by superimposing a cardiac coronary artery mask image and a cardiac mask image, and in the process of superimposing, pixel points in the cardiac mask image that do not belong to the coronary arteries are , can be marked as the background value in the cardiac coronary artery mask image. In each subsequent example, the target image is described by way of example as a mask image formed by superimposing a cardiac coronary artery mask image and a cardiac mask image; other possible embodiments are described in each subsequent example. It can be expanded with reference to the embodiments, and will not be described again with examples here.

目標画像が心臓冠動脈マスク画像及び心臓マスク画像の両方を含む場合、マスク画像に基づいて分割することができ、これは、元の心臓冠動脈画像に基づく分割と比較して、後続の分割過程の入力環境を簡略化し、画像処理過程のノイズを低減する。また、心臓マスク画像によって、心臓の各心腔の情報を保持することもできるため、冠動脈のツリー構造情報及び血液供給位置情報を可能な限り同時に保持でき、これによって、後続の分割の難易度を低減し、分割結果及び最終的に決定された名称の精度を向上させる。 If the target image contains both a cardiac coronary artery mask image and a cardiac mask image, it can be segmented based on the mask image, which is an input for subsequent segmentation processes compared to segmentation based on the original cardiac coronary artery image. Simplify the environment and reduce noise in the image processing process. In addition, since the cardiac mask image can also hold the information of each chamber of the heart, the tree structure information of the coronary arteries and the blood supply position information can be held at the same time as much as possible, thereby reducing the difficulty of subsequent segmentation. and improve the accuracy of the segmentation results and final determined names.

目標対象を含む目標画像を取得した後、ステップＳ１２により、目標対象を含む目標画像を分割して、目標画像内の少なくとも１つの画素点の名称を分割結果として取得することができる。１つの可能な実施形態において、分割とは、目標画像内の各画素点を分類し、これによって、目標画像内の各画素点のカテゴリを決定することであってもよい。１つの可能な実施形態において、分割とは、目標画像内の各前景画素点（例えば、心臓冠動脈マスク画像内の、心臓冠動脈に属する画素点）を分類し、これによって、目標画像の各前景画素点のカテゴリを決定することであってもよい。本発明の実施例において、分割の実施形態は、実際の状況に応じて柔軟に決定することができ、以下の各発明の実施例を参照することができるため、ここでは詳しく説明しない。 After obtaining the target image including the target object, step S12 may segment the target image including the target object to obtain the name of at least one pixel point in the target image as a segmentation result. In one possible embodiment, segmentation may be to classify each pixel point in the target image, thereby determining the category of each pixel point in the target image. In one possible embodiment, the segmentation classifies each foreground pixel point in the target image (e.g., a pixel point belonging to a cardiac coronary artery in a coronary artery mask image), whereby each foreground pixel of the target image It may be to determine the category of the point. In the embodiments of the present invention, the embodiment of the division can be flexibly determined according to the actual situation, and can be referred to the following embodiments of the respective inventions, which will not be described in detail herein.

分割により目標画像内の画素点を分類することができるため、目標画像内の各画素点の分類結果に従って、目標画像内の目標対象の各目標サブ対象の名称を決定してもよい。１つの可能な実施形態において、分割結果に従って目標対象の各目標サブ対象の名称を決定することができ、１つの可能な実施形態において、ニーズに応じて、目標対象内の一部の目標サブ対象の名称のみを決定してもよく、決定された目標サブ対象の数、及びどの目標サブ対象を選択して名称を決定するかは、実際の状況に応じて柔軟に選択することができ、本発明の実施例はこれらに対して特に限定しない。これらの画素点の分類結果に従って目標サブ対象の名称を決定する具体的な実施形態は、実際の状況に応じて柔軟に選択することができ、その詳細については、後続の各実施例を参照することができ、ここでは詳しく説明しない。 Since the segmentation enables the classification of pixel points in the target image, the name of each target sub-object of the target object in the target image may be determined according to the classification result of each pixel point in the target image. In one possible embodiment, the name of each target sub-object of the target object can be determined according to the segmentation result, and in one possible embodiment, depending on the needs, some target sub-objects within the target object The number of target sub-objects determined and which target sub-objects are selected to determine the name can be flexibly selected according to the actual situation. Embodiments of the invention are not specifically limited to these. The specific embodiment of determining the name of the target sub-object according to the classification results of these pixel points can be flexibly selected according to the actual situation, for details, please refer to the following examples. possible and will not be described in detail here.

本発明の実施例によれば、目標対象を含む目標画像を取得し、目標画像を分割して分割結果を取得し、これによって、分割結果に基づき目標対象内の少なくとも１つの目標サブ対象の名称を決定することができる。このようにして、目標画像内の、複数の目標サブ対象を含む目標対象の命名過程を、マスク分割過程に変換することができ、これによって、命名過程の実現難易度を効果的に軽減するとともに命名の精度を向上させ、よって、画像処理過程のロバスト性を向上させる。 According to an embodiment of the present invention, a target image including a target object is obtained, the target image is segmented to obtain a segmentation result, whereby at least one target sub-object within the target object is named based on the segmentation result. can be determined. In this way, the naming process of the target object, including multiple target sub-objects in the target image, can be transformed into the mask segmentation process, thereby effectively reducing the implementation difficulty of the naming process and It improves the naming accuracy and thus the robustness of the image processing process.

１つの可能な実施形態において、目標画像はマスク画像を含むことができるため、マスク画像に基づいて分割を実行することができ、これによって、分割の入力環境を簡略化し、画像処理過程のノイズを低減する。 In one possible embodiment, the target image can contain a mask image, so that the segmentation can be performed based on the mask image, thereby simplifying the segmentation input environment and reducing noise in the image processing process. Reduce.

上記の各実施例に記載されたように、目標画像の実施形態は、実際の状況に従って柔軟に決定することができる。よって、目標対象を含む目標画像を取得する方式も、実際の状況に応じて柔軟に決定することができる。１つの可能な実施形態において、目標画像を取得する方式は、心臓冠動脈の原画像に対して血管分割を実行して、心臓冠動脈マスク画像を取得し、次に心臓冠動脈マスク画像に対して中心線抽出を行い、冠動脈中心線画像を目標対象として取得し、その後、冠動脈中心線と心臓冠動脈マスク画像を重ね合わせることにより、目標対象の目標画像を取得することであってもよい。１つの可能な実施形態において、目標画像を取得する方式は、心臓冠動脈の原画像に対して血管分割を実行して、心臓冠動脈マスク画像を取得し、次に心臓冠動脈マスク画像に対して中心線抽出を行い、冠動脈中心線画像を目標対象として取得するとともに、心臓の原画像に対して血管分割を実行して、心臓マスク画像を取得し、次に冠動脈中心線、心臓冠動脈マスク画像、及び心臓マスク画像を重ね合わせることにより、目標対象を含む目標画像を取得することであってもよい。ステップＳ１１の他の可能な実施形態は、目標画像の実際の状況に応じて柔軟に選択することができ、ここでは再び例を挙げて説明しない。 As described in each example above, the embodiment of the target image can be flexibly determined according to the actual situation. Therefore, the method of acquiring the target image including the target object can also be flexibly determined according to the actual situation. In one possible embodiment, the scheme for acquiring the target image is to perform vessel segmentation on the raw image of the cardiac coronary artery to acquire a cardiac coronary mask image, and then to the cardiac coronary mask image to obtain a centerline Extraction may be performed to obtain a coronary artery centerline image as a target object, and then a target image of the target object may be obtained by superimposing the coronary artery centerline and cardiac coronary artery mask images. In one possible embodiment, the scheme for acquiring the target image is to perform vessel segmentation on the raw image of the cardiac coronary artery to acquire a cardiac coronary mask image, and then to the cardiac coronary mask image to obtain a centerline Extraction is performed to obtain a coronary artery centerline image as a target object, and vessel segmentation is performed on the original image of the heart to obtain a cardiac mask image; It may be obtaining a target image containing the target object by superimposing the mask image. Other possible embodiments of step S11 can be flexibly selected according to the actual situation of the target image, and are not described here again by way of example.

目標対象を含む目標画像を取得した後、ステップＳ１２により、目標画像を分割して、分割結果を取得することができる。１つの可能な実施形態において、目標画像における画素点と目標対象との相対位置に従って、目標サブ対象に最も近いか又は目標サブ対象に属する、目標画像内の少なくとも一部の画素点の名称を分割結果として決定することができる。１つの可能な実施形態において、ニューラルネットワークによって目標画像の分割結果を取得してもよく、この場合、ステップＳ１２は、
目標画像をニューラルネットワークに入力することと、ニューラルネットワークの出力に従って、目標画像内の少なくとも１つの画素点の名称を分割結果として決定することと、を含み得、ここで、ニューラルネットワークは目標対象を含む訓練画像によって訓練され、訓練画像内の目標対象は、少なくとも１つの目標サブ対象の名称によって注釈される。 After obtaining the target image containing the target object, step S12 may segment the target image to obtain segmentation results. In one possible embodiment, splitting the names of at least some of the pixel points in the target image that are closest to or belong to the target sub-object according to the relative position of the pixel point and the target object in the target image. can be determined as a result. In one possible embodiment, the segmentation result of the target image may be obtained by a neural network, in which case step S12 includes:
inputting a target image to a neural network; and determining a name of at least one pixel point in the target image as a segmentation result according to the output of the neural network, wherein the neural network identifies the target object as Training images containing target objects in the training images are annotated by the name of at least one target sub-object.

ここで、ニューラルネットワークによって出力される画素点の名称は、目標画像内の各画素点の名称であってもよいし、目標画像内の部分画素点の名称であってもよく、実際の状況に応じて柔軟に決定することができる。１つの可能な実施形態において、ニューラルネットワークの出力は、目標画像内の各前景画素点の名称であってもよく、各前景画素点の名称を分割結果として使用する。 Here, the name of the pixel point output by the neural network may be the name of each pixel point in the target image or the name of a partial pixel point in the target image. can be determined flexibly. In one possible embodiment, the output of the neural network may be the name of each foreground pixel point in the target image, and the name of each foreground pixel point is used as the segmentation result.

訓練画像の実施形態は、上記の目標画像の実施形態を参照することができ、ここでは繰り返して説明しない。訓練画像の目標対象に注釈を付ける方式は、本発明の実施例では限定されず、ニューラルネットワークによって実現される機能に従って柔軟に決定することができる。１つの可能な実施形態において、訓練画像内の目標対象の各画素点に個別に注釈を付けるか、又は訓練画像内の各画素点に個別に注釈を付けることができる。１つの可能な実施形態において、訓練画像内の複数の目標サブ対象に個別に注釈を付けることができる。一例において、目標対象を複数の目標サブ対象に分割した後、そのうちの一部の目標サブ対象の名称又は各目標サブ対象の名称を注釈することができ、これによって、目標サブ対象に含まれる画素点を均一に注釈することができる。どのような注釈方式を選択するかは、実際の状況に応じて柔軟に選択することができ、本発明の実施例はこれらに対して限定しない。 The embodiment of the training image can refer to the embodiment of the target image above and will not be repeated here. The manner of annotating the target object of the training image is not limited in the embodiments of the present invention and can be flexibly determined according to the functions implemented by the neural network. In one possible embodiment, each pixel point of the target object in the training images may be individually annotated, or each pixel point in the training images may be individually annotated. In one possible embodiment, multiple target sub-objects in the training images can be annotated individually. In one example, after dividing a target object into a plurality of target sub-objects, the name of some of them or the name of each target sub-object can be annotated so that the pixels included in the target sub-object Points can be uniformly annotated. Which annotation scheme to choose can be flexibly selected according to the actual situation, and the embodiments of the present invention are not limited to them.

ニューラルネットワークの実施形態及び訓練方式は、本発明の実施例に限定されず、実際の状況に応じて柔軟に選択することができ、ニューラルネットワークの初期モデルは、実際の状況に応じて任意に選択することができる。一例において、残差仮想ネットワーク（Ｒｅｓ－Ｖｎｅｔ）をニューラルネットワークの実施形態として使用することができる。訓練に用いられる損失関数は、実際の状況に応じて柔軟に選択でき、一例において、ダイス損失（ｄｉｃｅｌｏｓｓ）を損失関数として、ニューラルネットワークを訓練することができる。 The embodiment and training method of the neural network are not limited to the embodiments of the present invention, and can be flexibly selected according to the actual situation, and the initial model of the neural network can be arbitrarily selected according to the actual situation. can do. In one example, a residual virtual network (Res-Vnet) can be used as an embodiment of a neural network. The loss function used for training can be flexibly selected according to the actual situation. In one example, the neural network can be trained with dice loss as the loss function.

上記の実施例から分かるように、１つの可能な実施形態において、ニューラルネットワークにより目標画像を分割することができ、目標画像を分割するためのニューラルネットワークは、目標対象を含む訓練画像によって訓練されることができ、訓練画像内の目標対象は、少なくとも１つの目標サブ対象の名称によって注釈されることができる。したがって、上記の訓練画像に基づいて取得されたニューラルネットワークは、目標対象に属する目標画像内の画素点を分割して、各分割された画素点の分割結果を取得することができ、分割結果は、目標画像に含まれた画素点に対応する目標サブ対象の名称であってもよく、可能な名称種類については、上記の各実施例を参照することができ、ここでは繰り返して説明しない。 As can be seen from the above examples, in one possible embodiment the target image can be segmented by a neural network, the neural network for segmenting the target image being trained with training images containing the target object. A target object in the training images can be annotated with the name of at least one target sub-object. Therefore, the neural network obtained based on the above training images can divide the pixel points in the target image belonging to the target object to obtain a segmentation result for each segmented pixel point, and the segmentation result is , the name of the target sub-object corresponding to the pixel point contained in the target image, and the possible name types can refer to the above embodiments and will not be repeated here.

目標サブ対象の名称で注釈された訓練画像を使用して、ニューラルネットワークを訓練し、訓練されたニューラルネットワークを用いて目標画像の分割を実現し、分割結果を取得する。上記のプロセスにより、ニューラルネットワークを効果的に用いて目標画像への画素レベルの分割を効果的に実現し、分割結果をより便利で迅速に取得することができ、これによって、画像処理の難易度を低減し、画像処理の実用性と一般化能力を向上させる。 The training images annotated with the name of the target sub-object are used to train a neural network, and the trained neural network is used to realize the segmentation of the target image to obtain the segmentation result. Through the above process, the neural network can be effectively used to effectively realize pixel-level segmentation into the target image, and the segmentation result can be obtained more conveniently and quickly, thereby increasing the difficulty of image processing and improve the practicality and generalization ability of image processing.

目標対象を含む訓練画像によってニューラルネットワークを訓練する方式は、実際の状況に応じて柔軟に決定することができ、１つの可能な実施形態において、目標対象を含む訓練画像によってニューラルネットワークを訓練することは、訓練画像内の目標対象の注釈に従って、訓練画像内の少なくとも一部の画素点のラベルを決定することと、少なくとも一部の画素点のラベルを含む訓練画像によって、ニューラルネットワークを訓練することと、を含み得る。 The method of training the neural network with training images containing the target object can be flexibly determined according to the actual situation, and in one possible embodiment, training the neural network with training images containing the target object. determines labels of at least some of the pixel points in the training images according to annotations of target objects in the training images; and training a neural network with the training images containing the labels of the at least some of the pixel points. and may include

上記の各実施例に記載されたように、訓練画像内の目標対象の注釈形式は、実際の状況に応じて柔軟に選択することができ、これに対応して、注釈の形式が異なるため、ステップＳ２１における少なくとも一部の画素点のラベルを決定する方式もそれに応じて変化することができる。１つの可能な実施形態において、訓練画像内の目標対象の注釈を、目標画像内の対応する画素点のラベルとして直接使用することができる。上記のように、一例において、目標対象を複数セグメントの目標サブ対象に分割し、各セグメントの目標サブ対象を命名する方式で注釈を行うことができ、よって、命名された目標サブ対象に含まれる画素点の注釈を、これらの画素点のラベルとして使用することができる。 As described in the above examples, the annotation format of the target object in the training image can be flexibly selected according to the actual situation, and correspondingly, the annotation formats are different, The method of determining the labels of at least some of the pixel points in step S21 can also vary accordingly. In one possible embodiment, the target object's annotations in the training images can be used directly as labels for the corresponding pixel points in the target image. As described above, in one example, a target object can be divided into multiple segmented target sub-objects, and annotation can be done in a manner that names each segmented target sub-object, thus included in the named target sub-object. Pixel point annotations can be used as labels for these pixel points.

訓練画像内の少なくとも一部の画素点のラベルを決定した後、少なくとも一部の画素点のラベルを含む訓練画像に従って、ニューラルネットワークを訓練することができ、このようにして、注釈された訓練画像に基づいてニューラルネットワークを効果的に訓練して、分割と命名機能を備えた二ューラルネットワークを取得でき、これによって、画像処理の利便性を向上させることができる。 After determining the labels of at least some of the pixel points in the training images, a neural network can be trained according to the training images containing the labels of at least some of the pixel points, thus providing an annotated training image. can effectively train a neural network based on to obtain a neural network with segmentation and naming functions, which can improve the convenience of image processing.

上記の各実施例に記載されたように、１つの可能な実施形態において、目標対象は冠動脈中心線であってもよく、心臓冠動脈マスク画像にとって、冠動脈中心線は心臓冠動脈マスクの一部であり、心臓冠動脈マスク画像には、目標対象、すなわち、冠動脈中心線に属しないが冠動脈に属する一部の画素もあり、よって、これらの画素点に対応する名称は、冠動脈中心線の名称を決定するのに役立つ。上記の各実施例に記載されたように、訓練画像内の目標対象に注釈を付ける過程において、訓練画像内の各画素に注釈を付けてもよいし、訓練画像の目標対象の各画素に注釈を付けてもよい。したがって、冠動脈中心線の名称を決定するのに役立つこれらの画素点には、注釈が含まれていない可能性がある。１つの可能な実施形態において、訓練されたニューラルネットワークの精度を向上させるために、注釈に従ってこれらの画素点のラベルを決定することができる。 As described in the examples above, in one possible embodiment the target object may be the coronary artery centerline, and for cardiac coronary mask images, the coronary artery centerline is part of the cardiac coronary mask. , in the cardiac coronary artery mask image, there are also some pixels that do not belong to the target object, i.e., the coronary artery centerline, but belong to the coronary artery, so the names corresponding to these pixel points determine the name of the coronary artery centerline Helpful. As described in the above embodiments, in the process of annotating target objects in training images, each pixel in the training images may be annotated, or each pixel of the target object in the training images may be annotated. may be added. Therefore, annotations may not be included in those pixel points that help determine the coronary centerline designation. In one possible embodiment, the labels of these pixel points can be determined according to the annotations in order to improve the accuracy of the trained neural network.

したがって、１つの可能な実施形態において、目標対象を含む訓練画像によってニューラルネットワークを訓練することは、訓練画像内の目標対象において、第１目標画素点に最も近い目標サブ対象を決定することであって、第１目標画素点は、訓練画像内の、目標対象以外の少なくとも１つの画素点であることと、決定された目標サブ対象の注釈を、第１目標画素点のラベルとして使用することと、第１目標画素点のラベル及び目標対象の注釈を含む訓練画像に従って、二ューラルネットワークを訓練することと、を含み得る。 Therefore, in one possible embodiment, training the neural network with training images containing the target object is to determine the target sub-object in the target object in the training image that is closest to the first target pixel point. wherein the first target pixel point is at least one pixel point in the training image other than the target object; and using the determined target sub-object annotation as a label for the first target pixel point. , training the neural network according to a training image including the label of the first target pixel point and the annotation of the target object.

ここで、第１目標画素点は、目標対象に属しない、訓練画像内の少なくとも１つの画素点であってもよく、どの画素点を第１目標画素点として選択するかについては、実際の状況に応じて柔軟に決定することができる。１つの可能な実施形態において、訓練画像において目標対象の外側に位置するが、目標対象への命名を支援できる画素点を第１目標画素点として使用することができ、目標対象が冠動脈中心線であることを例にとると、一例において、訓練画像において冠動脈中心線の外側に位置し且つ心臓冠動脈に属する画素点を、第１目標画素点として使用することができる。訓練画像の実施形態は、目標画像の実施形態と同様であり、上記の各実施例で説明されたように、目標画像はマスク画像であってもよく、したがって、一例において、背景に属さずかつ目標対象に属さない、訓練画像の画素点の全て又は一部を、第１目標画素点として使用することができる。 Here, the first target pixel point may be at least one pixel point in the training image that does not belong to the target object, and which pixel point is selected as the first target pixel point depends on the actual situation. can be determined flexibly according to In one possible embodiment, a pixel point located outside the target object in the training images, but capable of assisting in naming the target object, can be used as the first target pixel point, where the target object is at the coronary artery centerline. Taking an example, in one example, a pixel point located outside the coronary artery centerline in the training image and belonging to the cardiac coronary artery can be used as the first target pixel point. The training image embodiment is similar to the target image embodiment, and as described in the examples above, the target image may be a mask image, and thus, in one example, does not belong to the background and All or some of the pixel points of the training image that do not belong to the target object can be used as the first target pixel points.

１つの可能な実施形態において、訓練画像内の少なくとも一部の画素点のラベルに従って、第１目標画素点のラベルを決定することができ、第１目標画素点の決定方式は、実際の状況に応じて柔軟に選択することができ、本発明の各実施例に限定されない。上記の内容から分かるように、１つの可能な実施形態において、訓練画像の目標対象において、第１目標画素点に最も近い目標サブ対象の注釈を、第１目標画素点のラベルとして使用することができる。一例において、第１目標画素点に最も近い目標サブ対象は、目標対象において、第１目標画素点に最も近い画素点が属する目標サブ対象であってもよい。 In one possible embodiment, the label of the first target pixel point can be determined according to the labels of at least some of the pixel points in the training image, and the method of determining the first target pixel point is adapted to the actual situation. It can be flexibly selected according to the present invention, and is not limited to each embodiment of the present invention. As can be seen from the above, in one possible embodiment, the annotation of the target sub-object closest to the first target pixel point in the training image target object can be used as the label for the first target pixel point. can. In one example, the target sub-object closest to the first target pixel point may be the target sub-object to which the pixel point closest to the first target pixel point belongs in the target object.

第１目標画素点のラベルを取得した後、上記の実施例に記載された方式により、訓練画像内の目標対象の注釈を目標画像内の対応する画素点のラベルとして直接使用することができ、これによって、密なラベルを含む訓練画像を取得して、ニューラルネットワークを訓練することができる。 After obtaining the label of the first target pixel point, the annotation of the target object in the training image can be used directly as the label of the corresponding pixel point in the target image, in the manner described in the examples above, This allows us to obtain training images containing dense labels to train the neural network.

目標対象が冠動脈中心線であることを例として上記の過程について説明すると、一例において、訓練画像において、先ず、冠動脈中心線上の画素点の注釈をこれらの画素点のラベルとして使用し、次に、背景及び冠動脈中心線のいずれにも属しない画素点を第１目標画素点として使用し、各第１目標画素点について、冠動脈中心線において当該第１目標画素点に最も近い画素点の注釈を当該第１目標画素点のラベルとして使用し、これによって、密なラベルを含む訓練画像を取得し、密なラベルを含む当該訓練画像によってニューラルネットワークを訓練することにより、より良い訓練結果を取得することができる。 Taking the example of the target object to be the coronary artery centerline to illustrate the above process, in one example, in the training images, the annotations of the pixel points on the coronary artery centerline are first used as labels for these pixel points, and then Pixel points that do not belong to either the background or the coronary artery centerline are used as the first target pixel points, and for each first target pixel point, the annotation of the pixel point that is closest to the first target pixel point on the coronary artery centerline is Using it as a label for the first target pixel point, thereby obtaining a training image containing dense labels, and training a neural network with the training images containing dense labels to obtain better training results. can be done.

このようにして、目標対象の注釈を含む訓練画像に基づいて、密なラベルと完全な情報を含む訓練画像を取得して、ニューラルネットワークを訓練することができ、これによって、注釈の難易度を上げることなく、訓練によって得られるニューラルネットワークの精度を向上させ、分割結果の精度と最終的に取得される目標サブ対象の名称の精度を向上させることができ、画像処理の精度と利便性を向上させることができる。 In this way, training images with dense labels and complete information can be obtained to train a neural network based on the training images containing the annotation of the target object, thereby increasing the difficulty of the annotation to It can improve the accuracy of the neural network obtained by training without increasing the accuracy, improve the accuracy of the segmentation result and the accuracy of the name of the target sub-object finally obtained, and improve the accuracy and convenience of image processing. can be made

上記の任意の実施例により目標画像の分割結果を取得した後、ステップＳ１３により、分割結果に基づいて目標対象内の少なくとも１つの目標サブ対象の名称を決定することができる。ステップＳ１３の実施形態は限定されず、１つの可能な実施形態において、目標サブ対象に含まれる任意の画素点の分割結果を、目標サブ対象の名称として使用することができる。１つの可能な実施形態において、ステップＳ１３は、次のステップを含み得る。 After obtaining the segmentation result of the target image according to any of the above embodiments, step S13 may determine the name of at least one target sub-object within the target object based on the segmentation result. The embodiment of step S13 is not limited, and in one possible embodiment, the segmentation result of any pixel point contained in the target sub-object can be used as the name of the target sub-object. In one possible embodiment, step S13 may include the following steps.

ステップＳ１３１において、分割結果に従って、少なくとも１つの第２目標画素点の名称を決定し、ここで、第２目標画素点は、前記目標サブ対象に含まれる画素点である。 In step S131, determine the name of at least one second target pixel point according to the segmentation result, where the second target pixel point is a pixel point included in the target sub-object.

ステップＳ１３２において、目標サブ対象の第２目標画素点の名称を統計して、統計結果を取得し、統計結果における最大数の名称を目標サブ対象の名称として使用する。 In step S132, the names of the second target pixel points of the target sub-object are statistically obtained to obtain the statistical result, and the name with the largest number in the statistical result is used as the name of the target sub-object.

ここで、第２目標画素点は、目標サブ対象に含まれる画素点、すなわち、目標サブ対象によってカバーされる画素点であってもよい。１つの可能な実施形態において、取得された分割結果は完全に正確ではない可能性があるため、同じ目標サブ対象について、それに含まれる第２目標画素点の分割結果が正確である可能性もあり（つまり、対応する目標サブ対象の名称と同じである）、不正確である可能性もあり（つまり、対応する目標サブ対象の名称とは異なる）、分割結果が不正確である場合、目標サブ対象に含まれる任意の第２目標画素点の分割結果を目標サブ対象の名称として使用すると、不正確な命名結果を得る可能性が高い。 Here, the second target pixel point may be a pixel point included in the target sub-object, that is, a pixel point covered by the target sub-object. In one possible embodiment, for the same target sub-object, the segmentation result of the second target pixel point contained therein may be accurate, as the obtained segmentation result may not be completely accurate. (i.e., same as the name of the corresponding target sub-object), may be inaccurate (i.e., different from the name of the corresponding target sub-object), and if the split results are inaccurate, the Using the segmentation result of any second target pixel point contained in the object as the name of the target sub-object will likely lead to incorrect naming results.

上記の問題を考慮して、１つの可能な実施形態において、名称を決定する必要のある任意の目標サブ対象について、ステップＳ１３１により、分割結果に従って、当該目標サブ対象の少なくとも１つの第２目標画素点の名称を取得することができる。 Considering the above problem, in one possible embodiment, for any target sub-object whose name needs to be determined, according to the segmentation result, at least one second target pixel of that target sub-object is You can get the name of the point.

ステップＳ１３１における目標サブ対象の第２目標画素点の数を取得することは、実際の状況に応じて柔軟に決定することができる。１つの可能な実施形態において、目標サブ対象に含まれる各第２目標画素点を取得することができ、１つの可能な実施形態において、目標サブ対象に含まれる第２目標画素点をランダムにサンプリングして、第２目標画素点の一部を取得することができ、サンプリング方式及びサンプリングの数は、実際の状況に応じて柔軟に決定することができ、本発明の実施例はこれらに対して限定しない。 Obtaining the number of second target pixel points of the target sub-object in step S131 can be flexibly determined according to the actual situation. In one possible embodiment, each second target pixel point included in the target sub-object can be obtained, and in one possible embodiment the second target pixel points included in the target sub-object are randomly sampled. to obtain a part of the second target pixel points, the sampling method and the number of sampling can be flexibly determined according to the actual situation, and the embodiments of the present invention are directed to Not limited.

取得したものが第２目標画素点の一部であっても、第２目標画素点の全てであっても、分割結果に従って、取得された第２目標画素点の名称を決定する必要がある。名称を決定する方式は、実際の状況に応じて柔軟に決定することができ、１つの可能な実施形態において、ステップＳ１３１の分割結果に従って、少なくとも１つの第２目標画素点の名称を決定することは、
各第２目標画素点に対応する分割結果を各第２目標画素点の名称として使用すること、又は、各第２目標画素点の予め設定された範囲内の少なくとも１つの画素点の分割結果に基づいて、各第２目標画素点の名称を決定すること、を含み得る。 Whether it is a part of the second target pixel points or all of the second target pixel points, it is necessary to determine the name of the obtained second target pixel points according to the segmentation result. The method of determining the name can be flexibly determined according to the actual situation. In one possible embodiment, the name of at least one second target pixel point is determined according to the segmentation result of step S131. teeth,
using the segmentation result corresponding to each second target pixel point as the name of each second target pixel point; determining a name for each second target pixel point based on.

上記の実施例から分かるように、１つの可能な実施形態において、第２目標画素点の分割結果を第２目標画素点の名称として直接使用することができる。 As can be seen from the above example, in one possible embodiment, the segmentation result of the second target pixel point can be used directly as the name of the second target pixel point.

上記の実施例よれば、目標画像内の画素点の分割結果が完全に正確ではない可能性があり、この場合、第２目標画素点の分割結果を第２目標画素点の名称として使用しても、誤りが発生する可能性があり、したがって、１つの可能な実施形態において、第２目標画素点の予め設定された範囲内の少なくとも１つの画素点の分割結果に従って、第２目標画素点の名称を決定することができる。 According to the above embodiment, the segmentation results of the pixel points in the target image may not be completely accurate, in which case the segmentation result of the second target pixel point is used as the name of the second target pixel point. can also be erroneous, so in one possible embodiment, the second target pixel point's A name can be determined.

ここで、第２目標画素点の予め設定された範囲は、例えば、第２目標画素点の周りの９つの隣接領域、１６の隣接領域など、実際の状況に応じて柔軟に決定することができ、本発明の実施例はこれらに対して限定しない。通常、第２目標画素点の近くの画素点は、第２目標画素点と同一目標サブ対象に属する確率が大きいため、これらの画素点によって、第２目標画素点のより正確な名称を決定することができる。一例において、第２目標画素点の予め設定された範囲内に含まれる各画素点の分割結果を取得し、その後、これらの取得された分割結果から、割合が最も高い又は数が最も多い分割結果、又は割合又は数量が設定された閾値を超える（例えば、割合が５０％を超える）分割結果を第２目標画素点の名称として選択することができる。一例において、第２目標画素点の予め設定された範囲内に含まれる画素点をサンプリングし、その後、サンプリングすることによって取得された画素点に対応する分割結果から、割合が最も高い又は数が最も多い分割結果、又は割合又は数量が設定された閾値を超える（例えば、割合が５０％を超える）分割結果を第２目標画素点の名称として選択することができる。 Here, the preset range of the second target pixel point can be flexibly determined according to the actual situation, such as 9 adjacent areas, 16 adjacent areas, etc. around the second target pixel point. , the embodiments of the present invention are not limited thereto. Typically, pixel points near the second target pixel point have a high probability of belonging to the same target sub-object as the second target pixel point, so these pixel points determine a more accurate name for the second target pixel point. be able to. In one example, obtain the segmentation result of each pixel point included in the preset range of the second target pixel point, and then, from these obtained segmentation results, the segmentation result with the highest proportion or the largest number , or a segmentation result whose percentage or quantity exceeds a set threshold (eg, percentage exceeds 50%) can be selected as the name of the second target pixel point. In one example, the pixel points included in the preset range of the second target pixel point are sampled, and then the segmentation result corresponding to the pixel points obtained by sampling has the highest percentage or the highest number. A large number of segmentation results, or segmentation results whose percentage or quantity exceeds a set threshold (eg percentage greater than 50%) can be selected as the name of the second target pixel point.

上記の各実施例に記載されたように、目標画像には、目標対象に属しないが目標サブ対象の名称の決定を支援できる画素点がある可能性があるため、第２目標画素点の予め設定された範囲内の少なくとも１つの画素点の分割結果に基づいて、第２目標画素点の名称を決定することにより、支援機能を備えたこれらの画素点の分割結果を効果的に導入して第２目標画素点の名称を決定することができ、これによって、決定された第２目標画素点の名称の精度を向上させ、決定された目標サブ対象の名称の精度を向上させ、よって、画像処理の精度を向上させる。 As described in the above examples, there may be pixel points in the target image that do not belong to the target object but that can assist in determining the name of the target sub-object, so the second target pixel point Determining the name of the second target pixel point based on the segmentation results of at least one pixel point within the set range effectively introduces the segmentation results of these pixel points with assistance functions. The name of the second target pixel point can be determined, thereby improving the accuracy of the name of the determined second target pixel point, improving the accuracy of the name of the determined target sub-object, and thus the image Improve processing accuracy.

上記の任意の方式により少なくとも１つの第２目標画素点の名称を決定した後、ステップＳ１３２により、第２目標画素点の名称の統計結果に基づいて、目標サブ対象の名称を取得することができる。ここで、ステップＳ１３２の実施形態は、実際の状況に応じて柔軟に決定することができ、例えば、目標サブ対象内の各第２目標画素点又は第２目標画素点の一部の名称を統計した後、これらの統計された名称から、最大数の名称を目標サブ対象の名称として使用するか、又はこれらの統計された名称から、出現率が最も高い名称を目標サブ対象の名称として使用するか、又はこれらの統計された名称から、その数が予め設定された閾値より高いか又は出現率が予め設定された閾値より高い名称を目標サブ対象の名称として使用することができ、予め設定された閾値の値は、本発明の実施例では限定されず、実際の状況に応じて柔軟に設定することができる。 After determining the name of the at least one second target pixel point by any of the above methods, step S132 can obtain the name of the target sub-object based on the statistical results of the name of the second target pixel point. . Here, the embodiment of step S132 can be flexibly determined according to the actual situation, for example, the name of each second target pixel point or part of the second target pixel point in the target sub-object is statistically Then, from these statistical names, use the name with the highest number as the name of the target sub-object, or from these statistical names, use the name with the highest occurrence rate as the name of the target sub-object. or from these statistical names, names whose number is higher than a preset threshold or whose frequency of appearance is higher than a preset threshold can be used as target sub-object names, The threshold value is not limited in the embodiments of the present invention and can be flexibly set according to actual situations.

目標対象が冠動脈中心線であることを例として上記のプロセスについて説明すると、一例において、冠動脈中心線の各冠動脈中心線セグメントの名称を順次に決定することができ、各冠動脈中心線セグメントについて、先ず、各冠動脈中心線セグメントに含まれる各画素点、すなわち、第２目標画素点をトラバースして、これらの第２目標画素点の名称を決定することができ、決定方式は、その分割結果に従って直接決定することであってもよいし、その周りの画素点の分割結果に従って共同で決定することであってもよく、上記の各実施例を参照することができ、ここでは繰り返して説明しない。これらの第２目標画素点の名称を決定した後、当該冠動脈中心線セグメントから、数が最も多いか又は割合が最も高い名称を、当該冠動脈中心線セグメントの名称として使用することができる。 To illustrate the above process using the example of the target object being a coronary centerline, in one example, the name of each coronary centerline segment of the coronary centerline can be sequentially determined, and for each coronary centerline segment, first , each pixel point contained in each coronary artery centerline segment, i.e., the second target pixel points, can be traversed to determine the names of these second target pixel points, and the determination scheme is directly according to the segmentation results. It may be to decide, or jointly decide according to the segmentation results of the surrounding pixel points, which can refer to the above embodiments and will not be repeated here. After determining the names of these second target pixel points, the names with the highest number or highest percentage from that coronary centerline segment can be used as the names for that coronary artery centerline segment.

分割結果に従って少なくとも１つの第２目標画素点の名称を決定し、決定された第２目標画素点の名称を統計することにより、統計結果に従って目標サブ対象の名称を取得し、上記のプロセスにより、目標画像内の一部の画素点の分割結果が不正確であっても、比率に基づいてより正確な目標サブ対象の名称を取得することができ、これによって、最終的に決定される目標サブ対象の名称の精度を向上させ、画像処理の精度を向上させることができる。 determining the name of at least one second target pixel point according to the segmentation result; obtaining the name of the target sub-object according to the statistical result by performing statistics on the determined second target pixel point name; Even if the segmentation result of some pixel points in the target image is inaccurate, it is possible to obtain a more accurate name of the target sub-object based on the ratio, so that the finally determined target sub-object The accuracy of the target name can be improved, and the accuracy of image processing can be improved.

１つの可能な実施形態において、本発明の実施例による画像処理方法は、ステップＳ１４をさらに含み得る。ステップＳ１４において、少なくとも１つの目標サブ対象の名称に従って、目標対象を処理して、処理結果を取得する。 In one possible embodiment, the image processing method according to embodiments of the present invention may further include step S14. In step S14, the target object is processed according to the name of at least one target sub-object to obtain a processing result.

上記の実施例から分かるように、目標画像内の少なくとも１つの目標サブ対象の名称を取得した後、更に、決定された名称に基づいて、実際の状況に応じて、目標画像内の目標対象に対して更なる処理及び最適化を行い、最終的な画像処理結果を取得することができる。どのように目標サブ対象の名称に従って処理して、どのような処理結果を取得するかについては、実際の画像処理ニーズに従って柔軟に決定することができ、その詳細については以下の各実施例を参照でき、ここでは詳しく説明しない。 As can be seen from the above examples, after obtaining the name of at least one target sub-object in the target image, furthermore, based on the determined name, according to the actual situation, the target object in the target image is Further processing and optimization can be performed to obtain the final image processing result. How to process according to the name of the target sub-object and what kind of processing result is obtained can be flexibly determined according to the actual image processing needs, for details, see the following examples. It is possible and will not be described in detail here.

少なくとも１つの目標サブ対象の名称に従って目標対象を処理して、処理結果を取得することにより、目標サブ対象の名称に従って目標対象を更に最適化することができ、前に目標画像を分割することによって取得された分割結果の精度が低いことにより、決定された名称に一定の誤差が生じる場合でも、処理によって修正することにより、より正確な処理結果を取得することができ、これによって、画像処理の精度とロバスト性を向上させる。 The target object can be further optimized according to the target sub-object names by processing the target object according to at least one target sub-object name and obtaining a processing result, by previously segmenting the target image. Even if there is a certain amount of error in the determined name due to the low accuracy of the obtained division result, it is possible to obtain a more accurate processing result by correcting it through processing, thereby improving the image processing. Improve accuracy and robustness.

１つの可能な実施形態において、ステップＳ１４は、目標対象から同じ名称を有する目標サブ対象を抽出すること、及び／又は、隣接する目標サブ対象の名称に従って目標対象内の少なくとも１つの目標サブ対象の名称を修正すること、を含み得る。 In one possible embodiment, step S14 includes extracting target sub-objects having the same name from the target object and/or extracting target sub-objects of at least one target sub-object within the target object according to the names of adjacent target sub-objects. modifying the name.

ここで、目標対象から同じ名称を有する目標サブ対象を抽出する方式に対して特に限定しない。１つの可能な実施形態において、目標対象が冠動脈中心線である場合、冠動脈中心線はツリー構造構造であってもよいため、同じ名称を有する冠動脈中心線セグメントについて、不正確な分割により、当該冠動脈中心線セグメントに複数の分岐が含まれる可能性がある。より正確な冠動脈中心線セグメントを取得するために、一例において、同じ名称で複数の分岐を含む冠動脈中心線セグメントを抽出し、その中で最も完全であり又は最も長い分岐を抽出結果として選択することができる。図２は、本発明の実施例に係る、目標対象を抽出することを示す概略図を示し、図２から分かるように、抽出前の目標画像２１の冠動脈中心線の各冠動脈中心線セグメントの名称は決定されており、同じ名称で複数の分岐の冠動脈中心線セグメントが含まれる。抽出後の目標画像２２の冠動脈中心線では、同じ名称で１つの分岐の冠動脈中心線セグメントのみが含まれ、例えば、名称がＲ－ＰＬＢである冠動脈中心線セグメントには、抽出前に２つの分枝があり、抽出後、短い方の分枝が削除され、長い方の分枝のみが抽出結果として保留される。 Here, the method of extracting target sub-objects having the same name from the target object is not particularly limited. In one possible embodiment, if the target object is a coronary artery centerline, the coronary artery centerline may be a tree-structured structure, so that for a coronary artery centerline segment with the same name, an incorrect segmentation may result in the coronary artery A centerline segment may contain multiple branches. In order to obtain a more accurate coronary artery centerline segment, in one example, extract a coronary artery centerline segment containing multiple branches with the same name, and select the most complete or longest branch among them as the extraction result. can be done. FIG. 2 shows a schematic diagram illustrating extracting a target object according to an embodiment of the present invention, and as can be seen from FIG. has been determined and contains multiple branch coronary artery centerline segments with the same name. The coronary artery centerline in the target image 22 after extraction contains only one branch coronary artery centerline segment with the same name, for example, a coronary artery centerline segment with the name R-PLB has two branches before extraction. There are branches and after extraction the shorter branch is deleted and only the longer branch is retained as the extraction result.

本発明の実施例は、目標サブ対象の名称に従って目標対象を修正する方式を特に限定しない。１つの可能な実施形態において、目標対象が冠動脈中心線である場合、冠動脈中心線の冠動脈中心線セグメントの一部について、当該冠動脈中心線セグメントは、同じ名称の他の２つの冠動脈中心線セグメント間に位置する可能性があり、当該冠動脈中心線セグメントの名称は、この２つの冠動脈中心線セグメントの名称とは異なる。冠動脈中心線の連続性により、当該冠動脈中心線セグメントの名称が不正確である可能性が高く、したがって、隣接する他の冠動脈中心線セグメントの名称に基づいて、現在の冠動脈中心線セグメントの名称を修正することにより、冠動脈中心線の連続性を維持する。 Embodiments of the present invention do not specifically limit the manner in which the target object is modified according to the name of the target sub-object. In one possible embodiment, if the target object is a coronary centerline, for a portion of a coronary centerline segment of a coronary centerline, that coronary centerline segment is between two other coronary centerline segments of the same name. and the name of the coronary artery centerline segment is different from the names of the two coronary artery centerline segments. Due to the continuity of coronary centerlines, the nomenclature of this coronary artery centerline segment is likely to be inaccurate, and therefore the current coronary artery centerline segment nomenclature is based on the nomenclature of other adjacent coronary artery centerline segments. The correction maintains the continuity of the coronary centerline.

ステップＳ１４を実施する過程では、上記の抽出過程及び修正過程を同時に含んでもよく、実際の状況に応じてそのうちの特定の過程のみを含んでもよく、又は他の修正過程を含んでもよい。これらの過程の実行順序は、実際の状況に応じて柔軟に選択してもよく、どのように実施するかは、実際の状況に応じて柔軟に決定することができ、上記の各実施例に限定されない。 The process of performing step S14 may include the extraction process and the correction process at the same time, or may include only a specific process among them according to the actual situation, or may include other correction processes. The execution order of these processes can be flexibly selected according to the actual situation, and the implementation method can be flexibly determined according to the actual situation. Not limited.

目標対象から同じ名称を有する目標サブ対象を抽出し、及び／又は、隣接する目標サブ対象の名称に従って目標対象内の少なくとも１つの目標サブ対象の名称を修正することにより、不正確な分割による不正確な命名結果の発生を更に低減し、最終的に取得された処理結果の精度を向上させ、画像処理の精度とロバスト性を向上させることができる。 Extracting target sub-objects with the same name from the target object and/or correcting the name of at least one target sub-object within the target object according to the name of an adjacent target sub-object, thereby eliminating inaccurate segmentation errors. The occurrence of correct naming results can be further reduced, the accuracy of the final obtained processing results can be improved, and the accuracy and robustness of image processing can be improved.

心血管疾患と脳血管疾患は、現在最も致命的な疾患の１つであり、その中でも冠状動脈性心臓病の発症率は最も高い。冠状動脈性心臓病は、冠状動脈内腔の狭窄をもたらすアテローム性動脈硬化によって引き起こされ、心筋への不十分な血液供給をもたらし、狭心症、心筋梗塞、心筋不全、不整脈、突然死などを含む一連の臨床症状を引き起こす。したがって、冠動脈狭窄とプラーク検出などの結果は、診断と後続の治療の指針となる重要性を持っており、心臓冠動脈造影（ＣＴＡ：ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙＡｎｇｉｏｇｒａｐｈｙ）画像に基づく冠動脈中心線の抽出が前提となっている。冠状動脈性心臓病の分析において、病変の位置と医療報告書の説明の分析は、冠動脈中心線の命名に依存する必要があることが多い。 Cardiovascular and cerebrovascular diseases are currently among the most deadly diseases, among which coronary heart disease has the highest incidence. Coronary heart disease is caused by atherosclerosis, which causes narrowing of the lumen of the coronary arteries, resulting in insufficient blood supply to the heart muscle, leading to angina pectoris, myocardial infarction, myocardial failure, arrhythmia, and sudden death. cause a range of clinical symptoms, including Therefore, results such as coronary artery stenosis and plaque detection are of importance in guiding diagnosis and subsequent treatment, presupposing the extraction of coronary artery centerlines based on computed tomography angiography (CTA) images. ing. In the analysis of coronary heart disease, the analysis of lesion location and medical report descriptions often needs to rely on the nomenclature of the coronary centerline.

関連技術における命名方法は、主に２つに分け、１番目は、知識とモデリングに基づいて命名することであり、この方法では、主に、目標血管に一致する統計に基づく汎用モデルに基づいて命名する。２番目は、学習に基づく分類アルゴリズムに基づいて命名することであり、この方法では、人工的に設計された特徴の抽出に基づいて中心線に対して分類命名を行う。もう１つの方法では、ツリー構造の双方向長短期記憶ネットワーク（ＬＳＴＭ：ＬｏｎｇＳｈｏｒｔＴｅｒｍ）を用いてツリー構造情報を学習することにより分類命名を行う。モデリングに基づく中心線の命名であろうと、ルールに基づくツリー構造線の命名であろうと、この２つの関連解決策には少なくとも、設計が複雑で一般化能力が足りないという問題がある。 The nomenclature method in the related art is mainly divided into two, the first is nomenclature based on knowledge and modeling, in which the nomenclature is mainly based on the general model based on the statistics that match the target vessels. Naming. The second is nomenclature based on a learning-based classification algorithm, which performs classification nomenclature for centerlines based on artificially designed feature extraction. Another method performs taxonomic nomenclature by learning tree structure information using a tree-structured bidirectional long short term memory network (LSTM). Whether it is modeling-based centerline naming or rule-based tree structure line naming, the two related solutions at least suffer from design complexity and lack of generalization ability.

血管命名タスクの主な課題は、主に、個人間の大きな違い及び大きな変異性にあるが、血管命名の臨床的基礎は血管の血液供給部位であるため、コア学習情報は、血液供給部位、すなわち、心臓に対する血管の位置にある必要があり、心臓の相対位置を剥離又は喪失する任意の方法は、ある程度の情報損失を与え、その結果、精度が低く、一般化能力が弱くなる。 The main challenge of the vessel nomenclature task lies mainly in the large interindividual differences and large variability, but since the clinical basis of vessel nomenclature is the blood supply site of the vessel, the core learning information is the blood supply site, That is, any method that strips or loses the relative position of the heart, which needs to be in the position of the blood vessels relative to the heart, provides some degree of information loss, resulting in poor accuracy and weak generalization capabilities.

本発明の適用例は、分割に基づくエンドツーエンドの命名処理方法を提案する。関連技術では、通常、血管分割を行ってから、中心線を抽出し、最後に中心線を命名する（中心線を分類することによって実現する）。本発明の適用例では、問題を再構築し、つまり、中心線の命名問題を血管マスク画像のインスタンスセグメンテーション（ＩｎｓｔａｎｃｅＳｅｇｍｅｎｔａｔｉｏｎ）問題に再構築する。つまり、中心線を抽出した後、中心線を直接命名するのではなく、血管マスク画像（各画素点には決定されたラベルが付けられている）を分割し、分割結果に投票して、中心線の名称を決定する。画素点に基づく分割モデルの訓練は、より密な注釈と情報を提供し、血管の血液供給位置情報を保留するために、心臓の各心腔のマスク画像を冠動脈血管のマスク画像に重ね合わせて入力として使用する。このようなプロセスは、全ての情報を完全に保留し、原画像と比較してノイズを低減し、手動の特徴抽出やルールに基づく設計を必要とせず、既存の操作過程に簡単に組み込むことができる。 An application of the present invention proposes an end-to-end naming process method based on partitioning. In the related art, we usually perform vessel segmentation, then extract the centerline, and finally name the centerline (achieved by classifying the centerline). In our application, we reconstruct the problem, namely the centerline naming problem into an instance segmentation problem for vessel mask images. That is, after extracting the centerline, instead of naming the centerline directly, we split the vessel mask image (each pixel point is labeled with a determined label), vote on the segmentation result, and use the centerline Determine the name of the line. Pixel point-based segmentation model training superimposes the mask image of each chamber of the heart on the mask image of the coronary artery vessels to provide denser annotation and information and preserve the blood supply location information of the vessels. Use as input. Such a process preserves all information perfectly, reduces noise compared to the original image, does not require manual feature extraction or rule-based design, and can be easily incorporated into existing operational processes. can.

本発明の適用例は、訓練過程及び予測過程を含み、ここで、訓練過程は、次のステップを含む。第１のステップでは、入力を準備し、具体的には、分割モデルによって、心臓冠動脈マスク画像及び全心臓マスク画像を取得し、２つのマスク画像を重ね合わせて処理して、最終入力として使用する。第２のステップでは、教師データを準備し、具体的には、先ず、正確に命名されている冠動脈中心線を取得し、その後、冠動脈マスク画像の各画素点のラベルを、当該冠動脈中心線に最も近い各セグメントの中心線に関連付ける。第３のステップでは、Ｒｅｓ－Ｖｎｅｔ型及びダイス損失を用いてマルチラベル分割訓練を行う。予測過程は、次のステップを含む。第１のステップは、訓練過程の入力準備ステップと同様であり、つまり、最終的な入力マスク画像及び抽出された冠動脈中心線を取得することである。第２のステップでは、訓練済みのニューラルネットワークによって分割する。第３のステップでは、分割に基づいて、抽出された中心線セグメントに投票して命名する。第４のステップでは、後処理により、医生が注意を払っている目標血管を抽出し、起こりうる誤りを修正する。 Applications of the present invention include a training process and a prediction process, where the training process includes the following steps. In the first step, the input is prepared, specifically by the split model, the cardiac coronary artery mask image and the whole cardiac mask image are acquired, and the two mask images are superimposed and processed to be used as the final input. . In the second step, training data are prepared, specifically, the correctly named coronary artery centerline is obtained first, and then the label of each pixel point in the coronary artery mask image is assigned to the coronary artery centerline. Associate to the centerline of each nearest segment. In the third step, multi-label split training is performed using the Res-Vnet model and Dice loss. The prediction process includes the following steps. The first step is similar to the input preparation step of the training process: obtaining the final input mask image and the extracted coronary artery centerline. The second step is to split by a trained neural network. The third step is to vote and name the extracted centerline segments based on the segmentation. In a fourth step, post-processing extracts the target vessels that the physician is paying attention to and corrects possible errors.

本発明の適用例によれば、血管中心線命名タスクを血管マスク画像分類タスクに再構築することにより、学習の難易度を低減し、中心線命名のロバスト性を向上させる。本発明の適用例によれば、血管マスク画像と心臓マスク画像を一緒に入力することにより、原画像を直接学習する難易度を低減し、すべての命名に必要なすべての必要情報を保留し、これにより、学習に基づく方法は、従来のルールに基づくツリー構造命名アルゴリズムよりも優れた一般化能力を有する。 According to an application of the present invention, the vessel centerline naming task is reconstructed into a vessel mask image classification task to reduce the learning difficulty and improve the robustness of centerline naming. According to the application of the present invention, by inputting the vascular mask image and the heart mask image together, the difficulty of directly learning the original image is reduced, all the necessary information required for all naming is reserved, This makes the learning-based method have better generalization ability than traditional rule-based tree structure naming algorithms.

図３は、本発明の１つの適用例の概略図を示し、図３に示されたように、本発明の実施例は、画像処理方法を提案し、当該処理方法は、画像処理により冠動脈中心線のセグメント命名を実現することができる、当該画像処理過程は、大体以下の４つのステップを含み得る。 FIG. 3 shows a schematic diagram of one application example of the present invention, as shown in FIG. 3, an embodiment of the present invention proposes an image processing method, which is based on coronary artery center by image processing. The image processing process, which can realize line segment naming, may roughly include the following four steps.

第１のステップにおいて、心臓冠動脈マスク画像３１及び心臓マスク画像３２をそれぞれ取得し、２つのマスク画像を合併して、合併マスク画像として使用する。同時に、心臓冠動脈マスク画像の中心線を抽出し、複数の冠動脈中心線セグメント（目標サブ対象）からなる冠動脈中心線を目標対象として取得する。その後、合併マスク画像を目標対象と重ね合わせて、目標対象（冠動脈中心線）を含む目標画像３３を取得する。 In a first step, a cardiac coronary artery mask image 31 and a cardiac mask image 32 are acquired respectively, and the two mask images are merged and used as a merged mask image. At the same time, the centerline of the cardiac coronary artery mask image is extracted, and a coronary artery centerline consisting of a plurality of coronary artery centerline segments (target sub-objects) is obtained as a target object. The merged mask image is then superimposed on the target object to obtain a target image 33 containing the target object (coronary artery centerline).

第２のステップにおいて、訓練済みのニューラルネットワーク３４によって、目標画像を分割して、目標画像内の各前景画素点（すなわち、心臓冠動脈に属する画素点）の分割結果３５を取得する。 In a second step, the target image is segmented by a trained neural network 34 to obtain a segmentation result 35 for each foreground pixel point (ie, pixel point belonging to the coronary heart) in the target image.

第３のステップにおいて、第２のステップで取得された分割結果に従って、投票命名を行うことにより、目標画像内の冠動脈中心線の各冠動脈中心線セグメントの名称３６を決定し、投票命名過程は、
各冠動脈中心線セグメントについて、それらに含まれる画素点を第２目標画素点として決定し、その後、これらの第２目標画素点の分割結果に対応する名称を統計し、その中で最も数の多い名称を当該冠動脈中心線セグメントの名称として選択することであってもよい。 In a third step, according to the segmentation result obtained in the second step, determine the name 36 of each coronary artery centerline segment of the coronary artery centerline in the target image by performing voting naming, the voting naming process comprising:
For each coronary artery centerline segment, determine the pixel points contained therein as the second target pixel points; A name may be selected as the name of the coronary artery centerline segment.

第４のステップにおいて、各冠動脈中心線セグメントの命名を遂行した後、後処理によって、その中の同じ名称を有する分枝を含む複数の冠動脈中心線セグメントについて、最も完全であるか又は最も長い分枝を最終結果として保留し、不連続な冠動脈中心線セグメントを修正する。例えば、中心線セグメントの親ノード（親線セグメント）と子ノード（子線セグメント）は同じ名称を有するが、当該冠動脈中心線セグメントの名称がそれらの名称と一致しない場合、当該冠動脈中心線セグメントを親ノードおよび子ノードと一致する名称に修正することができる。上記の後処理によって、最終的な処理結果３７を取得する。 In the fourth step, after performing each coronary centerline segment nomenclature, post-processing determines the most complete or longest coronary artery centerline segment for multiple coronary artery centerline segments containing branches with the same name therein. Retain the branch as the final result and correct the discontinuous coronary centerline segments. For example, if the parent node (parent line segment) and child node (child line segment) of a centerline segment have the same name, but the name of the coronary artery centerline segment does not match their names, then the coronary artery centerline segment is It can be modified to match the name of the parent and child nodes. A final processing result 37 is obtained by the above post-processing.

いくつかの可能な実施例において、第２のステップの目標画像を分割するためのニューラルネットワークの訓練過程は、先ず、訓練画像を準備し、訓練画像は、目標画像と同様であり得、つまり、心臓冠動脈マスク画像と、心臓マスク画像と、冠動脈中心線とを重ね合わせることによって取得された画像を訓練画像として使用する。 In some possible embodiments, the process of training the neural network to segment the target image in the second step first prepares training images, which may be similar to the target image, i.e. Images obtained by superimposing the cardiac coronary artery mask image, the cardiac mask image, and the coronary artery centerline are used as training images.

訓練画像はニューラルネットワークの訓練に使用されるため、教師データ（ｇｒｏｕｎｄｔｒｕｔｈ）も必要であり、つまり、訓練画像内の画素点についてラベルを更に準備する必要がある。本発明の適用例において、教師データの生成方式は、次のとおりであり得る。先ず、セグメント命名によって冠動脈中心線に注釈を付けることができ、このようにして、各冠動脈中心線セグメントの画素点のラベルは、対応する冠動脈中心線セグメントの注釈名称である。 Since the training images will be used to train the neural network, we also need ground truth, ie we need to further prepare labels for the pixel points in the training images. In the application example of the present invention, the method of generating teacher data may be as follows. First, a coronary centerline can be annotated by a segment nomenclature, and thus the label of each coronary centerline segment pixel point is the annotation name of the corresponding coronary artery centerline segment.

次に、訓練画像において、前景に属し且つ冠動脈中心線セグメントに属しない画素点をそれぞれ第１目標画素点として使用し、冠動脈中心線上の第１目標画素点に最も近い画素点のラベル（すなわち、注釈）を、当該第１目標画素点のラベルとして使用することができる。 Next, in the training images, each pixel point that belongs to the foreground and does not belong to the coronary centerline segment is used as the first target pixel point, and the label of the pixel point closest to the first target pixel point on the coronary centerline (i.e., annotation) can be used as the label for the first target pixel point.

上記のプロセスにより、ラベルを含む訓練画像を取得し、当該ラベルを含む訓練画像をニューラルネットワークに入力して訓練し、訓練済みのニューラルネットワークを取得することができる。一例において、ニューラルネットワークは、Ｒｅｓ－Ｖｎｅｔニューラルネットワークを基礎モデルとして使用し、ダイス損失を損失関数として使用することによりマルチラベル分割訓練を行い、最終的な訓練結果を取得することができる。 Through the above process, it is possible to acquire training images containing labels, input the training images containing the labels into a neural network for training, and obtain a trained neural network. In one example, the neural network can use the Res-Vnet neural network as the base model and perform multi-label segmentation training by using Dice loss as the loss function to obtain the final training result.

上記のプロセスにより、冠動脈中心線セグメント命名タスクを血管マスク画像のインスタンス・セグメンテーション・タスクに再構築することができ、同時に、本発明の適用例で提案される画像処理方法は、心臓冠動脈マスク画像及び心臓マスク画像を入力として使用することができ、心臓冠動脈の原画像を入力として使用する方法と比較して、入力環境を簡略化し、ノイズを低減し、全てのツリー構造情報及び血液供給位置情報を保留することができる。また、命名過程において、分割結果に対して投票メカニズムを採用することにより、冠動脈中心線セグメントの命名を、当該セグメント画素点で出現率が最も高い分割ラベルに依存させ、これにより、一部の画素点の分割結果が不正確であっても、正確な分割結果が過半数を占める限り、正しい冠状動脈中心線の命名結果を得ることができ、最後に、分割結果に基づいて命名した後、命名結果に対して後処理を行い、分割結果が訓練データに依存するため、後処理により、訓練データが少ない場合でも最終処理結果のロバスト性を維持することができる。 By the above process, the coronary artery centerline segment naming task can be reconstructed into an instance segmentation task for vessel mask images, while the image processing method proposed in the application example of the present invention can be applied to heart coronary artery mask images and The heart mask image can be used as input, which simplifies the input environment, reduces noise, and retains all tree structure information and blood supply location information compared to the method using the original image of the coronary artery as input. can be withheld. Also, in the naming process, by adopting a voting mechanism for the segmentation result, the naming of the coronary centerline segment depends on the segmentation label with the highest occurrence rate at the segment pixel point, so that some pixels Even if the point segmentation result is inaccurate, as long as the correct segmentation result accounts for the majority, the correct coronary artery centerline nomenclature result can be obtained. , and the split result depends on the training data, post-processing allows us to maintain the robustness of the final result even when there is little training data.

本発明の適用例に係る画像処理方法は、新しい問題アーキテクチャを提案し、つまり、中心線セグメント命名タスクを血管マスク画像のインスタンス・セグメンテーション・タスクに再構築するとともに、新しい入力アイデアを提供し、原画像を入力として使用することと比較して、当該技術は２つのマスク画像を入力として使用し、入力環境を簡略化し、ノイズを低減し、全てのツリー構造情報及び血液供給位置情報を保留することができる。分割後の結果に基づく中心線命名において、投票メカニズムを使用して、血管セグメント命名を当該セグメント画素点で出現率が最も高い分割ラベルに依存させることにより、分割結果が良くない場合でも、正確な分割結果が過半数を占める限り、中心線命名は正確である。先験知識に基づいて後処理を行い、学習アルゴリズムは訓練データに依存し、後処理において訓練データが少ない場合でも最終結果のロバスト性を維持することができる。 The image processing method according to the application of the present invention proposes a new problem architecture, that is, restructuring the centerline segment naming task into a vessel mask image instance segmentation task, as well as providing new input ideas, Compared to using images as inputs, the technique uses two mask images as inputs, simplifying the input environment, reducing noise, and preserving all tree structure information and blood supply location information. can be done. Centerline naming based on post-segmentation results uses a voting mechanism to make vessel segment naming dependent on the segmentation label with the highest frequency of occurrence at that segment pixel point, thereby ensuring accurate results even when segmentation results are poor. Centerline nomenclature is accurate as long as the split results are in the majority. The post-processing is based on a priori knowledge, the learning algorithm depends on the training data, and the robustness of the final result can be maintained even with less training data in the post-processing.

したがって、本発明の適用例の創造的なポイントは、少なくとも、冠動脈マルチラベル分割に基づく中心線命名戦略と、マスク画像分割から中心線命名までの投票戦略と、分割結果及び先験知識に基づく後処理方法と、を含む。本発明の適用例に係る解決策は、エンドツーエンドの設計に基づいており、明確なプロセス、より高い精度、およびロバスト性が高いという利点を有する。同時に、本発明の適用例に係る解決策は、高い効率を維持し、患者ごとに約３～５秒かかる。 Therefore, the creative point of the application of the present invention is at least a centerline naming strategy based on coronary artery multi-label segmentation, a voting strategy from mask image segmentation to centerline naming, and a post-segmentation strategy based on segmentation results and a priori knowledge. and a processing method. The solution according to the application of the present invention is based on an end-to-end design and has the advantages of well-defined process, higher accuracy and high robustness. At the same time, the solution according to the application of the present invention remains highly efficient, taking about 3-5 seconds per patient.

本発明の適用例は、少なくとも、心血管および脳血管疾患の支援診断、遠隔医療診断、クラウドプラットフォーム支援インテリジェント診断、および医療ラベリングプラットフォームなどの態様における心臓冠状動脈画像の処理に適用されることができる。心臓専門医が患者の冠動脈造影データを取得して中心線を抽出した後、血管プラークと狭窄の検出と位置決めを行うために、中心線をセグメントして命名し、これによって、構造化されたレポートを生成する。 Applications of the present invention can be applied at least to the processing of cardiac coronary artery images in aspects such as cardiovascular and cerebrovascular disease assisted diagnosis, telemedicine diagnosis, cloud platform assisted intelligent diagnosis, and medical labeling platform. . After the cardiologist acquires the patient's coronary angiography data and extracts the centerline, the centerline is segmented and named for detection and localization of vessel plaques and stenoses, thereby providing a structured report. Generate.

留意されたいこととして、本発明の実施例に係る画像処理方法は、上記の心臓冠動脈画像の処理に適用されることに限定されず、任意の画像処理に適用されることができ、本発明の実施例はこれに対して特に限定しない。例えば、中心線の命名を定義することによって冠動脈マスク画像に対して分割タスクを実行する製品、又は全心臓マスク画像及び心臓冠動脈マスク画像を入力として使用する製品も、本発明の実施例の保護範囲に含まれる。 It should be noted that the image processing method according to the embodiment of the present invention is not limited to being applied to the processing of coronary artery images as described above, and can be applied to any image processing. The embodiments are not particularly limited to this. For example, products that perform segmentation tasks on coronary artery mask images by defining centerline nomenclature, or products that use whole heart mask images and cardiac coronary artery mask images as inputs are also covered by the protection scope of the embodiments of the present invention. include.

本発明の実施例で述べた上述の各方法の実施例は、原理および論理に違反することなく、互いに組み合わせて、組み合わせされた実施例を生成することができ、紙数に限りがあるので、本発明の実施例を繰り返して説明しないことを理解されたい。当業者は、実施形態の上記の方法において、各ステップの実行順序はそれらの機能と可能な内部ロジックによって決定されることを理解することができる。 The above-described method embodiments described in the embodiments of the present invention can be combined with each other to produce combined embodiments without violating the principle and logic, and due to the limited number of pages, It should be understood that the embodiments of the invention will not be described repeatedly. Those skilled in the art can understand that in the above methods of the embodiments, the order of execution of each step is determined by their function and possible internal logic.

さらに、本発明の実施例はまた、画像処理装置、電子機器、コンピュータ可読記憶媒体、プログラム製品を提供し、これらはすべて、本発明の実施例で提供される任意の画像処理方法を実現するために使用されることができる、対応する技術的解決策及び説明については、方法部分の対応する説明を参照することができ、ここでは繰り返して説明しない。 Further, embodiments of the present invention also provide an image processing device, an electronic device, a computer-readable storage medium, a program product, all for implementing any image processing method provided in the embodiments of the present invention. For the corresponding technical solutions and descriptions that can be used in the method, please refer to the corresponding descriptions in the method part, which will not be repeated here.

図４は、本発明の実施例に係る画像処理装置のブロック図を示す。当該画像処理装置は、端末機器、サーバ又は他の処理機器などであってもよい。ここで、端末機器は、ＵＥ、モバイル機器、ユーザ端末、端末、セルラー電話、コードレス電話、ＰＤＡ、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであってもよい。いくつかの可能な実施形態において、当該画像処理装置は、プロセッサがメモリに記憶されたコンピュータ可読命令を呼び出す方式により実現することができる。図４に示されたように、前記画像処理装置４０は、
目標対象を含む目標画像を取得するように構成される目標画像取得モジュール４１と、
目標画像を分割して、目標画像内の少なくとも１つの画素点の名称を分割結果として取得するように構成される分割モジュール４２と、
分割結果に従って、目標対象内の少なくとも１つの目標サブ対象の名称を決定するように構成される命名モジュール４３と、を備える。 FIG. 4 shows a block diagram of an image processing device according to an embodiment of the present invention. The image processing device may be a terminal device, a server, or other processing device. Here, the terminal equipment may be a UE, a mobile equipment, a user terminal, a terminal, a cellular phone, a cordless phone, a PDA, a handheld device, a computing device, an in-vehicle device, a wearable device, and the like. In some possible embodiments, the image processing apparatus may be implemented in a manner in which a processor invokes computer readable instructions stored in memory. As shown in FIG. 4, the image processing device 40
a target image acquisition module 41 configured to acquire a target image including the target object;
a segmentation module 42 configured to segment the target image to obtain the name of at least one pixel point in the target image as a segmentation result;
a naming module 43 configured to determine the name of at least one target sub-object within the target object according to the segmentation result.

１つの可能な実施形態において、分割モジュールは、目標画像をニューラルネットワークに入力し、ニューラルネットワークの出力に従って、目標画像内の少なくとも１つの画素点の名称を分割結果として決定するように構成され、ここで、ニューラルネットワークは、目標対象を含む訓練画像によって訓練され、訓練画像内の目標対象は、少なくとも１つの目標サブ対象の名称によって注釈される。 In one possible embodiment, the segmentation module is configured to input the target image to the neural network and determine the name of at least one pixel point in the target image as the segmentation result according to the output of the neural network, wherein , the neural network is trained with training images containing target objects, the target objects in the training images being annotated by the name of at least one target sub-object.

１つの可能な実施形態において、目標対象を含む訓練画像によってニューラルネットワークを訓練することは、訓練画像内の目標対象の注釈に従って、訓練画像内の少なくとも一部の画素点のラベルを決定することと、少なくとも一部の画素点のラベルを含む訓練画像によって、ニューラルネットワークを訓練することと、を含む。 In one possible embodiment, training the neural network with training images containing target objects includes determining labels of at least some pixel points in the training images according to annotations of the target objects in the training images. , training the neural network with training images containing labels for at least some of the pixel points.

１つの可能な実施形態において、目標対象を含む訓練画像によってニューラルネットワークを訓練することは、訓練画像内の目標対象において、第１目標画素点に最も近い目標サブ対象を決定することであって、第１目標画素点は、訓練画像内の、目標対象以外の少なくとも１つの画素点であることと、決定された目標サブ対象の注釈を、第１目標画素点のラベルとして使用することと、第１目標画素点のラベル及び目標対象の注釈を含む訓練画像に従って、二ューラルネットワークを訓練することと、を含む。 In one possible embodiment, training the neural network with training images containing the target object is to determine the target sub-object closest to the first target pixel point in the target object in the training image, wherein the first target pixel point is at least one pixel point in the training image other than the target object; using the determined target sub-object annotation as a label for the first target pixel point; training the neural network according to the training images containing the labels of one target pixel point and annotations of the target object.

１つの可能な実施形態において、命名モジュールは、分割結果に従って、少なくとも１つの第２目標画素点の名称を決定し、ここで、第２目標画素点は、目標サブ対象に含まれる画素点であり、目標サブ対象の第２目標画素点の名称を統計して、統計結果を取得し、統計結果における最大数の名称を目標サブ対象の名称として使用するように構成される。 In one possible embodiment, the naming module determines a name for at least one second target pixel point according to the segmentation result, where the second target pixel point is a pixel point included in the target sub-object. , the name of the second target pixel point of the target sub-object is statistically obtained to obtain a statistical result, and the name with the largest number in the statistical result is used as the name of the target sub-object.

１つの可能な実施形態において、命名モジュールは更に、第２目標画素点に対応する分割結果を第２目標画素点の名称として使用するか、又は、第２目標画素点の予め設定された範囲内の少なくとも１つの画素点の分割結果に基づいて、第２目標画素点の名称を決定するように構成される。 In one possible embodiment, the naming module further uses the segmentation result corresponding to the second target pixel point as the name of the second target pixel point, or within a preset range of the second target pixel point. is configured to determine the name of the second target pixel point based on the segmentation result of the at least one pixel point of .

１つの可能な実施形態において、画像処理装置４０は更に、処理モジュールを備え、前記処理モジュールは、少なくとも１つの目標サブ対象の名称に従って、目標対象を処理して、処理結果を取得するように構成される。 In one possible embodiment, the image processing device 40 further comprises a processing module, said processing module being arranged to process the target object according to the name of at least one target sub-object to obtain a processing result. be done.

１つの可能な実施形態において、処理モジュールは更に、目標対象から同じ名称を有する目標サブ対象を抽出し、及び／又は、隣接する目標サブ対象の名称に従って目標対象内の少なくとも１つの目標サブ対象の名称を修正するように構成される。 In one possible embodiment, the processing module further extracts target sub-objects having the same name from the target object and/or extracts target sub-objects of at least one target sub-object within the target object according to the names of adjacent target sub-objects. Configured to modify the name.

１つの可能な実施形態において、目標画像は、心臓冠動脈マスク画像、又は、心臓冠動脈マスク画像及び心臓マスク画像を含み、目標対象は冠動脈中心線を含む。 In one possible embodiment, the target image comprises a cardiac coronary artery mask image, or a cardiac coronary artery mask image and a cardiac mask image, and the target object comprises a coronary artery centerline.

本発明の実施例は、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体を更に提供し、前記コンピュータプログラム命令がプロセッサによって実行されるときに、上記の方法を実現する。コンピュータ可読記憶媒体は、不揮発性コンピュータ可読記憶媒体であってもよい。 Embodiments of the invention further provide a computer-readable storage medium having computer program instructions stored thereon, which when executed by a processor, implement the above method. The computer-readable storage medium may be a non-volatile computer-readable storage medium.

本発明の実施例は、電子機器をさらに提供し、前記電子機器は、プロセッサと、プロセッサ実行可能命令を記憶するように構成されるメモリとを備え、ここで、前記プロセッサは、前記メモリに記憶された命令を呼び出して実行することにより、上記の方法を実行するように構成される。電子機器は、端末、サーバまたは他の形の機器として提供されるできる。 An embodiment of the present invention further provides an electronic device, said electronic device comprising a processor and a memory configured to store processor-executable instructions, wherein said processor stores in said memory It is configured to perform the above method by calling and executing the specified instructions. An electronic device may be provided as a terminal, server or other form of device.

本発明の実施例は、コンピュータ読み取り可能なコードを含むコンピュータプログラム製品をさらに提供し、コンピュータ読み取り可能なコードが機器で実行されるときに、当該機器のプロセッサに、上記の実施例のいずれかで提供される画像処理方法を実現するための命令を実行させる。 An embodiment of the present invention further provides a computer program product comprising computer readable code for, when the computer readable code is executed on a device, causing a processor of the device to perform any of the above embodiments. Execute instructions for implementing the provided image processing method.

本発明の実施例は、別のコンピュータプログラム製品を更に提供し、前記コンピュータプログラム製品は、コンピュータ可読命令を記憶するように構成され、命令が実行されるときに、コンピュータに、上記の実施例のいずれかで提供される画像処理方法を実行させる。 Embodiments of the present invention further provide another computer program product, said computer program product being configured to store computer readable instructions which, when executed, cause a computer to perform the steps of the above embodiments. Execute the image processing method provided by either.

図５は、本開示の実施例に係る電子機器８００のブロック図を示す。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器又は携帯情報端末などの端末であってもよい。 FIG. 5 shows a block diagram of an electronic device 800 according to an embodiment of the disclosure. For example, electronic device 800 may be a terminal such as a mobile phone, computer, digital broadcast terminal, messaging device, game console, tablet device, medical equipment, fitness equipment, or personal digital assistant.

図５を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電力コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インターフェース８１２、センサコンポーネント８１４、及び通信コンポーネント８１６のうちの１つまたは複数のコンポーネントを備えることができる。 Referring to FIG. 5, electronic device 800 includes processing component 802, memory 804, power component 806, multimedia component 808, audio component 810, input/output (I/O) interface 812, sensor component 814, and communication component 816 .

処理コンポーネント８０２は、一般的に、電子機器８００の全体的な動作、例えば、ディスプレイ、電話の呼び出し、データ通信、カメラ操作及び記録操作に関する動作を制御する。処理コンポーネント８０２は、上記の方法のステップのすべてまたは一部を完了するための命令を実行するための１つまたは複数のプロセッサ８２０を備えることができる。加えて、処理コンポーネント８０２は、処理コンポーネント８０２と他のコンポーネントの間のインタラクションを容易にするための１つまたは複数のモジュールを備えることができる。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８と処理コンポーネント８０２との間のインタラクションを容易にするためのマルチメディアモジュールを備えることができる。 Processing component 802 generally controls the overall operation of electronic device 800, for example, operations related to display, telephone calls, data communications, camera operations, and recording operations. The processing component 802 can comprise one or more processors 820 for executing instructions to complete all or part of the steps of the methods described above. Additionally, processing component 802 can comprise one or more modules to facilitate interaction between processing component 802 and other components. For example, processing component 802 can comprise multimedia modules to facilitate interaction between multimedia component 808 and processing component 802 .

メモリ８０４は、電子機器８００での操作をサポートするための様々なタイプのデータを格納するように構成される。これらのデータの例には、電子機器８００で動作する任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。メモリ８０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ：ＳｔａｔｉｃＲａｎｄｏｍ－ＡｃｃｅｓｓＭｅｍｏｒｙ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ：ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ：ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ：ＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ：ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、磁気メモリ、フラッシュメモリ、磁気ディスク、または光ディスクなど、あらゆるタイプの揮発性または不揮発性ストレージデバイスまたはそれらの組み合わせによって実現されることができる。 Memory 804 is configured to store various types of data to support operations on electronic device 800 . Examples of these data include instructions for any application or method running on electronic device 800, contact data, phonebook data, messages, photos, videos, and the like. Memory 804 may be static random-access memory (SRAM), electrically erasable programmable read-only memory (EEPROM), erasable programmable read-only memory (EEPROM), Erasable Programmable Read-Only Memory (EPROM), Programmable Read-Only Memory (PROM), Read Only Memory (ROM), Magnetic Memory, Flash Memory, Magnetic Disk, or Optical Disk etc., can be implemented by any type of volatile or non-volatile storage device or combination thereof.

電力コンポーネント８０６は、電子機器８００の様々なコンポーネントに電力を提供する。電力コンポーネント８０６は、電力管理システム、１つまたは複数の電源、及び電子機器８００のための電力の生成、管理および配分に関する他のコンポーネントを備えることができる。 Power component 806 provides power to various components of electronic device 800 . Power components 806 may comprise a power management system, one or more power sources, and other components related to power generation, management and distribution for electronic device 800 .

マルチメディアコンポーネント８０８は、前記電子機器８００とユーザとの間の出力インターフェースとして提供されるスクリーンを備える。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）及びタッチパネル（ＴＰ：ＴｏｕｃｈＰａｎｅｌ）を備えることができる。スクリーンがタッチパネルを備える場合、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして実装されることができる。タッチパネルは、タッチ、スワイプ及びタッチパネルでのジェスチャーを検知するための１つまたは複数のタッチセンサを備える。前記タッチセンサは、タッチまたはスワイプの操作の境界を感知するだけでなく、前記タッチまたはスワイプ動作に関連する持続時間及び圧力も検出することができる。いくつかの実施例において、マルチメディアコンポーネント８０８は、１つのフロントカメラおよび／またはリアカメラを備える。電子機器８００が撮影モードまたはビデオモードなどの動作モードにあるとき、フロントカメラおよび／またはリアカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは、固定された光学レンズシステムであってもよく、焦点距離と光学ズーム機能を有するものであってもよい。 A multimedia component 808 comprises a screen that serves as an output interface between the electronic device 800 and a user. In some implementations, the screen can comprise a Liquid Crystal Display (LCD) and a Touch Panel (TP). If the screen comprises a touch panel, the screen can be implemented as a touch screen for receiving input signals from the user. A touch panel includes one or more touch sensors for detecting touches, swipes, and gestures on the touch panel. The touch sensor can not only sense the boundaries of a touch or swipe operation, but also detect the duration and pressure associated with the touch or swipe action. In some examples, multimedia component 808 includes one front camera and/or one rear camera. When the electronic device 800 is in an operational mode, such as photography mode or video mode, the front camera and/or the rear camera can receive external multimedia data. Each front and rear camera may be a fixed optical lens system and may have a focal length and optical zoom capability.

オーディオコンポーネント８１０は、オーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、１つのマイクロフォン（ＭＩＣ：Ｍｉｃｒｏｐｈｏｎｅ）を備え、電子機器８００が通話モード、録音モード及び音声認識モードなどの動作モードにあるとき、マイクロフォンは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ８０４にさらに記憶されてもよく、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント８１０は、さらに、オーディオ信号を出力するためのスピーカを備える。 Audio component 810 is configured to output and/or input audio signals. For example, the audio component 810 includes a microphone (MIC), which is adapted to receive external audio signals when the electronic device 800 is in operating modes such as call mode, recording mode, and voice recognition mode. Configured. The received audio signals may be further stored in memory 804 or transmitted via communication component 816 . In some embodiments, audio component 810 further comprises a speaker for outputting audio signals.

Ｉ／Ｏインターフェース８１２は、処理コンポーネント８０２と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを備えることができるが、これらに限定されない。 I/O interface 812 provides an interface between processing component 802 and peripheral interface modules, which may be keyboards, click wheels, buttons, and the like. These buttons can include, but are not limited to, home button, volume button, start button, lock button.

センサコンポーネント８１４は、電子機器８００に各態様の状態の評価を提供するための１つまたは複数のセンサを備える。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態と、電子機器８００のディスプレイやキーパッドなどのコンポーネントの相対的な位置づけを検出することができ、センサコンポーネント８１４はまた、電子機器８００または電子機器８００のコンポーネントの位置の変化、ユーザとの電子機器８００の接触の有無、電子機器８００の向きまたは加速／減速、及び電子機器８００の温度の変化も検出することができる。センサコンポーネント８１４は、物理的接触なしに近くの物体の存在を検出するように構成された近接センサを備えることができる。センサコンポーネント８１４は、さらに、撮像用途で使用するための光センサ、相補型金属酸化膜半導体（ＣＭＯＳ：ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ－ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）または電荷結合素子（ＣＣＤ：ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）画像センサなどの光センサを備えることができる。いくつかの実施例において、当該センサコンポーネント８１４は、さらに、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサを備えることができる。 Sensor component 814 comprises one or more sensors for providing electronic device 800 with an assessment of the status of each aspect. For example, the sensor component 814 can detect the on/off state of the electronic device 800 and the relative positioning of components such as a display and keypad of the electronic device 800; Changes in the position of components of the electronic device 800, contact or non-contact of the electronic device 800 with a user, orientation or acceleration/deceleration of the electronic device 800, and changes in the temperature of the electronic device 800 can also be detected. Sensor component 814 can comprise a proximity sensor configured to detect the presence of nearby objects without physical contact. The sensor component 814 may also include an optical sensor, such as an optical sensor, a Complementary Metal-Oxide Semiconductor (CMOS) or Charge Coupled Device (CCD) image sensor for use in imaging applications. be prepared. In some examples, the sensor component 814 can further comprise an acceleration sensor, gyroscope sensor, magnetic sensor, pressure sensor, or temperature sensor.

通信コンポーネント８１６は、電子機器８００と他の装置の間の有線または無線通信を容易にするように構成される。電子機器８００は、ＷｉＦｉ（登録商標）、第２世代モバイル通信技術（２Ｇ：Ｔｈｅ２ｎｄＧｅｎｅｒａｔｉｏｎ）、第２世代モバイル通信技術（２Ｇ：Ｔｈｅ２ｎｄＧｅｎｅｒａｔｉｏｎ）、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例において、前記通信コンポーネント８１６は、放送チャンネルを介して外部放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント８１６は、さらに、短距離通信を促進するために、近距離通信（ＮＦＣ：ＮｅａｒＦｉｅｌｄＣｏｍｍｕｎｉｃａｔｉｏｎ）モジュールを備える。例えば、ＮＦＣモジュールでは、無線周波数識別（ＲＦＩＤ：ＲａｄｉｏＦｒｅｑｕｅｎｃｙＩｄｅｎｔｉｆｉｃａｔｉｏｎ）技術、赤外線データ協会（ＩｒＤＡ：ＩｎｆｒａｒｅｄＤａｔａＡｓｓｏｃｉａｔｉｏｎ）技術、超広帯域（ＵＷＢ：ＵｌｔｒａＷｉｄｅＢａｎｄ）技術、ブルートゥース（ＢＴ：Ｂｌｕｅｔｏｏｔｈ）技術及び他の技術に基づいて具現されることができる。 Communications component 816 is configured to facilitate wired or wireless communications between electronic device 800 and other devices. The electronic device 800 uses a wireless communication standard such as WiFi (registered trademark), second generation mobile communication technology (2G: The 2nd Generation), second generation mobile communication technology (2G: The 2nd Generation), or a combination thereof. Have access to the network. In one exemplary embodiment, the communications component 816 receives broadcast signals or broadcast-related information from an external broadcast management system via a broadcast channel. In one exemplary embodiment, the communication component 816 further comprises a Near Field Communication (NFC) module to facilitate short-range communication. For example, in the NFC module, Radio Frequency Identification (RFID) technology, Infrared Data Association (IrDA) technology, Ultra Wide Band (UWB) technology, Bluetooth (BT) technology and others can be implemented based on the technology of

例示的な実施例において、電子機器８００は、上記の方法を実行するように構成される、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ：ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、デジタル信号プロセッサ（ＤＳＰ：ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ：ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子素子によって具現されることができる。
例示的な実施例において、コンピュータプログラム命令を含むメモリ８０４などの、コンピュータ可読記憶媒体をさらに提供し、上述のコンピュータプログラム命令が電子機器８００のプロセッサ８２０によって実行されることにより、上記の方法を完了することができる。 In an exemplary embodiment, the electronic device 800 comprises one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs) configured to perform the methods described above. Signal Processor), Digital Signal Processor (DSPD), Programmable Logic Device (PLD), Field-Programmable Gate Array (FPGA), controller, microcontroller, microprocessor or other electronic device can be embodied.
In an exemplary embodiment, a computer readable storage medium, such as memory 804, containing computer program instructions is further provided, which are executed by processor 820 of electronic device 800 to complete the above method. can do.

図６は、本開示の実施例に係る電子機器１９００のブロック図を示す。例えば、電子機器１９００は、サーバとして提供されることができる。図６を参照すると、電子機器１９００は、１つまたは複数のプロセッサを含む処理コンポーネント１９２２と、処理コンポーネント１９２２によって実行可能な命令（アプリケーションなど）を記憶するように構成されるメモリリソースとして表されるメモリ１９３２と、を備える。メモリ１９３２に記憶されたアプリケーションは、それぞれが一セットの命令に対応する１つまたは複数のモジュールを備えることができる。さらに、処理コンポーネント１９２２は、命令を実行することにより、上記の方法を実行するように構成される。 FIG. 6 shows a block diagram of an electronic device 1900 according to an embodiment of the disclosure. For example, electronic device 1900 can be provided as a server. Referring to FIG. 6, electronic device 1900 is represented as a processing component 1922 including one or more processors and a memory resource configured to store instructions (such as applications) executable by processing component 1922. and a memory 1932 . An application stored in memory 1932 may comprise one or more modules, each module corresponding to a set of instructions. Further, the processing component 1922 is configured to perform the methods described above by executing instructions.

電子機器１９００は、さらに、電子装置１９００の電源管理を実行するように構成される電力コンポーネント１９２６と、電子装置１９００をネットワークに接続するように構成される有線または無線ネットワークインターフェース１９５０と、Ｉ／Ｏインターフェース１９５８と、を備えることができる。電子機器１９００は、メモリ１９３２に記憶されたオペレーティングシステム、例えば、ＷｉｎｄｏｗｓＳｅｒｖｅｒ^ＴＭ、ＭａｃＯＳＸ^ＴＭ、Ｕｎｉｘ^ＴＭ、Ｌｉｎｕｘ^ＴＭ、ＦｒｅｅＢＳＤ^ＴＭまたは類似のシステムを介して操作できる。 The electronic device 1900 further includes a power component 1926 configured to perform power management of the electronic device 1900; a wired or wireless network interface 1950 configured to connect the electronic device 1900 to a network; an interface 1958; Electronic device 1900 may operate via an operating system stored in memory 1932, such as Windows Server ^™ , Mac OS X ^™ , Unix ^™ , Linux ^™ , FreeBSD ^™ , or similar systems.

例示的な実施例において、コンピュータプログラム命令を含むメモリ１９３２などの、不揮発性コンピュータ可読記憶媒体をさらに提供し、電子機器１９００の処理コンポーネント１９２２によって上述のコンピュータプログラム命令を実行することにより、上記の方法を完了することができる。 In an exemplary embodiment, by further providing a non-volatile computer-readable storage medium, such as memory 1932, containing computer program instructions and executing the computer program instructions by processing component 1922 of electronic device 1900, the above method is performed. can be completed.

本発明は、システム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を含み得、当該コンピュータ可読記憶媒体には、プロセッサに、本発明の実施例の様々な態様を実現させるためのコンピュータ可読プログラム命令が含まれる。 The invention may be a system, method and/or computer program product. A computer program product may include a computer-readable storage medium containing computer-readable program instructions for causing a processor to implement various aspects of the embodiments of the present invention.

コンピュータ可読記憶媒体は、命令実行機器によって使用される命令を保持および記憶することができる有形機器であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶機器、磁気記憶機器、光学記憶機器、電磁記憶機器、半導体記憶機器または前述の任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体は、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：ＣｏｍｐａｃｔＤｉｓｃＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、デジタル多用途ディスク（ＤＶＤ：ＤｉｇｉｔａｌＶｉｄｅｏＤｉｓｃ）、メモリスティック、フロッピーディスク、命令が記憶されたパンチカードまたは溝の凸構造、および前述の任意の適切な組み合わせなどの機械的符号化機器を含み得る。ここで使用されるコンピュータ可読記憶媒体は、電波や自由に伝播される他の電磁波、導波管や他の伝播媒体を介して伝播される電磁波（光ファイバーケーブルを介した光パルスなど）、またはワイヤを介して伝送される電子信号などの、一時的な信号として解釈されてはならない。 A computer-readable storage medium may be a tangible device capable of holding and storing instructions for use by an instruction-executing device. A computer-readable storage medium can be, for example, but not limited to, an electrical storage device, a magnetic storage device, an optical storage device, an electromagnetic storage device, a semiconductor storage device, or any suitable combination of the foregoing. Computer readable storage media include portable computer diskettes, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory), static random access memory (SRAM) , Portable Compact Disc Read-Only Memory (CD-ROM), Digital Video Disc (DVD), Memory Stick, Floppy Disk, Punched Cards with Instructions or Grooved Structures , and any suitable combination of the foregoing. Computer-readable storage media, as used herein, refers to radio waves or other freely propagating electromagnetic waves, electromagnetic waves propagating through waveguides or other propagation media (such as light pulses through fiber optic cables), or wires. shall not be interpreted as transitory signals, such as electronic signals transmitted via

本明細書で説明するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各コンピューティング／処理機器にダウンロードされるか、インターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークなどのネットワークを介して外部コンピュータまたは外部記憶機器にダウンロードされることができる。ネットワークは、銅線伝送ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバなどを含み得る。各コンピューティング／処理機器におけるネットワークアダプターカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、他のコンピューティング／処理機器のコンピュータ可読記憶媒体への記憶のために、当該コンピュータ可読プログラム命令を転送する。 The computer readable program instructions described herein may be downloaded from a computer readable storage medium to each computing/processing device or transferred to an external computer via networks such as the Internet, local area networks, wide area networks and/or wireless networks. Or it can be downloaded to an external storage device. A network may include copper transmission cables, fiber optic transmissions, wireless transmissions, routers, firewalls, switches, gateway computers and/or edge servers, and the like. A network adapter card or network interface in each computing/processing device receives computer-readable program instructions from the network and outputs such computer-readable program instructions for storage on computer-readable storage media in other computing/processing devices. Forward.

本発明の実施例の操作を実行するためのコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（ＩＳＡ：ＩｎｄｕｓｔｒｙＳｔａｎｄａｒｄＡｒｃｈｉｔｅｃｔｕｒｅ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、または以１つまたは複数のプログラミング言語の任意の組み合わせでプログラミングされたソースコードまたは目標コードであってもよく、前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似のプログラミング言語などの一般的な手続き型プログラミング言語を含む。コンピュータ可読プログラム命令は、完全にユーザのコンピュータで実行されてもよく、その一部がユーザのコンピュータで実行されてもよく、１つの独立したソフトウェアパッケージとして実行されてもよく、その一部がユーザのコンピュータで実行されかつその他の部分がリモートコンピュータで実行されてもよく完全にリモートコンピュータまたはサーバで実行されてもよい。リモートコンピュータに関する場合において、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ：ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）またはワイドエリアネットワーク（ＷＡＮ：ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）を含む任意のタイプのネットワークは、ユーザのコンピュータに接続することができ、または、外部のコンピュータに接続することができる（例えば、インターネットサービスプロバイダを使用してインターネットにアクセスすることができる）。いくつかの実施例において、コンピュータ可読命令の状態情報を使用することにより、プログラマブルロジック回路、フィールドプログラマブルゲートアレイまたはプログラマブルロジックアレイなどの、電子回路をカスタマイズし、当該電子回路は、コンピュータ可読プログラム命令を実行し、それにより、本発明の各態様を実現することができる。 Computer program instructions for carrying out the operations of embodiments of the present invention may be assembly instructions, Industry Standard Architecture (ISA) instructions, machine instructions, machine-related instructions, microcode, firmware instructions, state setting data, or The source or target code may be programmed in any combination of one or more programming languages, including object-oriented programming languages such as Smalltalk, C++, and the "C" language or similar. Includes common procedural programming languages such as programming languages. The computer-readable program instructions may be executed entirely on the user's computer, partly executed on the user's computer, or as a separate software package, partly executed on the user's computer. and other portions may run on remote computers or may run entirely on remote computers or servers. In the case of a remote computer, the remote computer can be any type of network connected to the user's computer, including a Local Area Network (LAN) or a Wide Area Network (WAN); Alternatively, it can be connected to an external computer (eg, it can access the Internet using an Internet service provider). In some embodiments, the state information of the computer readable instructions is used to customize an electronic circuit, such as a programmable logic circuit, field programmable gate array or programmable logic array, which electronic circuit executes the computer readable program instructions. and thereby implement aspects of the invention.

ここで、本発明の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロックを参照して、本発明の各態様について説明したが、フローチャートおよび／またはブロック図の各ブロック、およびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解されたい。 Aspects of the present invention have been described herein with reference to flowchart illustrations and/or block diagrams of methods, apparatus (systems) and computer program products according to embodiments of the invention. , and combinations of blocks in the flowchart illustrations and/or block diagrams, can be implemented by computer readable program instructions.

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサに提供することができ、それにより、これらの命令がコンピュータまたは他のプログラム可能なデータ処理装置のプロセッサによって実行されるときに、フローチャートおよび／またはブロック図における１つのまたは複数のブロックで指定された機能／動作を実現する手段を創出する。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよく、コンピュータ、プログラム可能データ処理装置および／または他の機器が、これらの命令に応じて特定方式で動作することができる。したがって、命令が記憶されたコンピュータ可読媒体は、フローチャートおよび／またはブロック図における１つまたは複数のブロックで指定された機能／動作の各態様の命令を含む、製品を含むことができる。 These computer readable program instructions may be provided to a processor of a general purpose computer, special purpose computer or other programmable data processing apparatus so that these instructions are executed by the processor of the computer or other programmable data processing apparatus. , which, when executed by, implements the functions/acts specified in one or more blocks in the flowchart illustrations and/or block diagrams. These computer readable program instructions may be stored on a computer readable storage medium to enable computers, programmable data processing devices and/or other devices to operate in a specific manner in response to these instructions. Thus, a computer-readable medium having instructions stored thereon may comprise an article of manufacture that includes instructions for each aspect of the functionality/operation specified in one or more blocks in the flowcharts and/or block diagrams.

また、コンピュータ可読プログラム命令を、コンピュータ、他のプログラム可能なデータ処理装置、または他の機器にロードすることで、コンピュータ、プログラム可能なデータ処理装置または他の機器に、一連の操作ステップを実行させることにより、コンピュータによって実現されるプロセスを生成し、それにより、コンピュータ、他のプログラム可能なデータ処理装置、または他の機器で実行される命令により、フローチャートおよび／またはブロック図における１つまたは複数のブロックで指定された機能／動作を実現することができる。 Also, computer readable program instructions are loaded into a computer, other programmable data processing device, or other device to cause the computer, programmable data processing device, or other device to perform a sequence of operational steps. produces a computer-implemented process whereby instructions executed by a computer, other programmable data processing apparatus, or other apparatus cause one or more of the flowcharts and/or block diagrams to It is possible to implement the functions/operations specified in the blocks.

添付の図面におけるフローチャートおよびブロック図は、本発明の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能な実装アーキテクチャ、機能および動作を示す。これに関して、フローチャートまたはブロック図における各ブロックは、１つのモジュール、プログラムセグメントまたは命令の一部を表すことができ、前記モジュール、プログラムセグメントまたは命令の一部は、指定された論理機能を実現するための１つまたは複数の実行可能な命令を含む。いくつかの代替的な実現では、ブロックで表示された機能は、図面で表示された順序とは異なる順序で実行することもできる。例えば、２つの連続するブロックは、実際には、並行して実行されることができ、関連する機能によっては、逆の順序で実行されることもできる。ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定された機能または動作を実行するハードウェアに基づく専用システムによって実現することができ、または専用ハードウェアとコンピュータ命令の組み合わせによって実現されることができることに留意されたい。 The flowcharts and block diagrams in the accompanying drawings illustrate the architecture, functionality, and operation of possible implementations of systems, methods and computer program products according to several embodiments of the present invention. In this regard, each block in a flowchart or block diagram can represent a portion of a module, program segment, or instruction, which is used to implement a specified logical function. contains one or more executable instructions for In some alternative implementations, the functions noted in the blocks may occur out of the order noted in the figures. For example, two consecutive blocks may actually be executed in parallel or even in the reverse order depending on the functionality involved. Each block in the block diagrams and/or flowchart illustrations, and combinations of blocks in the block diagrams and/or flowchart illustrations, can be implemented by a dedicated system based on hardware that performs the specified functions or acts, or dedicated hardware. Note that it can be implemented by a combination of computer instructions.

当該コンピュータプログラム製品は、ハードウェア、ソフトウェアまたはそれらを組み合わせることによって実現されることができる。いくつかの実施例において、前記コンピュータプログラム製品は、コンピュータ記憶媒体で具現でき、別のいくつかの実施例において、コンピュータプログラム製品は、ソフトウェア開発キット（ＳＤＫ：ＳｏｆｔｗａｒｅＤｅｖｅｌｏｐｍｅｎｔＫｉｔ）など、ソフトウェア製品で具現される。 The computer program product can be implemented in hardware, software or a combination thereof. In some embodiments, the computer program product can be embodied in a computer storage medium, and in other embodiments, the computer program product is embodied in a software product, such as a software development kit (SDK). be done.

以上、本発明の各実施例を説明したが、以上の説明は、例示的なものであり、網羅的ではなく、開示された各実施例に限定されない。説明された各実施例の範囲および精神から逸脱することなく、多くの修正および変更は、当業者にとっては明らかである。本明細書で使用される用語の選択は、各実施例の原理、実際の応用または市場における技術の改善を最もよく説明するか、当業者が本明細書で開示された各実施例を理解することができるようにすることを意図する。 While embodiments of the present invention have been described above, the foregoing description is exemplary, and is not exhaustive, and is not limited to each embodiment disclosed. Many modifications and variations will be apparent to those skilled in the art without departing from the scope and spirit of each described embodiment. The choice of terminology used herein is such that it best describes the principle, practical application, or technical improvement of each embodiment, or is understood by a person of ordinary skill in the art to understand each embodiment disclosed herein. intended to be able to

本発明の実施例によれば、目標対象を含む目標画像を取得し、前記目標画像を分割して、前記目標画像内の少なくとも１つの画素点の名称を分割結果として取得し、前記分割結果に従って、前記目標対象内の少なくとも１つの目標サブ対象の名称を決定する。上記のプロセスにより、命名過程の実現難易度を効果的に軽減するとともに命名の精度を向上させることができ、これにより、画像処理過程のロバスト性を向上させることができる。 According to an embodiment of the present invention, obtaining a target image containing a target object, segmenting the target image, obtaining a name of at least one pixel point in the target image as a segmentation result, and according to the segmentation result, , determining the name of at least one target sub-object within said target object. The above process can effectively reduce the implementation difficulty of the naming process and improve the naming accuracy, thereby improving the robustness of the image processing process.

Claims

画像処理方法であって、
目標対象を含む目標画像を取得することと、
前記目標画像を分割して、前記目標画像内の少なくとも１つの画素点の名称を分割結果として取得することと、
前記分割結果に従って、前記目標対象内の少なくとも１つの目標サブ対象の名称を決定することと、を含む、前記画像処理方法。 An image processing method comprising:
obtaining a target image including the target object;
segmenting the target image to obtain a name of at least one pixel point in the target image as a segmentation result;
determining a name of at least one target sub-object within the target object according to the segmentation result.

前記目標画像を分割して、前記目標画像内の少なくとも１つの画素点の名称を分割結果として取得することは、
前記目標画像をニューラルネットワークに入力することと、
前記ニューラルネットワークの出力に従って、前記目標画像内の少なくとも１つの画素点の名称を前記分割結果として決定することと、を含み、
前記ニューラルネットワークは、前記目標対象を含む訓練画像によって訓練され、前記訓練画像内の目標対象は、少なくとも１つの目標サブ対象の名称によって注釈される、
請求項１に記載の画像処理方法。 dividing the target image to obtain a name of at least one pixel point in the target image as a segmentation result;
inputting the target image into a neural network;
determining a name of at least one pixel point in the target image as the segmentation result according to the output of the neural network;
wherein the neural network is trained with training images containing the target object, the target object within the training image being annotated with the name of at least one target sub-object;
The image processing method according to claim 1.

前記目標対象を含む訓練画像によって前記ニューラルネットワークを訓練することは、
前記訓練画像内の目標対象の注釈に従って、前記訓練画像内の少なくとも一部の画素点のラベルを決定することと、
前記少なくとも一部の画素点のラベルを含む訓練画像によって、前記ニューラルネットワークを訓練することと、を含む、
請求項２に記載の画像処理方法。 training the neural network with training images containing the target object;
determining labels for at least some pixel points in the training images according to annotations of target objects in the training images;
training the neural network with training images containing labels for the at least some pixel points;
3. The image processing method according to claim 2.

前記目標対象を含む訓練画像によって前記ニューラルネットワークを訓練することは、
前記訓練画像内の目標対象において、第１目標画素点に最も近い目標サブ対象を決定することであって、前記第１目標画素点は、前記訓練画像内の、前記目標対象以外の少なくとも１つの画素点である、ことと、
決定された前記目標サブ対象の注釈を、前記第１目標画素点のラベルとして使用することと、
前記第１目標画素点のラベル及び前記目標対象の注釈を含む訓練画像に従って、前記ニューラルネットワークを訓練することと、を含む、
請求項２又は３に記載の画像処理方法。 training the neural network with training images containing the target object;
Determining a target sub-object in a target object in said training images that is closest to a first target pixel point, said first target pixel point corresponding to at least one sub-object in said training images other than said target object. being a pixel point;
using the determined target sub-object annotation as a label for the first target pixel point;
training the neural network according to a training image comprising labels of the first target pixel points and annotations of the target object;
4. The image processing method according to claim 2 or 3.

前記分割結果に従って、前記目標対象内の少なくとも１つの目標サブ対象の名称を決定することは、
前記分割結果に従って、少なくとも１つの第２目標画素点の名称を決定することであって、前記第２目標画素点は、前記目標サブ対象に含まれる画素点である、ことと、
前記目標サブ対象の各前記第２目標画素点の名称を統計して、統計結果を取得し、前記統計結果における最大数の名称を前記目標サブ対象の名称として使用することと、を含む、
請求項１ないし４のいずれか一項に記載の画像処理方法。 Determining a name for at least one target sub-object within the target object according to the segmentation result comprises:
determining a name for at least one second target pixel point according to the segmentation result, wherein the second target pixel point is a pixel point included in the target sub-object;
statistically counting the names of each of the second target pixel points of the target sub-object to obtain a statistical result, and using the name with the largest number in the statistical result as the name of the target sub-object;
5. The image processing method according to claim 1.

前記分割結果に従って、少なくとも１つの第２目標画素点の名称を決定することは、
各前記第２目標画素点に対応する分割結果を各前記第２目標画素点の名称として使用すること、又は、
各前記第２目標画素点の予め設定された範囲内の少なくとも１つの画素点の分割結果に基づいて、各前記第２目標画素点の名称を決定すること、を含む、
請求項５に記載の画像処理方法。 Determining the name of at least one second target pixel point according to the segmentation result includes:
using the division result corresponding to each of the second target pixel points as the name of each of the second target pixel points; or
determining a name for each second target pixel point based on a segmentation result of at least one pixel point within a preset range of each second target pixel point;
6. The image processing method according to claim 5.

前記画像処理方法は、
少なくとも１つの前記目標サブ対象の名称に従って、前記目標対象を処理して、処理結果を取得することを更に含む、
請求項１ないし６のいずれか一項に記載の画像処理方法。 The image processing method includes
further comprising processing the target object according to the name of at least one of the target sub-objects to obtain a processing result;
The image processing method according to any one of claims 1 to 6.

前記少なくとも１つの前記目標サブ対象の名称に従って、前記目標対象を処理することは、
前記目標対象から同じ名称を有する目標サブ対象を抽出すること、及び／又は、
隣接する前記目標サブ対象の名称に従って、前記目標対象内の少なくとも１つの前記目標サブ対象の名称を修正すること、を含む、
請求項７に記載の画像処理方法。 processing the target object according to the name of the at least one of the target sub-objects;
extracting target sub-objects having the same name from the target object; and/or
modifying the name of at least one of the target sub-objects within the target object according to the names of adjacent target sub-objects;
The image processing method according to claim 7.

前記目標画像は、心臓冠動脈マスク画像、又は、心臓冠動脈マスク画像及び心臓マスク画像を含み、
前記目標対象は冠動脈中心線を含む、
請求項１ないし８のいずれか一項に記載の画像処理方法。 the target image comprises a coronary artery mask image or a coronary artery mask image and a cardiac mask image;
the target object includes a coronary centerline;
The image processing method according to any one of claims 1 to 8.

画像処理装置であって、
目標対象を含む目標画像を取得するように構成される目標画像取得モジュールと、
前記目標画像を分割して、前記目標画像内の少なくとも１つの画素点の名称を分割結果として取得するように構成される分割モジュールと、
前記分割結果に従って、前記目標対象内の少なくとも１つの目標サブ対象の名称を決定するように構成される命名モジュールと、を備える、前記画像処理装置。 An image processing device,
a target image acquisition module configured to acquire a target image including the target object;
a segmentation module configured to segment the target image to obtain a name of at least one pixel point in the target image as a segmentation result;
a naming module configured to determine the name of at least one target sub-object within the target object according to the segmentation result.

前記分割モジュールは更に、
前記目標画像をニューラルネットワークに入力し、
前記ニューラルネットワークの出力に従って、前記目標画像内の少なくとも１つの画素点の名称を前記分割結果として決定するように構成され、
前記ニューラルネットワークは前記目標対象を含む訓練画像によって訓練され、前記訓練画像内の目標対象は、少なくとも１つの目標サブ対象の名称によって注釈される、
請求項１０に記載の画像処理装置。 The splitting module further comprises:
inputting the target image into a neural network;
configured to determine the name of at least one pixel point in the target image as the segmentation result according to the output of the neural network;
the neural network is trained with training images containing the target object, the target object within the training image being annotated with the name of at least one target sub-object;
The image processing apparatus according to claim 10.

前記目標対象を含む訓練画像によって前記ニューラルネットワークを訓練することは、
前記訓練画像内の目標対象の注釈に従って、前記訓練画像内の少なくとも一部の画素点のラベルを決定することと、
前記少なくとも一部の画素点のラベルを含む訓練画像によって、前記ニューラルネットワークを訓練することと、を含む、
請求項１１に記載の画像処理装置。 training the neural network with training images containing the target object;
determining labels for at least some pixel points in the training images according to annotations of target objects in the training images;
training the neural network with training images containing labels for the at least some pixel points;
The image processing apparatus according to claim 11.

前記目標対象を含む訓練画像によって前記ニューラルネットワークを訓練することは、
前記訓練画像内の目標対象において、第１目標画素点に最も近い目標サブ対象を決定することであって、前記第１目標画素点は、前記訓練画像内の、前記目標対象以外の少なくとも１つの画素点である、ことと、
決定された前記目標サブ対象の注釈を、前記第１目標画素点のラベルとして使用することと、
前記第１目標画素点のラベル及び前記目標対象の注釈を含む訓練画像に従って、前記ニューラルネットワークを訓練することと、を含む、
請求項１０又は１１に記載の画像処理装置。 training the neural network with training images containing the target object;
Determining a target sub-object in a target object in said training images that is closest to a first target pixel point, said first target pixel point corresponding to at least one sub-object in said training images other than said target object. being a pixel point;
using the determined target sub-object annotation as a label for the first target pixel point;
training the neural network according to a training image comprising labels of the first target pixel points and annotations of the target object;
The image processing device according to claim 10 or 11.

前記命名モジュールは更に、
前記分割結果に従って、少なくとも１つの第２目標画素点の名称を決定し、ここで、前記第２目標画素点は、前記目標サブ対象に含まれる画素点であり、
前記目標サブ対象の各前記第２目標画素点の名称を統計して、統計結果を取得し、前記統計結果における最大数の名称を前記目標サブ対象の名称として使用するように構成される、
請求項１０ないし１３のいずれか一項に記載の画像処理装置。 The naming module further includes:
determining a name for at least one second target pixel point according to the segmentation result, wherein the second target pixel point is a pixel point included in the target sub-object;
statistically analyzing the names of each of the second target pixel points of the target sub-object to obtain a statistical result, and using the name with the largest number in the statistical result as the name of the target sub-object;
The image processing device according to any one of claims 10 to 13.

前記命名モジュールは更に、
各前記第２目標画素点に対応する分割結果を各前記第２目標画素点の名称として使用するか、又は、
各前記第２目標画素点の予め設定された範囲内の少なくとも１つの画素点の分割結果に基づいて、各前記第２目標画素点の名称を決定するように構成される、
請求項１４に記載の画像処理装置。 The naming module further includes:
using a segmentation result corresponding to each of the second target pixel points as the name of each of the second target pixel points; or
configured to determine a name for each second target pixel point based on a segmentation result of at least one pixel point within a preset range of each second target pixel point;
The image processing apparatus according to claim 14.

前記画像処理装置は更に、
少なくとも１つの前記目標サブ対象の名称に従って、前記目標対象を処理して、処理結果を取得するように構成される処理モジュールを備える、
請求項１０ないし１５のいずれか一項に記載の画像処理装置。 The image processing device further comprises:
a processing module configured to process the target object according to the name of at least one of the target sub-objects to obtain a processing result;
The image processing device according to any one of claims 10 to 15.

前記処理モジュールは更に、
前記目標対象から同じ名称を有する目標サブ対象を抽出し、及び／又は、
隣接する前記目標サブ対象の名称に従って、前記目標対象内の少なくとも１つの前記目標サブ対象の名称を修正するように構成される、
請求項１６に記載の画像処理装置。 The processing module further comprises:
extracting target sub-objects with the same name from the target object; and/or
configured to modify the name of at least one of the target sub-objects within the target object according to the names of adjacent target sub-objects;
The image processing apparatus according to claim 16.

前記目標画像は、心臓冠動脈マスク画像、又は、心臓冠動脈マスク画像及び心臓マスク画像を含み、前記目標対象は冠動脈中心線を含む、
請求項１０ないし１７のいずれか一項に記載の画像処理装置。 wherein the target image comprises a cardiac coronary artery mask image, or a cardiac coronary artery mask image and a cardiac mask image, and wherein the target object comprises a coronary artery centerline;
The image processing device according to any one of claims 10 to 17.

電子機器であって、
プロセッサと、
プロセッサ実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、前記メモリに記憶されている命令を呼び出して実行することにより、請求項１ないし９のいずれか一項に記載の方法を実行するように構成される、前記電子機器。 an electronic device,
a processor;
a memory configured to store processor-executable instructions;
10. The electronic device, wherein the processor is configured to perform the method of any one of claims 1-9 by calling and executing instructions stored in the memory.

コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、
前記コンピュータプログラム命令がプロセッサによって実行されるときに、請求項１ないし９のいずれか一項に記載の方法を実現する、前記コンピュータ可読記憶媒体。 A computer readable storage medium having computer program instructions stored thereon,
10. The computer readable storage medium implementing the method of any one of claims 1 to 9 when the computer program instructions are executed by a processor.

コンピュータ可読コードを含むコンピュータプログラム製品であって、
前記コンピュータ可読コードが電子機器で実行される場合、前記電子機器のプロセッサに、請求項１ないし９のいずれか一項に記載の方法を実行させる、前記コンピュータプログラム製品。 A computer program product comprising computer readable code,
10. The computer program product which, when the computer readable code is executed on an electronic device, causes a processor of the electronic device to perform the method of any one of claims 1-9.