JP2023518160A - Image detection method, apparatus, device, medium and program - Google Patents

Image detection method, apparatus, device, medium and program Download PDF

Info

Publication number
JP2023518160A
JP2023518160A JP2022549312A JP2022549312A JP2023518160A JP 2023518160 A JP2023518160 A JP 2023518160A JP 2022549312 A JP2022549312 A JP 2022549312A JP 2022549312 A JP2022549312 A JP 2022549312A JP 2023518160 A JP2023518160 A JP 2023518160A
Authority
JP
Japan
Prior art keywords
feature map
map
lesion
probability
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2022549312A
Other languages
Japanese (ja)
Inventor
▲孫▼▲輝▼
▲韓▼泓▲澤▼
▲劉▼星▲龍▼
黄▲寧▼
▲張▼少霆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Publication of JP2023518160A publication Critical patent/JP2023518160A/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本発明の実施例は、画像検出方法、装置、デバイス、コンピュータ可読記憶媒体及びコンピュータプログラムを開示し、ここで、画像検出方法は、検出対象医学画像を取得するステップと、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るステップと、プリセット次元の第１特徴マップを参考特徴マップとして、参考特徴マップを利用して病巣確率マップを生成するステップであって、病巣確率マップは検出対象医学画像における異なる領域が病巣に属する確率を示すために用いられるステップと、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップと、最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得るステップと、を含む。Embodiments of the present invention disclose an image detection method, apparatus, device, computer readable storage medium and computer program product, wherein the image detection method comprises the steps of acquiring a detection target medical image; obtaining a first feature map of one or more dimensions by extracting features using the first feature map of preset dimensions as a reference feature map and using the reference feature map to generate a lesion probability map. fusing the lesion probability map with a first feature map of one or more dimensions to produce a final fused feature map; and performing detection processing on the final fused feature map to obtain a detection result of the lesion in the detection target medical image.

Description

（関連出願の相互参照）
本出願は、出願番号が２０２１１０２１４８６１．Ｘであり、出願日が２０２１年２月２５日であり、名称が「画像検出方法及関連装置、デバイス」である中国特許出願に基づいて提出され、当該中国特許出願に基づいて優先権を主張し、当該中国特許出願の全ての内容が参照として本発明に組み込まれる。 (Cross reference to related applications)
This application has application number 202110214861. X, filed on February 25, 2021 and entitled “Image Detection Method and Related Apparatus, Device”, filed under and claiming priority from such Chinese patent application and the entire content of the Chinese patent application is incorporated into the present invention by reference.

本発明は、人工知能技術分野に関し、画像検出方法、装置、デバイス、コンピュータ可読記憶媒体及びコンピュータプログラムに関するがこれらに限定されない。 The present invention relates to the field of artificial intelligence technology, and relates to, but not limited to, image detection methods, apparatuses, devices, computer-readable storage media and computer programs.

コンピュータ断層走査(Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ、ＣＴ)等の医学画像は臨床において重要な意味を有する。例えば、医師は、医学画像から肺炎等の臓器の病巣を見つけることができる。そして、情報技術の発展に伴って、コンピュータ等のような処理能力を備える電子デバイスは、人工に代わって各業界でタスクを実行するようになってきている。臨床の適用分野では、電子デバイスによって医学画像に対して検出を行うことにより、医学画像における病巣の検出結果を得て、臨床において医師を補助する。 Medical images such as Computed Tomography (CT) have important clinical implications. For example, doctors can find organ lesions, such as pneumonia, from medical images. With the development of information technology, electronic devices with processing power, such as computers, have come to perform tasks in various industries in place of human beings. In the clinical application field, detection is performed on the medical image by the electronic device to obtain the detection result of the lesion in the medical image to assist doctors in clinical practice.

本発明の実施例は、画像検出方法、装置、デバイス、コンピュータ可読記憶媒体及びコンピュータプログラムを提供する。 Embodiments of the present invention provide image detection methods, apparatus, devices, computer-readable storage media and computer programs.

本発明の実施例は、画像検出方法を提供し、当該方法は、検出対象医学画像を取得するステップと、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るステップと、プリセット次元の第１特徴マップを参考特徴マップとして、参考特徴マップを利用して病巣確率マップを生成するステップであって、病巣確率マップは検出対象医学画像における異なる領域が病巣に属する確率を示すために用いられるステップと、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップと、最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得るステップと、を含む。 An embodiment of the present invention provides an image detection method comprising the steps of acquiring a detection target medical image, performing feature extraction on the detection target medical image, and generating a first feature map in one or more dimensions and using the first feature map of preset dimensions as a reference feature map to generate a lesion probability map using the reference feature map, wherein the lesion probability map is a lesion probability map in which different regions in the medical image to be detected are lesions. fusing the lesion probability map with a first feature map of one or more dimensions to obtain a final fused feature map; performing a detection process on the final fused feature map; and obtaining a detection result of the lesion in the medical image to be detected.

そのため、取得された検出対象医学画像に対して特徴抽出を行うことにより、１つ以上の次元の第１特徴マップを得、そして、プリセット次元の第１特徴マップを参考特徴マップとすることにより、参考特徴マップを利用して病巣確率マップを生成し、また、病巣確率マップは検出対象医学画像における異なる領域が病巣に属する確率を示すために用いられ、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るため、病巣確率マップがグローバル特徴として第１特徴マップと融合することができ、最終融合特徴マップが病巣に対する特異性を強化することができ、さらに最終融合特徴マップにより検出処理を行って検出対象医学画像における病巣の検出結果を得る場合、画像検出の正確性を向上させることができる。 Therefore, by performing feature extraction on the acquired medical image to be detected to obtain a first feature map of one or more dimensions, and using the first feature map of preset dimensions as a reference feature map, The reference feature map is used to generate a lesion probability map, and the lesion probability map is used to indicate the probability that different regions in the detection target medical image belong to the lesion, and the lesion probability map is divided into one or more dimensions. 1 feature map to obtain a final fused feature map, the lesion probability map can be fused with the first feature map as a global feature, the final fused feature map can enhance specificity to the lesion, and The accuracy of image detection can be improved when detection processing is performed using the final fusion feature map to obtain the detection result of the lesion in the detection target medical image.

ここで、参考特徴マップを利用して病巣確率マップを生成する前に、方法はさらに、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得るステップと、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定するステップと、を含む。 Here, before using the reference feature map to generate the lesion probability map, the method further performs prediction processing using the reference feature map to obtain a first probability value that the lesion is included in the detection target medical image. and, based on the first probability value, determining whether to perform the steps of generating a lesion probability map using the reference feature map and subsequent steps.

そのため、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定することにより、検出対象医学画像に病巣が含まれないが偽陽検出結果が検出された問題を解決することに役立つ。さらに、画像検出の正確性をさらに向上させることに役立つことができ、そして、検出の前に陰性データを予め除去することができるため、画像検出の効率を向上させることができる。 Therefore, prediction processing is performed using the reference feature map to obtain a first probability value that the lesion is included in the detection target medical image, and based on the first probability value, the reference feature map is used to generate a lesion probability map. Determining whether to perform and whether to perform subsequent steps helps to solve the problem of detecting false positive detection results even though the medical image to be detected does not contain a lesion. Furthermore, it can help to further improve the accuracy of image detection, and the efficiency of image detection can be improved because negative data can be preliminarily removed before detection.

ここで、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定するステップは、第１確率値が第１プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するステップを含み、又は、検出対象医学画像が３次元の医学画像に含まれる２次元の医学画像である場合、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定するステップは、を含む、２次元の医学画像に対応する第１確率を大きい順に従ってソートし、先頭のプリセット数量の第１確率値を選択するステップと、プリセット数量の第１確率値に対してプリセット処理を行い、第２確率値を得るステップと、第２確率値が第２プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するステップと、を含む。 Here, based on the first probability value, the step of generating the lesion probability map using the reference feature map and the step of determining whether to perform the subsequent steps are such that the first probability value is the first preset condition generating a lesion probability map using the reference feature map and performing the subsequent steps, if satisfying In some cases, based on the first probability values, generating the lesion probability map using the reference feature map and determining whether to perform subsequent steps include: sorting the corresponding first probabilities according to descending order and selecting the first probability value of the top preset quantity; performing a preset process on the first probability value of the preset quantity to obtain a second probability value; , generating a lesion probability map using the reference feature map if the second probability value satisfies a second preset condition, and performing subsequent steps.

そのため、第１確率値が第１プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行し、又は、検出対象医学画像が３次元の医学画像に含まれる２次元の医学画像である場合、２次元の医学画像の第１確率値を大きい順に従ってソートし、先頭のプリセット数量の第１確率値を選択し、プリセット数量の第１確率値に対してプリセット処理を行い、第２確率値を得、それにより、第２確率値が第２プリセット条件を満たすとき、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行し、そのため、検出の前に陰性データを予め除去することにより画像検出の正確性及び効率を向上させることに役立つことができる。 Therefore, if the first probability value satisfies the first preset condition, the step of generating a focus probability map using the reference feature map and subsequent steps are performed, or the medical image to be detected is transformed into a three-dimensional medical image. If it is a two-dimensional medical image to be included, sort the first probability values of the two-dimensional medical image in ascending order, select the first probability value of the first preset quantity, and for the first probability value of the preset quantity: to obtain a second probability value, thereby generating a lesion probability map using the reference feature map when the second probability value satisfies a second preset condition, and subsequent steps; Therefore, pre-rejection of negative data prior to detection can help improve the accuracy and efficiency of image detection.

ここで、第１プリセット条件は、第１確率値が第１確率閾値以上であることを含み、第２プリセット条件は、第２確率値が第２確率閾値以上であることを含み、プリセット処理が平均演算である。 Here, the first preset condition includes that the first probability value is greater than or equal to the first probability threshold, the second preset condition includes that the second probability value is greater than or equal to the second probability threshold, and the preset process is It is an average operation.

そのため、第１プリセット条件を第１確率値が第１確率閾値以上であると設定し、第２プリセット条件を第２確率値が第２確率閾値以上であると設定し、プリセット処理を平均演算に設定することにより、第２確率値の計算量を低減させることができ、第２確率値が３次元の医学画像に病巣が含まれる可能性を正確に反映することができ、そのため、第１確率値が第１確率閾値以上であるとき、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行することができ、第２確率値が第２確率閾値以上であるとき、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行することができ、そのため、検出の前に陰性データを予め除去することにより画像検出の正確性及び効率を向上させることに役立つことができる。 Therefore, the first preset condition is set that the first probability value is greater than or equal to the first probability threshold, the second preset condition is set that the second probability value is greater than or equal to the second probability threshold, and the preset process is set to average calculation. By setting, the amount of calculation of the second probability value can be reduced, and the second probability value can accurately reflect the possibility that the lesion is included in the three-dimensional medical image. When the value is greater than or equal to the first probability threshold, the steps of generating a lesion probability map using the reference feature map and subsequent steps can be performed, and when the second probability value is greater than or equal to the second probability threshold, The reference feature map can be used to generate a lesion probability map and subsequent steps, thus improving the accuracy and efficiency of image detection by pre-removing negative data prior to detection. can help.

ここで、第１確率値が第１プリセット条件を満たさない場合、又は第２確率値が第２プリセット条件を満たさない場合、検出対象医学画像に病巣が含まれないと決定する。 Here, if the first probability value does not satisfy the first preset condition or if the second probability value does not satisfy the second preset condition, it is determined that the detection target medical image does not include a lesion.

そのため、第１確率値が第１プリセット条件を満たさない場合、又は第２確率値が第２プリセット条件を満たさない場合、検出対象医学画像に病巣が含まれないと決定することにより、ユーザーに検出対象医学画像の陰性検出結果を速やかに感知させることができ、それによりユーザーの体験を向上させることに役立つことができる。 Therefore, if the first probability value does not satisfy the first preset condition, or if the second probability value does not satisfy the second preset condition, by determining that the detection target medical image does not contain a lesion, the user can detect Negative detection results in the target medical image can be sensed quickly, thereby helping to improve the user's experience.

ここで、参考特徴マップを利用して病巣確率マップを生成するステップは、参考特徴マップにおける各画素点の病巣に関する勾配値を統計し、クラス活性化マップを生成し、クラス活性化マップを病巣確率マップとするステップを含む。 Here, the step of generating the lesion probability map using the reference feature map includes: statisticizing gradient values for lesions of each pixel point in the reference feature map; generating a class activation map; Including the step of mapping.

そのため、参考特徴マップにおける各画素点の病巣に関する勾配値を統計し、クラス活性化マップを生成して病巣確率マップとすることにより、病巣確率マップの正確性を向上させることができ、それにより後続の画像検出の正確性を向上させることに役立つことができる。 Therefore, the accuracy of the lesion probability map can be improved by statisticizing the gradient values for the lesions of each pixel point in the reference feature map and generating the class activation map as the lesion probability map, thereby improving the accuracy of the subsequent can help improve the accuracy of image detection in

ここで、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップは、病巣確率マップを利用して参考特徴マップに対してエンコード処理を行い、第２特徴マップを得るステップと、第２特徴マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップと、を含む。 Here, the step of fusing the lesion probability map with the first feature map of one or more dimensions to obtain a final fused feature map includes performing an encoding process on the reference feature map using the lesion probability map; obtaining a feature map; and fusing the second feature map with the first feature map in one or more dimensions to obtain a final fused feature map.

そのため、病巣確率マップを利用して参考特徴マップに対してエンコード処理を行い、第２特徴マップを得、且つ第２特徴マップを１つ以上の次元の第１特徴マップと融合することにより、最終融合特徴マップを得るため、病巣確率マップをグローバル特徴として特徴マップと融合することができ、最終融合特徴マップが病巣に対する特異性を強化することができ、それにより、後続の画像検出の正確性を向上させることに役立つことができる。 Therefore, by encoding the reference feature map using the lesion probability map to obtain a second feature map, and fusing the second feature map with the first feature map in one or more dimensions, the final The lesion probability map can be fused with the feature map as a global feature to obtain a fused feature map, and the final fused feature map can enhance specificity for lesions, thereby increasing the accuracy of subsequent image detection. can help improve.

ここで、病巣確率マップを利用して参考特徴マップに対してエンコード処理を行い、第２特徴マップを得るステップは、病巣確率マップにおける第１画素点の画素値を参考特徴マップにおける第１画素点に対応する第２画素点の画素値と乗算し、第２特徴マップの対応する画素点の画素値を得るステップを含む。 Here, the step of performing encoding processing on the reference feature map using the lesion probability map to obtain the second feature map includes converting the pixel value of the first pixel point in the lesion probability map to the first pixel point in the reference feature map. by the pixel value of the second pixel point corresponding to to obtain the pixel value of the corresponding pixel point of the second feature map.

そのため、病巣確率マップにおける第１画素点の画素値を参考特徴マップにおける第１画素点に対応する第２画素点の画素値と乗算し、第２特徴マップの対応する画素点の画素値を得ることにより、参考特徴マップに対する病巣確率マップのエンコード処理エンコード処理を実現するため、計算量を低減させることに役立つことができる。 Therefore, the pixel value of the first pixel point in the lesion probability map is multiplied by the pixel value of the second pixel point corresponding to the first pixel point in the reference feature map to obtain the pixel value of the corresponding pixel point in the second feature map. As a result, encoding processing of the focus probability map with respect to the reference feature map is realized, which can help reduce the amount of calculation.

ここで、第２特徴マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップは、次元の高い順という順序に従って、第２特徴マップを順序でソートされた各次元の第１特徴マップと融合し、最終融合特徴マップを得るステップを含む。 Here, the step of fusing the second feature map with the first feature map of one or more dimensions to obtain a final fused feature map includes, in descending order of dimension, the second feature map in each sorted order. merging with the first feature map of the dimension to obtain a final fused feature map;

そのため、次元の高い順に従って、第２特徴マップを各次元の第１特徴マップと融合し、最終融合特徴マップを得ることにより、次元ごとに特徴マップの融合を行うことに役立つことができ、それによりコンテキスト情報を十分に融合して最終融合特徴マップの正確性及び特徴豊富度を向上させることに役立つことができ、さらに、後続の画像検出の正確性を向上させることに役立つことができる。 Therefore, it can be helpful to fuse the feature maps dimension by dimension by merging the second feature map with the first feature map in each dimension according to the ascending order of the dimensions to obtain a final fused feature map. can help to sufficiently fuse context information to improve the accuracy and feature richness of the final fused feature map, which in turn can help improve the accuracy of subsequent image detection.

ここで、参考特徴マップは次元が最も高い第１特徴マップであり、次元の高い順という順序に従って、第２特徴マップを順序でソートされた各次元の第１特徴マップと融合し、最終融合特徴マップを得るステップは、参考特徴マップを第１低次元特徴マップと融合し、次元が第１低次元特徴マップと同様である第１融合特徴マップを得るステップであって、第１低次元特徴マップが参考特徴マップより一次元低い第１特徴マップであるステップと、第２特徴マップを第１融合特徴マップと融合し、次元が第１融合特徴マップと同様である第２融合特徴マップを得るステップと、１つ以上の次元の第１特徴マップの融合が完了するまで、第２融合特徴マップを第２低次元特徴マップと融合して次元が第２低次元特徴マップと同様である新たな第２融合特徴マップを得ることを繰り返して実行するステップであって、第２低次元特徴マップは、現在の第２融合特徴マップより一次元低い第１特徴マップであり、最終的に融合して得られた第２融合特徴マップを最終融合特徴マップとするステップと、を含む。 Here, the reference feature map is the first feature map with the highest dimension, and the second feature map is fused with the first feature map of each dimension sorted in order according to the order of the highest dimension, and the final fused feature Obtaining a map includes fusing the reference feature map with a first low-dimensional feature map to obtain a first fused feature map similar in dimension to the first low-dimensional feature map, wherein the first low-dimensional feature map is a first feature map that is one dimension lower than the reference feature map; and fusing the second feature map with the first fused feature map to obtain a second fused feature map that is similar in dimension to the first fused feature map. and fuse the second fused feature map with the second lower dimensional feature map until the fusion of the first feature map in one or more dimensions is completed to create a new dimensional a step of repeatedly performing obtaining two fused feature maps, wherein the second lower dimensional feature map is the first feature map one dimension lower than the current second fused feature map, and finally obtained by merging; making the obtained second fused feature map the final fused feature map.

そのため、参考特徴マップを第１低次元特徴マップと融合し、次元が第１低次元特徴マップと同様である第１融合特徴マップを得、第１低次元特徴マップが参考特徴マップより一次元低い第１特徴マップであり、そして第２特徴マップを第１融合特徴マップと融合し、次元が第１融合特徴マップと同様である第２融合特徴マップを得ることにより、１つ以上の次元の第１特徴マップの融合が完了するまで、第２融合特徴マップを第２低次元特徴マップと融合して次元が第２低次元特徴マップと同様である新たな第２融合特徴マップを得ることを繰り返して実行し、そして、第２低次元特徴マップは、現在の第２融合特徴マップより一次元低い第１特徴マップであり、最終的に融合して得られた第２融合特徴マップを最終融合特徴マップとすることにより、病巣確率マップをグローバル特徴として画像検出のデコードプロセスと結合させることができ、最終融合特徴マップが病巣に対する特異性を強化することができ、特徴マップのコンテキスト情報を十分に融合して最終融合特徴マップの正確性及び特徴豊富度を向上させることができ、さらに、後続の画像検出の正確性を向上させることに役立つことができる。 Therefore, the reference feature map is fused with the first low-dimensional feature map to obtain a first fused feature map whose dimension is similar to the first low-dimensional feature map, and the first low-dimensional feature map is one dimension lower than the reference feature map. The first feature map and the second feature map in one or more dimensions by fusing the second feature map with the first fused feature map to obtain a second fused feature map that is similar in dimension to the first fused feature map. Repeat fusing the second fused feature map with the second low-dimensional feature map to obtain a new second fused feature map whose dimensions are similar to the second low-dimensional feature map, until the fusion of one feature map is complete. and the second low-dimensional feature map is the first feature map one dimension lower than the current second fused feature map, and the second fused feature map obtained by finally merging is the final fused feature By being a map, the lesion probability map can be combined with the decoding process of image detection as a global feature, and the final fused feature map can enhance specificity to lesions, and fully fuse the contextual information of the feature map. can improve the accuracy and feature richness of the final fused feature map, and can help improve the accuracy of subsequent image detection.

ここで、検出結果は、検出対象医学画像における病巣の検出領域を含み、方法はさらに、検出対象医学画像に対して臓器検出を行い、検出対象医学画像における臓器領域を得るステップと、病巣の検出領域が臓器領域に占める病巣割合を取得するステップと、を含む。 Here, the detection result includes a detection area of the lesion in the detection target medical image, and the method further comprises performing organ detection on the detection target medical image to obtain an organ area in the detection target medical image, and detecting the lesion. and obtaining the focal proportion that the region occupies in the organ region.

そのため、検出対象医学画像に対して臓器検出を行うことにより検出対象医学画像における臓器領域を得、病巣の検出領域が臓器領域に占める病巣割合を取得することにより、検出結果を利用して臨床に有利な参照情報をさらに生成することに役立つことができ、ユーザーの体験を向上させることができる。 Therefore, by performing organ detection on the detection target medical image to obtain the organ area in the detection target medical image, and by obtaining the ratio of the lesion detection area to the organ area, the detection result can be used clinically. It can help generate more useful reference information and can improve the user's experience.

ここで、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得る前に、方法はさらに、検出対象医学画像に対して前処理を行うステップであって、前処理の操作は少なくとも、プリセットウィンドウ値を利用して検出対象医学画像の画素値をプリセット範囲内に正規化することを含むステップを含む。 wherein, before performing feature extraction on the target medical image to obtain a first feature map in one or more dimensions, the method further comprises preprocessing the target medical image, comprising: The preprocessing operation includes at least steps including normalizing pixel values of the detected medical image to within a preset range using a preset window value.

そのため、検出対象医学画像に対して特徴抽出を行う前に、検出対象医学画像に対して前処理を行い、そして、前処理の操作が少なくとも、プリセットウィンドウ値を利用して検出対象医学画像の画素値をプリセット範囲内に正規化することを含むことにより、検出対象医学画像コントラストを補強することに役立つことができ、それにより、後続に抽出された第１特徴マップの正確性を向上させることに役立つことができる。 Therefore, before performing feature extraction on the detection target medical image, preprocessing is performed on the detection target medical image, and the preprocessing operation includes at least pixels of the detection target medical image using a preset window value. Including normalizing the values to within a preset range can help reinforce the detected medical image contrast, thereby improving the accuracy of the subsequently extracted first feature map. can help.

ここで、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るステップは、画像検出モデルの特徴抽出サブネットワークを利用して検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るステップを含み、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップは、画像検出モデルの融合処理サブネットワークを利用して病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップを含み、最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得るステップは、画像検出モデルの融合処理サブネットワークを利用して最終融合特徴マップに対して検出処理を行い、検出対象医学画像における前記病巣の検出結果を得るステップを含む。 Here, the step of performing feature extraction on the target medical image to obtain a first feature map in one or more dimensions comprises: performing feature extraction on the target medical image using a feature extraction sub-network of the image detection model; The step of extracting to obtain a first feature map in one or more dimensions, fusing the lesion probability map with the first feature map in one or more dimensions to obtain a final fused feature map comprises: fusing the lesion probability map with a first feature map of one or more dimensions to obtain a final fused feature map using a fusion processing sub-network of, performing a detection process on the final fused feature map, detecting The step of obtaining the detection result of the lesion in the target medical image performs detection processing on the final fusion feature map using the fusion processing sub-network of the image detection model to obtain the detection result of the lesion in the detection target medical image. including.

そのため、画像検出モデルの特徴抽出サブネットワークを利用して検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得、画像検出モデルの融合処理サブネットワークを利用して病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得、そして、画像検出モデルの融合処理サブネットワークを利用して最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得ることにより、画像検出モデルによって特徴抽出、融合処理、画像検出のタスクを実行し、さらに、画像検出の効率を向上させることに役立つことができる。 Therefore, the feature extraction sub-network of the image detection model is used to perform feature extraction on the medical image to be detected to obtain a first feature map of one or more dimensions, and the fusion processing sub-network of the image detection model is used. to fuse the lesion probability map with the first feature map in one or more dimensions to obtain a final fused feature map, and perform detection processing on the final fused feature map using a fusion processing sub-network of the image detection model. and obtain the detection result of the lesion in the medical image to be detected, so that the image detection model can perform the tasks of feature extraction, fusion processing, and image detection, and can also help improve the efficiency of image detection.

ここで、画像検出モデルの特徴抽出サブネットワークを利用して検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得る前に、方法はさらに、サンプル医学画像を取得するステップであって、サンプル医学画像に病巣の実際領域が含まれるステップと、特徴抽出サブネットワークを利用してサンプル医学画像に対して特徴抽出を行い、１つ以上の次元の第１サンプル特徴マップを得るステップと、プリセット次元の第１サンプル特徴マップを参考サンプル特徴マップとして、参考サンプル特徴マップを利用して病巣サンプル確率マップを生成するステップであって、病巣サンプル確率マップはサンプル医学画像の異なる領域が病巣に属する確率を示すために用いられるステップと、融合処理サブネットワークを利用して病巣サンプル確率マップを１つ以上の次元の第１サンプル特徴マップと融合し、最終融合サンプル特徴マップを得るステップと、融合処理サブネットワークを利用して最終融合サンプル特徴マップに対して検出処理を行い、サンプル医学画像における病巣に関する検出領域を得るステップと、実際領域と検出領域との間の差異を利用して、画像検出モデルのネットワークパラメータを調整するステップと、を含む。 Here, prior to performing feature extraction on the detected medical image using the feature extraction sub-network of the image detection model to obtain a first feature map in one or more dimensions, the method further comprises: obtaining, wherein the sample medical image includes the actual region of the lesion; and performing feature extraction on the sample medical image using a feature extraction sub-network to obtain a first sample feature in one or more dimensions. and using the first sample feature map of preset dimensions as a reference sample feature map to generate a lesion sample probability map using the reference sample feature map, wherein the lesion sample probability map is a sample medical image. A step used to indicate the probability that different regions belong to a lesion, and a fusion processing subnetwork to fuse the lesion sample probability map with the first sample feature map in one or more dimensions to produce a final fused sample feature map. performing a detection process on the final fused sample feature map using a fusion processing subnetwork to obtain a detection area for the lesion in the sample medical image; and using the difference between the actual area and the detection area. to adjust the network parameters of the image detection model.

そのため、サンプル医学画像を取得し、サンプル医学画像に病巣の実際領域が含まれ、特徴抽出サブネットワークを利用してサンプル医学画像に対して特徴抽出を行い、１つ以上の次元の第１サンプル特徴マップを得ることにより、プリセット次元の第１サンプル特徴マップを参考サンプル特徴マップとして、参考サンプル特徴マップを利用して病巣サンプル確率マップを生成し、そして、病巣サンプル確率マップはサンプル医学画像の異なる領域が病巣に属する確率を示すために用いられることで、病巣確率マップを１つ以上の次元の第１サンプル特徴マップと融合し、最終融合サンプル特徴マップを得て、最終融合サンプル特徴マップに対して検出処理を行い、サンプル医学画像における病巣に関する検出領域を得、実際領域と検出領域との間の差異を利用して、画像検出モデルのネットワークパラメータを調整するため、画像検出モデルに対するトレーニングプロセスにおいて、病巣サンプル確率マップをグローバル特徴として利用して画像検出のデコードプロセスと結合させることができ、それにより、最終融合サンプル特徴マップが病巣に対する特異性を強化することができ、それにより、病巣に対する画像検出モデルの感度を補強することができ、さらに、モデルのトレーニング速度を向上させることに役立つことができる。 Therefore, a sample medical image is obtained, the sample medical image contains the actual region of the lesion, feature extraction is performed on the sample medical image using a feature extraction sub-network, and a first sample feature in one or more dimensions is obtaining a map, taking a first sample feature map of preset dimension as a reference sample feature map, using the reference sample feature map to generate a lesion sample probability map, and the lesion sample probability map is obtained from different regions of the sample medical image; is used to indicate the probability of belonging to a lesion, to fuse the lesion probability map with the first sample feature map in one or more dimensions to obtain a final fused sample feature map, and for the final fused sample feature map, In the training process for the image detection model, for performing detection processing to obtain a detection area for the lesion in the sample medical image, and using the difference between the actual area and the detection area to adjust the network parameters of the image detection model: The focal sample probability map can be utilized as a global feature and coupled with the decoding process of image detection so that the final fused sample feature map can enhance specificity to foci, thereby improving image detection to foci. It can enhance the sensitivity of the model, and furthermore, it can help improve the training speed of the model.

ここで、実際領域と検出領域との間の差異を利用して、特徴抽出サブネットワーク及び融合処理サブネットワークのネットワークパラメータを調整するステップは、集合類似度損失関数を採用して実際領域及び検出領域を処理し、画像検出モデルの損失値を決定するステップと、損失値を利用してプリセット学習率で画像検出モデルのネットワークパラメータを調整するステップと、を含む。 Here, the step of adjusting the network parameters of the feature extraction sub-network and the fusion processing sub-network using the difference between the real region and the detection region employs a set similarity loss function to to determine a loss value for the image detection model; and using the loss value to tune the network parameters of the image detection model with a preset learning rate.

そのため、集合類似度損失関数を利用して実際領域及び検出領域を処理し、画像検出モデルの損失値を決定することにより、損失値の正確性を確保することができ、それにより、損失値を利用してプリセット学習率で画像検出モデルのネットワークパラメータを調整することで、トレーニングプロセスにおいて、検出領域と実際領域との間の差異を低減させ、画像検出モデルの正確性を向上させることができる。 Therefore, by using the set similarity loss function to process the real region and the detection region to determine the loss value of the image detection model, the accuracy of the loss value can be ensured, so that the loss value is By using the preset learning rate to adjust the network parameters of the image detection model, in the training process, the difference between the detection area and the real area can be reduced, and the accuracy of the image detection model can be improved.

本発明の実施例はさらに、画像検出装置を提供し、当該装置は、画像取得モジュール、特徴抽出モジュール、画像生成モジュール、画像融合モジュール及び画像検出モデルを含み、画像取得モジュールは、検出対象医学画像を取得するように構成され、特徴抽出モジュールは、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るように構成され、画像生成モジュールは、プリセット次元の第１特徴マップを参考特徴マップとして、参考特徴マップを利用して病巣確率マップを生成するように構成され、ここで、病巣確率マップが検出対象医学画像の異なる領域が病巣に属する確率を示すために用いられ、画像融合モジュールは、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るように構成され、検出処理モジュールは、最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得るように構成される。 An embodiment of the present invention further provides an image detection device, the device includes an image acquisition module, a feature extraction module, an image generation module, an image fusion module and an image detection model, wherein the image acquisition module comprises a medical image to be detected the feature extraction module is configured to perform feature extraction on the detection target medical image to obtain a first feature map of one or more dimensions; and the image generation module is configured to obtain a preset dimension of The first feature map is taken as a reference feature map, and the reference feature map is used to generate a lesion probability map, where the lesion probability map indicates the probability that different regions of the detection target medical image belong to the lesion. wherein the image fusion module is configured to fuse the lesion probability map with a first feature map of one or more dimensions to obtain a final fused feature map, and the detection processing module is configured to apply It is configured to perform detection processing and obtain a detection result of a lesion in a detection target medical image.

本発明の実施例はさらに、電子デバイスを提供し、当該電子デバイスは、互いにカップリンブされたメモリとプロセッサを含み、プロセッサは、メモリに記憶されたプログラム命令を実行して上記第１態様における画像検出方法を実現するように構成される。 Embodiments of the present invention further provide an electronic device comprising a memory and a processor coupled to each other, the processor executing program instructions stored in the memory to detect an image according to the first aspect above. configured to implement the method.

本発明の実施例はさらに、コンピュータ可読記憶媒体を提供し、コンピュータ可読記憶媒体にはプログラム命令が記憶されており、プログラム命令がプロセッサによって実行されるとき、上記第１態様における画像検出方法を実現する。 An embodiment of the present invention further provides a computer-readable storage medium having program instructions stored thereon which, when executed by a processor, implements the image detection method of the first aspect. do.

本発明の実施例はさらに、コンピュータプログラムを提供し、当該コンピュータプログラムは、コンピュータ可読コードを含み、コンピュータ可読コードが電子デバイスで実行されるとき、前記電子デバイスにおけるプロセッサが上記いずれかの画像検出方法を実行する。 Embodiments of the present invention further provide a computer program product, the computer program product comprising computer readable code, wherein when the computer readable code is executed in an electronic device, a processor in the electronic device performs any of the above image detection methods. to run.

上記技術的手段は、取得された検出対象医学画像に対して特徴抽出を行うことにより、１つ以上の次元の第１特徴マップを得、そして、プリセット次元の第１特徴マップを参考特徴マップとすることにより、参考特徴マップを利用して病巣確率マップを生成し、且つ、病巣確率マップが検出対象医学画像の異なる領域が病巣に属する確率を示すために用いられ、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るため、病巣確率マップがグローバル特徴として第１特徴マップと融合することができ、最終融合特徴マップが病巣に対する特異性を強化することができ、さらに最終融合特徴マップにより検出処理を行って検出対象医学画像における病巣の検出結果を得る場合、画像検出の正確性を向上させることができる。 The above technical means performs feature extraction on the acquired medical image to be detected to obtain a first feature map of one or more dimensions, and the first feature map of preset dimensions is used as a reference feature map. By using the reference feature map to generate a lesion probability map, and the lesion probability map is used to indicate the probability that different regions of the detection target medical image belong to the lesion, and one or more lesion probability maps The lesion probability map can be fused with the first feature map as a global feature to obtain the final fused feature map, and the final fused feature map enhances the specificity to the lesion. Furthermore, when the detection processing is performed using the final fusion feature map to obtain the detection result of the lesion in the detection target medical image, the accuracy of image detection can be improved.

以上の一般的な説明及び後述する詳細な説明は示例的且つ解釈的なものに過ぎず、本開示を限定するものではないことを理解される。 It is understood that the foregoing general description and the following detailed description are exemplary and interpretive only and are not restrictive of the present disclosure.

本発明の画像検出方法の一実施例のフローチャート。4 is a flow chart of an embodiment of the image detection method of the present invention; 画像検出モデルの一実施例のブロック図。1 is a block diagram of one embodiment of an image detection model; FIG. 本発明の画像検出方法の別の実施例のフローチャート。4 is a flow chart of another embodiment of the image detection method of the present invention; 画像検出モデルをトレーニングする一実施例のフローチャート。4 is a flowchart of one embodiment of training an image detection model. 本発明の画像検出装置の一実施例のブロック図。1 is a block diagram of an embodiment of an image detection device of the present invention; FIG. 本発明の電子デバイスの一実施例のブロック図。1 is a block diagram of an embodiment of an electronic device of the present invention; FIG. 本発明のコンピュータ可読記憶媒体の一実施例のブロック図。1 is a block diagram of one embodiment of a computer-readable storage medium of the present invention; FIG.

以下、明細書の図面を参照しながら本発明の実施例の技術的手段について詳細に説明する。 Hereinafter, technical means of the embodiments of the present invention will be described in detail with reference to the drawings of the specification.

以下の説明では、本発明を明瞭に理解するために提出された特定のシステム構成、インタフェース、技術などのような具体的な詳細は、限定的なものでなく、説明のためのものである。 In the following description, specific details such as specific system configurations, interfaces, techniques, etc., presented in order to provide a clear understanding of the present invention are illustrative rather than limiting.

本明細書における用語「システム」及び「ネットワーク」は、本明細書において交換可能に使用されることが多い。本明細書における用語「及び／又は」は、関連対象を説明する関連関係だけであり、３種の関係が存在することを示し、例えば、Ａ及び／又はＢは、Ａが単独で存在する場合、ＡとＢが同時に存在する場合、Ｂが単独で存在する場合の３種の場合を示すことができる。また、本明細書におけるシンボル「／」は、一般的に前後の関連対象が「又は」の関係にあることを示す。また、本明細書における「複数の」は、２つ以上を意味する。 The terms "system" and "network" are often used interchangeably herein. As used herein, the term "and/or" is only a related relationship describing related objects, indicating that there are three types of relationships, e.g., A and/or B when A exists alone , when A and B exist simultaneously, and when B exists alone. Also, the symbol "/" in this specification generally indicates that the related objects before and after are in an "or" relationship. Also, "plurality" as used herein means two or more.

図１を参照して、図１は本発明の画像検出方法の一実施例のフローチャートである。当該方法は具体的に以下のステップを含んでもよい。 Referring to FIG. 1, FIG. 1 is a flow chart of one embodiment of the image detection method of the present invention. The method may specifically include the following steps.

ステップＳ１１は、検出対象医学画像を取得する。 A step S11 acquires a detection target medical image.

検出対象医学画像は、ＣＴ画像、核磁気共鳴(Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ、ＭＲ)画像を含んでもよく、ここで限定しない。一つの実施場面において、検出対象医学画像は、肺部領域、肝部領域、心臓領域等に対して走査して得られた画像であってもよく、ここで限定せず、具体的に実際の適用場合に応じて設定してもよい。例えば、肺炎を感染するか否かをスクリーニングするために肺部を検査する必要がある場合、肺部領域を走査することができ、又は、肝部に病変が発生するか否かをスクリーニングするために肝部を検査する必要がある場合、肝部領域を走査することができるなど、他の適用場合は、このように類推することができ、ここで一つずつ例を挙げない。 The medical image to be detected may include CT images, magnetic resonance (MR) images, and is not limited here. In one implementation, the medical image to be detected may be an image obtained by scanning the lung region, liver region, heart region, etc., and is not limited here, and specifically the actual It may be set according to the application. For example, if the lung needs to be examined to screen for pneumonia, the lung area can be scanned, or to screen for the development of liver lesions. Other applications, such as scanning the liver area when the liver needs to be inspected, can be analogized in this way, and examples are not given here.

一つの実施場面において、検出対象医学画像は２次元の医学画像であってもよく、別の実施場面において、検出対象医学画像はさらに、３次元の医学画像に含まれる２次元の医学画像であってもよく、例えば、走査対象をＣＴ走査して３次元のＣＴデータを取得すれば、検出対象医学画像は３次元のＣＴデータに含まれる２次元の医学画像であってもよい。 In one implementation, the target medical image may be a two-dimensional medical image, and in another implementation, the target medical image is a two-dimensional medical image included in the three-dimensional medical image. For example, if a scanning target is CT-scanned to obtain three-dimensional CT data, the medical image to be detected may be a two-dimensional medical image included in the three-dimensional CT data.

ステップＳ１２は、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得る。 A step S12 performs feature extraction on the detection target medical image to obtain a first feature map of one or more dimensions.

一つの実施場面において、特徴抽出を行う前に、さらに検出対象医学画像に対して前処理を行ってもよく、例えば、少なくともプリセットウィンドウ値を利用して検出対象医学画像の画素値をプリセット範囲内に正規化し、それにより検出対象医学画像のコントラストを補強し、抽出される第１特徴マップの正確性を向上させることができる。具体的には、プリセットウィンドウ値は走査部位に応じて設定してもよく、例えば、検出対象医学画像が肺部に対して走査して得られたＣＴ画像である場合、プリセットウィンドウ値は、－１４００～１００ヘンシュ単位(Ｈｏｕｎｓｆｉｅｌｄ Ｕｎｉｔ、ＨＵ)であってもよく、他の部位は実際の場合に応じて設定してもよく、ここで一つずつ例を挙げない。また、プリセット範囲は、０～１に設定されてもよく、それにより、検出対象医学画像が肺部に対して走査して得られたＣＴ画像であり、且つプリセットウィンドウ値が－１４００～１００ヘンシュ単位である場合、画素値が－１４００未満である画素を－１４００にし、画素値が１００より大きい画素値を１００にし、最終的に－１４００～１００範囲にある画素値を０～１の範囲内にマッピングすることができる。プリセットウィンドウ値、プリセット範囲が他の数値である場合、このように類推することができ、ここで一つずつ例を挙げない。 In one implementation, before performing feature extraction, the target medical image may be further preprocessed, for example, using at least a preset window value to determine the pixel values of the target medical image within a preset range. , thereby enhancing the contrast of the detected medical image and improving the accuracy of the extracted first feature map. Specifically, the preset window value may be set according to the scanning region. For example, when the medical image to be detected is a CT image obtained by scanning the lung, the preset window value is - It can be 1400-100 Hounsfield Units (HU), and other parts can be set according to actual cases, and no examples are given here. Also, the preset range may be set to 0 to 1, whereby the medical image to be detected is a CT image obtained by scanning the lung, and the preset window value is -1400 to 100 Hensch. If it is a unit, pixels with pixel values less than -1400 are set to -1400, pixel values greater than 100 are set to 100, and finally pixel values in the range of -1400 to 100 are set to the range of 0 to 1. can be mapped to If the preset window value and the preset range are other values, they can be analogized in this way, and no example is given here.

一つの実施場面において、特徴抽出の利便性を向上させるために、さらに画像検出モデルを予めトレーニングすることができ、画像検出モデルは特徴抽出サブネットワークを含むことができ、それにより画像検出モデルの特徴抽出サブネットワークを利用して検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得ることができる。１つ以上の次元は、一つの次元であってもよく、複数の次元、例えば、二つの次元、三の次元等であってもよく、ここで限定せず、具体的に実際の場合に応じて特徴抽出サブネットワークのネットワーク深さを設定することにより、異なる次元の第１特徴マップを得る。ここで、次元が高いほど、対応する第１特徴マップのチャンネル数が大きくなり、且つ解像度が小さくなる。 In one implementation, to improve the convenience of feature extraction, the image detection model can be further pre-trained, and the image detection model can include a feature extraction sub-network, whereby the features of the image detection model are An extraction sub-network may be used to perform feature extraction on the detected medical image to obtain a first feature map in one or more dimensions. The one or more dimensions may be one dimension or multiple dimensions, such as two dimensions, three dimensions, etc., without limitation here, depending on the specific actual case. By setting the network depth of the feature extraction sub-network with , we obtain the first feature maps of different dimensions. Here, the higher the dimension, the larger the number of channels of the corresponding first feature map and the smaller the resolution.

図２を参照して、図２は画像検出モデルの一実施例のブロック図である。図２に示すように、特徴抽出サブネットワークは複数の順次接続された特徴抽出サブモジュールを含んでもよく、特徴抽出サブモジュールは畳み込み、正則、活性化及びプール化等の処理タスクを実行することができ、具体的には、特徴抽出サブモジュールは、残差ブロック(Ｒｅｓｉｄｕａｌ Ｂｌｏｃｋ)、感知ブロック(Ｉｎｃｅｐｔｉｏｎ Ｂｌｏｃｋ)、稠密ブロック(Ｄｅｎｓｅ Ｂｌｏｃｋ)のうちのいずれか１種を含んでもよく、ここで限定しない。具体的には、プール化処理は最大プール化(Ｍａｘ Ｐｏｏｌｉｎｇ)、平均プール化(Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ)、ストライド(Ｓｔｒｉｄｅ)が２である畳み込み層のうちのいずれか１種を含んでもよく、ここで限定しない。順次接続された特徴抽出サブモジュールで特徴抽出を実行するプロセスにおいて、低次元から高次元までの第１特徴マップを順次得ることができ、特徴抽出サブモジュールが実行するとき、チャンネル数が倍になり且つ解像度が半分になり得る。例えば、検出対象医学画像の解像度が２５６*２５６であり、図２における最初の特徴抽出サブモジュールによって抽出される第１特徴マップのチャンネル数が６４であり、解像度が１２８*１２８である場合、説明の便宜上、第１特徴マップの大きさをチャンネル数*解像度、即ち６４*１２８*１２８で統一的に示し、順次接続された２番目の特徴抽出サブモジュールによって抽出された第１特徴マップの大きさが１２８*６４*６４であり、３番目の特徴抽出サブモジュールによって抽出された第１特徴マップの大きさが２５６*３２*３２であり、４番目の特徴抽出サブモジュールによって抽出された第１特徴マップの大きさが５１２*１６*１６であり。特徴抽出サブネットワークが他の構成である場合、このように類推することができ、ここで一つずつ例を挙げない。 Referring to FIG. 2, FIG. 2 is a block diagram of one embodiment of an image detection model. As shown in FIG. 2, the feature extraction sub-network may include multiple sequentially connected feature extraction sub-modules, which may perform processing tasks such as convolution, regularization, activation and pooling. Specifically, the feature extraction sub-module may include any one of a Residual Block, an Inception Block, and a Dense Block, but is not limited here. . Specifically, the pooling process may include any one of Max Pooling, Average Pooling, and a convolutional layer with a stride of 2. do not. In the process of performing feature extraction in the feature extraction sub-modules connected sequentially, the first feature map from low dimension to high dimension can be obtained in sequence, and the number of channels is doubled when the feature extraction sub-modules perform. And the resolution can be halved. For example, the resolution of the medical image to be detected is 256*256, the number of channels of the first feature map extracted by the first feature extraction sub-module in FIG. 2 is 64, and the resolution is 128*128. For the sake of convenience, the size of the first feature map is uniformly shown as the number of channels*resolution, that is, 64*128*128, and the size of the first feature map extracted by the second feature extraction sub-module connected in sequence. is 128*64*64, the size of the first feature map extracted by the third feature extraction sub-module is 256*32*32, and the first feature extracted by the fourth feature extraction sub-module The size of the map is 512*16*16. If the feature extraction sub-network has other configurations, it can be analogized in this way, and examples are not given here one by one.

ステップＳ１３は、プリセット次元の第１特徴マップを参考特徴マップとして、参考特徴マップを利用して病巣確率マップを生成する。 A step S13 uses the first feature map of the preset dimension as a reference feature map to generate a focus probability map using the reference feature map.

病巣確率マップは、検出対象医学画像における異なる領域が病巣に属する確率を示すためのものである。依然として、検出対象医学画像の解像度が２５６*２５６であることを例として説明すると、参考特徴マップは、次元が最も高い第１特徴マップ、即ち大きさが５１２*１６*１６である第１特徴マップを含んでもよく、参考特徴マップにおける各画素点は、検出対象医学画像における一つの１６*１６の領域を対応して示すことができ、従って参考特徴マップを利用して生成される病巣確率マップにおける各画素点の画素値は、検出対象医学画像における一つの１６*１６領域が病巣に属する確率を示すことができる。また、参考特徴マップは他の第１特徴マップを含んでもよく、例えば、参考特徴マップは次元が最も高い第１特徴マップよりさらに一次元低い第１特徴マップを含んでもよく、ここで限定しない。他の実施場面において、具体的な適用場合に応じて、参考特徴マップはさらに他の次元の第１特徴マップを選択してもよく、ここで限定しない。 The lesion probability map is for indicating the probability that different regions in the detection target medical image belong to a lesion. Still taking the resolution of the medical image to be detected as an example of 256*256, the reference feature map is the first feature map with the highest dimension, that is, the first feature map with a size of 512*16*16. , each pixel point in the reference feature map can correspond to one 16*16 region in the medical image to be detected, so in the lesion probability map generated using the reference feature map The pixel value of each pixel point can indicate the probability that one 16*16 region in the detection target medical image belongs to the lesion. Also, the reference feature map may include other first feature maps, for example, the reference feature map may include a first feature map that is one dimension lower than the first feature map with the highest dimension, and is not limited here. In other implementations, according to the specific application, the reference feature map may also select the first feature map of other dimensions, and is not limited here.

一つの実施場面において、病巣確率マップの正確性を向上させるために、具体的に参考特徴マップにおける各画素点の病巣に関する勾配値を統計することにより、クラス活性化マップを生成し(Ｃｌａｓｓ Ａｃｔｉｖａｔｅ Ｍａｐ、ＣＡＭ)、クラス活性化マップを病巣確率マップとすることができる。一つの具体的な実施場面において、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値ycを得ることにより、参考特徴マップにおける各画素点 In one implementation, in order to improve the accuracy of the lesion probability map, a class activation map is generated (Class Activate Map , CAM), the class activation map can be the lesion probability map. In one specific implementation, the reference feature map is used to perform prediction processing to obtain a first probability value yc that the lesion is included in the detection target medical image, thereby obtaining each pixel point in the reference feature map

Figure 2023518160000002
Figure 2023518160000002

に対する第１確率値ycの勾配値 The gradient value of the first probability value y c for

Figure 2023518160000003
Figure 2023518160000003

を算出し、ここで、 , where

Figure 2023518160000004
Figure 2023518160000004

におけるｋは複数のチャンネルの参考特徴マップにおけるｋ番目の参考特徴マップを示し、ｉｊは、ｋ番目の参考特徴マップにおけるｉ行ｊ列目の画素点を示す。具体的には、画像検出モデルを予めトレーニングすることができ、画像検出モデルに予測処理サブネットワークが含まれ、それにより、予測処理サブネットワークを利用して参考特徴マップに対して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得ることができる。引き続き図２を参照し、予測処理サブネットワークはグローバル平均プール化層及び全結合層を含んでもよく、依然として、検出対象医学画像の解像度が２５６*２５６であることを例として説明すると、大きさが５１２*１６*１６である参考特徴マップに対してグローバル平均プール化(Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ、ＧＡＰ)処理を行って、大きさが５１２*１*１であるベクトルを得、そして、全結合層を利用して当該ベクトルを処理し、検出対象医学画像に病巣が含まれる第１確率値を得る。 , k indicates the k-th reference feature map in the reference feature maps of a plurality of channels, and ij indicates the i-th row, j-th column pixel point in the k-th reference feature map. Specifically, the image detection model can be pre-trained, the image detection model includes a prediction processing sub-network, whereby the prediction processing sub-network is used to perform prediction processing on the reference feature map; A first probability value that the lesion is included in the detection target medical image can be obtained. Continuing to refer to FIG. 2, the prediction processing sub-network may include a global average pooling layer and a fully connected layer, and still have a size of Perform Global Average Pooling (GAP) processing on the 512*16*16 reference feature map to obtain a vector with size 512*1*1, and use fully connected layers to obtain a first probability value that the lesion is included in the medical image to be detected.

一つの実施場面において、検出の前に陰性データを予め除去し、後続の検出で偽陽結果を得るという問題を解決するために、即ち、検出対象医学画像に病巣が存在していないが、検出対象医学画像に対して検出を行うことにより病巣を得るという問題を解決するために、しかも偽陽結果が臨床の適用に干渉を与えるため、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得るとともに、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定することができる。一つの具体的な実施場面において、参考特徴マップを利用して予測処理を行って第１確率値を得る方式は具体的に上述した実施場面における関連説明を参照すればよく、ここで説明を省略する。別の具体的な実施場面において、確率閾値を予め設定することができ、そして第１確率値が確率閾値未満である場合、検出対象医学画像に病巣が含まれないと見なし、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行しなくてもよく、それにより、この場合に依然として検出対象医学画像に対して画像検出を行って偽陽結果を得られた可能性を大幅に低減させることができる。確率閾値は、実際の適用場合に応じて設定してもよく、例えば、２０％未満、３０％未満等の数値に設定してもよく、それにより、比較的大きい確率で病巣が含まれない検出対象医学画像に対していずれも後続の検出を行わず、検出効率を向上させ、偽陽結果が発生する可能性を低減させる。 In one implementation, negative data are preliminarily removed prior to detection to solve the problem of obtaining false positive results in subsequent detection, i.e., no lesions are present in the medical image to be detected, but the detection In order to solve the problem of obtaining lesions by performing detection on the target medical image, and because false positive results interfere with clinical application, the reference feature map is used for prediction processing, and the detection target is Obtaining a first probability value that the lesion is included in the medical image, and based on the first probability value, determining whether to perform steps of generating a lesion probability map using the reference feature map and subsequent steps. be able to. In a specific implementation scene, the method of using the reference feature map to perform the prediction process to obtain the first probability value can refer to the relevant description in the above-mentioned implementation scene, and the description is omitted here. do. In another specific implementation, a probability threshold can be preset, and if the first probability value is less than the probability threshold, it is considered that the medical image to be detected does not contain a lesion, and the reference feature map is used. and subsequent steps to generate a lesion probability map, thereby still avoiding the possibility that image detection was performed on the medical image to be detected and false positive results were obtained in this case. can be significantly reduced. The probability threshold may be set according to the actual application, such as less than 20%, less than 30%, etc., so that the probability of detecting no lesions is relatively high. No subsequent detection is performed on the target medical image, improving detection efficiency and reducing the likelihood of false positive results.

ステップＳ１４は、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得る。 Step S14 fuses the lesion probability map with the first feature map of one or more dimensions to obtain a final fused feature map.

具体的には、融合のプロセスにおいて、次元の高い順に従って病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得ることができる。一つの実施場面において、病巣確率マップを利用して参考特徴マップに対してエンコード処理を行い、第２特徴マップを得、第２特徴マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得ることにより、病巣確率マップをグローバル特徴として特徴マップの融合に関与させることができ、最終融合特徴マップが病巣に対する特異性を強化することができ、それにより、後続の画像検出の正確性を向上させることに役立つことができる。依然として、検出対象医学画像の解像度が２５６*２５６であることを例として説明すると、参考特徴マップの大きさが５１２*１６*１６であり、５１２個のチャンネルの各参考特徴マップに対応して、対応する病巣確率マップを取得するため、病巣確率マップの大きさが５１２*１６*１６であり、さらに大きさが５１２*１６*１６である病巣確率マップと、大きさが５１２*１６*１６である参考特徴マップと、大きさが２５６*３２*３２である第１特徴マップと、大きさが１２８*６４*６４である第１特徴マップと、大きさが６４*１２８*１２８である第１特徴マップとに対して融合を行い、チャンネル数が１である最終融合特徴マップを得ることができる。 Specifically, in the process of fusion, the lesion probability map can be fused with the first feature map of one or more dimensions according to the ascending order of dimensionality to obtain a final fused feature map. In one implementation, encoding the reference feature map using the lesion probability map to obtain a second feature map, fusing the second feature map with the first feature map in one or more dimensions; By obtaining the final fused feature map, the lesion probability map can be involved in the fusion of feature maps as a global feature, and the final fused feature map can enhance specificity for lesions, thereby enabling subsequent image detection. can help improve the accuracy of Still taking the resolution of the medical image to be detected as an example of 256*256, the size of the reference feature map is 512*16*16, and corresponding to each reference feature map of 512 channels, To obtain the corresponding lesion probability maps, the lesion probability map size is 512*16*16, and the lesion probability map size is 512*16*16, and the lesion probability map size is 512*16*16. A reference feature map, a first feature map with size 256*32*32, a first feature map with size 128*64*64, and a first feature map with size 64*128*128 and the feature map to obtain a final fused feature map with one channel.

一つの具体的な実施場面において、エンコード処理の計算量を低減させるために、直接、病巣確率マップにおける第１画素点の画素値を参考特徴マップにおける第１画素点に対応する第２画素点の画素値と乗算し、第２特徴マップの対応する画素点の画素値を得ることができる。依然として、検出対象医学画像の解像度が２５６*２５６であることを例として説明すると、上記処理により大きさが５１２*１６*１６である参考特徴マップ、及びそれに対応する大きさが５１２*１６*１６である病巣確率マップを得ることができるため、各チャンネルに対して、病巣確率マップにおける第１画素点の画素値を対応するチャンネルの参考特徴マップにおける第１画素点に対応する第２画素点の画素値と乗算し、対応するチャンネルの第２特徴マップの対応する画素点の画素値を得ることができ、５１２個のチャンネルに対して同様の処理を行うことにより、大きさが５１２*１６*１６である第２特徴マップを得ることができる。検出対象医学画像が他の解像度の画像である場合、又は、参考特徴マップが他の大きさの画像である場合、このように類推することができ、ここで一つずつ例を挙げない。 In one specific implementation, in order to reduce the computational complexity of the encoding process, the pixel value of the first pixel point in the lesion probability map is directly converted to the value of the second pixel point corresponding to the first pixel point in the reference feature map. It can be multiplied by the pixel value to obtain the pixel value of the corresponding pixel point of the second feature map. Still taking the resolution of the medical image to be detected as an example of 256*256, the above processing yields a reference feature map with a size of 512*16*16 and a corresponding size of 512*16*16 For each channel, the pixel value of the first pixel point in the lesion probability map is the pixel value of the second pixel point corresponding to the first pixel point in the reference feature map of the corresponding channel. By multiplying with the pixel value, the pixel value of the corresponding pixel point of the second feature map of the corresponding channel can be obtained. A second feature map of 16 can be obtained. If the medical image to be detected is an image with other resolutions, or if the reference feature map is an image with other sizes, it can be analogized in this way, and examples will not be given here one by one.

別の具体的な実施場面において、最終融合画像の正確性及び豊富度を向上させるために、次元の高い順という順序に従って、第２特徴マップを上記順序でソートされた各次元の第１特徴マップと融合し、最終融合特徴マップを得ることができ、それにより、コンテキスト情報を十分に融合することに役立つことができる。具体的には、参考特徴マップを第１低次元特徴マップと融合し、次元が第１低次元特徴マップと同様である第１融合特徴マップを得ることができ、第１低次元特徴マップは参考特徴マップより一次元低い第１特徴マップであり、第２特徴マップを第１融合特徴マップと融合し、次元が第１融合特徴マップと同様である第２融合特徴マップを得、さらに、１つ以上の次元の第１特徴マップの融合が完了するまで、第２融合特徴マップを第２低次元特徴マップと融合して次元が第２低次元特徴マップと同様である新たな第２融合特徴マップを得ることを繰り返して実行し、ここで、第２低次元特徴マップは、現在の第２融合特徴マップより一次元低い第１特徴マップであり、最終的に融合して得られた第２融合特徴マップを最終融合特徴マップとすることができる。依然として、検出対象医学画像の解像度が２５６*２５６であることを例として説明すると、大きさが５１２*１６*１６である参考特徴マップと、それに対応する第１低次元特徴マップ、即ち大きさが２５６*３２*３２である第１特徴マップと融合することができ、融合プロセスにおいて、まず、大きさが５１２*１６*１６である参考特徴マップのチャンネル数を半分にし、解像度を倍にすることにより、それの大きさをそれに対応する第１低次元特徴マップと同様になるように調整し、さらに調整後の参考特徴マップと、大きさが２５６*３２*３２である第１低次元特徴マップとを、大きさが５１２*３２*３２である特徴マップに統合することができ、後続の融合を容易にするために、さらにそのチャンネル数を半分にし、大きさが第１低次元特徴マップと同様である第１融合特徴マップ、即ち大きさが２５６*３２*３２である第１融合特徴マップを得ることできる。さらに大きさが５１２*１６*１６である第２特徴マップを第１融合特徴マップと融合し、同様に、融合プロセスにおいて、まず、大きさが５１２*１６*１６である第２特徴マップのチャンネル数を半分にし、解像度を倍にすることにより、それの大きさを第１融合特徴マップと同様であるように調整し、さらに調整後の第２特徴マップと、大きさが２５６*３２*３２である第１融合特徴マップとを大きさが５１２*３２*３２である特徴マップと統合することができ、後続の融合を容易にするために、さらにそのチャンネル数を半分にし、大きさが第１融合特徴マップと同様である第２融合特徴マップ、即ち大きさが２５６*３２*３２である第２融合特徴マップを得ることができる。さらに、大きさが２５６*３２*３２である第２融合特徴マップを対応する第２低次元特徴マップ(即ち、大きさが１２８*６４*６４である第２特徴マップ)と融合するステップを実行し、同様に、融合プロセスにおいて、まず、大きさが２５６*３２*３２である第２融合特徴マップのチャンネル数を半分にし、解像度を倍にすることにより、それの大きさを対応する第２低次元特徴マップと一致するように調整し、さらに調整後の第２融合特徴マップと、対応する第２低次元特徴マップ(即ち、大きさが１２８*６４*６４である第２特徴マップ)とを、大きさが２５６*６４*６４である特徴マップに統合することができ、後続の融合を容易にするために、さらにそのチャンネル数を半分にし、大きさが対応する第２低次元特徴マップと同様である新たな第２融合特徴マップ、即ち、大きさが１２８*６４*６４である第２融合特徴マップを得ることができる。さらに、大きさが１２８*６４*６４である第２融合特徴マップを対応する第２低次元特徴マップ(即ち、大きさが６４*１２８*１２８である第２特徴マップ)と融合するステップを実行し、同様に、融合プロセスにおいて、まず、大きさが１２８*６４*６４である第２融合特徴マップのチャンネル数を半分にし、解像度を倍にすることにより、それの大きさを対応する第２低次元特徴マップと一致するように調整し、さらに調整後の第２融合特徴マップと、対応する第２低次元特徴マップ(即ち、大きさが６４*１２８*１２８である第２特徴マップ)とを、大きさが１２８*１２８*１２８である特徴マップに統合することができ、後続の処理を容易にするために、同様に、さらにそのチャンネル数を半分にし、大きさが対応する第２低次元特徴マップと同様である新たな第２融合特徴マップ、即ち、大きさが６４*１２８*１２８である第２融合特徴マップを得、１つ以上の次元のうちの各次元の第１特徴マップの融合が全て完了しているため、最終的に融合して得られた大きさが６４*１２８*１２８である第２融合特徴マップを最終融合特徴マップとすることができる。他の場合、このように類推することができ、ここで一つずつ例を挙げない。 In another specific implementation, in order to improve the accuracy and richness of the final fused image, the first feature map of each dimension is sorted according to the descending order of the second feature map in the above order. to obtain a final fused feature map, which can help to fuse the contextual information well. Specifically, the reference feature map can be fused with a first low-dimensional feature map to obtain a first fused feature map that is similar in dimension to the first low-dimensional feature map, wherein the first low-dimensional feature map is the reference A first feature map that is one dimension lower than the feature map, and fuses the second feature map with the first fused feature map to obtain a second fused feature map that is similar in dimension to the first fused feature map; The second fused feature map is fused with the second low-dimensional feature map to create a new second fused feature map with dimensions similar to the second low-dimensional feature map, until the fusion of the first feature map of the above dimensions is completed. where the second lower dimensional feature map is the first feature map one dimension lower than the current second fused feature map, and finally the second fused obtained by merging The feature map can be the final fused feature map. Still taking the resolution of the medical image to be detected as an example of 256*256, a reference feature map with a size of 512*16*16 and a corresponding first low-dimensional feature map with a size of It can be fused with the first feature map which is 256*32*32, and in the fusion process, the number of channels of the reference feature map whose size is 512*16*16 is first halved and the resolution is doubled. adjust its size to be the same as the corresponding first low-dimensional feature map, and further combine the adjusted reference feature map and the first low-dimensional feature map with a size of 256*32*32 can be merged into a feature map that is 512*32*32 in size, and further halves its number of channels and is sized as the first low-dimensional feature map to facilitate subsequent fusion. A similar first fused feature map can be obtained, ie the first fused feature map with size 256*32*32. Furthermore, a second feature map with a size of 512*16*16 is fused with the first fused feature map. Adjust its size to be similar to the first fused feature map by halving the number and doubling the resolution, and then aligning it with the second feature map after adjustment and size 256*32*32 can be merged with the first fused feature map of size 512*32*32, and further halved its number of channels and the size of the first fused feature map to facilitate subsequent fusion. A second fused feature map similar to the one fused feature map can be obtained, ie the second fused feature map with size 256*32*32. Further, perform the step of fusing the second fused feature map of size 256*32*32 with the corresponding second low-dimensional feature map (i.e., the second feature map of size 128*64*64). and similarly, in the fusion process, firstly, the number of channels of the second fused feature map, whose size is 256*32*32, is halved and the resolution is doubled, so that its size is reduced to the corresponding second A second fused feature map after adjustment to match the low-dimensional feature map, and a corresponding second low-dimensional feature map (i.e., a second feature map with a size of 128*64*64); can be merged into a feature map of size 256*64*64, further halving its number of channels to facilitate subsequent fusion, and a second lower-dimensional feature map of size corresponding to We can obtain a new second fused feature map similar to , ie the second fused feature map with size 128*64*64. Further, perform the step of fusing the second fused feature map of size 128*64*64 with the corresponding second low-dimensional feature map (i.e., the second feature map of size 64*128*128). and similarly, in the fusion process, the number of channels of the second fused feature map with size 128*64*64 is first halved and the resolution is doubled so that its size is reduced to the corresponding second A second fused feature map after adjustment to match the low-dimensional feature map, and a corresponding second low-dimensional feature map (i.e., a second feature map with a size of 64*128*128); can be integrated into a feature map that is 128*128*128 in size, and likewise further halves its number of channels and halves the corresponding second lower Obtain a new second fused feature map that is similar to the dimensional feature map, i.e. the second fused feature map with size 64*128*128, and obtain the first feature map in each of the one or more dimensions , the second fused feature map having a size of 64*128*128, which is finally obtained by merging, can be used as the final fused feature map. Other cases can be inferred in this way, and examples are not given here one by one.

もう一つの具体的な実施場面において、融合処理の効率を向上させるために、画像検出モデルを予めトレーニングすることができ、そして、画像検出モデルに融合処理サブネットワークが含まれ、それにより、画像検出モデルの融合処理サブネットワークを利用して病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得ることができる。具体的には、引き続き図２を結合して参照し、図２に示すように、融合処理サブネットワークは、複数の順次接続された融合処理サブモジュールを含み、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップを実行するように構成される。各融合処理サブモジュールは上記サンプリング、畳み込み、正則、活性化、統合、畳み込み、正則、活性化等の処理操作を実行することができる。上述実施場面において大きさが５１２*１６*１６である比較的高い次元の特徴マップ及びそれに対応する大きさが２５６*３２*３２である低次元特徴マップの融合プロセスを例にして、上記サンプリング処理は、融合プロセスにおいて大きさが５１２*１６*１６である比較的高い次元の特徴マップの解像度を倍にし、大きさが５１２*３２*３２である特徴マップを得るために用いられるものであり、最初の畳み込み処理は、融合プロセスにおいて解像度が倍になった後の比較的高い次元の特徴マップ(即ち、大きさが５１２*３２*３２である特徴マップ)のチャンネル数を半分にし、大きさが対応する低次元特徴マップと同様である特徴マップ(即ち、大きさを２５６*３２*３２に調整した特徴マップ)を得るために用いられるものであり、統合処理は、融合プロセスにおいて調整後の比較的高い次元の特徴マップとそれに対応する低次元特徴マップとを統合することによりそのチャンネル数を倍にするために用いられるものであり、即ち、統合後の特徴マップの大きさが５１２*３２*３２であり、２番目の畳み込み処理は、融合プロセスにおいて統合後に得られたチャンネル数が倍になった特徴マップをさらに半分にし、それにより今回融合して得られた融合特徴マップの大きさが対応する低次元特徴マップの大きさと同様になり、即ち、大きさが２５６*３２*３２である融合特徴マップを得るために用いられるものである。具体的に上述実施場面における関連ステップを結合して参照すればよく、ここで説明を省略する。 In another specific implementation, the image detection model can be pre-trained in order to improve the efficiency of the fusion process, and the image detection model includes a fusion process sub-network, whereby the image detection A fusion processing subnetwork of models can be used to fuse the lesion probability map with the first feature map in one or more dimensions to obtain a final fused feature map. Specifically, with continued combined reference to FIG. 2, as shown in FIG. 2, the fusion processing sub-network includes a plurality of sequentially connected fusion processing sub-modules for mapping the lesion probability map into one or more dimensions. to obtain a final fused feature map. Each fusion processing sub-module is capable of performing the sampling, convolution, regularization, activation, integration, convolution, regularization, activation, etc. processing operations described above. Taking the fusion process of a relatively high-dimensional feature map with a size of 512*16*16 and a corresponding low-dimensional feature map with a size of 256*32*32 in the above implementation scene as an example, the above sampling process is used to double the resolution of a relatively high-dimensional feature map with size 512*16*16 in the fusion process to obtain a feature map with size 512*32*32, The first convolution process halves the number of channels of the relatively high-dimensional feature map (i.e., the feature map whose size is 512*32*32) after the resolution is doubled in the fusion process, and the size is The merging process is used to obtain feature maps that are similar to the corresponding low-dimensional feature maps (i.e., feature maps adjusted in size to 256*32*32), and the merging process is used in the fusion process for post-adjustment comparison It is used to double the number of channels by integrating a high-dimensional feature map and its corresponding low-dimensional feature map, that is, the size of the feature map after integration is 512*32*. 32, the second convolution process further halves the feature map with the doubled number of channels obtained after integration in the fusion process, so that the size of the fused feature map obtained this time corresponds to It is used to obtain a fused feature map whose size is similar to that of the low-dimensional feature map, i.e., whose size is 256*32*32. Specifically, the relevant steps in the above-described implementation scene can be combined and referred to, and the description is omitted here.

ステップＳ１５は、最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得る。 A step S15 performs detection processing on the final fusion feature map to obtain a detection result of a lesion in the detection target medical image.

一つの実施場面において、医師の閲覧を容易にするために、検出結果は、検出対象画像における病巣の検出領域を含んでもよい。具体的には、プリセット色、プリ線状の線を採用して検出領域を示すことができ、ここで限定しない。別の実施場面において、検出対象医学画像が３次元の医学画像に含まれる２次元の医学画像であるため、２次元の医学画像における検出された検出領域を利用して、３次元の医学画像における病巣の検出領域を得ることができ、例えば、２次元の医学画像における検出された検出領域を３次元の空間に積層等の方式のような融合処理を行うことにより、３次元の医学画像における病巣の検出領域を得ることができ、具体的に実際の適用に応じて設定してもよく、ここで限定しない。 In one implementation, the detection result may include the detection area of the lesion in the image to be detected, in order to facilitate the doctor's viewing. Specifically, preset colors, pre-linear lines can be employed to indicate the detection area, and are not limited here. In another implementation scene, since the detection target medical image is a two-dimensional medical image included in the three-dimensional medical image, using the detected detection area in the two-dimensional medical image, The detection area of the lesion can be obtained, for example, by performing fusion processing such as stacking the detection area detected in the two-dimensional medical image in a three-dimensional space, the lesion in the three-dimensional medical image can be obtained, which can be specifically set according to the actual application, and is not limited here.

別の実施場面において、検出処理の効率を向上させるために、画像検出モデルを予めトレーニングすることができ、画像検出モデルに融合処理サブネットワークが含まれることができ、それにより、画像検出モデルの融合処理サブネットワークを利用して最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得ることができる。具体的には、引き続き図２を結合して参照し、融合処理サブネットワークにおいて、順次接続された複数の融合処理サブモジュール以外に、順次接続された複数の融合処理サブモジュールにおける最後の一つの融合処理サブモジュールに接続される活性化処理サブモジュールがさらに含まれてもよく、活性化処理サブモジュールは、最終融合特徴画像に対して畳み込み及び活性化処理を行った後、チャンネル数が１である特徴マップを得、当該特徴マップを正規化して病巣の検出結果を得るように構成される。具体的には、活性化処理サブモジュールは、順次接続された畳み込み層及び活性化層を含んでもよく、活性化層はｓｉｇｍｏｉｄ活性化関数を採用してもよく、具体的に実際の適用場合に応じて設定してもよく、ここで限定しない。 In another implementation, to improve the efficiency of the detection process, the image detection model can be pre-trained, and the image detection model can include a fusion processing sub-network, whereby the image detection model is fused. A processing sub-network may be used to perform detection processing on the final fused feature map to obtain lesion detection results in the detected medical image. Specifically, still referring to FIG. An activation processing sub-module connected to the processing sub-module may be further included, the activation processing sub-module having a channel number of 1 after performing convolution and activation processing on the final fused feature image. It is configured to obtain a feature map and normalize the feature map to obtain a lesion detection result. Specifically, the activation processing sub-module may include a convolutional layer and an activation layer that are sequentially connected, the activation layer may adopt a sigmoid activation function, specifically in the actual application case may be set accordingly and is not limited here.

もう一つの実施場面において、臨床参考を提供するために、さらに検出対象医学画像に対して臓器検出を行い、検出対象医学画像における臓器領域を得ることができ、それにより病巣の検出領域が臓器領域に占める病巣割合を取得することができ、さらに医師に対して臨床に有利な参照情報を提供し、ユーザーの体験を向上させることができる。例えば、検出対象医学画像に対して肺部検出を行い、検出対象医学画像における肺叶領域を得ることができ、それにより病巣の検出領域が肺叶領域に占める病巣割合を取得することができる。他の適用場面において、このように類推することができ、ここで限定しない。具体的には、臓器検出の効率を向上させるために、さらに臓器検出モデルを予めトレーニングすることができ、それにより臓器検出モデルを利用して検出対象医学画像に対して臓器検出を行い、検出対象医学画像における臓器領域を得ることができる。具体的には、臓器検出モデルは、Ｕ－ｎｅｔ、全畳み込みネットワーク(Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、ＦＣＮ)等に基づいたものであってもよく、ここで限定しない。 In another implementation, in order to provide clinical reference, the detection target medical image can be further subjected to organ detection to obtain an organ region in the detection target medical image, so that the detection region of the lesion is the organ region It is possible to obtain the percentage of lesions in patients, and further provide doctors with clinically advantageous reference information to improve the user's experience. For example, it is possible to perform lung part detection on the detection target medical image to obtain the lung lobe region in the detection target medical image, thereby obtaining the lesion ratio of the detection region of the lesion to the lung lobe region. Other applications can be analogized in this way and are not limited here. Specifically, in order to improve the efficiency of organ detection, the organ detection model can be further pre-trained, whereby the organ detection model is used to perform organ detection on the detection target medical image, and the detection target Organ regions in medical images can be obtained. Specifically, the organ detection model may be based on U-net, Fully Convolutional Networks (FCN), etc., and is not limited here.

上記技術的手段は、取得された検出対象医学画像に対して特徴抽出を行うことにより、１つ以上の次元の第１特徴マップを得、そして、プリセット次元の第１特徴マップを参考特徴マップとすることにより、参考特徴マップを利用して病巣確率マップを生成し、且つ、病巣確率マップが検出対象医学画像の異なる領域が病巣に属する確率を示すために用いられ、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るため、病巣確率マップがグローバル特徴として第１特徴マップと融合することができ、最終融合特徴マップが病巣に対する特異性を強化することができ、さらに最終融合特徴マップにより検出処理を行って検出対象医学画像における病巣の検出結果を得る場合、画像検出の正確性を向上させることができる。 The above technical means performs feature extraction on the acquired medical image to be detected to obtain a first feature map of one or more dimensions, and the first feature map of preset dimensions is used as a reference feature map. By using the reference feature map to generate a lesion probability map, and the lesion probability map is used to indicate the probability that different regions of the detection target medical image belong to the lesion, and one or more lesion probability maps The lesion probability map can be fused with the first feature map as a global feature to obtain the final fused feature map, and the final fused feature map enhances the specificity to the lesion. Furthermore, when the detection processing is performed using the final fusion feature map to obtain the detection result of the lesion in the detection target medical image, the accuracy of image detection can be improved.

図３を参照して、図３は本発明の画像検出方法の別の実施例のフローチャートである。当該方法は具体的に以下のステップを含んでもよい。 Referring to FIG. 3, FIG. 3 is a flow chart of another embodiment of the image detection method of the present invention. The method may specifically include the following steps.

ステップＳ３１は、検出対象医学画像を取得する。 A step S31 acquires a detection target medical image.

具体的に上述の実施例における関連ステップを参照してもよい。 Specifically, reference may be made to the relevant steps in the above embodiments.

ステップＳ３２は、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得る。 A step S32 performs feature extraction on the detection target medical image to obtain a first feature map of one or more dimensions.

具体的に上述の実施例における関連ステップを参照してもよい。 Specifically, reference may be made to the relevant steps in the above embodiments.

ステップＳ３３は、プリセット次元の第１特徴マップを参考特徴マップとして、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得る。 A step S33 uses the first feature map of the preset dimension as a reference feature map, performs prediction processing using the reference feature map, and obtains a first probability value that the lesion is included in the detection target medical image.

具体的には、画像検出モデルを予めトレーニングすることができ、そして、画像検出モデルに予測処理サブネットワークが含まれ、それにより、予測処理サブネットワークを利用して参考特徴マップに対して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得ることができる。具体的に上述の実施例における関連ステップを参照すればよく、ここで説明を省略する。 Specifically, the image detection model can be pre-trained, and the image detection model includes a predictive processing sub-network, whereby the predictive processing sub-network is utilized to perform predictive processing on the reference feature map. to obtain a first probability value that the lesion is included in the detection target medical image. Please refer specifically to the relevant steps in the above embodiments, and the description is omitted here.

ステップＳ３４は、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定し、実行する場合ステップＳ３５を実行し、実行しない場合にステップＳ３８を実行する。 Step S34 determines whether to perform the step of generating a focus probability map using the reference feature map and subsequent steps based on the first probability value, and if yes, performs step S35; If not, step S38 is executed.

一つの実施場面において、第１確率値が第１プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行すると決定することができる。具体的には、第１プリセット条件は、第１確率値が第１確率閾値以上であることを含んでもよく、第１確率閾値は、実際の適用に応じて設定してもよく、例えば、１５％、２０％、２５％等に設定してもよく、ここで限定しない。 In one implementation, if the first probability value satisfies a first preset condition, it can be determined to perform the steps of generating a lesion probability map using the reference feature map and subsequent steps. Specifically, the first preset condition may include that the first probability value is greater than or equal to the first probability threshold, and the first probability threshold may be set according to the actual application, such as 15 %, 20%, 25%, etc., and is not limited here.

別の実施場面において、検出対象医学画像が３次元の医学画像に含まれる２次元の医学画像であるため、２次元の医学画像の第１確率値を大きい順に従ってソートし、先頭のプリセット数量の第１確率値を選択することができ、プリセット数量は、実際の場合に応じて設定してもよく、例えば、５個、６個等に設定してもよく、ここで限定しない。そして、プリセット数量の第１確率値に対してプリセット処理を行い、例えば、プリセット数量の第１確率値に対して平均演算を行って第２確率値を得、第２確率値が第２プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行すると決定することができる。具体的には、第２プリセット条件は第２確率値が第２確率閾値以上であることを含んでもよく、第２確率閾値は実際の適用に応じて設定してもよく、例えば、１５％、２０％、２５％等に設定してもよく、ここで限定しない。 In another embodiment, since the medical image to be detected is a two-dimensional medical image included in a three-dimensional medical image, the first probability values of the two-dimensional medical image are sorted in descending order, and the first preset quantity is The first probability value can be selected, and the preset quantity can be set according to the actual situation, such as 5, 6, etc., and is not limited here. Then, preset processing is performed on the first probability value of the preset quantity, for example, the first probability value of the preset quantity is averaged to obtain a second probability value, and the second probability value is the second preset condition. is satisfied, then it may be determined to perform the step of generating a lesion probability map using the reference feature map and subsequent steps. Specifically, the second preset condition may include that the second probability value is greater than or equal to the second probability threshold, and the second probability threshold may be set according to the actual application, such as 15%, It may be set to 20%, 25%, etc., and is not limited here.

ステップＳ３５は、参考特徴マップを利用して病巣確率マップを生成する。 A step S35 generates a focus probability map using the reference feature map.

具体的に上述の実施例における関連ステップを参照してもよい。 Specifically, reference may be made to the relevant steps in the above embodiments.

ステップＳ３６は、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得る。 Step S36 fuses the lesion probability map with the first feature map of one or more dimensions to obtain a final fused feature map.

具体的に上述の実施例における関連ステップを参照してもよい。 Specifically, reference may be made to the relevant steps in the above embodiments.

ステップＳ３７は、最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得る。 A step S37 performs detection processing on the final fusion feature map to obtain a detection result of the lesion in the detection target medical image.

具体的に上述の実施例における関連ステップを参照してもよい。 Specifically, reference may be made to the relevant steps in the above embodiments.

ステップＳ３８は、検出対象医学画像に病巣が含まれないと提示する。 Step S38 presents that the medical image to be detected does not contain a lesion.

第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行しないと決定する場合、検出対象医学画像に病巣が含まれないと決定することができる。また、さらに文字、画像、音声等の方式により医護人員に対して検出対象医学画像に病巣が含まれないと提示することができ、ここで限定しない。 If it is determined not to perform the steps of generating a lesion probability map using the reference feature map and subsequent steps based on the first probability value, it may be determined that the medical image to be detected does not include a lesion. . In addition, it is possible to indicate to the medical staff that the medical image to be detected does not include a lesion by means of text, image, voice, etc., and is not limited here.

以上から分かるように、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得、そして、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定することにより、検出対象医学画像に病巣が含まれないが、偽陽検出結果が検出されることを回避することができ、ひいては、画像検出の正確性をさらに向上させることに役立つことができ、そして、検出の前に陰性データを予め除去することができるため、画像検出の効率を向上させることができる。 As can be seen from the above, the prediction process is performed using the reference feature map to obtain the first probability value that the lesion is included in the detection target medical image, and the reference feature map is used based on the first probability value. By determining whether to perform the step of generating a lesion probability map and subsequent steps in the detection target medical image, it is possible to avoid detecting a false positive detection result even though the lesion is not included in the detected medical image. It can, in turn, help to further improve the accuracy of image detection, and can improve the efficiency of image detection because negative data can be preliminarily removed before detection.

図４を参照して、図４は画像検出モデルをトレーニングする一実施例のフローチャートである。具体的には、画像検出モデルは、画像検出モデルの特徴抽出サブネットワークを利用して検出対象医学画像に対して特徴抽出を行う前にトレーニングしてもよく、画像検出モデルのネットワーク構成は、上述の実施例を参照すればよく、ここで説明を省略する。具体的には、トレーニングステップは、以下のステップＳ４１～Ｓ４６を含んでもよい。 Referring to FIG. 4, FIG. 4 is a flowchart of one embodiment of training an image detection model. Specifically, the image detection model may be trained prior to performing feature extraction on the medical image to be detected using a feature extraction sub-network of the image detection model, and the network configuration of the image detection model is described above. , and the description is omitted here. Specifically, the training step may include steps S41 to S46 below.

ステップＳ４１は、サンプル医学画像を取得し、ここで、サンプル医学画像に病巣の実際領域が含まれる。 A step S41 obtains a sample medical image, where the sample medical image includes the actual area of the lesion.

サンプル医学画像は、ＣＴ画像、ＭＲ画像を含んでもよく、ここで限定しない。具体的には、サンプル医学画像は、肺部領域、肝部領域、心臓領域等に対して走査して得られた画像であってもよく、ここで限定せず、具体的に実際の適用場合に応じて設定してもよい。一つの実施場面において、サンプル医学画像は、３次元の医学画像に含まれる２次元の医学画像であってもよく、例えば、走査対象をＣＴ走査して３次元のＣＴデータを取得すれば、サンプル医学画像は、３次元のＣＴデータに含まれる２次元の医学画像であってもよい。 The sample medical images may include CT images, MR images, and are not limited here. Specifically, the sample medical image may be an image obtained by scanning the lung region, the liver region, the heart region, etc., and is not limited here, specifically in the actual application. can be set accordingly. In one implementation, the sample medical image may be a two-dimensional medical image included in a three-dimensional medical image. The medical image may be a two-dimensional medical image contained in three-dimensional CT data.

一つの実施場面において、サンプルの多様性を向上させるために、さらにサンプル医学画像に対してデータ補強を行うことができ、別の実施場面において、サンプル医学画像のコントラストを向上させるために、さらにプリセットウィンドウ値を利用してサンプル医学画像の画素値をプリセット範囲内に正規化することができる。プリセットウィンドウ値及びプリセット範囲の具体的な設定方式は、上述の実施例における関連ステップを参照すればよく、ここで説明を省略する。 In one implementation, data augmentation can also be performed on the sample medical image to improve sample diversity, and in another implementation, to improve the contrast of the sample medical image, further preset A window value can be used to normalize the pixel values of the sample medical image to within a preset range. For the detailed setting method of the preset window value and preset range, please refer to the related steps in the above embodiments, and the description is omitted here.

ステップＳ４２は、特徴抽出サブネットワークを利用してサンプル医学画像に対して特徴抽出を行い、１つ以上の次元の第１サンプル特徴マップを得る。 A step S42 performs feature extraction on the sample medical image using a feature extraction sub-network to obtain a first sample feature map in one or more dimensions.

具体的に上述の実施例における関連ステップを参照してもよい。 Specifically, reference may be made to the relevant steps in the above embodiments.

ステップＳ４３は、プリセット次元の第１サンプル特徴マップを参考サンプル特徴マップとして、参考サンプル特徴マップを利用して病巣サンプル確率マップを生成する。 Step S43 takes the first sample feature map of the preset dimension as a reference sample feature map, and uses the reference sample feature map to generate a focus sample probability map.

病巣サンプル確率マップは、サンプル医学画像における異なる領域が病巣に属する確率を示すために用いられる。病巣サンプル確率マップの取得方式は具体的に上述の実施例における病巣確率マップを取得することに関するステップを参照すればよく、ここで説明を省略する。 A lesion sample probability map is used to indicate the probability that different regions in a sample medical image belong to a lesion. For the method of acquiring the lesion sample probability map, please refer specifically to the steps related to acquiring the lesion probability map in the above embodiments, and the description is omitted here.

ステップＳ４４は、融合処理サブネットワークを利用して病巣サンプル確率マップを１つ以上の次元の第１サンプル特徴マップと融合し、最終融合サンプル特徴マップを得る。 Step S44 uses a fusion processing sub-network to fuse the lesion sample probability map with the first sample feature map in one or more dimensions to obtain a final fused sample feature map.

具体的に上述の実施例における関連ステップを参照すればよく、ここで説明を省略する。 Please refer specifically to the relevant steps in the above embodiments, and the description is omitted here.

ステップＳ４５は、融合処理サブネットワークを利用して最終融合サンプル特徴マップに対して検出処理を行い、サンプル医学画像における病巣に関する検出領域を得る。 Step S45 performs detection processing on the final fused sample feature map using the fusion processing sub-network to obtain detection regions for lesions in the sample medical image.

具体的に上述の実施例における関連ステップを参照すればよく、ここで説明を省略する。 Please refer specifically to the relevant steps in the above embodiments, and the description is omitted here.

ステップＳ４６は、実際領域と検出領域との間の差異を利用して、画像検出モデルのネットワークパラメータを調整する。 Step S46 uses the difference between the real area and the detection area to adjust the network parameters of the image detection model.

一つの実施場面において、集合類似度損失関数(Ｄｉｃｅ ｌｏｓｓ)を採用して実際領域及び検出領域を処理し、画像検出モデルの損失値を決定することにより、損失値を利用してプリセット学習率(例えば、３ｅ－４)で画像検出モデルのネットワークパラメータを調整することができる。別の実施場面において、さらに交差エントロピー損失関数(ＣＥ ｌｏｓｓ)を採用して実際領域及び検出領域を処理し、画像検出モデルの損失値を決定することにより、損失値を利用してプリセット学習率(例えば、３ｅ－４)で画像検出モデルのネットワークパラメータを調整する。ここで限定しない。もう一つの実施場面において、図２を参照し、画像検出モデルはさらに予測処理サブネットワークを含み、予測処理サブネットワークは、参考サンプル特徴マップに対して予測処理を行って、参考サンプル特徴マップに病巣が含まれる予測確率を得るように構成され、トレーニングプロセスにおいて、さらにバイナリ交差エントロピー損失関数を利用して予測確率を処理し、画像検出モデルの分類損失値を決定し、実際領域及び検出領域を処理して決定された画像検出モデルの損失値及び分類損失値に対して重み付け処理を行い、画像検出モデルの重み付け損失値を得、さらに重み付け損失値を利用して画像検出モデルのネットワークパラメータを調整する。 In one implementation, a set similarity loss function (Dice loss) is employed to process the real region and the detection region, determine the loss value of the image detection model, and use the loss value to obtain a preset learning rate ( For example, the network parameters of the image detection model can be adjusted in 3e-4). In another implementation, the cross entropy loss function (CE loss) is further employed to process the real and detection regions, and the loss value is used to determine the loss value of the image detection model, thereby utilizing the preset learning rate ( For example, adjust the network parameters of the image detection model in 3e-4). not limited here. In another implementation, referring to FIG. 2, the image detection model further includes a prediction processing sub-network, wherein the prediction processing sub-network performs prediction processing on the reference sample feature map to generate a lesion on the reference sample feature map. in the training process, further utilizing a binary cross-entropy loss function to process the prediction probabilities, determine a classification loss value for the image detection model, and process the actual region and the detection region Weighting the determined loss value and classification loss value of the image detection model to obtain a weighted loss value of the image detection model, and using the weighted loss value to adjust the network parameters of the image detection model. .

一つの実施場面において、さらにトレーニング終了条件を予め設定することができ、プリセットトレーニング終了条件を満たす場合、画像検出モデルに対するトレーニングを終了することができる。具体的には、トレーニング終了条件は、損失値がプリセット損失閾値より小さいことと、トレーニング回数がプリセット回数閾値に達することと、のうちのいずれか一つを含むことができ、ここで限定しない。具体的には、プリセット損失閾値、プリセット回数閾値は、実際の場合に応じて設定してもよく、例えば、プリセット回数閾値を１０００回、２０００回等設定してもよい。ここで限定しない。 In one implementation, a training termination condition can also be preset, and training for the image detection model can be terminated if the preset training termination condition is met. Specifically, the training end condition may include any one of the loss value being less than a preset loss threshold and the number of training times reaching a preset number threshold, but is not limited here. Specifically, the preset loss threshold and the preset number of times threshold may be set according to actual cases. For example, the preset number of times threshold may be set to 1000 times, 2000 times, or the like. not limited here.

一つの実施場面において、確率的勾配降下法(Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ、ＳＧＤ)、バッチ勾配降下法(Ｂａｔｃｈ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ、ＢＧＤ)、小バッチ勾配降下法(Ｍｉｎｉ－Ｂａｔｃｈ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ、ＭＢＧＤ)等の方式により、損失値を利用して画像検出モデルのネットワークパラメータを調整することができる。ここで、バッチ勾配降下法とは、毎回の反復する際に、全てのサンプルを使用してパラメータの更新を行うことを意味し、確率的勾配降下法とは、毎回の反復する際に、一つのサンプルを使用してパラメータの更新を行うことを意味し、小バッチ勾配降下法とは、毎回の反復する際に、１ロットのサンプルを使用してパラメータの更新を行うことを意味し、ここで説明を省略する。 In one implementation, methods such as Stochastic Gradient Descent (SGD), Batch Gradient Descent (BGD), Mini-Batch Gradient Descent (MBGD), etc. The loss value can be used to tune the network parameters of the image detection model. Here, batch gradient descent means that all samples are used in each iteration to update the parameters, and stochastic gradient descent means that one small-batch gradient descent means that one lot of samples is used to update the parameters in each iteration, where description is omitted.

以上から分かるように、サンプル医学画像を取得し、サンプル医学画像に病巣の実際領域が含まれ、特徴抽出サブネットワークを利用してサンプル医学画像に対して特徴抽出を行い、１つ以上の次元の第１サンプル特徴マップを得ることにより、プリセット次元の第１サンプル特徴マップを参考サンプル特徴マップとして、参考サンプル特徴マップを利用して病巣サンプル確率マップを生成し、病巣サンプル確率マップはサンプル医学画像における異なる領域が病巣に属する確率を示すために用いられるため、さらに病巣確率マップを１つ以上の次元の第１サンプル特徴マップと融合し、最終融合サンプル特徴マップを得て、最終融合サンプル特徴マップに対して検出処理を行い、サンプル医学画像における病巣に関する検出領域を得、実際領域と検出領域との間の差異を利用して、画像検出モデルのネットワークパラメータを調整するため、画像検出モデルに対するトレーニングプロセスにおいて、病巣サンプル確率マップを利用してグローバル特徴として画像検出のデコードプロセスと結合させることができ、それにより、最終融合サンプル特徴マップが病巣に対する特異性を強化することができ、それにより、病巣に対する画像検出モデルの感度を補強することができ、さらに、モデルのトレーニング速度を向上させることに役立つことができる。 From the above, it can be seen that a sample medical image is obtained, the sample medical image contains the actual region of the lesion, the feature extraction sub-network is used to perform feature extraction on the sample medical image, and the Obtaining a first sample feature map, taking the first sample feature map of preset dimensions as a reference sample feature map, using the reference sample feature map to generate a lesion sample probability map, the lesion sample probability map being the sample medical image The lesion probability map is further fused with the first sample feature map in one or more dimensions to obtain a final fused sample feature map, as it is used to indicate the probability that different regions belong to a lesion. to obtain a detection area for the lesion in the sample medical image, and use the difference between the actual area and the detection area to adjust the network parameters of the image detection model, so that the training process for the image detection model , the lesion sample probability map can be utilized as a global feature and combined with the decoding process of image detection, so that the final fused sample feature map can enhance specificity to lesions, thereby increasing It can enhance the sensitivity of the image detection model and further help improve the training speed of the model.

図５を参照して、図５は本発明の画像検出装置５０の一実施例のブロック図である。画像検出装置５０は、画像取得モジュール５１、特徴抽出モジュール５２、画像生成モジュール５３、画像融合モジュール５４及び検出処理モジュール５５を含み、画像取得モジュール５１は、検出対象医学画像を取得するように構成され、特徴抽出モジュール５２は、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るように構成され、画像生成モジュール５３は、プリセット次元の第１特徴マップを参考特徴マップとして、参考特徴マップを利用して病巣確率マップを生成するように構成され、ここで、病巣確率マップは、検出対象医学画像の異なる領域が病巣に属する確率を示すためのものであり、画像融合モジュール５４は、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るように構成され、検出処理モジュール５５は、最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得るように構成される。 Referring to FIG. 5, FIG. 5 is a block diagram of one embodiment of an image sensing device 50 of the present invention. The image detection device 50 includes an image acquisition module 51, a feature extraction module 52, an image generation module 53, an image fusion module 54 and a detection processing module 55, wherein the image acquisition module 51 is configured to acquire a medical image to be detected. , the feature extraction module 52 is configured to perform feature extraction on the medical image to be detected to obtain a first feature map of one or more dimensions, and the image generation module 53 is configured to generate the first feature map of preset dimensions. The reference feature map is configured to generate a lesion probability map using the reference feature map as the reference feature map, wherein the lesion probability map is for indicating probabilities that different regions of the medical image to be detected belong to the lesion. , the image fusion module 54 is configured to fuse the lesion probability map with the first feature map of one or more dimensions to obtain a final fused feature map, and the detection processing module 55 performs detection on the final fused feature map. It is configured to perform processing and obtain a detection result of a lesion in the medical image to be detected.

上記技術的手段は、取得された検出対象医学画像に対して特徴抽出を行うことにより、１つ以上の次元の第１特徴マップを得、そして、プリセット次元の第１特徴マップを参考特徴マップとすることにより、参考特徴マップを利用して病巣確率マップを生成し、且つ、病巣確率マップが検出対象医学画像の異なる領域が病巣に属する確率を示すために用いられ、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るため、病巣確率マップがグローバル特徴として第１特徴マップと融合することができ、最終融合特徴マップが病巣に対する特異性を強化することができ、さらに最終融合特徴マップにより検出処理を行って検出対象医学画像における病巣の検出結果を得る場合、画像検出の正確性を向上させることができる。 The above technical means performs feature extraction on the acquired medical image to be detected to obtain a first feature map of one or more dimensions, and the first feature map of preset dimensions is used as a reference feature map. By using the reference feature map to generate a lesion probability map, and the lesion probability map is used to indicate the probability that different regions of the detection target medical image belong to the lesion, and one or more lesion probability maps The lesion probability map can be fused with the first feature map as a global feature to obtain the final fused feature map, and the final fused feature map enhances the specificity to the lesion. Furthermore, when the detection processing is performed using the final fusion feature map to obtain the detection result of the lesion in the detection target medical image, the accuracy of image detection can be improved.

いくつかの実施例において、画像検出装置５０はさらに予測処理モジュールを含み、予測処理モジュールは、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得るように構成され、画像検出装置５０はさらに実行決定モジュールを含み、実行決定モジュールは、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定するように構成される。 In some embodiments, the image detection device 50 further includes a prediction processing module, the prediction processing module performs prediction processing using the reference feature map, and determines a first probability value that the lesion is included in the detection target medical image. The image detection device 50 further includes a performance decision module that, based on the first probability values, utilizes the reference feature map to generate a lesion probability map and subsequent steps. It is configured to determine whether to run or not.

以上から分かるように、参考特徴マップを利用して予測処理を行い、検出対象医学画像に病巣が含まれる第１確率値を得、そして、第１確率値に基づいて、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定することにより、検出対象医学画像に病巣が含まれないが偽陽検出結果が検出されたことを回避することができ、ひいては、画像検出の正確性をさらに向上させることに役立つことができ、そして、検出の前に陰性データを予め除去することができるため、画像検出の効率を向上させることができる。 As can be seen from the above, the prediction process is performed using the reference feature map to obtain the first probability value that the lesion is included in the detection target medical image, and the reference feature map is used based on the first probability value. By determining whether to perform the step of generating a lesion probability map and the subsequent steps, it is possible to avoid detecting a false positive detection result even though the medical image to be detected does not contain a lesion. Thus, it can help to further improve the accuracy of image detection, and the efficiency of image detection can be improved because the negative data can be preliminarily removed before detection.

実行決定モジュールは具体的に、第１確率値が第１プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するように構成される。 The execution decision module is specifically configured to perform the step of generating a lesion probability map using the reference feature map and subsequent steps if the first probability value satisfies a first preset condition.

又は、検出対象医学画像が３次元の医学画像に含まれる２次元の医学画像である場合、実行決定モジュールはさらに確率選択サブモジュールを含み、確率選択サブモジュールは、２次元の医学画像の第１確率値を大きい順に従ってソートし、先頭のプリセット数量の第１確率値を選択するように構成され、実行決定モジュールはさらに確率処理サブモジュールを含み、確率処理サブモジュールは、プリセット数量の第１確率値に対してプリセット処理を行い、第２確率値を得るように構成され、実行決定モジュールはさらに決定サブモジュールを含み、決定サブモジュールは、第２確率値が第２プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するように構成される。 Alternatively, if the medical image to be detected is a two-dimensional medical image included in the three-dimensional medical image, the execution decision module further includes a probability selection sub-module, wherein the probability selection sub-module selects the first The execution decision module is configured to sort the probability values according to the descending order and select the first probability value of the leading preset quantity, the execution decision module further comprising a probability processing sub-module, wherein the probability processing sub-module selects the first probability of the preset quantity configured to perform a preset operation on the value to obtain a second probability value, the execution determining module further comprising a determining sub-module, the determining sub-module determining if the second probability value satisfies the second preset condition; It is configured to perform the step of utilizing the feature map to generate a lesion probability map and subsequent steps.

以上から分かるように、第１確率値が第１プリセット条件を満たす場合、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行し、又は、検出対象医学画像が３次元の医学画像に含まれる２次元の医学画像であるとき、２次元の医学画像の第１確率値を大きい順に従ってソートし、先頭のプリセット数量の第１確率値を選択し、プリセット数量の第１確率値に対してプリセット処理を行い、第２確率値を得、それにより、第２確率値が第２プリセット条件を満たすとき、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行し、そのため、検出の前に陰性データを予め除去することにより画像検出の正確性及び効率を向上させることに役立つことができる。 From the above, if the first probability value satisfies the first preset condition, the step of generating a lesion probability map using the reference feature map and subsequent steps are performed, or the medical image to be detected is three-dimensional. is a two-dimensional medical image included in the medical image, the first probability values of the two-dimensional medical image are sorted in descending order, the first probability value of the first preset quantity is selected, and the first probability value of the preset quantity is selected. performing a preset process on the probability values to obtain a second probability value, thereby generating a lesion probability map using the reference feature map when the second probability value satisfies a second preset condition; A step may be taken so that pre-rejection of negative data prior to detection can help improve the accuracy and efficiency of image detection.

いくつかの実施例において、第１プリセット条件は、第１確率値が第１確率閾値以上であることを含み、第２プリセット条件は、第２確率値が第２確率閾値以上であることを含み、プリセット処理が平均演算である。 In some embodiments, the first preset condition includes that the first probability value is greater than or equal to the first probability threshold, and the second preset condition includes that the second probability value is greater than or equal to the second probability threshold. , the preset processing is the averaging operation.

以上から分かるように、第１プリセット条件を第１確率値が第１確率閾値以上であると設定し、第２プリセット条件を第２確率値が第２確率閾値以上であると設定し、プリセット処理を平均演算に設定することにより、第２確率値の計算量を低減させることができ、第２確率値が３次元の医学画像に病巣が含まれる可能性を正確に反映することができ、そのため、第１確率値が第１確率閾値以上であるとき、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行することができ、第２確率値が第２確率閾値以上であるとき、参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行することができ、そのため、検出の前に陰性データを予め除去することにより画像検出の正確性及び効率を向上させることに役立つことができる。 As can be seen from the above, the first preset condition is set that the first probability value is greater than or equal to the first probability threshold, the second preset condition is set that the second probability value is greater than or equal to the second probability threshold, and the preset process By setting to the average operation, the amount of calculation of the second probability value can be reduced, and the second probability value can accurately reflect the possibility that the lesion is included in the three-dimensional medical image, so , the step of generating a lesion probability map using the reference feature map and subsequent steps can be performed when the first probability value is greater than or equal to the first probability threshold, and the second probability value is greater than or equal to the second probability threshold; When , the step of generating a lesion probability map using the reference feature map and subsequent steps can be performed, thus improving the accuracy and efficiency of image detection by pre-removing negative data prior to detection. can help improve

いくつかの実施例において、実行決定モジュールはさらに、第１確率値が第１プリセット条件を満たさない場合、又は第２確率値が第２プリセット条件を満たさない場合、検出対象医学画像に病巣が含まれないと決定するように構成される。 In some embodiments, the execution decision module further determines that the medical image to be detected contains a lesion if the first probability value does not meet the first preset condition or if the second probability value does not meet the second preset condition. configured to determine that the

以上から分かるように、第１確率値が第１プリセット条件を満たさない場合、又は第２確率値が第２プリセット条件を満たさない場合、検出対象医学画像に病巣が含まれないと決定することにより、ユーザーに検出対象医学画像の陰性検出結果を速やかに感知させることができ、それによりユーザーの体験を向上させることに役立つことができる。 As can be seen from the above, when the first probability value does not satisfy the first preset condition, or when the second probability value does not satisfy the second preset condition, by determining that the detection target medical image does not include a lesion, , which can help the user to quickly sense the negative detection result of the detection target medical image, thereby improving the user's experience.

いくつかの実施例において、画像生成モジュール５３は具体的に、参考特徴マップにおける各画素点の病巣に関する勾配値を統計し、クラス活性化マップを生成し、クラス活性化マップを病巣確率マップとするように構成される。 In some embodiments, the image generation module 53 specifically stats the gradient values for lesions of each pixel point in the reference feature map, generates a class activation map, and takes the class activation map as a lesion probability map. configured as

以上から分かるように、参考特徴マップにおける各画素点の病巣に関する勾配値を統計し、クラス活性化マップを生成して病巣確率マップとすることにより、病巣確率マップの正確性を向上させることができ、それにより後続の画像検出の正確性を向上させることに役立つことができる。 As can be seen from the above, the accuracy of the lesion probability map can be improved by statisticizing the gradient values of the lesions of each pixel point in the reference feature map and generating the class activation map as the lesion probability map. , thereby helping to improve the accuracy of subsequent image detection.

いくつかの実施例において、画像融合モジュール５４は、エンコード処理サブモジュールを含み、エンコード処理サブモジュールは、病巣確率マップを利用して参考特徴マップに対してエンコード処理を行い、第２特徴マップを得るように構成され、画像融合モジュール５４は、融合処理サブモジュールを含み、融合処理サブモジュールは、第２特徴マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るように構成される。 In some embodiments, the image fusion module 54 includes an encoding sub-module that encodes the reference feature map using the lesion probability map to obtain a second feature map. The image fusion module 54 includes a fusion processing sub-module that fuses the second feature map with the first feature map of one or more dimensions to obtain a final fused feature map. configured to

以上から分かるように、病巣確率マップを利用して参考特徴マップに対してエンコード処理を行い、第２特徴マップを得、且つ第２特徴マップを１つ以上の次元の第１特徴マップと融合することにより、最終融合特徴マップを得るため、病巣確率マップをグローバル特徴として特徴マップと融合することができ、最終融合特徴マップが病巣に対する特異性を強化することができ、それにより、後続の画像検出の正確性を向上させることに役立つことができる。 It can be seen from the above that the lesion probability map is used to encode the reference feature map to obtain a second feature map, and the second feature map is fused with the first feature map in one or more dimensions. Thus, the lesion probability map can be fused with the feature map as global features to obtain a final fused feature map, and the final fused feature map can enhance specificity for lesions, thereby enabling subsequent image detection can help improve the accuracy of

いくつかの実施例において、エンコード処理サブモジュールは具体的に、病巣確率マップにおける第１画素点の画素値を参考特徴マップにおける第１画素点に対応する第２画素点の画素値と乗算し、第２特徴マップの対応する画素点の画素値を得るように構成される。 In some embodiments, the encoding processing sub-module specifically multiplies the pixel value of the first pixel point in the lesion probability map with the pixel value of the second pixel point corresponding to the first pixel point in the reference feature map; configured to obtain pixel values of corresponding pixel points of the second feature map;

以上から分かるように、病巣確率マップにおける第１画素点の画素値を参考特徴マップにおける第１画素点に対応する第２画素点の画素値と乗算し、第２特徴マップの対応する画素点の画素値を得ることにより、参考特徴マップに対する病巣確率マップのエンコード処理エンコード処理を実現するため、計算量を低減させることに役立つことができる。 As can be seen from the above, the pixel value of the first pixel point in the lesion probability map is multiplied by the pixel value of the second pixel point corresponding to the first pixel point in the reference feature map, and the pixel value of the corresponding pixel point in the second feature map is By obtaining the pixel values, encoding processing of the lesion probability map with respect to the reference feature map is realized, which can help reduce the amount of calculation.

いくつかの実施例において、融合処理サブモジュールは具体的に、次元の高い順という順序に従って、第２特徴マップを順序でソートされた各次元の第１特徴マップと融合し、最終融合特徴マップを得るように構成される。 In some embodiments, the fusion processing sub-module specifically fuses the second feature map with the first feature map of each dimension sorted in order according to the ascending order of the dimensions, and produces a final fused feature map configured to obtain

以上から分かるように、次元の高い順に従って、第２特徴マップを各次元の第１特徴マップと融合し、最終融合特徴マップを得ることにより、次元ごとに特徴マップの融合を行うことに役立つことができ、それによりコンテキスト情報を十分に融合して最終融合特徴マップの正確性及び特徴豊富度を向上させることに役立つことができ、さらに、後続の画像検出の正確性を向上させることに役立つことができる。 As can be seen from the above, fusing the second feature map with the first feature map in each dimension according to the ascending order of dimension to obtain the final fused feature map helps to fuse the feature maps for each dimension. , which can help to fully fuse contextual information to improve the accuracy and feature richness of the final fused feature map, further helping to improve the accuracy of subsequent image detection. can be done.

いくつかの実施例において、参考特徴マップは次元が最も高い第１特徴マップであり、融合処理サブモジュールは、第１融合ユニットを含み、第１融合ユニットは、参考特徴マップを第１低次元特徴マップと融合し、次元が第１低次元特徴マップと同様である第１融合特徴マップを得るように構成され、ここで、第１低次元特徴マップが参考特徴マップより一次元低い第１特徴マップである。 In some embodiments, the reference feature map is the highest dimensional first feature map, the fusion processing sub-module includes a first fusion unit, the first fusion unit converts the reference feature map to the first lower dimensional feature map to obtain a first fused feature map similar in dimension to the first low-dimensional feature map, wherein the first low-dimensional feature map is one dimension lower than the reference feature map. is.

融合処理サブモジュールは、第２融合ユニットを含み、第２融合ユニットは、第２特徴マップを第１融合特徴マップと融合し、次元が第１融合特徴マップと同様である第２融合特徴マップを得るように構成される。 The fusion processing sub-module includes a second fusion unit that fuses the second feature map with the first fused feature map to produce a second fused feature map that is similar in dimension to the first fused feature map. configured to obtain

融合処理サブモジュールは第３融合ユニットを含み、第３融合ユニットは、１つ以上の次元の第１特徴マップの融合が完了するまで、第２融合特徴マップを第２低次元特徴マップと融合して次元が第２低次元特徴マップと同様である新たな第２融合特徴マップを得ることを繰り返して実行するように構成され、ここで、第２低次元特徴マップは、現在の第２融合特徴マップより一次元低い第１特徴マップである。 The fusion processing sub-module includes a third fusion unit that fuses the second fused feature map with the second lower dimensional feature map until the fusion of the first feature map in one or more dimensions is complete. obtain a new second fused feature map whose dimensions are similar to the second low-dimensional feature map, where the second low-dimensional feature map is the current second fused feature map A first feature map that is one dimension lower than the map.

融合処理サブモジュールは、最終融合ユニットを含み、最終融合ユニットは、最終的に融合して得られた第２融合特徴マップを最終融合特徴マップとするように構成される。 The fusion processing submodule includes a final fusion unit, and the final fusion unit is configured to make the second fusion feature map finally obtained by fusion as a final fusion feature map.

以上から分かるように、参考特徴マップを第１低次元特徴マップと融合し、次元が第１低次元特徴マップと同様である第１融合特徴マップを得、第１低次元特徴マップが参考特徴マップより一次元低い第１特徴マップであり、そして第２特徴マップを第１融合特徴マップと融合し、次元が第１融合特徴マップと同様である第２融合特徴マップを得ることにより、１つ以上の次元の第１特徴マップの融合が完了するまで、第２融合特徴マップを第２低次元特徴マップと融合して次元が第２低次元特徴マップと同様である新たな第２融合特徴マップを得ることを繰り返して実行し、そして、第２低次元特徴マップは、現在の第２融合特徴マップより一次元低い第１特徴マップであり、最終的に融合して得られた第２融合特徴マップを最終融合特徴マップとすることにより、病巣確率マップをグローバル特徴として画像検出のデコードプロセスと結合させることができ、最終融合特徴マップが病巣に対する特異性を強化することができ、特徴マップのコンテキスト情報を十分に融合して最終融合特徴マップの正確性及び特徴豊富度を向上させることができ、さらに、後続の画像検出の正確性を向上させることに役立つことができる。 As can be seen from the above, the reference feature map is fused with the first low-dimensional feature map to obtain a first fused feature map whose dimension is similar to the first low-dimensional feature map, and the first low-dimensional feature map is the reference feature map A first feature map that is one dimension lower than the first feature map, and by fusing the second feature map with the first fused feature map to obtain a second fused feature map that is similar in dimension to the first fused feature map. A second fused feature map is fused with a second lower dimensional feature map to produce a new second fused feature map of dimensions similar to the second low dimensional feature map until the fusion of the first feature map of dimensions is complete. and the second low-dimensional feature map is the first feature map that is one dimension lower than the current second fused feature map, and the finally fused second fused feature map as the final fused feature map, the lesion probability map can be combined with the decoding process of image detection as a global feature, the final fused feature map can enhance the specificity to lesions, and the context information of the feature map can be fully fused to improve the accuracy and feature richness of the final fused feature map, which can further help improve the accuracy of subsequent image detection.

いくつかの実施例において、検出結果は、検出対象医学画像における病巣の検出領域を含み、画像検出装置５０はさらに臓器検出モジュールを含み、臓器検出モジュールは、検出対象医学画像に対して臓器検出を行い、検出対象医学画像における臓器領域を得るように構成され、画像検出装置５０はさらに割合取得モジュールを含み、割合取得モジュールは、病巣の検出領域が臓器領域に占める病巣割合を取得するように構成される。 In some embodiments, the detection result includes a detection area of the lesion in the detection target medical image, the image detection device 50 further includes an organ detection module, and the organ detection module performs organ detection on the detection target medical image. and obtain the organ area in the detection target medical image, the image detection device 50 further includes a ratio obtaining module, the ratio obtaining module is configured to obtain the ratio of the detected area of the lesion to the organ area. be done.

以上から分かるように、検出対象医学画像に対して臓器検出を行うことにより検出対象医学画像における臓器領域を得、病巣の検出領域が臓器領域に占める病巣割合を取得することにより、検出結果を利用して臨床に有利な参照情報をさらに生成することに役立つことができ、ユーザーの体験を向上させることができる。 As can be seen from the above, the organ region in the detection target medical image is obtained by performing organ detection on the detection target medical image, and the detection result is used by obtaining the ratio of the lesion detection region to the organ region. This can help generate more clinically useful reference information and can improve the user's experience.

いくつかの実施例において、画像検出装置５０はさらに、を含み、前処理モジュール、前処理モジュールは、ように構成される、検出対象医学画像に対して前処理を行うステップであって、前処理の操作は少なくとも、プリセットウィンドウ値を利用して検出対象医学画像の画素値をプリセット範囲内に正規化することを含む。 In some embodiments, the image detection device 50 further includes a preprocessing module, the preprocessing module configured to preprocess the medical image to be detected, the preprocessing includes at least normalizing the pixel values of the detected medical image to within a preset range using the preset window values.

以上から分かるように、検出対象医学画像に対して特徴抽出を行う前に、検出対象医学画像に対して前処理を行い、そして、前処理の操作が少なくとも、プリセットウィンドウ値を利用して検出対象医学画像の画素値をプリセット範囲内に正規化することを含むことにより、検出対象医学画像コントラストを補強することに役立つことができ、それにより、後続に抽出された第１特徴マップの正確性を向上させることに役立つことができる。 As can be seen from the above, before performing feature extraction on the detection target medical image, preprocessing is performed on the detection target medical image, and the preprocessing operation includes at least the detection target medical image using the preset window value. Including normalizing the pixel values of the medical image to within a preset range can help enhance the detected medical image contrast, thereby increasing the accuracy of the subsequently extracted first feature map. can help improve.

いくつかの実施例において、特徴抽出モジュール５２は具体的に、画像検出モデルの特徴抽出サブネットワークを利用して検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るように構成され、画像融合モジュール５４は具体的に、画像検出モデルの融合処理サブネットワークを利用して病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るように構成され、検出処理モジュール５５は具体的に、画像検出モデルの融合処理サブネットワークを利用して最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得るように構成される。 In some embodiments, the feature extraction module 52 specifically performs feature extraction on the detected medical image using a feature extraction sub-network of the image detection model to generate a first feature map in one or more dimensions. Image fusion module 54 specifically utilizes a fusion processing sub-network of image detection models to fuse the lesion probability map with a first feature map in one or more dimensions to obtain a final fused feature map Specifically, the detection processing module 55 performs detection processing on the final fusion feature map using the fusion processing sub-network of the image detection model, and the detection result of the lesion in the detection target medical image is configured to obtain

以上から分かるように、画像検出モデルの特徴抽出サブネットワークを利用して検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得、画像検出モデルの融合処理サブネットワークを利用して病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得、そして、画像検出モデルの融合処理サブネットワークを利用して最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得ることにより、画像検出モデルによって特徴抽出、融合処理、画像検出のタスクを実行し、さらに、画像検出の効率を向上させることに役立つことができる。 As can be seen from the above, the feature extraction sub-network of the image detection model is used to perform feature extraction on the medical image to be detected, to obtain a first feature map of one or more dimensions, and the fusion processing sub-network of the image detection model. A network is used to fuse the lesion probability map with the first feature map in one or more dimensions to obtain a final fused feature map, and a fusion processing subnetwork of the image detection model is used for the final fused feature map. By performing detection processing on the target medical image and obtaining the detection result of the lesion in the detection target medical image, the image detection model can perform the tasks of feature extraction, fusion processing, and image detection, and further improve the efficiency of image detection. be able to.

いくつかの実施例において、画像検出装置５０はサンプル画像取得モジュールを含み、サンプル画像取得モジュールは、サンプル医学画像を取得するように構成され、ここで、サンプル医学画像に病巣の実際領域が含まれ、画像検出装置５０はサンプル特徴抽出モジュールを含み、サンプル特徴抽出モジュールは、特徴抽出サブネットワークを利用してサンプル医学画像に対して特徴抽出を行い、１つ以上の次元の第１サンプル特徴マップを得るように構成され、画像検出装置５０は確率画像生成モジュールを含み、確率画像生成モジュールは、プリセット次元の第１サンプル特徴マップを参考サンプル特徴マップとして、参考サンプル特徴マップを利用して病巣サンプル確率マップを生成するように構成され、ここで、病巣サンプル確率マップはサンプル医学画像における異なる領域が病巣に属する確率を示すために用いられ、画像検出装置５０はサンプル画像融合モジュールを含み、サンプル画像融合モジュールは、融合処理サブネットワークを利用して病巣サンプル確率マップを１つ以上の次元の第１サンプル特徴マップと融合し、最終融合サンプル特徴マップを得るように構成され、画像検出装置５０はサンプル検出処理モジュールを含み、サンプル検出処理モジュールは、融合処理サブネットワークを利用して最終融合サンプル特徴マップに対して検出処理を行い、サンプル医学画像における病巣に関する検出領域を得るように構成され、画像検出装置５０はトレーニング調整モジュールを含み、トレーニング調整モジュールは、実際領域と検出領域との間の差異を利用して、画像検出モデルのネットワークパラメータを調整するように構成される。 In some embodiments, the image sensing device 50 includes a sample image acquisition module, the sample image acquisition module is configured to acquire a sample medical image, wherein the sample medical image includes the actual area of the lesion. , the image detection device 50 includes a sample feature extraction module that performs feature extraction on the sample medical image using a feature extraction sub-network to generate a first sample feature map in one or more dimensions. The image detection device 50 includes a probability image generation module that uses the first sample feature map of preset dimensions as a reference sample feature map and utilizes the reference sample feature map to determine the lesion sample probability a map, wherein the lesion sample probability map is used to indicate probabilities that different regions in the sample medical image belong to a lesion, the image detection device 50 including a sample image fusion module, wherein the sample image fusion The module is configured to fuse the lesion sample probability map with the first sample feature map of one or more dimensions using a fusion processing sub-network to obtain a final fused sample feature map, wherein the image detection device 50 performs sample detection. a processing module, wherein the sample detection processing module is configured to perform detection processing on the final fused sample feature map utilizing the fusion processing sub-network to obtain detection regions for lesions in the sample medical image; 50 includes a training adjustment module, which is configured to adjust network parameters of the image detection model using the difference between the real region and the detection region.

以上から分かるように、サンプル医学画像を取得し、サンプル医学画像に病巣の実際領域が含まれ、特徴抽出サブネットワークを利用してサンプル医学画像に対して特徴抽出を行い、１つ以上の次元の第１サンプル特徴マップを得ることにより、プリセット次元の第１サンプル特徴マップを参考サンプル特徴マップとして、参考サンプル特徴マップを利用して病巣サンプル確率マップを生成し、病巣サンプル確率マップはサンプル医学画像における異なる領域が病巣に属する確率を示すために用いられるため、さらに病巣確率マップを１つ以上の次元の第１サンプル特徴マップと融合し、最終融合サンプル特徴マップを得て、最終融合サンプル特徴マップに対して検出処理を行い、サンプル医学画像における病巣に関する検出領域を得、実際領域と検出領域との間の差異を利用して、画像検出モデルのネットワークパラメータを調整するため、画像検出モデルに対するトレーニングプロセスにおいて、病巣サンプル確率マップを利用してグローバル特徴として画像検出のデコードプロセスと結合させることができ、それにより、最終融合サンプル特徴マップが病巣に対する特異性を強化することができ、それにより、病巣に対する画像検出モデルの感度を補強することができ、さらに、モデルのトレーニング速度を向上させることに役立つことができる。 From the above, it can be seen that a sample medical image is obtained, the sample medical image contains the actual region of the lesion, the feature extraction sub-network is used to perform feature extraction on the sample medical image, and the Obtaining a first sample feature map, taking the first sample feature map of preset dimensions as a reference sample feature map, using the reference sample feature map to generate a lesion sample probability map, the lesion sample probability map being the sample medical image The lesion probability map is further fused with the first sample feature map in one or more dimensions to obtain a final fused sample feature map, as it is used to indicate the probability that different regions belong to a lesion. to obtain a detection area for the lesion in the sample medical image, and use the difference between the actual area and the detection area to adjust the network parameters of the image detection model, so that the training process for the image detection model , the lesion sample probability map can be utilized as a global feature and combined with the decoding process of image detection, so that the final fused sample feature map can enhance specificity to lesions, thereby increasing It can enhance the sensitivity of the image detection model and further help improve the training speed of the model.

いくつかの実施例において、トレーニング調整モジュールは損失決定サブモジュールを含み、損失決定サブモジュールは、集合類似度損失関数を採用して実際領域及び検出領域を処理し、画像検出モデルの損失値を決定するように構成され、トレーニング調整モジュールはパラメータ調整サブモジュールを含み、パラメータ調整サブモジュールは、損失値を利用してプリセット学習率で画像検出モデルのネットワークパラメータを調整するように構成される。 In some embodiments, the training adjustment module includes a loss determination sub-module, the loss determination sub-module employs a set similarity loss function to process the real region and the detection region to determine the loss value of the image detection model. and the training adjustment module includes a parameter adjustment sub-module configured to adjust network parameters of the image detection model with a preset learning rate using the loss value.

以上から分かるように、集合類似度損失関数を利用して実際領域及び検出領域を処理し、画像検出モデルの損失値を決定することにより、損失値の正確性を確保することができ、それにより、損失値を利用してプリセット学習率で画像検出モデルのネットワークパラメータを調整することで、トレーニングプロセスにおいて、検出領域と実際領域との間の差異を低減させ、画像検出モデルの正確性を向上させることができる。 It can be seen from the above that the set similarity loss function is used to process the real region and the detection region to determine the loss value of the image detection model, so that the accuracy of the loss value can be ensured, thereby , using the loss value to adjust the network parameters of the image detection model with a preset learning rate, in the training process, reduce the difference between the detection area and the real area, and improve the accuracy of the image detection model be able to.

図６を参照して、図６は本発明の電子デバイス６０の一実施例のブロック図である。電子デバイス６０は、互いにカップリンブされたメモリ６１及びプロセッサ６２を含み、プロセッサ６２は、メモリ６１に記憶されたプログラム命令を実行して、上記いずれかの画像検出方法の実施例のステップを実現するように構成される。一つの具体的な実施場面において、電子デバイス６０は、マイクロコンピュータ、サーバを含んでもよいがそれらに限定されず、また、電子デバイス６０はさらに、ノートパソコン、タブレットパソコン等の携帯デバイスを含んでもよく、ここで限定しない。 Referring to FIG. 6, FIG. 6 is a block diagram of one embodiment of the electronic device 60 of the present invention. The electronic device 60 includes a memory 61 and a processor 62 coupled to each other, the processor 62 executing program instructions stored in the memory 61 to implement the steps of any of the image detection method embodiments described above. configured to In one specific implementation, the electronic device 60 may include, but is not limited to, a microcomputer, a server, and the electronic device 60 may also include portable devices such as laptops, tablet computers, and the like. , not limited here.

具体的には、プロセッサ６２は、その自体及びメモリ６１を制御して上記いずれかの画像検出方法の実施例のステップを実現するように構成される。プロセッサ６２はさらに、中央処理ユニット(Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ)と呼ばれることもある。プロセッサ６２は信号の処理能力を有する集積回路チップであってもよい。プロセッサ６２はさらに、汎用プロセッサ、デジタル信号プロセッサ(Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、 ＤＳＰ)、専用集積回路(Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ)、フィールドプログラマブルゲートアレイ(Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ)又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウエアコンポーネントであってもよい。汎用プロセッサは、マイクロプロセッサであってもよいし、如何なる通常のプロセッサ等であってもよい。また、プロセッサ６２は、集積回路チップによって共通で実現されてもよい。 Specifically, the processor 62 is configured to control itself and the memory 61 to implement the steps of any of the above image detection method embodiments. Processor 62 may also be referred to as a central processing unit (CPU). Processor 62 may be an integrated circuit chip having signal processing capabilities. Processor 62 may also be a general purpose processor, a Digital Signal Processor (DSP), an Application Specific Integrated Circuit (ASIC), a Field-Programmable Gate Array (FPGA) or other programmable logic device. , discrete gate or transistor logic devices, discrete hardware components. A general-purpose processor may be a microprocessor, any conventional processor, or the like. Processor 62 may also be commonly implemented by an integrated circuit chip.

上記技術的手段は、画像検出の正確性を向上させることができる。 The above technical means can improve the accuracy of image detection.

図７を参照して、図７は本発明のコンピュータ可読記憶媒体７０の一実施例のブロック図である。コンピュータ可読記憶媒体７０は、プロセッサによって実行可能なプログラム命令７０１を記憶しており、プログラム命令７０１は、上記いずれかの画像検出方法の実施例のステップを実現するために用いられる。 Referring to FIG. 7, FIG. 7 is a block diagram of one embodiment of a computer readable storage medium 70 of the present invention. The computer-readable storage medium 70 stores program instructions 701 executable by a processor, and the program instructions 701 are used to implement the steps of any of the image detection method embodiments described above.

上記技術的手段は、画像検出の正確性を向上させることができる。 The above technical means can improve the accuracy of image detection.

本願により提供されるいくつかの実施例では、開示された方法及び装置は、他の形態で実現されることができることを理解すべきである。例えば、以上に記載の装置の実施形態は模式的なものに過ぎず、例えば、モジュール又はユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、ユニット又はコンポーネントは、別のシステムに結合又は集積してもよく、又は一部の特徴を省略もしくは実行しなくてもよい。また、図示又は説明した相互間の結合、又は直接結合、又は通信接続は、いくつかのインタフェース、デバイス又はユニットを介した間接結合又は通信接続であり得、電気的、機械的又は他の形態であり得る。 It should be understood that in some of the embodiments provided by the present application, the disclosed method and apparatus may be embodied in other forms. For example, the embodiments of the apparatus described above are only schematic, e.g., the division into modules or units is only the division of logical functions, and the actual implementation may be divided in other forms. For example, a unit or component may be combined or integrated into another system, or some features may be omitted or not performed. Also, the couplings between each other or direct couplings or communicative connections shown or described may be indirect couplings or communicative connections through some interface, device or unit, electrically, mechanically or otherwise. could be.

分離部材として説明した上記ユニットは物理的に分離されたものであってもなくてもよく、ユニットとして示した部材は物理的ユニットであってもなくてもよく、つまり、一箇所に位置してもよく、又は複数のネットワークユニットに分布してもよく、実際の必要に応じてその一部又は全てのユニットを選択して本実施形態の技術的手段の目的を実現できる。 The above units described as separate members may or may not be physically separate, and the members shown as units may or may not be physical units, i.e., co-located. or distributed in multiple network units, and some or all of them can be selected according to actual needs to achieve the purpose of the technical means of the present embodiment.

また、本発明の各実施例における各機能ユニットは、一つの処理ユニットに集積してもよく、それぞれ単独して一つのユニットとして物理的に存在してもよく、２つ以上のユニットで一つのユニットに集積してもよい。上記の集積したユニットは、ハードウェアの形で実現されてもよいし、ソフトウェア機能ユニットの形で実現されてもよい。 In addition, each functional unit in each embodiment of the present invention may be integrated into one processing unit, or physically exist independently as one unit. May be integrated into units. The integrated units described above may be implemented in the form of hardware or in the form of software functional units.

集積したユニットは、ソフトウェア機能ユニットの形で実現され、そして独立した製品として販売又は使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような見解をもとに、本実施例の技術的解決手段は、実質的に又は従来技術に寄与する部分又はこの技術的手段の全部又は一部がソフトウェア製品の形で具現化されることができ、当該コンピュータソフトウェア製品は、記憶媒体に記憶され、そして、コンピュータデバイス(パーソナルコンピュータ、サーバ、又はネットワークデバイス等であってもよい)又はプロセッサ(ｐｒｏｃｅｓｓｏｒ)に本発明の各実施形態の方法における全部又は一部のステップを実行させるための複数の命令を含む。上述の記憶媒体は、ＵＳＢメモリ、モバイルハードディスク、読み取り専用メモリ(Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、 ＲＯＭ )、ランダムアクセスメモリ(Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、 ＲＡＭ)、磁気ディスク又は光ディスク等のプログラムコードを記憶可能である様々な媒体を含む。
[産業実用性] An integrated unit may be implemented in the form of a software functional unit and stored on a computer readable storage medium when sold or used as an independent product. Based on this view, the technical solution of this embodiment is that the part that substantially or contributes to the prior art, or the whole or part of this technical means is embodied in the form of a software product. , the computer software product is stored in a storage medium and stored in a computer device (which may be a personal computer, server, network device, etc.) or processor in the method of each embodiment of the present invention. It contains multiple instructions for performing all or part of the steps. The above-mentioned storage media include USB memory, mobile hard disk, read-only memory (ROM), random access memory (RAM), magnetic disk, optical disk, and various other devices capable of storing program code. Including media.
[Industrial Utility]

本発明の実施例は、画像検出方法、装置、デバイス、コンピュータ可読記憶媒体及びコンピュータプログラムを開示し、ここで、画像検出方法は、検出対象医学画像を取得するステップと、検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るステップと、プリセット次元の第１特徴マップを参考特徴マップとして、参考特徴マップを利用して病巣確率マップを生成するステップであって、病巣確率マップは検出対象医学画像における異なる領域が病巣に属する確率を示すために用いられるステップと、病巣確率マップを１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップと、最終融合特徴マップに対して検出処理を行い、検出対象医学画像における病巣の検出結果を得るステップと、を含む。上記技術的手段は、画像検出の正確性を向上させることができる。 Embodiments of the present invention disclose an image detection method, apparatus, device, computer readable storage medium and computer program product, wherein the image detection method comprises obtaining a target medical image; obtaining a first feature map of one or more dimensions using the first feature map of preset dimensions as a reference feature map and using the reference feature map to generate a lesion probability map. fusing the lesion probability map with a first feature map of one or more dimensions to produce a final fused feature map; and performing detection processing on the final fused feature map to obtain a detection result of the lesion in the detection target medical image. The above technical means can improve the accuracy of image detection.

Claims (16)

画像検出方法であって、
検出対象医学画像を取得するステップと、
前記検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るステップと、
プリセット次元の前記第１特徴マップを参考特徴マップとして、前記参考特徴マップを利用して病巣確率マップを生成するステップであって、前記病巣確率マップは前記検出対象医学画像における異なる領域が病巣に属する確率を示すために用いられるステップと、
前記病巣確率マップを前記１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップと、
前記最終融合特徴マップに対して検出処理を行い、前記検出対象医学画像における前記病巣の検出結果を得るステップと、を含む
画像検出方法。 An image detection method comprising:
obtaining a medical image to be detected;
performing feature extraction on the medical image to be detected to obtain a first feature map in one or more dimensions;
taking the first feature map of preset dimensions as a reference feature map and using the reference feature map to generate a lesion probability map, wherein the lesion probability map indicates that different regions in the detection target medical image belong to a lesion. a step used to indicate a probability;
fusing the lesion probability map with the first feature map of one or more dimensions to obtain a final fused feature map;
performing detection processing on the final fused feature map to obtain a detection result of the lesion in the detection target medical image. 前記参考特徴マップを利用して病巣確率マップを生成する前に、前記方法はさらに、
前記参考特徴マップを利用して予測処理を行い、前記検出対象医学画像に前記病巣が含まれる第１確率値を得るステップと、
前記第１確率値に基づいて、前記参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定するステップと、を含むことを特徴とする
請求項１に記載の方法。 Before utilizing the reference feature map to generate a lesion probability map, the method further comprises:
performing prediction processing using the reference feature map to obtain a first probability value that the lesion is included in the detection target medical image;
2. Based on the first probability value, generating a lesion probability map using the reference feature map and determining whether to perform subsequent steps. The method described in . 前記第１確率値に基づいて、前記参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定するステップは、
前記第１確率値が第１プリセット条件を満たす場合、前記参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するステップを含み、又は
前記検出対象医学画像が３次元の医学画像に含まれる２次元の医学画像である場合、前記第１確率値に基づいて、前記参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するか否かを決定するステップは、
前記２次元の医学画像に対応する第１確率値を大きい順に従ってソートし、先頭のプリセット数量の前記第１確率値を選択するステップと、
前記プリセット数量の前記第１確率値に対してプリセット処理を行い、第２確率値を得るステップと、
前記第２確率値が第２プリセット条件を満たす場合、前記参考特徴マップを利用して病巣確率マップを生成するステップ及び後続のステップを実行するステップと、を含むことを特徴とする
請求項２に記載の方法。 Determining whether to perform the step of generating a lesion probability map using the reference feature map and subsequent steps based on the first probability value,
generating a lesion probability map using the reference feature map and performing subsequent steps if the first probability value satisfies a first preset condition; or the detection target medical image is three-dimensional. if the medical image is a two-dimensional medical image, determine whether to perform the step of generating a lesion probability map using the reference feature map and subsequent steps based on the first probability value; The steps to do are
sorting the first probability values corresponding to the two-dimensional medical image according to descending order, and selecting the first probability value of the leading preset quantity;
performing a preset process on the first probability value of the preset quantity to obtain a second probability value;
3. The method of claim 2, comprising generating a lesion probability map using the reference feature map and performing subsequent steps if the second probability value satisfies a second preset condition. described method. 前記第１プリセット条件は、前記第１確率値が第１確率閾値以上であることを含み、
前記第２プリセット条件は、前記第２確率値が第２確率閾値以上であることを含み、
前記プリセット処理が平均演算であり、
及び／又は、前記方法はさらに、
前記第１確率値が第１プリセット条件を満たさない場合、又は、前記第２確率値が第２プリセット条件を満たさない場合、前記検出対象医学画像に前記病巣が含まれないと決定するステップを含むことを特徴とする
請求項３に記載の方法。 The first preset condition includes that the first probability value is greater than or equal to a first probability threshold,
The second preset condition includes that the second probability value is greater than or equal to a second probability threshold,
the preset processing is averaging;
and/or the method further comprises:
determining that the lesion is not included in the detection target medical image if the first probability value does not satisfy a first preset condition or if the second probability value does not satisfy a second preset condition. 4. A method according to claim 3, characterized in that: 前記参考特徴マップを利用して病巣確率マップを生成するステップは、
前記参考特徴マップにおける各画素点の前記病巣に関する勾配値を統計し、クラス活性化マップを生成し、前記クラス活性化マップを前記病巣確率マップとするステップを含むことを特徴とする
請求項１～４のいずれか１項に記載の方法。 The step of generating a lesion probability map using the reference feature map includes:
statisticizing gradient values for the lesion of each pixel point in the reference feature map, generating a class activation map, and using the class activation map as the lesion probability map. 5. The method of any one of 4. 前記病巣確率マップを前記１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップは、
前記病巣確率マップを利用して前記参考特徴マップに対してエンコード処理を行い、第２特徴マップを得るステップと、
前記第２特徴マップを前記１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップと、を含むことを特徴とする
請求項１～５のいずれか１項に記載の方法。 fusing the lesion probability map with the first feature map of one or more dimensions to obtain a final fused feature map;
performing an encoding process on the reference feature map using the lesion probability map to obtain a second feature map;
fusing said second feature map with said first feature map of one or more dimensions to obtain a final fused feature map. Method. 前記病巣確率マップを利用して前記参考特徴マップに対してエンコード処理を行い、第２特徴マップを得るステップは、
前記病巣確率マップにおける第１画素点の画素値を前記参考特徴マップにおける前記第１画素点に対応する第２画素点の画素値と乗算し、前記第２特徴マップの対応する画素点の画素値を得るステップを含み、
及び／又は、前記第２特徴マップを前記１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップは、
次元の高い順という順序に従って、前記第２特徴マップを前記順序でソートされた各次元の前記第１特徴マップと融合し、最終融合特徴マップを得るステップを含むことを特徴とする
請求項６に記載の方法。 The step of performing an encoding process on the reference feature map using the focus probability map to obtain a second feature map,
multiplying the pixel value of the first pixel point in the lesion probability map by the pixel value of the second pixel point corresponding to the first pixel point in the reference feature map, and the pixel value of the corresponding pixel point in the second feature map; including the step of obtaining
and/or fusing said second feature map with said first feature map of one or more dimensions to obtain a final fused feature map,
fusing the second feature map with the first feature map of each dimension sorted in the order to obtain a final fused feature map, according to the order of increasing dimensionality. described method. 前記参考特徴マップは次元が最も高い前記第１特徴マップであり、
前記次元の高い順という順序に従って、前記第２特徴マップを前記順序でソートされた各次元の前記第１特徴マップと融合し、最終融合特徴マップを得るステップは、
前記参考特徴マップを第１低次元特徴マップと融合し、次元が前記第１低次元特徴マップと同様である第１融合特徴マップを得るステップであって、前記第１低次元特徴マップは前記参考特徴マップより一次元低い前記第１特徴マップであるステップと、
前記第２特徴マップを前記第１融合特徴マップと融合し、次元が前記第１融合特徴マップと同様である第２融合特徴マップを得るステップと、
前記１つ以上の次元の前記第１特徴マップの融合が完了するまで、前記第２融合特徴マップを第２低次元特徴マップと融合して次元が前記第２低次元特徴マップと同様である新たな第２融合特徴マップを得ることを繰り返して実行するステップであって、前記第２低次元特徴マップは、現在の前記第２融合特徴マップより一次元低い前記第１特徴マップであるステップと、
最終的に融合して得られた前記第２融合特徴マップを前記最終融合特徴マップとするステップと、を含むことを特徴とする
請求項７に記載の方法。 the reference feature map is the first feature map with the highest dimension;
fusing the second feature map with the first feature map of each dimension sorted in the order to obtain a final fused feature map, according to the order of increasing dimension;
fusing the reference feature map with a first low-dimensional feature map to obtain a first fused feature map similar in dimension to the first low-dimensional feature map, wherein the first low-dimensional feature map is the reference being the first feature map one dimension lower than the feature map;
fusing said second feature map with said first fused feature map to obtain a second fused feature map whose dimensions are similar to said first fused feature map;
The second fused feature map is fused with a second low-dimensional feature map to create a new low-dimensional feature map similar in dimension to the second low-dimensional feature map until the fusion of the first feature map in the one or more dimensions is complete. wherein the second lower dimensional feature map is the first feature map that is one dimension lower than the current second fused feature map;
8. The method according to claim 7, further comprising the step of using the second fused feature map obtained by final fusion as the final fused feature map. 前記検出結果は、前記検出対象医学画像における前記病巣の検出領域を含み、
前記方法はさらに、
前記検出対象医学画像に対して臓器検出を行い、前記検出対象医学画像における臓器領域を得るステップと、
前記病巣の検出領域が前記臓器領域に占める病巣割合を取得するステップと、を含み、
及び／又は、前記検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得る前に、前記方法はさらに、
前記検出対象医学画像に対して前処理を行うステップであって、前記前処理の操作は少なくとも、プリセットウィンドウ値を利用して前記検出対象医学画像の画素値をプリセット範囲内に正規化することを含むステップを含むことを特徴とする
請求項１～８のいずれか１項に記載の方法。 the detection result includes a detection region of the lesion in the detection target medical image;
The method further comprises:
performing organ detection on the detection target medical image to obtain an organ region in the detection target medical image;
obtaining a lesion ratio of the lesion detection area to the organ area;
and/or, before performing feature extraction on the detected target medical image to obtain a first feature map in one or more dimensions, the method further comprises:
preprocessing the detection target medical image, wherein the preprocessing operation includes at least normalizing pixel values of the detection target medical image within a preset range using a preset window value; A method according to any one of claims 1 to 8, characterized in that it comprises the step of: 前記検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るステップは、
画像検出モデルの特徴抽出サブネットワークを利用して前記検出対象医学画像に対して特徴抽出を行い、前記１つ以上の次元の前記第１特徴マップを得るステップを含み、
前記病巣確率マップを前記１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップは、
前記画像検出モデルの融合処理サブネットワークを利用して前記病巣確率マップを前記１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るステップを含み、
前記最終融合特徴マップに対して検出処理を行い、前記検出対象医学画像における前記病巣の検出結果を得るステップは、
前記画像検出モデルの融合処理サブネットワークを利用して前記最終融合特徴マップに対して検出処理を行い、前記検出対象医学画像における前記病巣の検出結果を得るステップを含むことを特徴とする
請求項１～９のいずれか１項に記載の方法。 performing feature extraction on the detection target medical image to obtain a first feature map of one or more dimensions,
performing feature extraction on the detected medical image using a feature extraction sub-network of an image detection model to obtain the first feature map of the one or more dimensions;
fusing the lesion probability map with the first feature map of one or more dimensions to obtain a final fused feature map;
fusing the lesion probability map with the first feature map of one or more dimensions using a fusion processing sub-network of the image detection model to obtain a final fused feature map;
The step of performing detection processing on the final fusion feature map to obtain a detection result of the lesion in the detection target medical image,
2. The step of performing detection processing on the final fused feature map using a fusion processing sub-network of the image detection model to obtain a detection result of the lesion in the detection target medical image. 10. The method according to any one of items 1 to 9. 前記画像検出モデルの特徴抽出サブネットワークを利用して前記検出対象医学画像に対して特徴抽出を行い、前記１つ以上の次元の前記第１特徴マップを得る前に、前記方法はさらに、
サンプル医学画像を取得するステップであって、前記サンプル医学画像に病巣の実際領域が含まれるステップと、
前記特徴抽出サブネットワークを利用して前記サンプル医学画像に対して特徴抽出を行い、１つ以上の次元の第１サンプル特徴マップを得るステップと、
プリセット次元の前記第１サンプル特徴マップを参考サンプル特徴マップとして、前記参考サンプル特徴マップを利用して病巣サンプル確率マップを生成するステップであって、前記病巣サンプル確率マップは前記サンプル医学画像における異なる領域が病巣に属する確率を示すために用いられるステップと、
前記融合処理サブネットワークを利用して前記病巣サンプル確率マップを前記１つ以上の次元の第１サンプル特徴マップと融合し、最終融合サンプル特徴マップを得るステップと、
前記融合処理サブネットワークを利用して前記最終融合サンプル特徴マップに対して検出処理を行い、前記サンプル医学画像における前記病巣に関する検出領域を得るステップと、
前記実際領域と前記検出領域との間の差異を利用して、前記画像検出モデルのネットワークパラメータを調整するステップと、を含むことを特徴とする
請求項１０に記載の方法。 Before performing feature extraction on the detected medical image using the feature extraction sub-network of the image detection model to obtain the first feature map of the one or more dimensions, the method further comprises:
obtaining a sample medical image, wherein the sample medical image includes the actual area of the lesion;
performing feature extraction on the sample medical image using the feature extraction sub-network to obtain a first sample feature map in one or more dimensions;
taking the first sample feature map of preset dimensions as a reference sample feature map and using the reference sample feature map to generate a lesion sample probability map, wherein the lesion sample probability map is for different regions in the sample medical image. used to indicate the probability of belonging to a lesion;
fusing the lesion sample probability map with the first sample feature map of the one or more dimensions using the fusion processing sub-network to obtain a final fused sample feature map;
performing a detection process on the final fused sample feature map using the fusion processing sub-network to obtain a detection region for the lesion in the sample medical image;
11. The method of claim 10, comprising adjusting network parameters of the image detection model using the difference between the actual area and the detection area. 前記実際領域と前記検出領域との間の差異を利用して、前記画像検出モデルのネットワークパラメータを調整するステップは、
集合類似度損失関数を採用して前記実際領域及び前記検出領域を処理し、前記画像検出モデルの損失値を決定するステップと、
前記損失値を利用してプリセット学習率で前記画像検出モデルのネットワークパラメータを調整するステップと、を含むことを特徴とする
請求項１１に記載の方法。 adjusting network parameters of the image detection model using the difference between the actual area and the detection area;
employing a set similarity loss function to process the real region and the detection region to determine a loss value for the image detection model;
and using the loss value to tune network parameters of the image detection model with a preset learning rate. 画像検出装置であって、
検出対象医学画像を取得するように構成される画像取得モジュールと、
前記検出対象医学画像に対して特徴抽出を行い、１つ以上の次元の第１特徴マップを得るように構成される特徴抽出モジュールと、
プリセット次元の前記第１特徴マップを参考特徴マップとして、前記参考特徴マップを利用して病巣確率マップを生成するように構成される画像生成モジュールであって、前記病巣確率マップは前記検出対象医学画像における異なる領域が病巣に属する確率を示すために用いられる画像生成モジュールと、
前記病巣確率マップを前記１つ以上の次元の第１特徴マップと融合し、最終融合特徴マップを得るように構成される画像融合モジュールと、
前記最終融合特徴マップに対して検出処理を行い、前記検出対象医学画像における前記病巣の検出結果を得るように構成される検出処理モジュールと、を含む
画像検出装置。 An image detection device,
an image acquisition module configured to acquire a medical image to be detected;
a feature extraction module configured to perform feature extraction on the detected medical image to obtain a first feature map in one or more dimensions;
An image generation module configured to generate a lesion probability map using the first feature map of preset dimensions as a reference feature map, wherein the lesion probability map is the detection target medical image. an image generation module used to indicate the probability that different regions in
an image fusion module configured to fuse the lesion probability map with the first feature map of one or more dimensions to obtain a final fused feature map;
a detection processing module configured to perform detection processing on the final fused feature map to obtain a detection result of the lesion in the detection target medical image. 電子デバイスであって、
互いにカップリンブされたメモリとプロセッサを含み、
前記プロセッサは、前記メモリに記憶されたプログラム命令を実行して請求項１～１２のいずれか１項に記載の画像検出方法を実現するように構成される
電子デバイス。 an electronic device,
including a memory and a processor coupled together,
An electronic device, wherein the processor is configured to execute program instructions stored in the memory to implement the image detection method of any one of claims 1-12. コンピュータ可読記憶媒体であって、
プログラム命令が記憶されており、
前記プログラム命令はプロセッサに、請求項１～１２のいずれか１項に記載の画像検出方法を実行させる
コンピュータ可読記憶媒体。 A computer readable storage medium,
program instructions are stored,
A computer readable storage medium, wherein said program instructions cause a processor to perform the image detection method of any one of claims 1-12. コンピュータプログラムであって、
コンピュータ可読コードを含み、
前記コンピュータ可読コードは、電子デバイスにおけるプロセッサに請求項１～１２のいずれか１項に記載の画像検出方法を実行させる
コンピュータプログラム。 A computer program,
contains computer readable code;
A computer program product, the computer readable code for causing a processor in an electronic device to perform the image detection method of any one of claims 1-12.
JP2022549312A 2021-02-25 2021-09-10 Image detection method, apparatus, device, medium and program Withdrawn JP2023518160A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110214861.X 2021-02-25
CN202110214861.XA CN112949654A (en) 2021-02-25 2021-02-25 Image detection method and related device and equipment
PCT/CN2021/117801 WO2022179083A1 (en) 2021-02-25 2021-09-10 Image detection method and apparatus, and device, medium and program

Publications (1)

Publication Number Publication Date
JP2023518160A true JP2023518160A (en) 2023-04-28

Family

ID=76246421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022549312A Withdrawn JP2023518160A (en) 2021-02-25 2021-09-10 Image detection method, apparatus, device, medium and program

Country Status (3)

Country Link
JP (1) JP2023518160A (en)
CN (1) CN112949654A (en)
WO (1) WO2022179083A1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949654A (en) * 2021-02-25 2021-06-11 上海商汤智能科技有限公司 Image detection method and related device and equipment
CN114121236A (en) * 2021-11-22 2022-03-01 上海商汤智能科技有限公司 Image detection method and related device, electronic equipment and storage medium
CN114581396A (en) * 2022-02-28 2022-06-03 腾讯科技（深圳）有限公司 Method, device, equipment, storage medium and product for identifying three-dimensional medical image
CN116798596A (en) * 2022-03-14 2023-09-22 数坤(北京)网络科技股份有限公司 Information association method, device, electronic equipment and storage medium
EP4414936A1 (en) * 2023-02-10 2024-08-14 Koninklijke Philips N.V. Registering 3d image data
CN116597988B (en) * 2023-07-18 2023-09-19 济南蓝博电子技术有限公司 Intelligent hospital operation method and system based on medical information

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2478329B (en) * 2010-03-03 2015-03-04 Samsung Electronics Co Ltd Medical image processing
WO2017086433A1 (en) * 2015-11-19 2017-05-26 国立大学法人 東京大学 Medical image processing method, device, system, and program
US10373312B2 (en) * 2016-11-06 2019-08-06 International Business Machines Corporation Automated skin lesion segmentation using deep side layers
CN106934397B (en) * 2017-03-13 2020-09-01 北京市商汤科技开发有限公司 Image processing method and device and electronic equipment
CN107945168B (en) * 2017-11-30 2021-12-10 上海联影医疗科技股份有限公司 Medical image processing method and medical image processing system
CN109949271B (en) * 2019-02-14 2021-03-16 腾讯科技（深圳）有限公司 Detection method based on medical image, model training method and device
CN110490212B (en) * 2019-02-26 2022-11-08 腾讯科技（深圳）有限公司 Molybdenum target image processing equipment, method and device
CN110348541B (en) * 2019-05-10 2021-12-10 腾讯医疗健康(深圳)有限公司 Method, device and equipment for classifying fundus blood vessel images and storage medium
CN110807788B (en) * 2019-10-21 2023-07-21 腾讯科技（深圳）有限公司 Medical image processing method, medical image processing device, electronic equipment and computer storage medium
CN111161279B (en) * 2019-12-12 2023-05-26 中国科学院深圳先进技术研究院 Medical image segmentation method, device and server
CN111429473B (en) * 2020-02-27 2023-04-07 西北大学 Chest film lung field segmentation model establishment and segmentation method based on multi-scale feature fusion
CN111768418A (en) * 2020-06-30 2020-10-13 北京推想科技有限公司 Image segmentation method and device and training method of image segmentation model
CN112116004B (en) * 2020-09-18 2021-11-02 推想医疗科技股份有限公司 Focus classification method and device and focus classification model training method
CN112949654A (en) * 2021-02-25 2021-06-11 上海商汤智能科技有限公司 Image detection method and related device and equipment

Also Published As

Publication number Publication date
CN112949654A (en) 2021-06-11
WO2022179083A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
JP2023518160A (en) Image detection method, apparatus, device, medium and program
CN108446730B (en) CT pulmonary nodule detection device based on deep learning
US20200320685A1 (en) Automated classification and taxonomy of 3d teeth data using deep learning methods
JP2022540634A (en) 3D Point Cloud Object Detection and Instance Segmentation Based on Deep Learning
CN110648334A (en) Multi-feature cyclic convolution saliency target detection method based on attention mechanism
JP6232982B2 (en) Image processing apparatus, image processing method, and program
CN112348036A (en) Self-adaptive target detection method based on lightweight residual learning and deconvolution cascade
CN115953665B (en) Target detection method, device, equipment and storage medium
KR102332088B1 (en) Apparatus and method for polyp segmentation in colonoscopy images through polyp boundary aware using detailed upsampling encoder-decoder networks
WO2019169884A1 (en) Image saliency detection method and device based on depth information
Zhu et al. Arbitrary scale super-resolution for medical images
CN113592769B (en) Abnormal image detection and model training method, device, equipment and medium
CN114758137A (en) Ultrasonic image segmentation method and device and computer readable storage medium
Zhou et al. Attention transfer network for nature image matting
WO2023014789A1 (en) System and method for pathology image analysis using a trained neural network and active learning framework
Bal-Ghaoui et al. U-Net transfer learning backbones for lesions segmentation in breast ultrasound images.
CN115131290A (en) Image processing method
CN113160199B (en) Image recognition method and device, computer equipment and storage medium
CN113822871A (en) Target detection method and device based on dynamic detection head, storage medium and equipment
Fedoruk et al. Performance of GAN-based augmentation for deep learning COVID-19 image classification
CN116128876B (en) Medical image classification method and system based on heterogeneous domain
CN113208641A (en) Pulmonary nodule auxiliary diagnosis method based on three-dimensional multi-resolution attention capsule network
CN116704305A (en) Ultrasonic cardiogram multi-mode multi-section classification method based on deep learning algorithm
WO2020215682A1 (en) Fundus image sample expansion method and apparatus, electronic device, and computer non-volatile readable storage medium
Wang et al. A coordinate attention enhanced swin transformer for handwriting recognition of Parkinson's disease

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220816

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20230116